Van drie onderzoeksinstrumenten naar één vernieuwde Bibliotheekmonitor

Bibliotheekblad 3 maart 2024

Iedere bibliotheek krijgt jaarlijks met de Bibliotheekmonitor te maken: het onderzoeksinstrument waarmee de Gegevenslevering Wsob wordt uitgevoerd. Van het invullen van de vragenlijsten tot het downloaden van de lokale infographics met resultaten voor jouw bibliotheek: je vind het in de Bibliotheekmonitor. Onlangs is de Bibliotheekmonitor vernieuwd en geïntegreerd met twee andere onderzoeksinstrumenten: de Impactmonitor en Outputregistratietool. Wat betekent dat precies voor bibliotheken? En waarom is deze verandering in gang gezet?

Onderzoek

TEKST: Annemiek van de Burgt, onderzoeksadviseur bij de KB
Illustraties: Carlien Keilholtz / KB

Opbrengsten en impact van de IDO’s
Het IDO-registratieformulier uit de Outputregistratietool is ondergebracht in het opbrengstenonderdeel van de vernieuwde Bibliotheekmonitor. Nadat het IDO eenmalig is toegevoegd als aanbod en de kenmerken van het IDO, zoals openingstijden en bemanning, zijn ingevoerd, kunnen de opbrengsten van het IDO worden geregistreerd. Dit registratieformulier is gebaseerd op het formulier uit de Outputregistratietool en is verbeterd op basis van input van bibliotheken, POI’s, het Netwerk van Publieke Dienstverleners en andere landelijke partners. Zo wordt in het nieuwe registratieformulier duidelijker onderscheid gemaakt tussen vragen over de digitale overheid, vragen over de bibliotheekdienstverlening en andere vragen. Daarnaast is er ruimte om per bezoeker meerdere vragen te registreren, is een verdiepende vraag over DigiD toegevoegd en zijn de vragen over doorverwijzing verbeterd. De achtergrondvragen over bezoekers worden niet meer gesteld in het registratieformulier, maar in de IDO-impactmeting die ingevuld wordt door de bezoekers. Deze nieuwe meting biedt meer inzicht in de ervaring en beleving van de IDO-bezoekers en het effect van de dienstverlening.

Eén plek voor landelijke dataverzameling
Voor bibliotheken brengt de vernieuwde Bibliotheekmonitor een aantal verbeteringen, maar ook veranderingen met zich mee. Doordat alle landelijke onderzoeksinstrumenten op één plek te vinden zijn, is er ook nog maar één inlog nodig. Gebruikers van de oude drie instrumenten ontvangen automatisch bericht om zich te registreren voor de nieuwe Bibliotheekmonitor. Eenmaal ingelogd bij de Bibliotheekmonitor kun je gebruikmaken van één of meerdere onderdelen voor de dataverzameling. De resultaten van de onderzoeken die via de Bibliotheekmonitor zijn uitgezet, zijn altijd voor alle contactpersonen binnen een bibliotheekorganisatie inzichtelijk. Zo faciliteren we de samenwerking en kennisdeling binnen organisaties op het gebied van onderzoek en monitoring.

Doorontwikkeling
Naast de Bibliotheekmonitor zijn ook veel andere instrumenten en systemen voor dataverzameling in het bibliotheeknetwerk beschikbaar. In de doorontwikkeling van de Bibliotheekmonitor onderzoeken we de samenhang met deze instrumenten en verkennen we de mogelijkheden om koppelingen tot stand te brengen, zodat bibliotheken data zo min mogelijk dubbel hoeven in te voeren. Daarnaast verkennen we de mogelijkheden voor een bredere registratie en evaluatie van activiteiten en samenwerkingen, bijvoorbeeld in de vorm van nieuwe themablokken in de jaarlijkse metingen, nieuwe opbrengstenregistraties of nieuwe impactmetingen.

Onderdeel van de Cockpit
De vernieuwde Bibliotheekmonitor is onderdeel van de Cockpit: de centrale, publiek toegankelijke plek die toegang biedt tot onderzoeksinstrumenten, data en duiding die inzicht bieden in de rol en betekenis van openbare bibliotheken in de samenleving. In de Netwerkagenda is vastgelegd dat de KB deze digitale infrastructuur voor onderzoek en kennisdeling ontwikkelt en onderhoudt. In dat kader is ook al een aantal verbeterslagen gemaakt om de onderzoeksinformatie van Bibliotheekinzicht op Bnetwerk te stroomlijnen en makkelijker vindbaar te maken. Binnen de doorontwikkeling van Bnetwerk wordt dit jaar gewerkt aan de nieuwe pagina’s voor de Cockpit, waarin data en kennisdeling nog meer samenkomen. Startpunt hiervoor is een dashboard dat inzichtelijk maakt waar we als bibliotheeknetwerk staan op de drie maatschappelijke opgaven uit de Netwerkagenda. Om dat dashboard te ontwikkelen, wordt eerst gewerkt aan meetplannen en indicatoren om de impact op de drie opgaven inzichtelijk te maken.

Aanmelden
Wil je je ook aanmelden voor de vernieuwde Bibliotheekmonitor? Mail dan naar bibliotheekmonitor@kb.nl en vermeld van welke onderdelen je gebruik wilt gaan maken (jaarlijkse metingen, IDO-registratieformulier en/of impactmetingen).

Terug in de tijd
Sinds de invoering van de Wet stelsel openbare bibliotheekvoorzieningen (Wsob) faciliteert de KB dataverzameling voor en over het openbare bibliotheeknetwerk. Wat begon met de wettelijke gegevensverzameling via het Bibliotheekonderzoeksplatform (BOP) is inmiddels uitgegroeid tot een uitgebreid instrumentarium waarmee het aanbod, de opbrengsten en de impact van de bibliotheken in kaart worden gebracht. De afgelopen jaren werden de data rondom deze drie thema’s met drie losstaande instrumenten verzameld: de Bibliotheekmonitor (organisatie en dienstverlening), de Outputregistratietool (opbrengsten van de IDO’s) en de Impactmonitor (impact van cursussen). Nu zijn deze drie instrumenten geïntegreerd tot één onderzoeks- en monitoringsinstrument en gaan zij samen verder onder de naam Bibliotheekmonitor.

Naar twee typen metingen
De vernieuwde Bibliotheekmonitor bestaat uit drie onderdelen: organisatie & dienstverlening, opbrengsten en impact. Om data op deze drie onderdelen te verzamelen, wordt onderscheid gemaakt tussen jaarlijkse metingen en continue metingen. Met de jaarlijkse metingen wordt teruggeblikt op een vorig kalenderjaar of schooljaar, zoals voorheen de samenwerking tussen bibliotheken en basisscholen met de oude Bibliotheekmonitor werd onderzocht. Met de continue metingen worden data verzameld over het moment van nu, zoals bezoekers van het Informatiepunt Digitale Overheid (IDO) eerder in de Outputregistratietool werden geregistreerd en impactmetingen onder deelnemers aan cursussen werden uitgezet via de Impactmonitor. Hierbij wordt onderscheid gemaakt tussen de opbrengsten van de dienstverlening, zoals het aantal deelnemers of het aantal gestelde IDO-vragen geregistreerd door de bibliotheek, en de impact van de dienstverlening, gemeten onder de bezoekers of deelnemers.

Evalueren en optimaliseren
Door meer samenhang aan te brengen in het instrumentarium sluit de vernieuwde Bibliotheekmonitor zowel aan de voorkant – bij het invoeren en verzamelen van data – als aan de achterkant – bij het analyseren en rapporteren – beter aan op de dagelijkse praktijk en de wensen van de bibliotheken, POI’s, bibliotheekbezoekers en onderzoekers. De integratie van de onderzoeksinstrumenten en de nieuwe indeling vormden de aanleiding om de reeds bestaande vragenlijsten en formulieren te evalueren en beter aan te laten sluiten op de huidige ontwikkelingen in het bibliotheeknetwerk.

Samenvoegen jaarlijkse metingen
De jaarlijkse metingen zijn ooit ontstaan vanuit een indeling naar bibliotheekprogramma, maar in de loop der jaren zijn er steeds meer separate metingen bijgekomen voor deels overlappende programma’s. Denk bijvoorbeeld aan de Bibliotheek en Basisvaardigheden, de samenwerking met de Belastingdienst en Digitaal Burgerschap. In de vernieuwde Bibliotheekmonitor worden zes huidige metingen rondom verschillende bibliotheekprogramma's teruggebracht naar twee overkoepelende metingen: één vragenlijst over de dienstverlening voor volwassenen en één vragenlijst over de dienstverlening voor jeugd. Deze vragenlijsten bestaan uit verschillende thematische blokken, die – indien gewenst – ieder door een collega met de bijbehorende inhoudelijke expertise kunnen worden ingevuld. Zo wordt de enquêtedruk voor bibliotheken beperkt, voorkomen we overlap tussen vragenlijsten, verbeteren we de datakwaliteit en kunnen we beter aansluiten bij de techniek van de vernieuwde Bibliotheekmonitor.

Continu meten in vier stappen
De Outputregistratietool en Impactmonitor zijn in de vernieuwde Bibliotheekmonitor ondergebracht in de continue metingen. Hier kunnen bibliotheken de opbrengsten van de dienstverlening invoeren, zoals het aantal deelnemers na afloop van een cursus of de continue registratie van IDO-bezoekers. Daarnaast kun je hier de impact meten onder de deelnemers of bezoekers van het bibliotheekaanbod. Om deze continue metingen uit te kunnen voeren, doorlopen bibliotheken vier stappen: aanbod toevoegen, kenmerken registreren, opbrengsten invoeren en impact meten. In deze laatste stap kunnen bibliotheken vragenlijsten op papier of online laten invullen door deelnemers of bezoekers om de impact van bijvoorbeeld cursussen in kaart te brengen. Doordat de gegevens over het aanbod in de vier stappen worden geregistreerd, kunnen de kenmerken, opbrengsten en impact in de data ook aan elkaar gekoppeld kunnen worden. Zo kunnen de resultaten niet alleen op het niveau van een individuele cursus gerapporteerd worden, maar kunnen we bijvoorbeeld ook inzicht bieden in de impact van het aanbod als geheel, in het aanbod voor specifieke doelgroepen of in de samenwerking met specifieke partners.

Vernieuwde impactmetingen
De impactmetingen van de cursussen op het gebied van computer en internet, Nederlandse taal en E-overheid zijn in oktober 2023 als eerste onderdeel van de vernieuwde Bibliotheekmonitor beschikbaar gekomen. Dit jaar worden nog drie nieuwe impactmetingen aan de Bibliotheekmonitor toegevoegd: voor activiteiten, IDO’s en Leven Lang Ontwikkelen.. Voor het ontwikkelen van de vernieuwde impactmetingen is alle feedback die in eerdere stadia is gegeven over de Impactmonitor waar mogelijk meegenomen. In samenwerking met de Impact-community, kernteams, partners, bibliotheken en POI’s zijn de vragenlijsten vernieuwd. Ze zijn bijvoorbeeld sterk ingekort en er wordt er alleen nog gewerkt met een nameting. Ook het ontwerp en het uiteindelijke platform van de Bibliotheekmonitor zijn in aanloop naar de livegang van de impactmetingen al voorgelegd aan toekomstige gebruikers uit het bibliotheeknetwerk.

Bibliotheekblad 3 maart 2024

Terug in de tijd
Sinds de invoering van de Wet stelsel openbare bibliotheekvoorzieningen (Wsob) faciliteert de KB dataverzameling voor en over het openbare bibliotheeknetwerk. Wat begon met de wettelijke gegevensverzameling via het Bibliotheekonderzoeksplatform (BOP) is inmiddels uitgegroeid tot een uitgebreid instrumentarium waarmee het aanbod, de opbrengsten en de impact van de bibliotheken in kaart worden gebracht. De afgelopen jaren werden de data rondom deze drie thema’s met drie losstaande instrumenten verzameld: de Bibliotheekmonitor (organisatie en dienstverlening), de Outputregistratietool (opbrengsten van de IDO’s) en de Impactmonitor (impact van cursussen). Nu zijn deze drie instrumenten geïntegreerd tot één onderzoeks- en monitoringsinstrument en gaan zij samen verder onder de naam Bibliotheekmonitor.

Naar twee typen metingen
De vernieuwde Bibliotheekmonitor bestaat uit drie onderdelen: organisatie & dienstverlening, opbrengsten en impact. Om data op deze drie onderdelen te verzamelen, wordt onderscheid gemaakt tussen jaarlijkse metingen en continue metingen. Met de jaarlijkse metingen wordt teruggeblikt op een vorig kalenderjaar of schooljaar, zoals voorheen de samenwerking tussen bibliotheken en basisscholen met de oude Bibliotheekmonitor werd onderzocht. Met de continue metingen worden data verzameld over het moment van nu, zoals bezoekers van het Informatiepunt Digitale Overheid (IDO) eerder in de Outputregistratietool werden geregistreerd en impactmetingen onder deelnemers aan cursussen werden uitgezet via de Impactmonitor. Hierbij wordt onderscheid gemaakt tussen de opbrengsten van de dienstverlening, zoals het aantal deelnemers of het aantal gestelde IDO-vragen geregistreerd door de bibliotheek, en de impact van de dienstverlening, gemeten onder de bezoekers of deelnemers.

Evalueren en optimaliseren
Door meer samenhang aan te brengen in het instrumentarium sluit de vernieuwde Bibliotheekmonitor zowel aan de voorkant – bij het invoeren en verzamelen van data – als aan de achterkant – bij het analyseren en rapporteren – beter aan op de dagelijkse praktijk en de wensen van de bibliotheken, POI’s, bibliotheekbezoekers en onderzoekers. De integratie van de onderzoeksinstrumenten en de nieuwe indeling vormden de aanleiding om de reeds bestaande vragenlijsten en formulieren te evalueren en beter aan te laten sluiten op de huidige ontwikkelingen in het bibliotheeknetwerk.

Samenvoegen jaarlijkse metingen
De jaarlijkse metingen zijn ooit ontstaan vanuit een indeling naar bibliotheekprogramma, maar in de loop der jaren zijn er steeds meer separate metingen bijgekomen voor deels overlappende programma’s. Denk bijvoorbeeld aan de Bibliotheek en Basisvaardigheden, de samenwerking met de Belastingdienst en Digitaal Burgerschap. In de vernieuwde Bibliotheekmonitor worden zes huidige metingen rondom verschillende bibliotheekprogramma's teruggebracht naar twee overkoepelende metingen: één vragenlijst over de dienstverlening voor volwassenen en één vragenlijst over de dienstverlening voor jeugd. Deze vragenlijsten bestaan uit verschillende thematische blokken, die – indien gewenst – ieder door een collega met de bijbehorende inhoudelijke expertise kunnen worden ingevuld. Zo wordt de enquêtedruk voor bibliotheken beperkt, voorkomen we overlap tussen vragenlijsten, verbeteren we de datakwaliteit en kunnen we beter aansluiten bij de techniek van de vernieuwde Bibliotheekmonitor.

Continu meten in vier stappen
De Outputregistratietool en Impactmonitor zijn in de vernieuwde Bibliotheekmonitor ondergebracht in de continue metingen. Hier kunnen bibliotheken de opbrengsten van de dienstverlening invoeren, zoals het aantal deelnemers na afloop van een cursus of de continue registratie van IDO-bezoekers. Daarnaast kun je hier de impact meten onder de deelnemers of bezoekers van het bibliotheekaanbod. Om deze continue metingen uit te kunnen voeren, doorlopen bibliotheken vier stappen: aanbod toevoegen, kenmerken registreren, opbrengsten invoeren en impact meten. In deze laatste stap kunnen bibliotheken vragenlijsten op papier of online laten invullen door deelnemers of bezoekers om de impact van bijvoorbeeld cursussen in kaart te brengen. Doordat de gegevens over het aanbod in de vier stappen worden geregistreerd, kunnen de kenmerken, opbrengsten en impact in de data ook aan elkaar gekoppeld kunnen worden. Zo kunnen de resultaten niet alleen op het niveau van een individuele cursus gerapporteerd worden, maar kunnen we bijvoorbeeld ook inzicht bieden in de impact van het aanbod als geheel, in het aanbod voor specifieke doelgroepen of in de samenwerking met specifieke partners.

Vernieuwde impactmetingen
De impactmetingen van de cursussen op het gebied van computer en internet, Nederlandse taal en E-overheid zijn in oktober 2023 als eerste onderdeel van de vernieuwde Bibliotheekmonitor beschikbaar gekomen. Dit jaar worden nog drie nieuwe impactmetingen aan de Bibliotheekmonitor toegevoegd: voor activiteiten, IDO’s en Leven Lang Ontwikkelen.. Voor het ontwikkelen van de vernieuwde impactmetingen is alle feedback die in eerdere stadia is gegeven over de Impactmonitor waar mogelijk meegenomen. In samenwerking met de Impact-community, kernteams, partners, bibliotheken en POI’s zijn de vragenlijsten vernieuwd. Ze zijn bijvoorbeeld sterk ingekort en er wordt er alleen nog gewerkt met een nameting. Ook het ontwerp en het uiteindelijke platform van de Bibliotheekmonitor zijn in aanloop naar de livegang van de impactmetingen al voorgelegd aan toekomstige gebruikers uit het bibliotheeknetwerk.

Iedere bibliotheek krijgt jaarlijks met de Bibliotheekmonitor te maken: het onderzoeksinstrument waarmee de Gegevenslevering Wsob wordt uitgevoerd. Van het invullen van de vragenlijsten tot het downloaden van de lokale infographics met resultaten voor jouw bibliotheek: je vind het in de Bibliotheekmonitor. Onlangs is de Bibliotheekmonitor vernieuwd en geïntegreerd met twee andere onderzoeksinstrumenten: de Impactmonitor en Outputregistratietool. Wat betekent dat precies voor bibliotheken? En waarom is deze verandering in gang gezet?

Van drie onderzoeksinstrumenten naar één vernieuwde

Bibliotheek-
monitor

TEKST: Annemiek van de Burgt, onderzoeksadviseur bij de KB
Illustraties: Carlien Keilholtz / KB

Onderzoek

Opbrengsten en impact van de IDO’s
Het IDO-registratieformulier uit de Outputregistratietool is ondergebracht in het opbrengstenonderdeel van de vernieuwde Bibliotheekmonitor. Nadat het IDO eenmalig is toegevoegd als aanbod en de kenmerken van het IDO, zoals openingstijden en bemanning, zijn ingevoerd, kunnen de opbrengsten van het IDO worden geregistreerd. Dit registratieformulier is gebaseerd op het formulier uit de Outputregistratietool en is verbeterd op basis van input van bibliotheken, POI’s, het Netwerk van Publieke Dienstverleners en andere landelijke partners. Zo wordt in het nieuwe registratieformulier duidelijker onderscheid gemaakt tussen vragen over de digitale overheid, vragen over de bibliotheekdienstverlening en andere vragen. Daarnaast is er ruimte om per bezoeker meerdere vragen te registreren, is een verdiepende vraag over DigiD toegevoegd en zijn de vragen over doorverwijzing verbeterd. De achtergrondvragen over bezoekers worden niet meer gesteld in het registratieformulier, maar in de IDO-impactmeting die ingevuld wordt door de bezoekers. Deze nieuwe meting biedt meer inzicht in de ervaring en beleving van de IDO-bezoekers en het effect van de dienstverlening.

Eén plek voor landelijke dataverzameling
Voor bibliotheken brengt de vernieuwde Bibliotheekmonitor een aantal verbeteringen, maar ook veranderingen met zich mee. Doordat alle landelijke onderzoeksinstrumenten op één plek te vinden zijn, is er ook nog maar één inlog nodig. Gebruikers van de oude drie instrumenten ontvangen automatisch bericht om zich te registreren voor de nieuwe Bibliotheekmonitor. Eenmaal ingelogd bij de Bibliotheekmonitor kun je gebruikmaken van één of meerdere onderdelen voor de dataverzameling. De resultaten van de onderzoeken die via de Bibliotheekmonitor zijn uitgezet, zijn altijd voor alle contactpersonen binnen een bibliotheekorganisatie inzichtelijk. Zo faciliteren we de samenwerking en kennisdeling binnen organisaties op het gebied van onderzoek en monitoring.

Doorontwikkeling
Naast de Bibliotheekmonitor zijn ook veel andere instrumenten en systemen voor dataverzameling in het bibliotheeknetwerk beschikbaar. In de doorontwikkeling van de Bibliotheekmonitor onderzoeken we de samenhang met deze instrumenten en verkennen we de mogelijkheden om koppelingen tot stand te brengen, zodat bibliotheken data zo min mogelijk dubbel hoeven in te voeren. Daarnaast verkennen we de mogelijkheden voor een bredere registratie en evaluatie van activiteiten en samenwerkingen, bijvoorbeeld in de vorm van nieuwe themablokken in de jaarlijkse metingen, nieuwe opbrengstenregistraties of nieuwe impactmetingen.

Onderdeel van de Cockpit
De vernieuwde Bibliotheekmonitor is onderdeel van de Cockpit: de centrale, publiek toegankelijke plek die toegang biedt tot onderzoeksinstrumenten, data en duiding die inzicht bieden in de rol en betekenis van openbare bibliotheken in de samenleving. In de Netwerkagenda is vastgelegd dat de KB deze digitale infrastructuur voor onderzoek en kennisdeling ontwikkelt en onderhoudt. In dat kader is ook al een aantal verbeterslagen gemaakt om de onderzoeksinformatie van Bibliotheekinzicht op Bnetwerk te stroomlijnen en makkelijker vindbaar te maken. Binnen de doorontwikkeling van Bnetwerk wordt dit jaar gewerkt aan de nieuwe pagina’s voor de Cockpit, waarin data en kennisdeling nog meer samenkomen. Startpunt hiervoor is een dashboard dat inzichtelijk maakt waar we als bibliotheeknetwerk staan op de drie maatschappelijke opgaven uit de Netwerkagenda. Om dat dashboard te ontwikkelen, wordt eerst gewerkt aan meetplannen en indicatoren om de impact op de drie opgaven inzichtelijk te maken.

Aanmelden
Wil je je ook aanmelden voor de vernieuwde Bibliotheekmonitor? Mail dan naar bibliotheekmonitor@kb.nl en vermeld van welke onderdelen je gebruik wilt gaan maken (jaarlijkse metingen, IDO-registratieformulier en/of impactmetingen).