Zo vertoonde de nonrespons bij drie belangrijke Nederlandse surveys geen uniform stijgend patroon. De eerste figuur laat zien dat het Centraal Bureau voor de Statistiek zo’n dertig jaar geleden bij de Arbeidskrachtentelling (AKT) nog tussen de 80 en 90 procent respons behaalde. Het responspercentage bij de opvolger, de Enquête Beroepsbevolking (EBB), lag aanvankelijk rond de 60 procent, daalde daarna tot rond de 55 procent aan het eind van de vorige eeuw en schoot recent omhoog naar 65 procent. In 2007 was er weer een kleine teruggang. Het Nationaal Kiezersonderzoek (NKO) vertoont een veel spectaculairder patroon. Van bijna 70 procent in de jaren zeventig kelderde de respons tot iets meer dan 33 procent aan het begin van deze eeuw. In 2006 voerde het CBS het onderzoek uit en behaalde toen 65 procent: bijna een verdubbeling. Ten slotte het ‘Aanvullend Voorzieningen gebruikonderzoek’ (AVO) van het SCP: na een stabiele periode in de jaren tachtig maakte de respons in 1991 een zeer diepe val, om in 1995 een niet eerder geziene piek te bereiken. Daarna ging het helaas weer langzaamaan bergafwaarts.

Twaalf keer langs

Wat de figuren niet laten zien, is dat de recente hogere respons veel meer inspanningen en geld vereiste. Bij het laatstgenoemde AVO ging de interviewer tot en met 1991 maximaal drie maal langs op een adres alvorens het af te boeken als ‘geen contact’, terwijl in de laatste peilingen tot wel twaalf bezoeken werden afgelegd. Ook werden mensen die aanvankelijk niet meededen opnieuw bezocht met het verzoek alsjeblieft mee te doen. Wat veel van die initiële weigeraars dan ook deden. De respons bij het AVO is, met uitzondering van 1991, dus redelijk stabiel gebleven, maar de kosten om die respons te behalen zijn aanzienlijk gestegen. Ook bij andere onderzoeken is er sprake van extra inspanningen.

Het CBS bereikte een hogere respons door interviewers in dienst te nemen in plaats van freelancers. Een verdere stijging was het gevolg van een intensievere benaderingsstrategie en een nauwgezette monitoring van het responsproces. Het SCP en onderzoeksbureau Veldkamp haalden bij onderzoek onder etnische minderheden een aanzienlijke winst door vereenvoudiging van de vragen, meer contactpogingen, vertaalde vragenlijsten en de inzet van tweetalige interviewers. Bij de European Social Survey (ESS) slaat Nederland een goed figuur met het responspercentage doordat GfK Panel Services Benelux bijna alle initiële weigeraars opnieuw benaderde, en er bovendien in slaagde een groot aantal alsnog over te halen om mee te doen.

Gezondigd

Over de eerste figuur is nog meer te zeggen. De Arbeidskrachttelling en diens opvolger de Enquête Beroepsbevolking zijn zeer moeilijk vergelijkbaar omdat in 1987 bijna alles veranderde: van onderzoeksdesign tot responsdefinitie. Daarna volgden er vele wijzigingen in de opzet van de EBB, zoals het ontwerp van de vragenlijsten, de arbeidsmarktpositie van interviewers, de responsdefinitie en de benaderingsstrategie. Ook bij het AVO veranderde de responsdefinitie. Tussen 1999 en 2003 daalde de respons van 66 procent naar 60 procent. Deze daling werd voor meer dan de helft veroorzaakt door een betere registratie van het responsproces. Als op een adres bij acht bezoeken niemand werd thuisgetroffen, nam men voorheen aan dat er dan wel niemand zou wonen. Het adres telde dan niet mee bij de berekening van de nonrespons.

Vanaf 2003 werd een dergelijk adres echter als een noncontact geclassificeerd, behalve als helemaal zeker was dat de woning leegstond. Hogere respons in het verleden is daarom deels toe te rekenen aan een minder zorgvuldige berekening. Deze vertekening trad ook op bij het SCP-onderzoek Culturele Veranderingen. Begin jaren tachtig namen bij een steekproefomvang van 2424 adressen, circa 2000 personen aan het onderzoek deel. Dat lijkt te wijzen op een respons van circa 80 procent, terwijl Intomart GfK in 2006 met moeite 60 procent haalde. De 2000 personen uit het verleden betreffen echter voor een deel de ‘tweede’ persoon in het huishouden die in een aantal gevallen ook mee mocht doen. Als die weigerde, werd dat niet als nonrespons meegerekend. Ook werd in een onbekend aantal gevallen, als er bij een cluster adressen niemand wilde meedoen, gewoon een nieuw cluster in plaats van het oude ingezet. Zo maak je nonrespons onmogelijk! In het verleden werd dus nog wel eens gezondigd tegen de steekproefregels en hetzelfde gold voor de berekening van de nonrespons.

Geen ontzag voor de onderzoeker

Maar goed, ondanks het gerommel en dankzij de inzet van veel tijd, geld en inspanning waardoor toch een hoge respons werd gehaald, kan niet ontkend worden dat het vroeger makkelijker was om mensen mee te laten doen aan een onderzoek. Het was gebruikelijker dat mensen aan de deur kwamen, men had meer ontzag voor de overheid en haar onderzoek, en men werd niet iedere avond plat gebeld met aanbiedingen van pensioenen, goedkope elektriciteit en belabonnementen. Geïnterviewd worden was spannend, interessant en nieuw. De respons onder personen uit etnische minderheden was vroeger zelfs hoger dan onder autochtone Nederlanders.

De Leeuw en Hox (1998) verklaren dit met het scarcity principe: hoe vaker een groep gevraagd wordt mee te doen aan een survey, hoe meer het nieuwe er af gaat, en hoe minder vaak ze meedoen. Dit zou mede kunnen verklaren waarom de respons op de European Social Survey in landen die niet of nog maar kort tot de EU behoren, hoog is. Een interviewer is tegenwoordig maar een van de vele personen die iets van je wil weten, en mensen zijn in de loop van de tijd misschien wel makkelijker nee gaan zeggen. Zijn daarom de resultaten van onderzoek minder betrouwbaar geworden? Dat hangt af van de vraag wie er wel en wie er niet meedoet.

Vertekening

Om die reden is de vertekening die ontstaat als gevolg van nonrespons meer in de belangstelling van surveyonderzoekers komen te staan. Die vertekening ontstaat als zieken te ziek zijn om een gezondheidsenquête in te vullen en niet-stemmers niet geïnteresseerd zijn in de politiek en ook niet in een kiezersonderzoek. Of wanneer etnische minderheden onvoldoende Nederlands spreken om een vragenlijst over integratie te kunnen beantwoorden. Uit recent onderzoek (Groves, 2006) is gebleken dat de mate van vertekening niet veel te maken heeft met de hoogte van de respons. Binnen één onderzoek kan de vertekening als gevolg van nonrespons bij de ene variabele ook nog eens veel groter zijn dan bij een andere variabele. Wat betekent dat voor de kwaliteit van surveys en onderzoek naar nonrespons?

In een aantal van de grote Nederlandse surveys kunnen we de respons nu goed in kaart brengen en berekenen en met veel inspanningen op een redelijk niveau houden. De nieuwe uitdaging is de aanpak van de vertekening als gevolg van nonrespons: hoe kunnen we met een niet te verwaarlozen nonrespons toch uitspraken doen over de hele bevolking? Anders gezegd, vergeleken met vroeger is onderzoek naar nonrespons moeilijker, maar ook spannender geworden. Het responspercentage van een onderzoek heeft aan exactheid gewonnen, maar zijn positie als uniek kwaliteitscriterium verloren.