Survey-onderzoek is binnen de hedendaagse Nederlandse sociologie een zeer belangrijke onderzoeksmethode - zo niet dé belangrijkste. Dick Houtman en Peter Achterberg zijn echter kritisch over zijn mogelijkheden. In deze en de volgende aflevering zullen zij enkele van hun kritiekpunten uiteenzetten.

Door Peter Achterberg en Dick Houtman

‘Aan namen heb ik niks. Rugnummers moet ik hebben’. Het is 23 mei 1958 en de licht panikerende sportcommentator Barend Barendse reageert tijdens een wielerwedstrijd op de melding in zijn koptelefoon dat Pierre Pflimlin is gevallen – geen renner, maar de premier van Frankrijk. Destijds was Gadoureks A Dutch Community (1956) nog maar net verschenen, maar inmiddels hebben ook Nederlandse sociologen steeds minder belangstelling voor namen gekregen. Rugnummers moeten ze hebben. Of liever, respondentnummers.

Nu bijna heel sociologisch Nederland zich aan het survey heeft uitgeleverd, lijken velen zich nauwelijks nog bewust van de beperkingen. Juist voor datgene waarmee velen het bij uitstek associëren – het onderzoeken van de verspreidingsgraad van verschijnselen enerzijds (ons onderwerp in deze aflevering van Sociologie Magazine) en van relaties tussen variabelen anderzijds (ons onderwerp in de volgende aflevering) – wordt de bruikbaarheid schromelijk overschat. Er zijn dan ook goede redenen om eens wat vaker ‘nee’ te zeggen tegen een survey en een alternatief onderzoeksontwerp te overwegen.

Het netjes verzuilde Nederland van weleer was natuurlijk de natte droom voor iedere survey-onderzoeker, maar inmiddels is de wereld drastisch veranderd. Zelfs het simpele ‘tellen der neuzen’ is lastig geworden nu in het ontzuilde Nederland culturele discoursen steeds meer los zijn komen te staan van de vertrouwde institutionele kaders. De volle kerken van weleer hebben plaatsgemaakt voor een massa die naar eigen zeggen ‘niet religieus, maar wel spiritueel’ is en veel trouwe kiezers en niet-stemmers van weleer legen inmiddels wellustig scheldend en mopperend hun populistische onderbuik op het internet. Dergelijke discoursen zijn inmiddels belangrijker geworden dan het type institutionele verbintenissen waarop zovelen zich nog steeds blind staren (‘Wie is lid van wat?’, ‘Wie stemt op wie?’) en wie daaraan als socioloog geen methodologische consequenties verbindt, dreigt het contact met de maatschappelijke werkelijkheid te verliezen.

Omdat discoursen geen leden of kiezers hebben die zich eenvoudigweg laten tellen, is het niet mogelijk om te achterhalen hoeveel ‘nieuwe spirituelen’ of ‘populisten’ er in Nederland eigenlijk zijn. En uiteraard: wanneer men niet blind wil varen op dergelijke verbintenissen met vaak onduidelijke duurzaamheid en onbekende betekenis en saillantie voor de betrokkenen, dan bestaat dit probleem bij het tellen van ‘liberalen’, ‘socialisten’ of ‘christenen’ evenzeer. Als men met dergelijke grove indicatoren geen genoegen wil nemen, of wanneer ‘turfbare’ verbintenissen zelfs geheel ontbreken, dan moet men in survey-onderzoek de affiniteit met culturele discoursen gaan vaststellen door respondenten scores toe te kennen op basis van antwoorden op series uitspraken van het Likert-type. Met de resulterende schaalscores kan men statistisch van alles doen, maar neuzen vallen er niet mee te tellen.

Een van ons licht in zijn onderwijs voor eerstejaarsstudenten dit methodologische probleem regelmatig toe aan de hand van het volgende eenvoudige voorbeeld. Stel dat wij willen vaststellen hoeveel gemotiveerde sociologiestudenten er zijn c.q. hoe gemotiveerd dan wel ongemotiveerd sociologiestudenten gemiddeld genomen zijn. Dit onderzoeken sociologen meestal door een serie Likert-items te formuleren, in dit geval bijvoorbeeld ‘Sociologie studeren doe ik voor mijn lol’, ‘Het is dat ik er later een goede baan mee krijg, anders was ik al lang met Sociologie gekapt’, ‘Ik studeer liever dan dat ik niks doe’, of ‘Zonder mijn studie Sociologie heeft mijn leven weinig zin’. Omdat het zowel logisch als praktisch onmogelijk is om alle denkbare items te laten beoordelen, legt men er in survey-onderzoek altijd slechts een handvol voor. In dit geval zijn het er zes.

Na de dataverzameling kunnen wij voor elk van de items het percentage met een ‘gemotiveerde’ dan wel ‘ongemotiveerde’ houding bepalen, waarbij de proportie ‘positieve’ antwoorden uiteraard varieert tussen de items (de zogenoemde ‘moeilijkheidsgraad’ of ‘difficulty’). Hier is het item met het hoogste percentage gemotiveerde studenten ‘Ik studeer liever dan dat ik niks doe’ (85%) en dat met het laagste ‘Zonder mijn studie Sociologie heeft mijn leven weinig zin’ (2%). Vervolgens kunnen wij de samenhangen tussen de antwoorden berekenen. Die zijn aanzienlijk, want degenen die het eens zijn met de stelling dat zij voor hun lol sociologie studeren, zullen het natuurlijk ook vaker dan de anderen eens zijn met bijvoorbeeld de stelling dat zij liever studeren dan niks doen. Deze aanzienlijke samenhangen impliceren dat men ze kan combineren tot een betrouwbare schaal. Deze schaal meet dan naar wij aannemen (dit blijft immers een kwestie van interpretatie) iets als een onderliggende dimensie ‘studiemotivatie’.

Kiezen wij niet deze zes, maar zes andere items, dan hangen ook die flink met elkaar samen en correleren beide alternatieve schalen bovendien sterk met elkaar. Dit laatste geldt zelfs wanneer wij in het geval van deelschaal A kiezen voor items die minder dan 30% ‘gemotiveerde studenten’ opleveren en bij deelschaal B voor items die resulteren in meer dan 70% ‘gemotiveerde studenten’. Twee schalen die dezelfde onderliggende dimensie meten, en die als zodanig grosso modo dezelfde samenhangen opleveren met derde variabelen, kunnen kortom sterk uiteenlopende antwoorden verschaffen op de vraag hoe wijd verspreid het gemeten verschijnsel is. Daarom tenslotte de huiskamervraag: hoeveel procent van de studenten in het voorbeeld is ‘gemotiveerd’? Er zijn vier antwoordmogelijkheden: A. Minder dan 30% (het antwoord op basis van deelschaal A); B. Meer dan 70% (het antwoord op basis van deelschaal B); C. De waarheid ligt, zoals zo vaak, netjes in het midden, dus een procentje of 50; D. Dit soort vragen kan men met survey-onderzoek helemaal niet beantwoorden. Wie kan bewijzen dat het juiste antwoord A, B of C is, mag bij ons een slagroomtaart komen afhalen.

In een samenleving waarin culturele discoursen steeds meer los zijn komen te staan van min of meer stabiele institutionele verbintenissen is lekker neuzen tellen op basis van survey-onderzoek er kortom niet meer bij. Wat ons betreft is dat een goede reden om eens wat vaker ‘nee’ te zeggen tegen een survey. Gewoon omdat het niet kan. Maar, zo horen wij onze lezers vragen, echte sociologische onderzoekers houden zich sinds Gadourek (1956) toch zelden of nooit meer bezig met dit soort neuzentellerij? Dat laten zij toch liever over aan Maurice de Hond en consorten? Dat is inderdaad waar, maar ook aan het doen van uitspraken over relaties tussen variabelen kleven grote, weinig onderkende problemen.

Daarover de volgende keer meer in het tweede deel van Zeg eens ‘nee’ tegen een survey: Lekker rotzooien met relaties tussen variabelen. Wil je dit artikel niet missen? Neem dan een abonnement.

Peter Achterberg en Dick Houtman zijn als universitair hoofddocent respectievelijk hoogleraar Cultuursociologie verbonden aan het Centre for Rotterdam Cultural Sociology (CROCUS).

Wil je reageren op dit artikel? Mail naar de redactie.