Wanneer pleeg je fraude en wanneer maak je een fout? En wat is sloppy science? Kees Schuyt biedt zelfreinigend denkvoer.

Wetenschappelijke kennis lijkt in te boeten aan autoriteit, want een hoogleraar spreekt niet altijd de waarheid. Korte berichten in Spits of Metro werken als snel toegediend dagelijks kennisvergif. En beelden kunnen onzichtbaar voor een kijker bewerkt zijn. Welke kennisproducent kunnen burgers nog vertrouwen? De pers, de anonieme vrijwilligers achter de Wikipedia, of het onderzoeksbureau? Het stempel 'wetenschap' kan een exquise rol spelen, mits wetenschappers afzien van frauduleuze praktijken.
Over gangbare spelregels, recepten en kookpraktijken der wetenschap gaat Tussen fout en fraude (2014) van Kees Schuyt. De metafoor van de kok vindt hij erg toepasselijk: onderzoekers dienen geslaagde recepten op en het publiek verwacht dat de 'opgediende onderzoeksresultaten eenvoudig in orde zijn', schrijft hij. De jurist en socioloog Schuyt analyseert zowel de hoofdgerechten als de selectie van de in de keuken achtergebleven en niet opgediende restjes. Het gaat hem om de spelregels der wetenschap en het verschil tussen slordigheden, fouten en fraude. Zijn boek is gericht tot de academische gemeenschap en relevant voor elke consument van wetenschappelijke kennis.

Dit artikel door Ellie Smolenaars verscheen eerder in Sociologie Magazine 2015, jaargang 1. Niets missen? Word abonnee van Sociologie Magazine!

Fraude-cuisine

Fraude is een vertrouwensdelict met grote gevolgen. Fraude sleept ook de collega's van de fraudeurs mee in hun val en brengt grote schade toe aan de reputatie van de wetenschap. Daarover is Schuyt uitermate helder. Als mede-beoordelaar bij het Landelijk Orgaan Wetenschappelijke Integriteit (LOWI) behandelde hij klachten van 1 mei 2006 tot 1 december 2014. Het LOWI adviseert de besturen van – de vele – aangesloten instellingen, over schendingen van wetenschappelijke integriteit.
In Tussen Fout en Fraude geeft Schuyt zijn persoonlijke opvattingen weer en de lezer merkt al snel dat het onderwerp niet vrolijk of lichtvoetig stemt; het is een gevoelde plicht erover te berichten, omdat integriteit een essentieel bestanddeel is van wetenschap. 'Eerlijkheid als levensader van kennis', noemt hij het. Maar hoe komen onderzoekers tot eerlijkheid? En hoe tot oneerlijkheid?
Dat oneerlijkheid onder onderzoekers voorkomt is inmiddels wel bekend. En het gaat niet om de minsten, want in het rijtje frauduleuze daders en fantasten staan ook gerenommeerden als Darwin en Freud. Dat ook Nederlandse wetenschappers zeer zeker feilbaar zijn, werd openbaar door de onderzoeksjournalistiek van Frank van Kolfschooten in Ontspoorde Wetenschap (2012) en Valse Vooruitgang (1993). Van Kolfschooten hield, net als in 1977 Henk Tromp en Michel Korzec, een enquête onder wetenschappers en volgde daarmee het voorbeeld van het Britse wetenschapsmagazine New Scientist in 1976. Een teken des tijds: wetenschap wordt kritisch gevolgd én door een breder publiek. De doelgroep van de New Scientist bestaat uit 'al die mannen en vrouwen die zijn geïnteresseerd in wetenschappelijke ontdekkingen, en haar industriële, commerciële en sociale gevolgen'.

De rat en de stift

In de sociale wetenchappen zijn Stapel, Bax en Diekstra de namen die bekend raakten bij een breed publiek. Wetenschapsfraude bleek veel verder te gaan dan plagiaat, een experiment of veldwerk kon ook in zijn geheel verzonnen zijn. Met fraude vastgesteld in 55 publicaties steeg Stapel tot stardom-hoogte; hij kreeg uitgebreid ruimte zijn verhaal te doen in internationale media en schreef zelf een bekentenisboek. Held, antiheld, slachtoffer en boetedoener; anno 2015 ontbreekt eigenlijk alleen de filmblockbuster nog.
In Tussen fout en fraude springt Kees Schuyt zuinig om met anekdotes en nergens zoomt hij al te diep in op namen en cases. Daardoor ontsnapt hij aan opgeklopte dramatiek en dat geeft zijn analyses extra zeggingskracht. Het probleem is alleen dat sommige fraudegevallen tot de verbeelding spreken. Neem het kleurrijke voorbeeld van de rat en de stift dat Schuyt ontleent aan de literatuur. Waar gebeurd: de huidtransplantatie-specialist Summerlin bekleurde in 1974 zijn proefratten met viltstift!
Ratten bekleuren is een casus van echte vervalsing. En vervalsing is een van de grote drie fraude-handelingen in de internationale literatuur, afgekort als FFP. FFP staat voor Fabrication, Falsification en Plagiarism. Vertaald met fabuleren, falsificatie en plagiaat. Nog wat meer 'vernederlandst': verzinnen, vervalsen en overschrijven. Verzinnen, dat deed de antropoloog Bax met zijn niet bestaande veldwerk. Plagiaat, ofwel overschrijven, ofwel digitaal overschrijven, deed hij in de praktijk van het copy-pasten, het simpelweg overnemen van stukken zonder correcte bronvermelding.
Het fraude-trio FFP is naar de academische mores altijd te veroordelen. Wat niet wil zeggen dat het eenvoudig is te herkennen. Onder vervalsen bijvoorbeeld valt het opzettelijk fout coderen van interviewgegevens. Om dit te bewijzen moet er controle plaatsvinden van het invoeren en coderen van data en dat is achteraf een niet eenvoudige, vaak zelfs onmogelijke zaak.
En is bijvoorbeeld plagiaat, en zeker zelfplagiaat, altijd zwaar te veroordelen? Schuyt gebruikt de term cryptomnesia. Dit is het fenomeen waarbij je denkt dat je iets zelf hebt bedacht, terwijl het in je geheugen blijkt te zijn gekomen via werk dat je eerder las, hoorde of zag. Het kan zelfs voorkomen dat je het zelf al eerder had opgeschreven. In dat geval past de handeling waarschijnlijk in de categorie zelfplagiaat: self-cryptomnesia.

Datamassage

Lastiger nog dan de FFP-fraude is het schemergebied van de datamassage, met fouten van een tweede, moeilijk controleerbare categorie; een categorie die volgens Schuyt vermoedelijk veel vaker voorkomt. Het gaat nu om het kerntrio: Cooking, Trimming en Fudging. Cooking is het selectief opdienen van data, bijvoorbeeld gewone observaties behandelen als iets zeer nauwkeurigs en bijzonders. Uit veel observaties selecteert de onderzoeker vervolgens die observaties die passen bij de eigen redenering. Trimming is het bijsnijden van onderzoeksresultaten, bijvoorbeeld het categoriseren van scores en daarbij de extreem hoge scores en/of de extreem lage scores eruit te laten. Fudging, letterlijk vertaald knoeien of in elkaar flansen, is de dataset mooier voor te stellen, door bijvoorbeeld niet-passende gegevens weg te laten.
En dan zijn er nog de slordigheden. Dat zijn de fouten van de derde categorie en die behoren tot de sloppy science. Het is belangrijk om onderscheid te maken tussen fouten en fraude. Immers: het maakt nogal wat verschil of je in de wetenschapskeuken per ongeluk uitschiet met het stijfsel door de slagroom, of dat je met opzet veel stijfsel toevoegt voor een strak, maar niet te pruimen eindresultaat. De onderzoeksrapporten die volgden op de affaires Bax en Stapel, aldus Schuyt, waren te onduidelijk in hun scheiding tussen slordige wetenschap enerzijds, en de schending van integriteit met ongeoorloofde datamassage en fraude anderzijds. Die lijn kun je niet helder genoeg trekken.

Hongerige consumenten

Blijven die spannende vragen opspelen: waarom fraude en wat doen we eraan? Schuyt onderscheidt vier clusters van factoren die frauduleus gedrag veroorzaken: misplaatste ambitie of 'overambitie'; te geringe supervisie; gebrekkige controle; en het negeren van vroege signalen van afwijkend gedrag. Opvallend nu is dat het gedrag vaak draait om de basiselementen van wetenschap die niet goed worden uitgevoerd, zoals onvoldoende checks van metingen, of geen replicatie. Mede als gevolg van schandalen krijgt replicatie wel meer aandacht, bijvoorbeeld in The Reproducibility Project: Psychology. Daniel Lakens van de TU Eindhoven is een van de participanten en voert een interessant blog. Lakens toont zich ook voorstander van het bij publicaties openbaren en ter beschikking stellen van het data-bestand. Het past bij de trend van het aanbieden van data-bestanden aan onderzoekers.
Het meest vergaande voorstel van Schuyt sluit hier naadloos bij aan: het openbreken van het anonieme referee-proces. In een open systeem zijn ook het commentaar en de naam van de reviewer bekend. De discussie is nu geheel open en geschiedt met naam en toenaam; onderzoekers en het publiek kunnen een artikel met alle versies en verbeteringen lezen. De vraag is: gaat opener wetenschap werkelijk de vertrouwenskloof dichten tussen de hongerige consumenten van wetenschappelijke kennis en de wetenschap?
Een prettig relativerend artikel over transparantie schreef de socioloog Amitai Etzioni. In Is Transparency the Best Disinfectant? (verschenen in Journal of Political Philosophy in 2010) betoogt hij dat transparantie eigenlijk gewoon een vorm van regulering is met andere middelen: zodra verplicht, is het ook een controle-vorm. Of transparantie beter werkt dan meer controle via professionials is echter nog niet empirisch vastgesteld. Alles transparant maken garandeert bovendien niet dat de data ook gecontroleerd worden, want als artikelen al weinig gelezen worden, zou dan een 'super-openbaarheidsregime' ineens wel het verschil maken?
Integriteit kon wel eens belangrijker zijn. Dat Kees Schuyt daar de nadruk op legt heeft al iets eerlijks: je vertrouwt op de mogelijkheid van de gemeenschap om onderling basisrecepten en kookpraktijken af te spreken. Kun je integriteit leren? Volgens Schuyt is de beste leermeester nog altijd de ervaring en het goede voorbeeld van de voorgangers. Er zou beter 'integriteits-onderwijs' in de PhD-fase moeten komen en het US-Amerikaanse On being a scientist van de National Academy of Sciences zou verplichte literatuur moeten worden. En Schuyt schaart zich achter een onderzoekerseed a la de afgelegde eed van Hippocrates door medici.

Verloren onschuld

De toekomst is een krampachtige. Ook de restjes uit de keuken van de wetenschap liggen op straat en wie zoekt zal schimmels vinden. Dit produceert ook meer wantrouwen. Christian Arnig is PhD-ghostwriter en schrijft vier proefschriften per jaar. Wie gaat dat controleren?
Tussen fout en fraude geeft gelukkig veel stof ter navolging: een sterke beroepsgroep met een betere organisatie van het vertrouwen, inclusief de bijbehorende normatief-juridische controle waarin wetenschappers andere wetenschappers controleren. Toegevoegd: enige actieve 'waakhonden der democratie' van het kaliber van onderzoeksjournalist Van Kolfschooten lijken ook bepaald niet overbodig voor burgers die zuchten onder het gevoel in een propaganda-dictatuur te leven. Dat gevoel ontstaat na van kindsbeen af aan te zijn blootgesteld aan commercieel geïnspireerde werkelijkheden.
Is onderzoek nog leuk? En mag een kopstuk, zoals onlangs Zygmunt Bauman, ongehoorzaam zijn en in opstand komen tegen de 'technische regels' der literatuurverwijzingen? Zet je alle fouten, onnauwkeurigheden en fraudes op een rij, krijg je onbedoeld ook het gevoel een receptenwiki met kook-bloopers te lezen. Ook wetenschappers maken gewoon fouten. Dat moet ook mogen en dat is zelfs de bedoeling, omdat wetenschap op die manier juist verder komt. Door vallen en opstaan, door tegenstellingen, door conflict, door waarheid naast waarheid, door debat.
Het droomscenario, tevens de nachtmerrie, is een enorme open-access-kenniskeuken. Af en toe dient de kok een bestseller-onderzoek op, dan is er weer sprake van fraude-cuisine. En daarachter, in die open kenniskeuken, liggen veel waanzinnig uitgebreide en saaie artikelen, met om de zin een referentie, inclusief data-bestanden en literatuurlijsten vol eigen publicaties. 'Te veel nadruk op integriteit en moreel kan gaan tegenstaan', schrijft Kees Schuyt. En daarbij pleit hij voor het goede midden, tussen de extremen. Het midden tussen 'pathologische smetvrees' en 'de lust om anderen te bedriegen'.

Dit artikel door Ellie Smolenaars verscheen eerder in Sociologie Magazine 2015, jaargang 1. Niets missen? Word abonnee van Sociologie Magazine!

Literatuur

• Tussen fout en fraude. Integriteit en oneerlijk gedrag in het wetenschappelijk onderzoek. Kees Schuyt (2014) Leiden: University Press.
• On being a scientist. A Guide to Responsible Conduct in Research. Seventh edition (2012) Washington: DC National Academy of Sciences.