Universiteiten en andere onderzoeksinstituten leggen de wetenschappelijke productie van hun medewerkers langs de meetlat. Publish or perish, is
de boodschap. Publiceer of panikeer, anders verlies je kostbare onderzoekstijd, onderzoeksmiddelen, of zelfs je job als onderzoeker.

Vertrouwen is goed, controle is beter. Dat lijkt in toenemende mate de sfeer onder de werkgevers die toezien op de output van wetenschappelijke onderzoekers. Een
decennium terug was het nog mogelijk om jarenlang op een plek te zitten zonder dat nu precies duidelijk was wat aan onderzoek werd gepresteerd. Nu ligt dat anders: er
wordt gemeten. Maar de werkgevers van de autonome beroepsgroep der wetenschappelijk onderzoekers staan voor een moeilijke kwestie. Meten is weten. Maar hoe meet je precies wetenschappelijke productie?

Bibliometrie -het meten van publicaties- is op dit moment wellicht het beste middel om onderzoekers op min of meer objectieve basis te beoordelen. Een uitgebreide inhoudelijke evalutie door peers of experts is niet altijd mogelijk. Verder vraagt een vergelijking van individuen of groepen om criteria die ook voor buitenstaanders in het vakgebied te begrijpen zijn. Dan kom je al snel uit bij het opstellen van een rangorde van tijdschriften en het tellen van het aantal publicaties en citaties in die tijdschriften. De meest gebruikte rangorde is de Social Sciences Citation Index (SSCI). De SSCI maakt een volledige index van 1725 tijdschriften in sociaal-wetenschappelijke disciplines (waarvan
een honderdtal in de sociologie) en neemt daarnaast ook relevante bijdragen in andere wetenschappelijke tijdschriften op. De SSCI geeft eveneens informatie over waar
en hoe vaak een auteur of een artikel geciteerd wordt in de wetenschappelijke literatuur. Hoe gaat de wetenschappelijke wereld in Vlaanderen en Nederland om met dit
soort informatie?

Nederlandse toestanden?

De Nederlandse werkgever is iets verder met de doorvoering van productie-eisen dan zijn Vlaamse collega. In Vlaanderen wordt hier en daar zelfs gesproken van ‘Nederlandse toestanden’ om de toegenomen meetpraktijk aan te duiden. Formele metingen van onderzoeksoutput bepalen in Vlaanderen (nog) niet de aanstelling van onderzoekers. Er wordt gewerkt met een geheel van criteria waarin (internationale, gerefereede) publicaties een belangrijke plaats hebben. Maar publicaties worden niet strikt gemeten en gevolgd, eerder ‘ingeschat’. Andere criteria die meespelen zijn bijvoorbeeld het aantrekken en leiden van onderzoek, het begeleiden van doctorale proefschriften, lidmaatschappen (van redacties, evaluatiecommissies, …) en presentaties op congressen.
In de Nederlandse praktijk zijn de vrijheidsgraden beperkt. Onder druk van de visitatiecommissies kiezen sociologische onderzoeksinstituten zonder uitzondering
voor het primaat van het Engelstalige artikel in een internationaal erkend tijdschrift. Eén artikel per jaar als minimum is de constante in de gestelde eisen. Alleen aan de VU Amsterdam is men soepeler en komt men nog weg met één Engelstalige, gerefereede publicatie in drie jaar. Overigens wegen de onderzoeksscholen ASSR en ICS ook andere bijdragen uitdrukkelijk mee in hun eindoordeel, zoals de begeleiding van promovendi en het werven van veelbelovende promovendi. De VU Amsterdam weegt onder andere (inter)nationale zichtbaarheid mee. Elk instituut telt anders. Ter illustratie hebben we de
relatieve waarde van Engelstalige en Nederlandstalige gerefereede artikelen en van gerefereede hoofdstukken in een Engelstalig boek voor een aantal onderzoeksinstituten
en universiteiten op een rijtje gezet (zie tabel). Een Nederlandstalig artikel blijkt gemiddeld genomen zowat de helft waard van een Engelstalig. Ook wat betreft het
aantal vereiste artikelen zijn de eisen gemiddeld hoger waar het gaat om Engelstalige publicaties. In de meeste ondervraagde Nederlandse instituten zijn de eisen in het algemeen hard te noemen en de consequenties heel concreet. Minder dan het minimum
halen, betekent in het minst erge geval minder (onderzoeks-) middelen krijgen, maar kan leiden tot ontslag -of eufemistisch- ‘niet opname in het instituut’. Zover komt het zelden. Er zijn de nodige tussenstappen in de vorm van gesprekken tussen stafl id en directie over het functioneren. Na herhaaldelijke negatieve beoordeling en onvoldoende remediërende initiatieven komen de ‘harde’ maatregelen in het vizier. In de Vlaamse instituten worden de eisen in de praktijk minder hard geformuleerd.

Prestatiedruk en conformisme

Is de universitaire sociaalwetenschappelijke wereld met de harde eisen wellicht doorgeslagen? Of zijn het de precieze tellingen die hun tol vergen? De prikklok in de fabriekshal lijkt een zacht drukmiddel vergeleken met het puntenklassement. De algemene trend, ook in buitenuniversitaire arbeidsorganisaties, is dat sneller en
concreter wordt afgerekend. Maar als zoals in Tilburg de toptien van wetenschappers wordt gepubliceerd, worden druk om te presteren en zich te conformeren aan het
puntensysteem groot. Waarom zou je nog publiceren bij uitgever X, als publiceren bij uitgever Y meer punten oplevert? Waarom nog publiceren in tijdschriften die
niet meetellen in internationale rankings? Het roept de vraag op of bibliometrie wel zo geschikt is om het uiteindelijke doel te verwezenlijken. Dat doel –de kwaliteit van het onderzoek meten– wordt volgens velen met de huidige manier van meten niet bereikt,
althans niet voor de humane wetenschappen. Daarvoor houdt de meting te weinig rekening met de diversiteit van de onderzoeksdomeinen in deze wetenschapstak en
is ze te veel gericht op in de Verenigde Staten ontwikkelde instrumenten. Het gevolg is een sterke nadruk op Engelstalige, Amerikaanse tijdschriften. Een tegenbeweging is ingezet door de European Science Foundation (ESF). Deze stichting gaf de opdracht een
Europese citatie-index op te stellen. In Nederland en Vlaanderen besloten de wetenschappelijke academies (respectievelijk KNAW en KVAB) dat de huidige bibliometrie
geen goed beleidsinstrument is om de kwaliteit van het onderzoek in de humane wetenschappen te meten en dat een breder en meer gedifferentieerd meetmodel
wenselijk is. De situatie is dus dubbel. Er ligt een wens voor een ander systeem. Maar intussen draaien de onderzoeksinstituten mee in bestaande systemen. Is het tijd dat de
instituten een verandering in gang zetten? Zolang er geen nieuw meetmodel is, blijven de negatieve gevolgen van het huidige model doorwerken. Een belangrijk neveneffect is ook het nauwelijks meer publiceren in Nederlandstalige tijdschriften.

Ruimere prestatiematrix

Opvallend is dat er toch een grote consensus bestaat over wanneer een wetenschapper productief is. Hoewel de precieze waardering van een en ander verschilt van instituut tot instituut, zijn de basiscategorieën dezelfde. Zou het dan niet beter zijn om tot één systeem te komen? Want nu vindt elk instituut voor zich telkens opnieuw het wiel uit.
Dé fundamentele vraag blijft hoe ver men kan gaan met controleren. Het meten van onderzoeksoutput kan een middel zijn om onderzoekers aan te zetten zich op
het internationale wetenschappelijke podium te tonen. Daarnaast slaagt het systeem erin om wanpresteerders te identifi ceren. Maar als het erom gaat om onderzoeksgroepen
en -instituten in hun geheel beter te doen functioneren en presteren, volstaat een puntenklassement alleen op basis van publicaties niet. Het leidt zelfs tot verschraling, omdat onderzoekers zich richten op beperkte criteria, waarbij zij andere, voor een instituut evenzeer belangrijke elementen verwaarlozen (zoals ‘passen’ in het instituut, meedraaien in bestuurlijke aangelegenheden, opleiden van jonge onderzoekers). Een
ruimere prestatiematrix en de evaluatie ervan kunnen enkel in een context van vertrouwen tot goed gevolg leiden. Controle is goed, vertrouwen is beter. 

Noot

Dit artikel kwam tot stand met medewerking van (in alfabetische volgorde): Jaak Billiet (KU Leuven); Rie Bosman (ICS/RUG/UU/RU); Guido Dierickx (UA); Caroline Gijselinckx (HIVA); Dick Houtman (EUR); Matthijs Kalmijn (UvT); Hans Sonneveld (ASSR/UvA/EUR); Theo van Tilburg (VU); Wout Ultee (NISCO/RUN); Stefaan Walgraeve (UA).

Literatuur

ESF (2006), European Reference Index for the Humanities. European Science Foundation (http://www.esf.org). KNAW (2003), Nederlands, tenzij… Tweetaligheid in de geestesen de gedrags- en maatschappijwetenschappen. Amsterdam: Koninklijke Nederlandse Akademie van Wetenschappen. KNAW (2005), Judging Research on its Merits. Amsterdam: Royal Academy of Arts and Sciences. KVAB (2004), Bibliometrie in de Humane Wetenschappen. Brussel: Koninklijke Vlaamse Academie van België voor Wetenschappen en Kunsten.