Peer-review versus de idealistische wetenschapper

In april verscheen in het wetenschappelijke tijdschrift Nature een commentaar van de Nederlandse moleculair bioloog Hidde Ploegh, die werkt op het prestigieuze MIT-instituut in Boston. Deze gerenommeerde wetenschapper, die heeft gepubliceerd in de allerbeste tijdschriften, veegde de vloer aan met het huidige algemeen gebruikte systeem van het publiceren van onderzoeksresultaten: peer-review.

Voor de niet-wetenschappers onder de lezers een uitleg over dit systeem (zie ook eerdere artikelen op Sciencepalooza van Pleuni en Tim). Als onderzoeker heb je een idee, je bedenkt slimme experimenten om je hypothese te testen, en na jaren zweten in het lab, door databases graven of patiëntengegevens bekijken heb je genoeg gegevens verzameld. Je schrijft een mooi artikel en stuurt dit op naar een tijdschrift dat past bij jouw vakgebied, maar kijkt ook naar de kwaliteit. Wetenschappelijke tijdschriften worden geclassificeerd aan de hand van impact factors: hoe vaak artikelen uit zo’n tijdschrift geciteerd worden. Overtuigd als je bent van je mooie verhaal kies je een tijdschrift met een hoge impact factor.

Bij dit tijdschrift leest een editor het artikel door (nou ja, de samenvatting) en besluit of het interessant genoeg is. Zo niet, dan krijg je onmiddellijk bericht terug: rejected! Maar ach, je had wat hoog gegokt, dus je stuurt je artikel naar een ander tijdschrift met een iets lagere impact factor. Daar vindt de editor het wel interessant en die stuurt je artikel door naar een paar wetenschappers (de reviewers) uit (ongeveer) hetzelfde vakgebied die je artikel kritisch lezen, kijken of er geen fouten in zitten en die suggesties kunnen doen om het beter te maken (revisions). Vervolgens rapporteren zij aan de editor, die een besluit maakt: accept, reject of accept with revisions. Dit proces heet peer-review, en zo uitgelegd klinkt het als een goed systeem, maar er zitten nogal wat haken en ogen aan. 

Want een reviewer heeft altijd commentaar en stelt altijd extra experimenten voor die gedaan moeten worden om het artikel te kunnen publiceren. En dit is wat Hidde Ploegh hekelt - volgens hem zijn de review-commentaren lang niet altijd relevant, kosten ze de onderzoeker veel tijd en geld en levert het de wetenschap niet eens echt wat op. Maar ja, als je het niet doet, komt je artikel zeker niet in dat tijdschrift... dus schoorvoetend begeef je je weer naar het lab, werk je maanden aan de gesuggereerde experimenten en stuur je de gereviseerde versie op. Met de hoop dat het nu wel goed genoeg is, want zeker is dit niet: soms worden in de volgende ronde wéér experimenten voorgesteld. Dit proces kan zo een jaar duren - en nog steeds is er een kans dat je artikel wordt afgewezen.

De idealistische wetenschapper 

Zijn “we” (als wetenschappers) hier niet een beetje afgeweken van het originele doel van de wetenschap? Wilden we niet graag weten hoe iets werkt? Iets uitvinden, iets ontdekken, iets uitzoeken? Dat was gelukt - maar om het zo hoog mogelijk te kunnen publiceren dansen we naar de pijpen van de reviewers en de editors, en besteden we onze kostbare tijd en geld (van overheidsinstanties en goede-doelenfondsen) aan nutteloze experimenten. Moeten we niet terug naar de basis; vanuit nieuwsgierigheid gedreven iets uitzoeken en dat delen met vakgenoten? In plaats van iets nieuws zo lang mogelijk geheim houden om te voorkomen dat anderen er met dat idee vandoor gaan? Hierdoor creeëren we de mogelijkheid dat meerdere mensen hetzelfde werk doen terwijl er maar één de publicatie in het toptijdschrift kan krijgen. De snelste wint, maar of dit altijd de beste is, valt te betwijfelen.

Herzie het systeem! 

Volgens Hidde Ploegh zouden reviewers bij het voorstellen van experimenten ook moeten kijken naar de kosten die hieraan verbonden zijn en naar de relevantie van de experimenten voor de vergroting van de algemene kennis. De afgelopen jaren verschijnen er tijdschriften, zoals PLoS Currents, waarbij het review-systeem anders is: in principe kan alles gepubliceerd worden, zolang de experimenten maar goed gedaan zijn. Suggesties van de reviewers kún je uitvoeren als je dit wilt, en daarmee later je artikel updaten. Deze PLoS Currents, waarvan er nu vier bestaan, zijn een eerste indicatie dat het ook anders kan.

Zou dit het begin zijn van een nieuwe manier van publiceren, waarbij het delen van gegevens met elkaar, en het vergroten van de kennis over een onderwerp, belangrijker is  dan de impact factor? Zo zou het, volgens mijn idealistische idee van de wetenschap, eigenlijk moeten zijn... 

Dit artikel verscheen oorspronkelijk op Sciencepalooza