NRT-recensie: Je reinste wetenschap
Slankmakende chocola, de voorspellende waarde van je vingerverhoudingen, toevalligheden aanzien voor trends: in 'Je reinste wetenschap' legt Hans van Maanen de vinger op zwakke plek van allerlei wetenschappelijk onderzoek.
Wetenschapsjournalist Hans van Maanen schrijft sinds 2003 de columnreeks ‘twijfel’ in de Volkskrant, waarin hij wetenschappelijk onderzoek beschrijft dat slecht is uitgevoerd, eigenlijk geen resultaat heeft opgeleverd, of door persvoorlichters veel mooier gemaakt wordt dan het eigenlijk is. Naast het recente geval Diederik Stapel, die met zijn nep-onderzoek de wetenschap en de media jarenlang voor de gek hield, zijn er nog veel meer voorbeelden van slecht onderzoek. Hans van Maanen maakt er werk van: hij zoekt de originele publicaties erbij, rekent de sommetjes na en houdt tabellen en grafieken scherp tegen het licht. En komt zo vaak tot héél andere conclusies dan persvoorlichters van universiteiten en andere wetenschapsjournalisten.
Door zijn columns in de Volkrant is een 'Hans-van-Maanentje' in de journalistiek een eufemisme geworden voor onderzoek dat slecht is of te mooi om waar te zijn. In 39 columns, waarvan er een aantal eerder in de Volkskrant verschenen, kijkt Van Maanen naar onderzoek over dierenmishandeling, de frequentie van ongelukken bij regen, middagdutjes, het verband tussen baby’s en ooievaars, vrouwentranen, diëten, orgaandonaties, tandenpoetsen en de wijs-ringvinger-verhouding. Waarbij we meestal leren dat conclusies niet altijd zo duidelijk zijn ze als in de media worden weergegeven.
Chocolade-onzin
Om de inhoud van het boek niet weg te geven, een voorbeeld dat na het verschijnen van het boek in de Volkskrant stond. De University of San Diego verstuurde in maart een persbericht met de titel 'Regular chocolate eaters are thinner'. Daar hadden (wetenschaps) journalisten in landen waar chocola en obesitas volop aanwezig zijn wel oor naar. Het persbericht werd in talloze media aangehaald – op de ene plek wat subtieler dan op de andere - en op twitter stond het dagenlang bol de blije vrouwen.
Om de inhoud van het boek niet weg te geven, een voorbeeld dat na het verschijnen van het boek in de Volkskrant stond. De University of San Diego verstuurde in maart een persbericht met de titel 'Regular chocolate eaters are thinner'. Daar hadden (wetenschaps) journalisten in landen waar chocola en obesitas volop aanwezig zijn wel oor naar. Het persbericht werd in talloze media aangehaald – op de ene plek wat subtieler dan op de andere - en op twitter stond het dagenlang bol de blije vrouwen.
Maar de werkelijkheid – doorgelicht door een Amerikaanse arts en blogger die vond dat er een (chocolade)geurtje aan het onderzoek zat – was anders. Het ging om te dikke mensen, waarvan gevraagd werd hoeveel van bepaalde voedingsmiddelen, waaronder chocola, ze consumeerden. Ook werden BMI en lichamelijke activiteit gemeten, daar werd wat statistiek op lostgelaten, en dat was alles. Ook Hans van Maanen schreef in de Volkskrant dat het ‘onderzoek dunner was dan de chocolade-eters’. Maar waarschijnlijk heeft alle media-aandacht al zoveel impact gehad dat de terechtwijzingen van Hans van Maanen niet meer konden voorkomen dat men zich massaal op chocola stortte.
Dit soort onderzoek, waarvan de lezer de resultaten op zichzelf kan ‘toepassen’ wordt snel opgepikt door journalisten. Maar ook persvoorlichters en wetenschappers weten dat ze met een leuke, herkenbare conclusie een grotere kans hebben om het nieuws te halen. Het boek is een heerlijke bloemlezing van dit soort onderzoek.
Getallen en statistiek
Veelal draait om het (verkeerd) interpreteren van getallen en statistiek. Zo leren we dat de ring-wijsvinger-verhouding (WRV) die gekoppeld is aan een keur van eigenschappen zoals academische prestaties, mondkanker, roeiprestaties of een aantrekkelijk gelaat, en bij mannen onder invloed staat van testosteron, gewoon heel variabel is. Want, zo rekent Van Maanen voor, de variatie in de WRV tussen de verschillende studies is veel groter dan de verschillen van WRV die binnen één studie als ‘significant verschillend’ werden gezien.
Veelal draait om het (verkeerd) interpreteren van getallen en statistiek. Zo leren we dat de ring-wijsvinger-verhouding (WRV) die gekoppeld is aan een keur van eigenschappen zoals academische prestaties, mondkanker, roeiprestaties of een aantrekkelijk gelaat, en bij mannen onder invloed staat van testosteron, gewoon heel variabel is. Want, zo rekent Van Maanen voor, de variatie in de WRV tussen de verschillende studies is veel groter dan de verschillen van WRV die binnen één studie als ‘significant verschillend’ werden gezien.
Ook leert Van Maanen ons het verschil tussen clusters van gebeurtenissen en een trend: als je met een gewone dobbelsteen vier keer achter elkaar zes gooit, is dat geen trend; wanneer je vaak genoeg blijft gooien zal het gemiddelde toch uitkomen op 3,5. Dat er binnen één jaar twee keer een “familiedrama” voorkomt in een stad, is dus geen trend die veroorzaakt wordt door kopieergedrag, maar gewoon ongelukkig toeval. Net zomin als het meer voorkomen van ooievaars in een stad verband houdt met meer geboortes.
Vaak gaat het ook mis met verhoogde of verlaagde kansen op ziektes en genezing. Als de kans op genezing 0,1% is (dus één op de 1000 personen geneest), en een interventie deze kans verhoogt naar 0,2%, genezen nog steeds maar heel weinig mensen. De káns op genezing wordt echter maar liefst twee keer zo groot. Dat is dan ook de titel van het persbericht, en de dikke krantenkop, en dat is wat mensen zullen onthouden.
Belangrijke conclusies
Hiernaast worden in het boek belangrijke wetenschappelijke conclusies onder de loep genomen. We leren dat mensen die met pensioen gaan, minder vaak naar hun werk fietsen; dat saaie scholen leiden tot meer cannabisgebruik; en dat het écht niet uitmaakt of een zwangere vrouw op haar linker- of rechterzij slaapt. Met prachtige oneliners maakt van Maanen gehakt van zulke conclusies. Zo schrijft hij dat ‘hartinfarcten meer voorkomen in een groep mannen met grijze haren dan in een groep mannen met zwarte haren’ (als je de onderzoeksgroepen goed kiest krijg je altijd wel een verschil). En met de uitspraak ‘de conclusie valt toch wel te trekken dat er geen conclusie te trekken valt’ weet je als lezer dat het écht niet pluis is.
Hiernaast worden in het boek belangrijke wetenschappelijke conclusies onder de loep genomen. We leren dat mensen die met pensioen gaan, minder vaak naar hun werk fietsen; dat saaie scholen leiden tot meer cannabisgebruik; en dat het écht niet uitmaakt of een zwangere vrouw op haar linker- of rechterzij slaapt. Met prachtige oneliners maakt van Maanen gehakt van zulke conclusies. Zo schrijft hij dat ‘hartinfarcten meer voorkomen in een groep mannen met grijze haren dan in een groep mannen met zwarte haren’ (als je de onderzoeksgroepen goed kiest krijg je altijd wel een verschil). En met de uitspraak ‘de conclusie valt toch wel te trekken dat er geen conclusie te trekken valt’ weet je als lezer dat het écht niet pluis is.
De boosdoeners, volgens van Maanen, zijn er meerdere: onderzoekers zelf, die graag resultaten willen, persvoorlichters, die hun eigen universiteit in het nieuws willen brengen en journalisten die hun werk niet goed doen. Op dat laatste zul je Van Maanen niet makkelijk betrappen: een groot deel van het boek bestaat uit verantwoording van alles wat hij schrijft.
De take-home-message van het boek is dat ‘gewaarschuwd voor waarschuwingen een mens voor vier telt’. Kortom: als onderzoek te mooi lijkt om waar te zijn, dan is het dat vaak ook. Een zeer vermakelijk boek, waar je veel van kunt leren, waarin helaas wetenschappers en persvoorlichters er niet al te goed vanaf komen, en waarin Van Maanen concludeert dat wetenschapsjournalistiek het mooiste vak ter wereld is, als je het tenminste goed doet. En daar ben ik het helemaal mee eens.
---------
Titel: Je reinste wetenschap - Over gezondheid, veiligheid en andere onzin
Auteur: Hans van Maanen
Uitgeverij: Contact, 2012
paperback, 216 pagina's, 16,95 euro
ISBN: 9789025438586
Auteur: Hans van Maanen
Uitgeverij: Contact, 2012
paperback, 216 pagina's, 16,95 euro
ISBN: 9789025438586
Geen opmerkingen:
Een reactie posten