Mensen aan alle kanten van de recente push voor directe replicatie – een push die ik zowel charmant als naïef vind – zijn boos. Vorige week op de APS (de Association for Psychological Science 2014 annual meeting) hoorde ik collega’s – vaak persoonlijke vrienden – gekarakteriseerd worden als ofwel methodologische simpletons ofwel ondoorgrondelijke bullebakken. Het is triest, niet in het minst omdat alle betrokkenen collegiaal, grappig en redelijk zijn in persoon. Voor zover ik weet hebben de meest zichtbare voorstanders van directe replicatie een respectabel genuanceerde kijk op waarom replicaties kunnen mislukken, dat wil zeggen om allerlei redenen. Aan de andere kant, wie denkt er niet “slecht onderzoek” wanneer een bevinding blijkbaar niet gerepliceerd kan worden? En waarom is dat?
Ik denk dat de psychologie lijdt aan een attitude probleem-een ontluikende trend die ik Negatieve Psychologie noem. Net zoals de positieve psychologie de overtuiging impliceert dat concentratie op sterke punten en deugden het welzijn zal vergroten, impliceert de negatieve psychologie de overtuiging dat meer wantrouwen en achterdocht de wetenschappelijke vooruitgang zullen bevorderen, een perspectief waar ik het volstrekt niet mee eens ben. Maar negatieve psychologie omvat ook de reeks gedragingen – publiekelijk belachelijk maken en aan de schandpaal nagelen, morele verontwaardiging, onhandige humor – die het internet de neiging heeft aan te moedigen. De belangrijkste voorstanders van negatieve psychologie zijn methodologen met wie ik een sterke professionele affiniteit voel. Ik ga nu al bijna twee decennia om met methodologen, en hoewel negatieve psychologie altijd al een kenmerk van mijn clan is geweest, maakt het internet – en met name de sociale media – van wat vroeger een ongelukkige zwakheid was, een professioneel fenomeen.
Ondanks de beperkte opbrengst van mijn ruime investeringen, doe ik zelf al lang mee aan methodologisch werk. Inderdaad, ik lijk niet in staat het te vermijden. Mijn schooljaren werden doordrenkt met de gelukkige naam Evaluation Group for Analysis of Data (EGAD), opgericht door Lee Sechrest, die mijn Ph.D.-minor in methodologie voorzat, en die ook niet beroerd is in alles van wetenschapsfilosofie tot multivariate statistiek. Lee bevorderde een kijk op methodologie waar ik van kon genieten. In EGAD brachten we weinig tijd door met vingers kwispelen en wenkbrauwen fronsen. In plaats daarvan experimenteerden we met onorthodoxe onderzoeksontwerpen en data-analytische procedures, verlegden methodologische grenzen en namen interessante risico’s.
Alas, EGAD dabbelde ook in de Negatieve Psychologie. Wanneer dit gebeurde, gedroegen anders medelevende en bedachtzame individuen zich slecht, waarbij ze elk voordeel van de twijfel negeerden en humor uitoefenden die minder grappig dan gemeen was. En toen het eenmaal begon was het besmettelijk, ik denk omdat achterdocht en snark verward werden met nauwkeurigheid. Aangezien de schijn van strengheid zeer wenselijk is en achterdocht en snark gemakkelijk zijn, werden achterdocht en snark de weg van de minste weerstand om er streng uit te zien. Ik denk zelfs dat hetzelfde proces nu de meest waarschijnlijke oorzaak is van negatieve psychologie.
Als het eenmaal begonnen is, kan het moeilijk te beteugelen zijn. Te oordelen naar berichtgeving in de populaire media, snarky “tweets,” en eindeloze Facebook uitwisselingen, is Negatieve Psychologie sterk in opkomst. De erbarmelijke staat van de wetenschap wordt benadrukt, met vermeende dubieuze bevindingen die in emotioneel geladen, breedsprakige en beslist negatieve bewoordingen worden geconfronteerd.
Negatieve psychologie gaat uit van het slechtste – het slechtste in methodologie, het slechtste in sociale impact, het slechtste in motivatie – wanneer ze een wetenschapper of het werk van een wetenschapper beoordeelt. Je ziet deze aannames in “voodoo correlatie” beweringen, “p-hacking” onderzoeken, websites zoals Retraction Watch, Neuroskeptic, een handvol andere blogs gewijd aan het onthullen van slechte wetenschap, en een verzameling van gebruikers van sociale media op Twitter, Facebook en elders. Schrijvers die in de Negatieve Psychologie werken, beroepen zich op verschillende rationaliteiten, maar het publiek aan de schandpaal nagelen staat zeker bovenaan de lijst. Sommigen hebben dat expliciet duidelijk gemaakt.
Dit is slecht voor onze collega’s, omdat het hen oriënteert in de richting van defensief in plaats van creatief denken; het is slecht voor het publiek, omdat het nodeloos het vertrouwen in het beste onderzoek degradeert, samen met het slechtste, door impliciet de twee gelijk te stellen; en het is slecht voor de critici zelf, omdat het ons allemaal in de verleiding brengt om te stoppen met luisteren. Negatieve psychologie dreigt inderdaad morele verontwaardiging te verwarren met wetenschappelijke nauwkeurigheid, een verwarring die, denk ik, zowel voor leken als wetenschappers in opleiding dwingend is, omdat morele verontwaardiging relatief gemakkelijk is, en wetenschappelijke nauwkeurigheid dat niet is. Bij gebrek aan kritische inhoud kunnen onze studenten leren dat een chagrijnige houding voldoende is, en dat een houding van morele verontwaardiging hen snel naar de club van staalharde methodologen kan leiden.
Waarom negatieve psychologie slecht is voor onze collega’s.
Doe je eigen onderzoek naar klassiek werk in de psychologie – het materiaal dat het veld echt vooruit heeft geholpen op zinvolle, generatieve manieren – en vraag jezelf af hoe goed dat werk vandaag de dag zou standhouden bij kritisch onderzoek. Hier zijn er een paar die me te binnen schieten: Schacter en Singer, 1962; Festinger, Riecken, & Schachter, 1956; Ekman & Friesen, 1971; Hull, 1943; Eysenck, 1953; er zijn vele anderen. Ik wed dat er geen directe replicatie in de groep zit. Erger nog, ik wed dat we het liever niet proberen. Deze studies waren niet invloedrijk omdat ze methodologisch waterdicht waren. Inderdaad, methodologisch gezien, waren ze zeer gebrekkig. In plaats daarvan waren deze werken invloedrijk omdat ze zeer creatieve ideeën bevatten. Ik ga niet beweren dat we meer methodologisch gebrekkig onderzoek nodig hebben, maar ik denk wel dat angst voor publieke schande zal dienen als een ontmoediging om theoretische en methodologische grenzen te verleggen. Bovendien denk ik dat er een negatieve correlatie bestaat tussen creativiteit en striktheid, niet gedreven door de voorwaarden die nodig zijn voor creativiteit, maar door de voorwaarden die nodig zijn voor het soort striktheid dat we in de psychologie plegen te benadrukken – in het bijzonder de angst voor Type I fouten.
Om H.L. Menken te parafraseren, de grote wetenschappers van de wereld zijn zelden puriteinen. Mensen willen wetenschap bedrijven om allerlei redenen en op allerlei manieren, waarvan slechts enkele ook maar iets met experimenteren te maken hebben. En ja, sommige wetenschappers (jij niet natuurlijk) zullen zelfs af en toe de kantjes eraf lopen en slordige fouten maken in hun koppige jacht op coole ideeën. Als dat geen deel uitmaakt van het spel, zal het spel niet gespeeld worden. Tenminste, dan wordt het spel niet goed gespeeld.
En trouwens, angst voor publieke schande maakt ook al deel uit van het spel, zoals we allemaal weten. Ieder van ons die een retractiewaardige fout ontdekte, zou zich diep vernederd en in verlegenheid gebracht voelen. Er is waarschijnlijk geen manier om dit te omzeilen, en waarschijnlijk zou dat ook niet moeten. Wanneer iemands experiment mislukt of ontdekt dat hij een domme fout heeft gemaakt, of wanneer zijn werk niet kan worden gerepliceerd, kunnen we verwachten dat hij zich schaamt zonder enige hulp van ons. Onze taak zou moeten zijn om hen te helpen zich beter te voelen als het fout gaat. We geven onze steun omdat zij (en wij) goede mensen zijn, en omdat op een dag wij de schuldige zouden kunnen zijn. (Grapje, mislukking zal jou nooit overkomen.)
We moeten ook niet vergeten dat schaamte mensen gek maakt. Dit is waar onder de beste omstandigheden. Wanneer mensen verwachten publiekelijk aan de schandpaal te worden genageld, zullen ze zowat alles doen om het te vermijden. Als we doorgaan, maken we een slechte situatie erger. Mensen zullen hun hielen ingraven, defensief worden, tegenbeschuldigingen uiten, enzovoort, zo voorspelbaar als de nacht volgt op de dag. Dit is niet het gedrag van methodologische idioten. Dit is het gedrag van normale mensen. En wetenschappers zijn normale mensen.
Waarom negatieve psychologie slecht is voor het publiek.
Het publiek vertrouwt erop dat wij redelijk zijn. Ze kijken niet alleen naar ons om te weten wat ze moeten geloven, maar ook om het wetenschappelijke proces te begrijpen. Zij kijken naar het discours, en onze studenten ook. Als we elkaar bekritiseren met de tropen van de Negatieve Psychologie – dat wil zeggen met morele verontwaardiging, vijandige humor en publiekelijk aan de schandpaal nagelen – dan trainen we het publiek om ofwel de wetenschap helemaal te negeren, ofwel (opnieuw) verontwaardiging te verwarren met nauwgezetheid.
Ik denk niet dat dit alleen maar speculatie van mijn kant is.
Lezers weten misschien van een anonieme blogger genaamd de Neuroskeptic. de missie van de Neuroskeptic is om kritiek te leveren op populair neurowetenschappelijk werk op grond van het feit dat dergelijk werk vaak moeilijk te interpreteren is voor het publiek. Afgelopen december (2013) publiceerde de Neuroskeptic een blog waarin hij “wetenschappelijk burgerwacht” aanmoedigde. Vigilantes zouden blogs en sociale media gebruiken om fraude uit te roken, en alarm slaan op een publiek toegankelijke manier buiten het traditionele peer review-proces.
Ik las het stuk kort nadat het was geplaatst. Hier is wat het allereerste commentaar zei:
Toen dit jaren geleden gebeurde in de klimaatwetenschap, werden wij ‘burgerwachten’ allemaal bestempeld als kwaadaardige ontkenners die op de loonlijst stonden van kwaadaardige bedrijven die erop uit waren om de natuurlijke wereld, de planeet en de beschaving zelf te vernietigen.
Mooi om te zien dat de correcte, sceptische houding ten opzichte van de wetenschap zich in plaats daarvan verspreidt naar andere gebieden. Zoals het hoort.
Wat kan de Neuroskeptic doen, behalve haastig antwoorden:
Dat is een belachelijke vergelijking. Ik heb het over het opsporen van formeel wetenschappelijk wangedrag, niet over het bekritiseren van wetenschappelijke theorieën. Maar het doet er eigenlijk niet toe, want sinds de BEST-studie hebben zelfs slechte ontkenners op kosten van slechte bedrijven geconcludeerd dat de temperaturen op aarde stijgen.
Ik voel mee met de neuroskepticus hier. Het is een beetje een “gotcha” moment. Maar de vergelijking is niet belachelijk. Sterker nog, ze is treffend. Eén les wordt duidelijk gesteld, zelfs aangemoedigd: iedereen kan een “scepticus” zijn, expert of niet. Een andere les wordt per ongeluk geïmpliceerd: sociale media, snark en verontwaardiging zijn alles wat een scepticus echt nodig heeft.
Omdat de Negatieve Psychologie zoveel hooi op haar vork neemt met snark en verontwaardiging, en omdat fraude van het soort waar de neuroscepticus zich zorgen over maakt zeldzaam is, zullen de criteria op grond waarvan een artikel of wetenschapper het doelwit wordt van hoon en verontwaardiging versoepeld moeten worden. Dit is om ongeveer dezelfde reden dat nieuw subsidiegeld vooral belangrijk wordt nadat – en niet voordat – een eerste grote subsidie is verkregen: Men moet “het beest voeden”. Omdat echte strengheid moeilijk is, maar snark en verontwaardiging gemakkelijk zijn, is het voor de negatieve psychologie een triviale zaak om te veranderen in pseudokritiek, en ik beweer dat ze goed op weg is om dat te doen. Pseudokritiek is een neef van pseudowetenschap. Beide hebben de oppervlakkige trekken van wetenschap zonder de inhoud. Net als bij pseudowetenschap is het lekenpubliek slecht toegerust om de beweringen van pseudokritici te beoordelen. Maar de sneer en verontwaardiging zijn gemakkelijk te interpreteren. Echte wetenschappers zijn streng, leren we, zelfs boos. Ze zetten hun voeten op de grond, trekken harde lijnen in het zand, spreken in definitieve termen, enz.
In the end staat de Negatieve Psychologie gelijk aan – althans voor het publiek – slechte methodologische gewoonten, alledaagse wetenschappelijke slordigheid, onschuldige probabilistische fouten, onoordeelkundige hype, en regelrechte fraude. In de praktijk en in het effect kan het doen denken aan de Gulden Vlies Prijs die de psychologie in de jaren zeventig en tachtig zoveel schade berokkende.
Waarom negatieve psychologie slecht is voor critici.
Het voorgaande kan de indruk wekken dat negatieve psychologen niets van waarde te zeggen hebben. Dat is natuurlijk onzin. De vertegenwoordigers van de Negatieve Psychologie zijn geweldige mensen, en ook bedachtzaam, zo niet briljant. Zoals ik al eerder zei, is negatieve psychologie besmettelijk. Het is ook gewoontevorming. De gewoonte van negatieve psychologie verwatert serieuze kritiek door de aandacht te verschuiven van inhoud naar snark en verontwaardiging. En het zijn de snark en de verontwaardiging die de rest van ons – collega wetenschappers nu – ertoe verleiden om niet meer te luisteren. Verscheidene beoefenaars van de Negatieve Psychologie hebben zichzelf op deze manier al gemarginaliseerd.
Dit is gedeeltelijk uit gewenning (“oh, daar gaat die weer met zijn grote mond”). Maar een ander deel ervan – een groot deel – is dat kritiek bedachtzaam en interessant moet zijn (en, inderdaad, onderhoudend indien mogelijk). Kritiek van het type negatieve psychologie begint interessant, vaak grappig, schandalig en fascinerend (op de manier waarop autowrakken fascinerend zijn), maar het duurt niet lang of het wordt saai, saai en bekrompen – tenminste als je een echte wetenschapper bent die de kritische inhoud probeert te lokaliseren.
Wat nog een ander punt naar voren brengt. Ik pleit niet tegen kritiek als zodanig (ik hoop dat dat duidelijk is). Ik denk ook niet dat het uiten van woede en irritatie op zichzelf altijd of zelfs bijzonder destructief is. Sterker nog, sommige van de beste gepubliceerde kritieken die ik ken zijn kunstig boos (zie Why I Don’t attend attend Case Conferences van Paul Meehl). Ik pleit niet voor een passieloze, procedurele benadering van kritiek en tegenkritiek, hoewel een redelijke poging tot decorum een goed idee is.
Ook vind ik niet dat kritiek nooit grappig mag zijn, hoewel grappig zijn riskant is omdat – met alle respect – de meeste wetenschappers niet grappig genoeg zijn om humor en kritiek effectief te combineren. In plaats daarvan komen grappen over als onhandig en ongevoelig en zelfs een beetje beledigend. In mijn informele onderzoek naar de negatieve psychologie van de afgelopen twee jaar, heb ik meer dan een paar bloggers en deelnemers aan de sociale media zichzelf zien karakteriseren als “luchthartig” of “oneerbiedig”, wat voor hen een rechtvaardiging lijkt te zijn om behoorlijk lelijke dingen te zeggen – dingen die wij geacht worden grappig te vinden. Maar kritische oneerbiedigheid vereist een niveau van vaardigheid, echt kunst, dat helaas ontbreekt bij zo’n beetje iedereen die ik ken, mezelf niet uitgezonderd. Mark Twain was oneerbiedig. H.L. Menken was oneerbiedig. Op zijn slechtst lijkt “oneerbiedigheid” in de negatieve psychologie echt op een soort pesten – een soort misbruik dat zich hult in de dubieuze taal van onderzoeksethiek. Het sleept het gesprek mee in een wie-kwetst-wie-voelt vorm van meta-communicatie die weinig bereikt behalve dat het de criticus in de voorste gelederen van ieders aandacht plaatst. Het eindresultaat is voorspelbaar: Een collectieve, vaak onuitgesproken consensus dat het badwater moet worden weggegooid.
Hoe gaan we verder?
Ik vond Daniel Kahnemann’s A New Ettiquette for Replication essay erg goed, maar minder voor de specifieke aanbevelingen die hij opsomde dan voor zijn openhartige gepraat over wetenschappelijke ego’s en onderzoeksmethode secties. In reactie op dit essay heb ik op Twitter en Facebook de voorspelbare verontwaardiging gezien – commentaren waarin wordt gesuggereerd dat de wetenschap juist in gevaar wordt gebracht door Kahnemanns sentimenten en dat methodesecties altijd gedetailleerd genoeg moeten zijn voor anderen om een studie te repliceren zonder enige communicatie met de oorspronkelijke auteur. Vooral dat laatste bezwaar vind ik interessant, omdat het op het eerste gezicht zo vernietigend lijkt. Natuurlijk moeten secties over de methode voldoende zijn.
Maar Kahnemann heeft volkomen gelijk. Methodesecties zijn zelden volledig, en zouden dat waarschijnlijk ook niet moeten zijn. Om dit te beweren is, in de huidige omgeving, iets dat dicht bij ketterij komt, maar een korte tijd geleden zou het niet controversieel zijn geweest. En het is niet zo dat dit “probleem” uniek is voor de psychologie. Ik heb net de autobiografie van Peter Medawar gelezen, Memoir of a Thinking Radish (een boek dat ik ten zeerste aanbeveel aan iedereen die geïnteresseerd is in hoe de wetenschapsworst wordt gemaakt). Medawar, zullen sommige lezers weten, kreeg een Nobelprijs voor zijn werk over immuuntolerantie bij orgaantransplantaties. Zijn levensverhaal staat bol van de voorbeelden van bench scientists die elkaars laboratoria bezochten om precies te leren hoe een bepaalde techniek tot stand komt, om als het ware bij de hand te worden genomen. Methodesecties zouden voldoende moeten zijn om in principe de deugdelijkheid van een studie te beoordelen, en om belangrijke vlaggen op te werpen, maar waarschijnlijk zal elke poging om uitvoerig elk detail te verstrekken voor een replicatie – of een volledig begrip – tekortschieten.
Hier is dus een breed generaliseerbaar idee: laten we echt, letterlijk, met elkaar praten. En dan niet alleen met het oog op nauwkeurige replicatie, maar ook als de impuls zich voordoet om publiekelijk kritiek te leveren. Vriend en mede EGAD-alumnus Patrick McKnight heeft ook gesuggereerd dat we meer en vaker moeten samenwerken – dat we inderdaad betere manieren moeten vinden om het gezamenlijk oplossen van problemen te belonen in plaats van individuele papierproductie.
Uiteindelijk heb ik geen specifieke aanbevelingen of richtlijnen te bieden. Ik ben in ieder geval een grotere fan van principes dan van regels. In principe moeten we harder werken dan nodig is om genereus, respectvol, eerlijk en zo duidelijk mogelijk te zijn.
Ik begon dit essay met een citaat van Peter Medawar, en ik zal ook afsluiten met een citaat uit de memoires die ik hierboven noemde. Het drukt tegelijkertijd de risico’s en de beloften van het wetenschappelijk leven uit, en bevat in zich de kiemen van het mededogende respect dat wij allen voor elkaar zouden moeten hebben. Meer dan dat, het viert de creativiteit die de “atmosfeer van wantrouwend en achterdochtig ongeloof”, bevorderd door de Negatieve Psychologie, dreigt te onderdrukken.
“…alle wetenschappers die ook maar enigszins vindingrijk zijn, zullen soms een verkeerd standpunt innemen en tijd verspillen met het nastreven daarvan. Dit moet worden beschouwd als een beroepsrisico van het wetenschappelijke leven. Aan de andere kant kan van de wetenschapper die te bang is om vrijmoedig te speculeren nauwelijks gezegd worden dat hij een creatief leven leidt, en zal eindigen als een van die trieste, steriele literatoren wier smaak zo verfijnd is en wier oordeel zo mooi dat zij zichzelf er niet toe kunnen brengen pen op papier te zetten.”