På alle sider af det seneste fremstød for direkte replikation – et fremstød, som jeg finder både charmerende og naivt – er folk vrede. I sidste uge på APS (Association for Psychological Science 2014 årsmøde) hørte jeg kolleger – ofte personlige venner – karakteriseret som enten metodologiske simpletoner eller uigennemskuelige bøller. Det er trist, ikke mindst fordi alle involverede er kollegiale, sjove og fornuftige personligt. Så vidt jeg ved, har de mest synlige fortalere for direkte replikation et respektabelt nuanceret syn på, hvorfor replikationer kan mislykkes, hvilket vil sige af alle mulige årsager. På den anden side, hvem tænker ikke “dårlig forskning”, når et resultat tilsyneladende ikke kan replikeres? Og hvorfor er det sådan?
Jeg tror, at psykologien lider af et holdningsproblem – en spirende tendens, som jeg kalder Negativ psykologi. Ligesom positiv psykologi indebærer en tro på, at fokusering på styrker og dyder vil øge velvære, indebærer negativ psykologi en tro på, at øget forsigtighed og mistænksomhed vil øge videnskabelige fremskridt, et perspektiv, som jeg er helt uenig i. Men negativ psykologi omfatter også en række adfærdsmønstre – offentlig latterliggørelse og skamfrygt, moralsk forargelse, klodset humor – som internettet har en tendens til at fremme. De vigtigste fortalere for den negative psykologi er metodologer, som jeg føler et stærkt fagligt tilhørsforhold til. Jeg har hængt ud med metodologer i næsten to årtier nu, og selv om Negativ Psykologi altid har været et træk ved min klan, er internettet – og især de sociale medier – ved at gøre det, der tidligere var en uheldig fejltagelse, til et professionelt fænomen.
Trods begrænset udbytte af rigelige investeringer har jeg længe deltaget i mit eget metodologiske arbejde. Jeg synes faktisk ikke at være i stand til at undgå det. Mine år på kandidatskolen var gennemsyret af den heldigt navngivne Evaluation Group for Analysis of Data (EGAD), der blev grundlagt af Lee Sechrest, som var formand for min ph.d.-minor i metodologi, og som ikke er nogen slat inden for alt fra videnskabsfilosofi til multivariate statistikker. Lee fremmede et syn på metodologi, som jeg kunne nyde. I EGAD brugte vi ikke megen tid på at vrikke med fingrene og rynke brynene. I stedet eksperimenterede vi med uortodokse forskningsdesigns og dataanalyseprocedurer, skubbede metodologiske grænser og tog interessante risici.
Alas, EGAD forsøgte sig også med negativ psykologi. Når dette skete, opførte ellers medfølende og betænksomme personer sig dårligt, idet de negligerede enhver fordel af tvivlen og udøvede humor, der var mindre sjov end ondskabsfuld. Og da det hele først kom i gang, var det smitsomt – jeg tror, fordi mistænksomhed og snark blev forvekslet med stringens. Da det er yderst ønskeligt at fremstå stringent, og mistænkeliggørelse og snark er let, blev mistænkeliggørelse og snark den vej med mindst mulig modstand for at fremstå stringent. Jeg tror faktisk, at den samme proces er den mest sandsynlige årsag til negativ psykologi nu.
Når den først er kommet i gang, kan det være svært at styre den. At dømme ud fra de populære mediers dækning, spydige “tweets” og uendelige Facebook-udvekslinger er Negativ Psykologi stærkt stigende. Der lægges vægt på videnskabens elendige tilstand, og påståede tvivlsomme resultater konfronteres i følelsesladede, bredt humoristiske og decideret negative vendinger.
Negativ psykologi antager det værste – det værste i metodologi, det værste i social indvirkning, det værste i motivation – når man vurderer en videnskabsmand eller en forskers arbejde. Man ser disse antagelser i påstande om “voodoo correlation”, “p-hacking”-undersøgelser, websteder som Retraction Watch, Neuroskeptic, en håndfuld andre blogs, der har til formål at afsløre dårlig videnskab, og en samling af brugere af sociale medier på Twitter, Facebook og andre steder. Skribenter, der arbejder i negativ psykologi-modus, hævder forskellige begrundelser, men offentlig skam er helt sikkert øverst på listen. Nogle har gjort det eksplicit klart.
Det er dårligt for vores kolleger, fordi det orienterer dem mod defensiv snarere end kreativ tænkning; det er dårligt for offentligheden, fordi det unødigt nedbryder tilliden til den bedste forskning sammen med den værste ved implicit at sætte lighedstegn mellem de to; og det er dårligt for kritikerne selv, fordi det frister os alle til at holde op med at lytte. Negativ psykologi risikerer faktisk at sammenblande moralsk forargelse med videnskabelig stringens, en forvirring, der efter min mening er overbevisende for både lægfolk og videnskabsfolk under uddannelse, fordi moralsk forargelse er relativt let, og videnskabelig stringens er det ikke. Da vores studerende mangler kritisk substans, kan de lære, at en sur opførsel er nok, og at en moralsk forargelse kan føre dem hurtigt ind i den stålsatte metodologklub.
Hvorfor Negativ Psykologi er dårligt for vores kolleger.
Gør din egen undersøgelse af klassisk arbejde inden for psykologi – det, der virkelig har bragt feltet fremad på meningsfulde, generative måder – og spørg dig selv, hvor godt det arbejde ville holde til en kritisk undersøgelse i dag. Her er nogle af dem, som jeg kommer i tanke om: Schacter og Singer, 1962; Festinger, Riecken, & Schachter, 1956; Ekman & Friesen, 1971; Hull, 1943; Eysenck, 1953; der er mange andre. Jeg vil vædde med, at der ikke er en direkte replikation i flokken. Værre endnu, jeg vil vædde med, at vi hellere ikke vil prøve. Disse undersøgelser var ikke indflydelsesrige, fordi de var lufttætte metodologisk set. Faktisk var de metodemæssigt set dybt mangelfulde. I stedet var disse arbejder indflydelsesrige, fordi de indeholdt meget kreative idéer. Jeg vil ikke påstå, at vi har brug for mere metodologisk fejlbehæftet forskning, men jeg tror, at frygten for offentlig udskamning vil virke som en afskrækkende faktor for at flytte teoretiske og metodologiske grænser. Desuden tror jeg, at der er en negativ sammenhæng mellem kreativitet og stringens, som ikke er drevet af de betingelser, der er nødvendige for kreativitet, men af de betingelser, der er nødvendige for den form for stringens, som vi har en tendens til at fremhæve i psykologien – især frygten for type I-fejl.
For at parafrasere H.L. Menken er verdens store videnskabsmænd sjældent puritanere. Folk ønsker at lave videnskab af alle mulige grunde og på alle mulige måder, hvoraf kun nogle af dem har noget som helst at gøre med eksperimentering. Og ja, nogle videnskabsmænd (ikke Dem naturligvis) vil endda lejlighedsvis skære hjørner og begå sjuskede fejl i deres hidsige jagt på seje idéer. Hvis det ikke er en del af spillet, vil spillet ikke blive spillet. I det mindste vil spillet ikke blive spillet godt.
Og i øvrigt er frygten for offentlig skam også allerede en del af spillet, som vi alle ved. Enhver af os, der opdagede en fejl, der var værd at trække tilbage, ville føle sig dybt ydmyget og flov. Der er nok ingen vej uden om dette, og det burde der nok heller ikke være. Hver gang en persons eksperiment mislykkes, eller de opdager, at de har begået en dum fejl, eller deres arbejde ikke kan replikeres, kan vi forvente, at de skammer sig uden nogen hjælp fra os. Vores opgave bør snarere være at hjælpe dem til at få det bedre, når tingene går galt. Vi yder vores støtte, fordi de (og vi) er gode mennesker, og fordi vi en dag måske selv er den skyldige part. (Det var bare for sjov. Fejl vil aldrig ske for dig.)
Vi bør også huske på, at skam får folk til at gå amok. Dette er sandt under de bedste omstændigheder. Når folk forventer at blive skambidt offentligt, vil de gøre næsten alt for at undgå det. Når vi hober os op, gør vi en dårlig situation værre. Folk vil gå i dybden, blive defensive, komme med modbeskyldninger osv., lige så forudsigeligt som natten følger dagen. Det er ikke metodologiske kretiners adfærd. Det er normale menneskers adfærd. Og videnskabsmænd er normale mennesker.
Hvorfor negativ psykologi er dårligt for offentligheden.
Offentligheden er afhængig af, at vi er fornuftige. De holder øje med os, ikke kun for at finde stikord om, hvad de skal tro, men også for at forstå den videnskabelige proces. De holder øje med diskursen, og det samme gør vores studerende. Når vi kritiserer hinanden ved hjælp af den negative psykologis troper – det vil sige med moralsk forargelse, fjendtlig humor og offentlig skambud – træner vi offentligheden til enten helt at se bort fra videnskaben eller (igen) til at forveksle forargelse med stringens.
Jeg tror ikke, at dette blot er spekulationer fra min side.
Læsere kender måske til en anonym blogger ved navn Neuroskeptic. neuroskeptic’s mission er at tilbyde kritik af populært neurovidenskabeligt arbejde med den begrundelse, at sådant arbejde ofte er svært at fortolke for offentligheden. I december sidste år (2013) skrev Neuroskeptic en blog, hvor han opfordrede til “videnskabelig selvtægt”. Vigilanterne skulle bruge blogs og sociale medier til at ryge svindel ud og slå alarm på en offentligt tilgængelig måde uden for den traditionelle peer review-proces.
Jeg læste artiklen kort efter, at den var blevet lagt ud. Her er, hvad den allerførste kommentar sagde:
Når dette skete for mange år siden inden for klimavidenskaben, blev vi ‘vigilantes’ alle stemplet som onde benægtere på løn af onde virksomheder, der troller for at ødelægge naturen, planeten og selve civilisationen.
Det er rart at se, at den korrekte, skeptiske holdning til videnskab i stedet spreder sig til andre områder. Som den bør.
Hvad kunne neuroskeptikeren gøre, andet end hastigt at svare:
Det er en latterlig sammenligning. Jeg taler om at spotte formel videnskabelig uredelighed, ikke om at kritisere videnskabelige teorier. Men det er egentlig ligegyldigt, for siden BEST-undersøgelsen har selv onde benægtere på løn fra onde virksomheder konkluderet, at de globale temperaturer stiger.
Jeg føler med neuroskeptikeren her. Det er lidt af et “gotcha”-øjeblik. Men sammenligningen er ikke latterlig. Faktisk er den rammende. Der er en lektion, som er klart formuleret og endda opfordret til: Alle kan være “skeptikere”, uanset om de er eksperter eller ej. En anden lektion er utilsigtet underforstået: sociale medier, spydighed og forargelse er alt, hvad en skeptiker virkelig har brug for.
Da Negativ Psykologi gør så meget ud af snark og forargelse, og fordi svindel af den art, som neuroskeptikeren er bekymret for, er sjælden, må kriterierne, der gør en artikel eller en videnskabsmand til mål for snark og forargelse, lempes. Dette er af stort set samme grund som den, at nye bevillingsmidler bliver særligt vigtige efter – og ikke før – man får sin første store bevilling: Man er nødt til at “fodre dyret”. Fordi reel stringens er vanskelig, men snark og forargelse er let, er det en triviel ting for Negativ Psykologi at forvandle sig til pseudokritik, hvilket jeg hævder, at den er godt på vej til at gøre. Pseudokritik er en fætter til pseudovidenskab. Begge har videnskabens overfladiske udseende uden substans. Som det er tilfældet med pseudovidenskab, er lægfolk dårligt rustet til at vurdere pseudokritikernes påstande. Men snik-snak og forargelse er let at fortolke. Rigtige videnskabsmænd er strenge, lærer vi, og endda vrede. De sætter fødderne ned, trækker hårde linjer i sandet, taler i definitive vendinger osv.
I sidste ende er negativ psykologi lig med – i det mindste for offentligheden – dårlige metodologiske vaner, almindelig videnskabelig sjusk, uskyldige sandsynlighedsfejl, uheldig hype og direkte svindel. I praksis og effekt kan den minde om prisen for det gyldne skind, som gjorde så stor skade på psykologien i 1970’erne og 80’erne.
Hvorfor Negativ Psykologi er dårlig for kritikere.
Det foregående kan give det indtryk, at Negative Psykologer ikke har noget af værdi at sige. Det er naturligvis noget vrøvl. Repræsentanterne for Negativ Psykologi er forrygende mennesker, og de er også tankevækkende, hvis ikke geniale. Som jeg sagde før, er Negativ Psykologi smitsomt. Den er også vanedannende. Den negative psykologis vane udvander seriøs kritik ved at flytte opmærksomheden fra indhold til spydighed og forargelse. Og det er den spydige og forargede tone, der frister resten af os – nu også videnskabsfolk – til at holde op med at lytte. Adskillige udøvere af Negativ Psykologi har allerede marginaliseret sig selv på denne måde.
Dette skyldes til dels vanetænkning (“åh, der går den igen”). Men en anden del af det – en stor del – er, at kritik bør være tankevækkende og interessant (og faktisk underholdende, hvis det er muligt). Kritik af typen Negativ Psykologi starter interessant, ofte morsom, skandaløs og fascinerende (på samme måde som bilvrag er fascinerende), men der går ikke lang tid, før den bliver kedelig, kedelig og prægtig – i hvert fald hvis man er en rigtig videnskabsmand, der forsøger at lokalisere det kritiske indhold.
Hvilket bringer endnu et punkt på banen. Jeg argumenterer ikke imod kritik i sig selv (jeg håber, at så meget er indlysende). Jeg mener heller ikke nødvendigvis, at udtryk for vrede og irritation i sig selv altid eller endog særligt destruktivt er. Faktisk er noget af den bedste offentliggjorte kritik, jeg kender til, kunstfærdigt vred (se Why I Don’t Attend Case Conferences af Paul Meehl). Jeg går ikke ind for en lidenskabsløs, proceduremæssig tilgang til kritik og modkritik, selv om et rimeligt forsøg på decorum er en god idé.
Jeg mener heller ikke, at kritik aldrig bør være sjov, selv om det er risikabelt at være sjov, fordi – med al respekt – de fleste videnskabsmænd ikke er sjove nok til at forene humor og kritik effektivt. I stedet kommer vittighederne til at virke kluntede og ufølsomme og endda en smule krænkende. I min uformelle undersøgelse af negativ psykologi i løbet af de sidste to år har jeg set mere end et par bloggere og deltagere på sociale medier karakterisere sig selv som værende “lette” eller “respektløse”, hvilket for dem synes at retfærdiggøre, at de siger nogle ret grimme ting – ting, som vi forventes at opleve som sjove. Men kritisk respektløshed kræver et niveau af dygtighed – kunst, faktisk – som desværre mangler hos stort set alle, jeg kender, ikke med undtagelse af mig selv. Mark Twain var respektløs. H.L. Menken var respektløs. I værste fald ligner “uhøjtidelighed” i negativ psykologi virkelig en form for mobning – en form for mobning, der skjuler misbrug af forskellig art i forskningsetikkens tvivlsomme sprog. Den trækker samtalen ned i en hvem-sårer-hvem-følelser-form for metakommunikation, som ikke opnår meget andet end at sætte kritikeren i alles søgelys i forgrunden. Slutresultatet er forudsigeligt:
Hvordan skal vi gå videre?
Jeg kunne godt lide Daniel Kahnemanns essay A New Ettiquette for Replication meget godt, men mindre for de specifikke anbefalinger, han opregnede, end for hans ærlige snak om videnskabelige egoer og afsnit om forskningsmetoder. Som reaktion på dette essay har jeg set den forudsigelige forargelse komme til udtryk på Twitter og Facebook – kommentarer, der antyder, at videnskaben faktisk er truet af Kahnemanns følelser, og at metodeafsnit altid bør være detaljerede nok til, at andre kan replikere en undersøgelse uden nogen kommunikation med den oprindelige forfatter. Jeg finder den sidstnævnte indvending særlig interessant, fordi den umiddelbart virker så fordømmende. Selvfølgelig skal metodeafsnit være tilstrækkelige.
Men Kahnemann har fuldstændig ret. Metodeafsnit er sjældent omfattende, og det bør de nok heller ikke være. At hævde dette er i det nuværende miljø noget nær kætteri, men for kort tid siden ville det ikke have været kontroversielt. Og det er ikke sådan, at dette “problem” er unikt for psykologien. Jeg har netop læst Peter Medawars selvbiografi, Memoir of a Thinking Radish (en bog, som jeg varmt kan anbefale til alle, der er interesserede i, hvordan videnskabs-pølsen bliver lavet). Medawar, vil nogle læsere vide, modtog en Nobelpris for sit arbejde om immuntolerance i forbindelse med organtransplantationer. Hans livshistorie er fyldt med eksempler på forskere, der besøger hinandens laboratorier for at lære præcis, hvordan en bestemt teknik udføres, for at blive guidet i hånden så at sige. Metodeafsnit bør være tilstrækkelige til grundlæggende at vurdere, om en undersøgelse er forsvarlig, og til at rejse vigtige flag, men sandsynligvis vil ethvert forsøg på at give alle detaljer for en replikation – eller en fuldstændig forståelse – være utilstrækkeligt.
Så her er en idé, der kan generaliseres bredt: Lad os rent faktisk, bogstaveligt talt, tale med hinanden. Og tale ikke kun med henblik på nøjagtig replikation, men også når impulsen opstår til at kritisere offentligt. Vennen og EGAD-alumneren Patrick McKnight har også foreslået, at vi bør samarbejde mere og oftere – at vi faktisk skal finde bedre måder at belønne fælles problemløsning på i stedet for individuel papirproduktion.
I sidste ende har jeg ikke nogen specifikke anbefalinger eller retningslinjer at tilbyde. Jeg er under alle omstændigheder en større tilhænger af principper end af regler. I princippet bør vi arbejde hårdere, end det kræves, for at være generøse, respektfulde, ærlige og så klare som muligt.
Jeg indledte dette essay med et citat af Peter Medawar, og jeg vil også slutte med et – taget fra de erindringer, jeg nævnte ovenfor. Det udtrykker på samme tid risici og løfter i det videnskabelige liv og indeholder i sig frøene til den medfølende respekt, som vi alle bør have for hinanden. Mere end det hylder den den kreativitet, som den “atmosfære af forsigtig og mistroisk vantro”, som den negative psykologi fremmer, truer med at kvæle.
“…alle videnskabsmænd, der er det mindste fantasifulde, vil undertiden anlægge et forkert synspunkt og spilde tid på at forfølge det. Dette må vurderes at være en arbejdsrisiko i det videnskabelige liv. På den anden side kan den videnskabsmand, der er for bange til at spekulere dristigt, næppe siges at have et kreativt liv overhovedet, og han vil ende som en af de triste, sterile litterater, hvis smag er så forfinet og dømmekraft så fin, at de ikke kan få sig selv til at sætte pen til papir.”