Människor på alla sidor av den senaste tidens satsning på direkt replikering – en satsning som jag tycker är både charmig och naiv – är arga. Förra veckan på APS (Association for Psychological Science 2014 annual meeting) hörde jag kollegor – ofta personliga vänner – karaktäriseras som antingen metodologiska simpletter eller outgrundliga översittare. Det är sorgligt, inte minst eftersom alla inblandade är kollegiala, roliga och förnuftiga personligen. Såvitt jag vet har de mest synliga förespråkarna för direkt replikation en respektabelt nyanserad syn på varför replikationer kan misslyckas, det vill säga av alla möjliga skäl. Å andra sidan, vem tänker inte ”dålig forskning” när ett resultat uppenbarligen inte går att replikera? Och varför är det så?
Jag tror att psykologin lider av ett attitydproblem – en spirande trend som jag kallar negativ psykologi. Precis som positiv psykologi innebär en tro på att fokusering på styrkor och dygder kommer att öka välbefinnandet, innebär negativ psykologi en tro på att ökad försiktighet och misstänksamhet kommer att öka de vetenskapliga framstegen, ett perspektiv som jag helt och hållet inte håller med om. Men negativ psykologi omfattar också en rad beteenden – offentlig förlöjligande och skambeläggning, moralisk upprördhet, klumpig humor – som Internet har en tendens att uppmuntra. De främsta förespråkarna för negativ psykologi är metodologer som jag känner en stark professionell samhörighet med. Jag har umgåtts med metodologer i nästan två decennier nu, och även om negativ psykologi alltid har varit ett inslag i min klan, förvandlar internet – och i synnerhet sociala medier – det som förr var ett olyckligt felsteg till ett professionellt fenomen.
Trots begränsad avkastning på rikliga investeringar har jag länge deltagit i eget metodologiskt arbete. Jag verkar faktiskt vara oförmögen att undvika det. Mina doktorandår var genomsyrade av den lyckligt namngivna Evaluation Group for Analysis of Data (EGAD), som grundades av Lee Sechrest, som var ordförande för min doktorandminor i metodik och som inte är någon höjdare inom allt från vetenskapsfilosofi till multivariat statistik. Lee främjade en syn på metodik som jag kunde njuta av. I EGAD ägnade vi inte mycket tid åt att vifta med fingrarna och rynka pannan. I stället experimenterade vi med oortodoxa forskningsdesigns och dataanalytiska förfaranden, flyttade fram metodologiska gränser och tog intressanta risker.
Ack, EGAD höll på med negativ psykologi också. När detta hände uppträdde annars medkännande och eftertänksamma individer dåligt, försummade alla fördelar av tvivel och utövade humor som var mindre rolig än elak. Och när det väl började smittade det av sig – jag tror att det berodde på att misstänksamhet och snark förväxlades med noggrannhet. Eftersom det är mycket eftersträvansvärt att framstå som rigorös och misstänksamhet och snark är lätt, blev misstänksamhet och snark den minst motståndskraftiga vägen för att framstå som rigorös. Jag tror faktiskt att samma process är den troligaste orsaken till den negativa psykologin nu.
När den väl har börjat kan det vara svårt att få bukt med den. Att döma av populärmedias bevakning, snarkiga ”tweets” och oändliga Facebook-utbyten är den negativa psykologin på stark frammarsch. Vetenskapens usla tillstånd betonas, och förmodat tvivelaktiga resultat konfronteras med känslomässigt laddade, allmänt humoristiska och klart negativa termer.
Negativ psykologi utgår från det värsta – det värsta i fråga om metodik, det värsta i fråga om social påverkan, det värsta i fråga om motivation – när man utvärderar en vetenskapsman eller en vetenskapsmans arbete. Du ser dessa antaganden i påståenden om ”voodoo-korrelationer”, ”p-hacking”-utredningar, webbplatser som Retraction Watch, Neuroskeptic, en handfull andra bloggar som ägnar sig åt att avslöja dålig vetenskap, och en samling användare av sociala medier på Twitter, Facebook och på andra ställen. Författare som arbetar med negativ psykologi åberopar olika motiveringar, men offentlig skambeläggning står säkert högst upp på listan. Vissa har gjort det uttryckligen klart:
Detta är dåligt för våra kollegor eftersom det orienterar dem mot defensivt snarare än kreativt tänkande; det är dåligt för allmänheten eftersom det i onödan försämrar förtroendet för den bästa forskningen tillsammans med den sämsta genom att underförstått sätta likhetstecken mellan de två; och det är dåligt för kritikerna själva eftersom det lockar oss alla att sluta lyssna. Negativ psykologi riskerar faktiskt att blanda ihop moralisk upprördhet med vetenskaplig stringens, en sammanblandning som är övertygande, tror jag, för både lekmän och vetenskapsmän under utbildning, eftersom moralisk upprördhet är relativt lätt, medan vetenskaplig stringens inte är det. I brist på kritisk substans kan våra studenter lära sig att det räcker med en grinig attityd och att en hållning som präglas av moralisk upprördhet kan leda dem snabbt in i den stålsäkra metodologklubben.
Varför negativ psykologi är dåligt för våra kollegor.
Gör din egen undersökning av klassiska arbeten inom psykologin – de arbeten som verkligen har fört fältet framåt på ett meningsfullt och generativt sätt – och fråga dig själv hur väl dessa arbeten skulle klara av en kritisk granskning i dag. Här är några som jag kommer att tänka på: Schacter och Singer, 1962; Festinger, Riecken, & Schachter, 1956; Ekman & Friesen, 1971; Hull, 1943; Eysenck, 1953; det finns många andra. Jag slår vad om att det inte finns någon direkt replik i hela bunten. Vad värre är, jag slår vad om att vi hellre vill låta bli att försöka. Dessa studier var inte inflytelserika för att de var lufttäta metodologiskt sett. I själva verket var de metodologiskt sett djupt bristfälliga. I stället var dessa arbeten inflytelserika eftersom de innehöll mycket kreativa idéer. Jag tänker inte hävda att vi behöver mer metodologiskt bristfällig forskning, men jag tror att rädslan för offentlig skam kommer att fungera som en avskräckande faktor för att tänja på teoretiska och metodologiska gränser. Dessutom tror jag att det finns en negativ korrelation mellan kreativitet och stringens, som inte drivs av de villkor som är nödvändiga för kreativitet, utan av de villkor som är nödvändiga för den typ av stringens som vi tenderar att betona inom psykologin – rädslan för typ I-fel i synnerhet.
För att parafrasera H.L. Menken, så är de stora vetenskapsmännen i världen sällan puritaner. Människor vill bedriva vetenskap av alla möjliga skäl och på alla möjliga sätt, varav endast några har något som helst att göra med experimentering. Och ja, vissa vetenskapsmän (inte du förstås) kommer till och med ibland att skära av hörnen och göra slarviga misstag i sin hetsiga jakt på coola idéer. Om detta inte är en del av spelet kommer spelet inte att spelas. Åtminstone kommer spelet inte att spelas bra.
Och hur som helst, rädsla för offentlig skam är redan en del av spelet också, som vi alla vet. Var och en av oss som upptäckte ett misstag värt en reträtt skulle känna sig djupt förödmjukad och generad. Det finns förmodligen inget sätt att kringgå detta, och det borde förmodligen inte heller finnas något sätt att kringgå det. Närhelst en persons experiment misslyckas eller de upptäcker att de har gjort ett dumt misstag, eller deras arbete misslyckas med att replikera, kan vi förvänta oss att de skäms utan någon hjälp från oss. Om något borde vår uppgift vara att hjälpa dem att må bättre när saker och ting går fel. Vi ger vårt stöd för att de (och vi) är goda människor, och för att en dag kan den skyldiga parten vara vi. (Skojar bara, misslyckandet kommer aldrig att drabba dig.)
Vi bör också komma ihåg att skam får människor att bli galna. Detta är sant under de bästa omständigheterna. När människor förväntar sig att bli skambelagda offentligt kommer de att göra nästan vad som helst för att undvika det. När vi staplar på varandra gör vi en dålig situation ännu värre. Människor kommer att gräva ner sig, bli defensiva, rikta motanklagelser etc., lika förutsägbart som natten följer på dagen. Detta är inte ett beteende hos metodologiska kretiner. Detta är beteendet hos normala människor. Och vetenskapsmän är normala människor.
Varför negativ psykologi är dåligt för allmänheten.
Offentligheten är beroende av att vi är rimliga. De tittar på oss inte bara för att få ledtrådar om vad de ska tro, utan också för att förstå den vetenskapliga processen. De tittar på diskursen, och det gör även våra studenter. När vi kritiserar varandra med hjälp av den negativa psykologins troper – det vill säga med moralisk upprördhet, fientlig humor och offentlig skambeläggning – tränar vi allmänheten att antingen helt bortse från vetenskapen eller (återigen) att förväxla upprördhet med stringens.
Jag tror inte att detta bara är spekulationer från min sida.
Läsarna känner kanske till en anonym bloggare som kallas Neuroskeptic. neuroskeptics uppdrag är att erbjuda kritik av populärt neurovetenskapligt arbete med motiveringen att sådant arbete ofta är svårt att tolka för allmänheten. I december förra året (2013) publicerade Neuroskeptic en blogg där han uppmuntrade till ”vetenskaplig vigilantism”. Vigilanter skulle använda bloggar och sociala medier för att röja ut bedrägerier och slå larm på ett offentligt tillgängligt sätt utanför den traditionella peer review-processen.
Jag läste artikeln strax efter att den hade publicerats. Här är vad den allra första kommentaren sa:
När detta hände för flera år sedan inom klimatvetenskapen blev vi ”vigilanter” alla stämplade som onda förnekare på uppdrag av onda företag som trollar för att förstöra naturen, planeten och själva civilisationen.
Skönt att se att den korrekta, skeptiska attityden till vetenskapen istället sprider sig till andra områden. Som sig bör.
Vad kunde neuroskeptikern göra, förutom att hastigt svara:
Det är en löjlig jämförelse. Jag talar om att upptäcka formellt vetenskapligt tjänstefel, inte om att kritisera vetenskapliga teorier. Men det spelar egentligen ingen roll eftersom sedan BEST-studien har till och med onda förnekare på uppdrag av onda företag dragit slutsatsen att den globala temperaturen stiger.
Jag känner med neuroskeptikern här. Det är ett slags ”gotcha”-ögonblick. Men jämförelsen är inte löjlig. Den är faktiskt träffande. En lärdom är tydligt uttalad, till och med uppmuntrad: vem som helst kan vara ”skeptiker”, expert eller inte. En annan lärdom är oavsiktligt underförstådd: sociala medier, snark och upprördhet är allt en skeptiker egentligen behöver.
För att den negativa psykologin gör ett sådant hö av snark och upprördhet, och eftersom bedrägerier av det slag som neuroskeptikern oroar sig för är sällsynta, måste kriterierna för att göra en artikel eller en forskare till måltavla för snark och upprördhet mjukas upp. Detta är ungefär av samma anledning som att nya bidragspengar blir särskilt viktiga efter – och inte innan – ett första stort bidrag har erhållits: Man måste ”mata odjuret”. Eftersom verklig stringens är svår, men snark och upprördhet är lätta, är det en trivial sak för den negativa psykologin att förvandlas till pseudokritik, vilket jag hävdar att den är på god väg att göra. Pseudokritik är en kusin till pseudovetenskap. Båda antar vetenskapens ytliga utseende utan substans. Precis som med pseudovetenskap är lekmännen dåligt rustade för att utvärdera pseudokritikernas påståenden. Men snark och upprördhet är lätt att tolka. Riktiga vetenskapsmän är stränga, lär vi oss, till och med arga. De sätter ner fötterna, drar hårda linjer i sanden, talar i definitiva termer osv.
I slutändan är negativ psykologi lika med – åtminstone för allmänheten – dåliga metodologiska vanor, vanlig vetenskaplig slarvighet, oskyldiga sannolikhetsfel, omdömeslös hype och regelrätt bedrägeri. I praktiken kan den påminna om utmärkelsen Golden Fleece Award som gjorde så stor skada på psykologin under 1970- och 80-talen.
Varför negativ psykologi är dåligt för kritiker.
Det ovanstående kan ge intryck av att negativa psykologer inte har något av värde att säga. Det är naturligtvis nonsens. Företrädarna för den negativa psykologin är fantastiska människor, och dessutom eftertänksamma, om än inte briljanta. Som jag sade tidigare är Negativ psykologi smittsamt. Den är också vanebildande. Den negativa psykologins vana spädar ut seriös kritik genom att flytta uppmärksamheten från innehållet till snark och upprördhet. Och det är snark och upprördhet som lockar resten av oss – nu vetenskapsmän – att sluta lyssna. Flera utövare av negativ psykologi har redan marginaliserat sig själva på detta sätt.
Detta beror delvis på vantrivsel (”åh, där går det, han skäller ut igen”). Men en annan del – en stor del – är att kritik bör vara genomtänkt och intressant (och faktiskt underhållande om möjligt). Kritik av typen negativ psykologi börjar intressant, ofta rolig, upprörande och fascinerande (på samma sätt som bilvrak är fascinerande), men det dröjer inte länge förrän den blir tråkig, tråkig och präktig – åtminstone om man är en riktig vetenskapsman som försöker lokalisera det kritiska innehållet.
Vad som tar upp ännu en punkt. Jag argumenterar inte mot kritik i sig (jag hoppas att så mycket är uppenbart). Jag anser inte heller nödvändigtvis att uttrycket av ilska och irritation i sig alltid eller ens särskilt destruktivt. Faktum är att en del av den bästa publicerade kritik jag känner till är konstfullt arg (se Why I Don’t Attend Case Conferences av Paul Meehl). Jag förespråkar inte ett passionslöst, procedurmässigt förhållningssätt till kritik och motkritik, även om ett rimligt försök till anständighet är en god idé.
Jag tycker inte heller att kritik aldrig ska vara rolig, även om det är riskabelt att vara rolig eftersom – med all respekt – de flesta vetenskapsmän inte är roliga nog att smälta samman humor och kritik på ett effektivt sätt. I stället framstår skämt som klumpiga och okänsliga och till och med lite kränkande. I min informella undersökning av negativ psykologi under de senaste två åren har jag sett mer än några bloggare och deltagare i sociala medier karakterisera sig själva som ”lättsamma” eller ”respektlösa”, vilket tycks rättfärdiga att de säger ganska fula saker – saker som vi förväntas uppleva som roliga. Men kritisk respektlöshet kräver en nivå av skicklighet – konst, egentligen – som tyvärr saknas hos i stort sett alla jag känner, med undantag för mig själv. Mark Twain var respektlös. H.L. Menken var respektlös. I värsta fall liknar ”respektlöshet” inom den negativa psykologin verkligen en form av mobbning – en som döljer missbruk i trädgårdsvarianter i forskningsetikens tvivelaktiga språk. Den drar ner samtalet till en form av meta-kommunikation av typen ”vem-hur-sårar-vems-känslor” som inte åstadkommer mycket annat än att den sätter kritikern i fokus för allas vår uppmärksamhet. Slutresultatet är förutsägbart: Ett kollektivt, ofta outtalat samförstånd om att badvattnet behöver kastas ut.
Hur ska vi gå vidare?
Jag gillade Daniel Kahnemanns uppsats A New Ettiquette for Replication mycket, men mindre för de specifika rekommendationer han räknade upp än för hans uppriktiga tal om vetenskapliga egon och avsnitt om forskningsmetoder. Som svar på denna uppsats har jag sett den förutsägbara upprördhet som uttryckts på Twitter och Facebook – kommentarer som tyder på att vetenskapen faktiskt äventyras av Kahnemanns åsikter och att metodavsnitten alltid bör vara tillräckligt detaljerade för att andra ska kunna replikera en studie utan att kommunicera med den ursprungliga författaren. Jag tycker att den sistnämnda invändningen är särskilt intressant, eftersom den verkar så fördömande vid första anblicken. Naturligtvis bör metodavsnitten vara tillräckliga.
Men Kahnemann har helt rätt. Metodavsnitten är sällan heltäckande, och bör förmodligen inte vara det. Att hävda detta är i den nuvarande miljön något som ligger nära kätteri, men för en kort tid sedan skulle det inte ha varit kontroversiellt. Och det är inte så att detta ”problem” är unikt för psykologin. Jag har just avslutat läsningen av Peter Medawars självbiografi, Memoir of a Thinking Radish (en bok som jag varmt rekommenderar till alla som är intresserade av hur den vetenskapliga korven tillverkas). Medawar, som vissa läsare känner till, fick Nobelpriset för sitt arbete om immuntolerans vid organtransplantationer. Hans livshistoria är full av exempel på forskare som besöker varandras laboratorier för att lära sig exakt hur man åstadkommer en viss teknik, för att så att säga bli handledd. Metodavsnitt bör vara tillräckliga för att i grunden utvärdera om en studie är sund och för att höja viktiga flaggor, men förmodligen kommer alla försök att på ett heltäckande sätt tillhandahålla alla detaljer för en replikering – eller en fullständig förståelse – att misslyckas.
Så här är en idé som kan generaliseras i stort sett: låt oss faktiskt, bokstavligen, prata med varandra. Och prata inte bara för att få till stånd en korrekt replikering, utan också när impulsen uppstår att offentligt kritisera. Vännen och EGAD-alumnen Patrick McKnight har också föreslagit att vi bör samarbeta mer och oftare – att vi faktiskt måste hitta bättre sätt att belöna gemensam problemlösning i stället för individuell pappersproduktion.
I slutändan har jag inga specifika rekommendationer eller riktlinjer att erbjuda. Jag är en större anhängare av principer än av regler i vilket fall som helst. I princip bör vi arbeta hårt – hårdare än vad som krävs – för att vara generösa, respektfulla, ärliga och så tydliga som möjligt.
Jag inledde den här uppsatsen med ett citat av Peter Medawar, och jag avslutar med ett också – hämtat från de memoarer jag nämnde ovan. Det uttrycker samtidigt riskerna och löftena i det vetenskapliga livet, och innehåller inom sig fröna till den medmänskliga respekt vi alla bör ha för varandra. Mer än så, den hyllar den kreativitet som den ”atmosfär av försiktig och misstänksam misstro” som främjas av den negativa psykologin hotar att kväva.
”…alla vetenskapsmän som är minst sagt fantasifulla kommer ibland att ha en felaktig åsikt och slösa tid på att följa den. Detta måste betraktas som en yrkesrisk i det vetenskapliga livet. Å andra sidan kan den vetenskapsman som är alltför rädd för att spekulera djärvt knappast sägas ha ett kreativt liv överhuvudtaget, och han kommer att sluta som en av dessa sorgliga, sterila bokstavsmän vars smak är så förfinad och vars omdöme är så trevligt att de inte kan förmå sig själva att sätta pennan till papper.”