Le persone da tutte le parti della recente spinta per la replica diretta – una spinta che trovo sia affascinante che ingenua – sono arrabbiate. La settimana scorsa all’APS (la riunione annuale dell’Associazione per la Scienza Psicologica 2014) ho sentito colleghi – spesso amici personali – caratterizzati come sempliciotti metodologici o imperscrutabili bulli. È triste anche perché tutte le persone coinvolte sono collegiali, divertenti e ragionevoli di persona. Per quanto ne so, i sostenitori più visibili della replicazione diretta hanno una visione rispettabilmente sfumata del perché le repliche possono fallire, vale a dire, per tutti i tipi di ragioni. D’altra parte, chi non pensa “cattiva ricerca” quando una scoperta apparentemente non riesce a replicarsi? E perché?
Penso che la psicologia soffra di un problema di atteggiamento – una tendenza in crescita che chiamo Psicologia Negativa. Così come la Psicologia Positiva implica la convinzione che concentrarsi sui punti di forza e sulle virtù migliorerà il benessere, la Psicologia Negativa implica la convinzione che un aumento della diffidenza e del sospetto migliorerà il progresso scientifico, una prospettiva con la quale non sono assolutamente d’accordo. Ma la Psicologia Negativa comprende anche quella serie di comportamenti – ridicolo pubblico e vergogna, indignazione morale, umorismo maldestro – che internet ha la tendenza a incoraggiare. I principali sostenitori della Psicologia Negativa sono metodologi con i quali sento una forte affinità professionale. Frequento i metodologi da quasi due decenni ormai, e anche se la Psicologia Negativa è sempre stata una caratteristica del mio clan, internet – e in particolare i social media – sta trasformando quello che una volta era uno sfortunato difetto in un fenomeno professionale.
Nonostante i ritorni limitati di ampi investimenti, ho partecipato a lungo al mio lavoro metodologico. In effetti, sembro incapace di evitarlo. I miei anni di laurea sono stati immersi nel Gruppo di Valutazione per l’Analisi dei Dati (EGAD), dal nome felice, fondato da Lee Sechrest, che ha presieduto il mio dottorato minore in metodologia, e che non è affatto male in tutto, dalla filosofia della scienza alla statistica multivariata. Lee ha favorito una visione della metodologia che mi piaceva. In EGAD, abbiamo trascorso poco tempo scuotendo le dita e aggrottando le sopracciglia. Invece, abbiamo sperimentato disegni di ricerca non ortodossi e procedure di analisi dei dati, spingendo i confini metodologici e prendendo rischi interessanti.
Alla fine, EGAD si è dilettato anche in Psicologia Negativa. Quando questo accadeva, individui altrimenti compassionevoli e riflessivi si comportavano male, trascurando qualsiasi beneficio del dubbio ed esercitando un umorismo meno divertente che cattivo. E una volta che tutto è iniziato è stato contagioso – penso perché il sospetto e lo sputo si sono confusi con il rigore. Poiché l’apparenza di rigore è altamente desiderabile e il sospetto e lo sberleffo sono facili, il sospetto e lo sberleffo sono diventati la via di minor resistenza per sembrare rigorosi. In effetti, penso che lo stesso processo sia la causa più probabile della Psicologia Negativa ora.
Una volta iniziato, può essere difficile da controllare. A giudicare dalla copertura mediatica popolare, dai “tweet” sarcastici e dagli interminabili scambi su Facebook, la Psicologia Negativa è in forte crescita. Lo stato abissale della scienza è enfatizzato, con risultati dubbi affrontati in termini emotivi, ampiamente umoristici e decisamente negativi.
La psicologia negativa presuppone il peggio – il peggio nella metodologia, il peggio nell’impatto sociale, il peggio nella motivazione – quando si valuta uno scienziato o il lavoro di uno scienziato. Si vedono questi presupposti nelle affermazioni di “correlazione voodoo”, indagini di “p-hacking”, siti web come Retraction Watch, Neuroskeptic, una manciata di altri blog dedicati a esporre la cattiva scienza, e un insieme di utenti dei social media su Twitter, Facebook e altrove. Gli scrittori che lavorano in modalità Psicologia Negativa rivendicano varie motivazioni, ma la vergogna pubblica è sicuramente in cima alla lista. Questo è un male per i nostri colleghi perché li orienta verso un pensiero difensivo piuttosto che creativo; è un male per il pubblico perché degrada inutilmente la fiducia nella ricerca migliore insieme a quella peggiore, equiparando implicitamente le due cose; ed è un male per gli stessi critici perché ci induce tutti a smettere di ascoltare. Infatti, la Psicologia Negativa rischia di far confondere l’indignazione morale con il rigore scientifico, una confusione che è irresistibile, credo, sia per i profani che per gli scienziati in formazione, perché l’indignazione morale è relativamente facile, mentre il rigore scientifico non lo è. Mancando di sostanza critica, i nostri studenti possono imparare che un contegno scontroso sarà sufficiente, e che una postura di indignazione morale può farli entrare velocemente nel club dei metodologi dagli occhi di ghiaccio.
Perché la psicologia negativa è un male per i nostri colleghi.
Fate la vostra indagine sul lavoro classico in psicologia – quello che ha davvero fatto avanzare il campo in modo significativo e generativo – e chiedetevi quanto bene quel lavoro potrebbe reggere all’esame critico oggi. Eccone alcuni che mi vengono in mente: Schacter e Singer, 1962; Festinger, Riecken, & Schachter, 1956; Ekman & Friesen, 1971; Hull, 1943; Eysenck, 1953; ce ne sono molti altri. Scommetto che non c’è una replica diretta nel gruppo. Peggio, scommetto che si preferisce non provarci. Questi studi non sono stati influenti perché erano metodologicamente ineccepibili. Infatti, metodologicamente parlando, erano profondamente imperfetti. Invece, questi lavori sono stati influenti perché contenevano idee molto creative. Non sto per sostenere che abbiamo bisogno di più ricerche metodologicamente imperfette, ma penso che la paura di essere svergognati dal pubblico serva come disincentivo a spingere i confini teorici e metodologici. Inoltre, penso che ci sia una correlazione negativa tra creatività e rigore, guidata non dalle condizioni necessarie per la creatività, ma dalle condizioni necessarie per il tipo di rigore che tendiamo a sottolineare in psicologia – la paura dell’errore di tipo I in particolare.
Per parafrasare H.L. Menken, i grandi scienziati del mondo sono raramente puritani. La gente vuole fare scienza per tutti i tipi di ragioni e in tutti i modi, solo alcuni dei quali hanno qualcosa a che fare con la sperimentazione. E sì, alcuni scienziati (non tu, ovviamente) di tanto in tanto taglieranno gli angoli e faranno errori grossolani nella loro ricerca a testa calda di idee interessanti. Se questo non fa parte del gioco, il gioco non verrà giocato. Almeno, il gioco non verrà giocato bene.
E comunque, anche la paura della vergogna pubblica fa già parte del gioco, come tutti sappiamo. Chiunque di noi scoprisse un errore degno di una ritrattazione si sentirebbe profondamente umiliato e imbarazzato. Probabilmente non c’è modo di aggirare questo, né, probabilmente, dovrebbe esserci. Ogni volta che l’esperimento di una persona fallisce o scopre di aver fatto un errore stupido, o il suo lavoro non riesce a replicarsi, possiamo aspettarci che si vergogni senza alcun aiuto da parte nostra. Semmai, il nostro lavoro dovrebbe essere quello di aiutarli a sentirsi meglio quando le cose vanno male. Prestiamo il nostro sostegno perché loro (e noi) sono brave persone, e perché un giorno il colpevole potremmo essere noi. (Sto scherzando, il fallimento non accadrà mai a te.)
Dovremmo anche ricordare che la vergogna fa impazzire la gente. Questo è vero nelle migliori circostanze. Quando le persone si aspettano di essere svergognate pubblicamente, faranno di tutto per evitarlo. Quando accumuliamo, peggioriamo una brutta situazione. Le persone si trincerano dietro i talloni, si mettono sulla difensiva, lanciano controaccuse, ecc, in modo prevedibile come la notte segue il giorno. Questo non è il comportamento di cretini metodologici. Questo è il comportamento delle persone normali. E gli scienziati sono persone normali.
Perché la psicologia negativa fa male al pubblico.
Il pubblico dipende da noi per essere ragionevoli. Ci guardano non solo per avere spunti su cosa credere, ma anche per capire il processo scientifico. Stanno osservando il discorso, e lo stesso vale per i nostri studenti. Quando ci critichiamo l’un l’altro usando i tropi della psicologia negativa – cioè con l’indignazione morale, l’umorismo ostile e la vergogna pubblica – alleniamo il pubblico a ignorare del tutto la scienza o (di nuovo) a confondere l’indignazione con il rigore.
Non credo che questa sia solo speculazione da parte mia.
I lettori potrebbero conoscere un blogger anonimo chiamato il Neuroskeptic. La missione del Neuroskeptic è quella di offrire una critica del lavoro neuroscientifico popolare sulla base del fatto che tale lavoro è spesso difficile da interpretare per il pubblico. Lo scorso dicembre (2013), il Neuroskeptic ha pubblicato un blog incoraggiando il “vigilantismo scientifico”. I vigilanti avrebbero usato i blog e i social media per stanare le frodi, e lanciare l’allarme in un modo pubblicamente accessibile al di fuori del tradizionale processo di peer review.
Ho letto il pezzo subito dopo la sua pubblicazione. Ecco cosa diceva il primissimo commento:
Quando questo è successo anni fa nella scienza del clima, noi ‘vigilantes’ siamo stati tutti etichettati come negazionisti malvagi al soldo delle corporazioni malvagie che trollavano per distruggere il mondo naturale, il pianeta e la civiltà stessa.
Bene vedere che l’atteggiamento corretto e scettico verso la scienza si sta invece diffondendo in altri campi. Come è giusto che sia.
Cosa potrebbe fare il Neuroscettico, se non rispondere frettolosamente:
Questo è un confronto ridicolo. Sto parlando di individuare la cattiva condotta scientifica formale, non di criticare le teorie scientifiche. Ma in realtà non ha importanza perché, dopo lo studio BEST, anche i negazionisti malvagi al soldo delle corporazioni malvagie hanno concluso che le temperature globali stanno aumentando.
Mi dispiace per il Neuroskeptic qui. È una specie di momento “gotcha”. Ma il paragone non è ridicolo. Anzi, è appropriato. Una lezione è chiaramente affermata, persino incoraggiata: chiunque può essere uno “scettico”, esperto o no. Un’altra lezione è accidentalmente implicita: i social media, il sarcasmo e l’indignazione sono tutto ciò di cui uno scettico ha davvero bisogno.
Perché la Psicologia Negativa fa tanto fieno con lo sputo e lo sdegno, e poiché le frodi del tipo di cui si preoccupa il neuroscettico sono rare, i criteri che rendono un documento o uno scienziato il bersaglio di sberleffo e indignazione dovranno essere rilassati. Questo è più o meno lo stesso motivo per cui i nuovi finanziamenti diventano particolarmente importanti dopo – e non prima – che venga acquisito il primo importante finanziamento: Bisogna “nutrire la bestia”. Poiché il vero rigore è difficile, ma il sarcasmo e l’indignazione sono facili, è una cosa banale che la Psicologia Negativa si trasformi in pseudocriticismo, cosa che secondo me è sulla buona strada per fare. Lo pseudocriticismo è un cugino della pseudoscienza. Entrambi adottano gli ornamenti superficiali della scienza senza la sostanza. Come con la pseudoscienza, il pubblico laico è mal equipaggiato per valutare le affermazioni degli pseudocritici. Ma il sarcasmo e l’indignazione sono facilmente interpretabili. I veri scienziati sono severi, impariamo, persino arrabbiati. Mettono i piedi per terra, tracciano linee dure nella sabbia, parlano in termini definitivi, ecc.
In definitiva, la Psicologia Negativa equivale – almeno per il pubblico – a cattive abitudini metodologiche, sciatteria scientifica ordinaria, errore probabilistico innocente, montatura ingiustificata e frode vera e propria. Nella pratica e negli effetti, può ricordare il premio Golden Fleece che ha fatto tanti danni alla Psicologia negli anni ’70 e ’80.
Perché la Psicologia Negativa è un male per i critici.
Quanto sopra può dare l’impressione che gli Psicologi Negativi non abbiano nulla di valore da dire. Questa è una sciocchezza, naturalmente. I rappresentanti della Psicologia Negativa sono persone formidabili, e anche riflessivi, se non brillanti. Come ho detto prima, la Psicologia Negativa è contagiosa. È anche un’abitudine. L’abitudine della Psicologia Negativa diluisce la critica seria spostando l’attenzione dal contenuto allo sprezzo e all’indignazione. Ed è il sarcasmo e l’indignazione che tenta il resto di noi – colleghi scienziati ora – a smettere di ascoltare. Molti praticanti della Psicologia Negativa si sono già emarginati in questo modo.
Questo è in parte dovuto all’abitudine (“oh, ecco che ricomincia a parlare a vanvera”). Ma un’altra parte – una grande parte – è che la critica dovrebbe essere ponderata e interessante (e, in effetti, divertente se possibile). La critica del tipo della Psicologia Negativa inizia in modo interessante, spesso divertente, scandaloso e affascinante (nel modo in cui gli incidenti d’auto sono affascinanti), ma non ci vuole molto perché diventi noiosa, squallida e priggish – almeno se sei un vero scienziato che cerca di individuare il contenuto critico.
Il che porta a un altro punto. Non sto discutendo contro la critica di per sé (spero che questo sia ovvio). Né penso necessariamente che l’espressione di rabbia e irritazione sia di per sé sempre o anche particolarmente distruttiva. Infatti, alcune delle migliori critiche pubblicate che conosco sono artatamente arrabbiate (vedi Why I Don’t Attend Case Conferences di Paul Meehl). Non sto sostenendo un approccio procedurale e senza passione alla critica e alla contro-critica, anche se un ragionevole tentativo di decoro è una buona idea.
Né penso che la critica non dovrebbe mai essere divertente, anche se essere divertenti è rischioso perché – con tutto il rispetto – la maggior parte degli scienziati non è abbastanza divertente per fondere efficacemente umorismo e critica. Invece, le battute si presentano come goffe e insensibili e persino un po’ abusive. Nella mia indagine informale sulla Psicologia Negativa negli ultimi due anni, ho visto più di qualche blogger e partecipanti ai social media caratterizzarsi come “spensierati” o “irriverenti”, il che sembra giustificare il fatto di dire cose piuttosto brutte – cose che ci si aspetta di vivere come divertenti. Ma l’irriverenza critica richiede un livello di abilità artistica, in realtà, che è tristemente carente in quasi tutti quelli che conosco, me escluso. Mark Twain era irriverente. H.L. Menken era irriverente. Al suo peggio, l'”irriverenza” nella Psicologia Negativa assomiglia davvero a una specie di bullismo, che ammanta l’abuso della varietà da giardino con il dubbio linguaggio dell’etica della ricerca. Trascina la conversazione verso il basso in una forma di meta-comunicazione del tipo “chi fa male a chi” che ottiene poco se non mettere il critico in primo piano nell’attenzione di tutti. Il risultato finale è prevedibile: Un consenso collettivo, spesso tacito, sul fatto che l’acqua del bagno va buttata via.
Come dobbiamo procedere?
Il saggio di Daniel Kahnemann A New Ettiquette for Replication mi è piaciuto molto, ma meno per le raccomandazioni specifiche che ha elencato che per il suo discorso franco sugli ego scientifici e le sezioni sul metodo di ricerca. In risposta a questo saggio, ho visto la prevedibile indignazione espressa su Twitter e Facebook – commenti che suggeriscono che la scienza è in realtà messa in pericolo dai sentimenti di Kahnemann e che le sezioni sul metodo dovrebbero essere sempre abbastanza dettagliate da permettere ad altri di replicare uno studio senza alcuna comunicazione con l’autore originale. Trovo quest’ultima obiezione particolarmente interessante, perché sembra così dannosa in apparenza. Naturalmente le sezioni di metodo dovrebbero essere sufficienti.
Ma Kahnemann ha assolutamente ragione. Le sezioni sui metodi sono raramente complete, e probabilmente non dovrebbero esserlo. Affermare questo è, nell’ambiente attuale, qualcosa di vicino all’eresia, ma poco tempo fa non sarebbe stato controverso. E non è che questo “problema” sia unico per la psicologia. Ho appena finito di leggere l’autobiografia di Peter Medawar, Memoir of a Thinking Radish (un libro che consiglio vivamente a chiunque sia interessato a come si fa la salsiccia della scienza). Medawar, alcuni lettori lo sapranno, ha ricevuto un premio Nobel per il suo lavoro sulla tolleranza immunitaria nei trapianti d’organo. La storia della sua vita è piena di esempi di scienziati da banco che visitano i laboratori degli altri per imparare esattamente come si realizza una particolare tecnica, per essere guidati per mano, per così dire. Le sezioni sul metodo dovrebbero essere sufficienti per valutare fondamentalmente la solidità di uno studio, e per sollevare bandiere importanti, ma probabilmente qualsiasi tentativo di fornire in modo esaustivo ogni dettaglio per una replica – o una comprensione completa – non sarà sufficiente.
Ecco quindi un’idea ampiamente generalizzabile: parliamo davvero, letteralmente, l’uno con l’altro. E parlare non solo allo scopo di un’accurata replica, ma anche quando sorge l’impulso di criticare pubblicamente. L’amico e compagno di studi EGAD Patrick McKnight ha anche suggerito che dovremmo collaborare di più e più spesso – che in effetti abbiamo bisogno di trovare modi migliori per premiare il problem solving collaborativo invece della produzione di carta individuale.
In definitiva, non ho raccomandazioni specifiche o linee guida da offrire. Sono un fan dei principi più che delle regole, in ogni caso. In linea di principio, dovremmo lavorare più duramente di quanto sia richiesto – essere generosi, rispettosi, onesti, e il più chiaro possibile.
Ho aperto questo saggio con una citazione di Peter Medawar, e chiuderò anch’io con una, tratta dal libro di memorie che ho citato sopra. Esprime simultaneamente i rischi e le promesse della vita scientifica, e contiene al suo interno i semi del rispetto compassionevole che tutti dovremmo avere gli uni per gli altri. Più di questo, celebra la creatività che “l’atmosfera di incredulità diffidente e sospettosa” promossa dalla Psicologia Negativa minaccia di soffocare.
“…tutti gli scienziati che hanno un minimo di immaginazione a volte prendono una visione sbagliata e perdono tempo a perseguirla. Questo deve essere considerato un rischio professionale della vita scientifica. D’altra parte lo scienziato troppo spaventato per speculare audacemente difficilmente si può dire che stia avendo una vita creativa, e finirà come uno di quei tristi, sterili uomini di lettere il cui gusto è così raffinato e il giudizio così bello che non possono portarsi al punto di mettere la penna sulla carta.