Ludzie po wszystkich stronach niedawnego parcia na bezpośrednią replikację – parcia, które uważam zarówno za urocze, jak i naiwne – są wściekli. W zeszłym tygodniu na APS (dorocznym spotkaniu Stowarzyszenia Nauk Psychologicznych 2014) usłyszałem kolegów – często osobistych przyjaciół – opisywanych jako metodologicznych prostaczków lub niezrozumiałych łobuzów. Jest to smutne nie tylko dlatego, że wszyscy zaangażowani są koleżeńscy, zabawni i rozsądni osobiście. O ile mi wiadomo, najbardziej widoczni zwolennicy bezpośredniej replikacji mają dość zniuansowany pogląd na to, dlaczego replikacje mogą się nie udać, czyli z różnych powodów. Z drugiej strony, kto nie myśli „złe badania”, kiedy jakieś odkrycie najwyraźniej nie udaje się zreplikować? I dlaczego tak się dzieje?

Myślę, że psychologia cierpi na problem postawy – rozwijający się trend, który nazywam Psychologią Negatywną. Tak jak Psychologia Pozytywna zakłada przekonanie, że skupianie się na mocnych stronach i zaletach poprawi samopoczucie, tak Psychologia Negatywna zakłada przekonanie, że zwiększona ostrożność i podejrzliwość poprawi postęp naukowy, z czym z całego serca się nie zgadzam. Ale Psychologia Negatywna obejmuje również ten zestaw zachowań – publiczne ośmieszanie i zawstydzanie, moralne oburzenie, niezdarny humor – do których internet ma tendencję zachęcać. Głównymi zwolennikami Psychologii Negatywnej są metodolodzy, z którymi czuję silne zawodowe pokrewieństwo. Spotykam się z metodologami już od prawie dwóch dekad i choć Psychologia Negatywna zawsze była cechą mojego klanu, Internet – a zwłaszcza media społecznościowe – przekształca to, co kiedyś było niefortunną przypadłością, w profesjonalne zjawisko.

Pomimo ograniczonych zwrotów z obfitych inwestycji, od dawna uczestniczę we własnej pracy metodologicznej. Rzeczywiście, wydaje się, że nie jestem w stanie jej uniknąć. Moje lata studiów były przesiąknięte szczęśliwie nazwaną Grupą Oceny Analizy Danych (EGAD), założoną przez Lee Sechresta, który przewodniczył mojemu doktoratowi z metodologii, i który nie jest niedościgniony we wszystkim, od filozofii nauki po statystykę wielowymiarową. Lee promował pogląd na metodologię, którym mogłem się cieszyć. W EGAD spędzaliśmy niewiele czasu na machaniu palcami i marszczeniu brwi. Zamiast tego eksperymentowaliśmy z nieortodoksyjnymi projektami badawczymi i procedurami analizy danych, przesuwając metodologiczne granice i podejmując interesujące ryzyko.

Ale EGAD zajmowało się również psychologią negatywną. Kiedy to się stało, skądinąd współczujące i troskliwe jednostki zachowywały się źle, lekceważąc wszelkie korzyści płynące z wątpliwości i stosując humor mniej zabawny niż wredny. A kiedy już się to wszystko zaczęło, stało się zaraźliwe – myślę, że dlatego, że podejrzliwość i sarkastyczność zostały pomylone z rygorem. Ponieważ pozory rygoru są bardzo pożądane, a podejrzenia i docinki są łatwe, podejrzenia i docinki stały się drogą najmniejszego oporu, by wyglądać rygorystycznie. W rzeczy samej, myślę, że ten sam proces jest najbardziej prawdopodobną przyczyną Psychologii Negatywnej teraz.

Gdy już się zacznie, może być trudno zapanować nad nim. Sądząc po popularnym przekazie medialnym, pyskatych „tweetach” i niekończących się wymianach zdań na Facebooku, Psychologia Negatywna jest na fali wznoszącej. Podkreśla się fatalny stan nauki, z wątpliwymi odkryciami konfrontowanymi w emocjonalnie naładowanych, szeroko humorystycznych i zdecydowanie negatywnych kategoriach.

Psychologia Negatywna zakłada najgorsze – najgorszą metodologię, najgorszy wpływ społeczny, najgorszą motywację – kiedy ocenia naukowca lub jego pracę. Widzimy te założenia w twierdzeniach o „korelacji voodoo”, śledztwach „p-hackingowych”, stronach internetowych takich jak Retraction Watch, Neuroskeptic, garstce innych blogów poświęconych demaskowaniu złej nauki, a także wśród użytkowników mediów społecznościowych na Twitterze, Facebooku i w innych miejscach. Pisarze pracujący w trybie Psychologii Negatywnej powołują się na różne powody, ale publiczne zawstydzanie jest z pewnością na szczycie listy. Niektórzy wyraźnie to podkreślają.

Jest to złe dla naszych kolegów, ponieważ ukierunkowuje ich na myślenie defensywne, a nie kreatywne; jest to złe dla opinii publicznej, ponieważ niepotrzebnie degraduje zaufanie do najlepszych badań wraz z tymi najgorszymi poprzez domyślne zrównanie tych dwóch; i jest to złe dla samych krytyków, ponieważ kusi nas wszystkich, by przestać ich słuchać. W rzeczy samej, Psychologia Negatywna ryzykuje pomylenie moralnego oburzenia z naukowym rygorem, pomylenie, które jest przekonujące, jak sądzę, zarówno dla laików, jak i naukowców w trakcie szkolenia, ponieważ moralne oburzenie jest stosunkowo łatwe, a naukowy rygor nie. Pozbawieni krytycznej substancji, nasi studenci mogą się nauczyć, że niefrasobliwe zachowanie wystarczy, a postawa moralnego oburzenia może ich szybko wprowadzić do klubu metodologów o stalowym spojrzeniu.

Dlaczego negatywna psychologia jest zła dla naszych kolegów.

Zróbcie własne badanie klasycznej pracy w psychologii – rzeczy, które naprawdę posunęły tę dziedzinę naprzód w znaczący, generatywny sposób – i zadajcie sobie pytanie, jak dobrze ta praca wytrzymałaby dzisiejsze krytyczne badanie. Oto kilka, które przychodzą mi na myśl: Schacter i Singer, 1962; Festinger, Riecken, & Schachter, 1956; Ekman & Friesen, 1971; Hull, 1943; Eysenck, 1953; jest wiele innych. Założę się, że nie ma w tej grupie bezpośredniej replikacji. Co gorsza, założę się, że raczej byśmy nie próbowali. Badania te nie były wpływowe, ponieważ były hermetyczne pod względem metodologicznym. W rzeczy samej, metodologicznie rzecz biorąc, były one głęboko wadliwe. Zamiast tego, prace te były wpływowe, ponieważ zawierały bardzo kreatywne pomysły. Nie zamierzam twierdzić, że potrzebujemy więcej metodologicznie błędnych badań, ale myślę, że strach przed publicznym zawstydzeniem będzie zniechęcał do przesuwania teoretycznych i metodologicznych granic. Ponadto uważam, że istnieje negatywna korelacja między kreatywnością a rygorem, napędzana nie przez warunki niezbędne do kreatywności, ale przez warunki niezbędne do rodzaju rygoru, który mamy tendencję podkreślać w psychologii – strach przed błędem typu I w szczególności.

Parafrazując H.L. Menkena, wielcy naukowcy świata rzadko są purytanami. Ludzie chcą uprawiać naukę z najróżniejszych powodów i na najróżniejsze sposoby, z których tylko niektóre mają cokolwiek wspólnego z eksperymentowaniem. I tak, niektórzy naukowcy (nie ty oczywiście) będą nawet czasami szli na skróty i popełniali niechlujne błędy w swojej gorącej pogoni za fajnymi pomysłami. Jeśli to nie jest częścią gry, to gra nie będzie się toczyć. A przynajmniej, gra nie będzie dobrze rozegrana.

I tak czy inaczej, strach przed publicznym wstydem jest już częścią gry, jak wszyscy wiemy. Każdy z nas, kto odkrył błąd godny retrakcji, czułby się głęboko upokorzony i zażenowany. Tam jest prawdopodobnie żadny sposób obchodzić to, nor, prawdopodobnie, powinien tam być. Za każdym razem, gdy eksperyment danej osoby się nie powiedzie, gdy odkryje ona, że popełniła głupi błąd, lub gdy jej praca nie zostanie powtórzona, możemy oczekiwać, że poczuje się zawstydzona bez żadnej pomocy z naszej strony. Jeśli w ogóle, naszym zadaniem powinno być pomóc im poczuć się lepiej, kiedy coś pójdzie nie tak. Udzielamy wsparcia, ponieważ oni (i my) są dobrymi ludźmi, a także dlatego, że pewnego dnia winowajcą możemy być my. (Żartuję, porażka nigdy ci się nie przytrafi.)

Powinniśmy też pamiętać, że wstyd powoduje, że ludzie wariują. Jest to prawdą w najlepszych okolicznościach. Kiedy ludzie spodziewają się, że zostaną publicznie zawstydzeni, zrobią wszystko, aby tego uniknąć. Kiedy się narzucamy, pogarszamy złą sytuację. Ludzie będą deptać sobie po piętach, będą się bronić, będą rzucać kontr-oskarżenia, itd. To nie jest zachowanie metodologicznych kretynów. To jest zachowanie normalnych ludzi. A naukowcy są normalnymi ludźmi.

Dlaczego Psychologia Negatywna jest zła dla społeczeństwa.

Społeczeństwo zależy od nas, abyśmy byli rozsądni. Obserwują nas nie tylko w poszukiwaniu wskazówek na temat tego, w co wierzyć, ale także w celu zrozumienia procesu naukowego. Oni obserwują dyskurs, tak samo jak nasi studenci. Kiedy krytykujemy siebie nawzajem używając tropów Psychologii Negatywnej – to znaczy, z moralnym oburzeniem, wrogim humorem i publicznym zawstydzaniem – szkolimy społeczeństwo, aby albo całkowicie zlekceważyło naukę, albo (ponownie) pomyliło oburzenie z rygorem.

Nie sądzę, aby to była tylko spekulacja z mojej strony.

Czytelnicy mogą wiedzieć o anonimowym blogerze zwanym Neuroskeptic. misją Neuroskeptic jest oferowanie krytyki popularnej pracy neurobiologicznej na podstawie tego, że taka praca jest często trudna do interpretacji przez społeczeństwo. W grudniu ubiegłego roku (2013) Neuroskeptic opublikował blog zachęcający do „naukowego vigilantyzmu”. Czujni użyliby blogów i mediów społecznościowych, aby wykurzyć oszustwo i podnieść alarm w publicznie dostępny sposób poza tradycyjnym procesem peer review.

Czytałem ten kawałek wkrótce po tym, jak został opublikowany. Oto, co powiedział pierwszy komentarz:

Gdy to się stało lata temu w nauce o klimacie, my „czujni” wszyscy byli etykietowani jako źli negacjoniści na żołdzie złych korporacji trolujących, by zniszczyć świat przyrody, planetę i samą cywilizację.

Miło widzieć, że prawidłowe, sceptyczne podejście do nauki zamiast tego rozprzestrzenia się na inne dziedziny. Tak jak powinno.

Co mógłby zrobić Neuroskeptyk, poza pospieszną odpowiedzią:

To niedorzeczne porównanie. Mówię o dostrzeganiu formalnych uchybień naukowych, a nie o krytykowaniu teorii naukowych. Ale to naprawdę nie ma znaczenia, bo od czasu badania BEST nawet źli negacjoniści na żołdzie złych korporacji doszli do wniosku, że globalne temperatury rosną.

Współczuję tu Neuroskeptykowi. To jest rodzaj momentu „gotcha”. Ale porównanie nie jest niedorzeczne. Rzeczywiście, to jest trafne. Jedna lekcja jest jasno określona, nawet zachęcana: każdy może być „sceptykiem”, ekspertem lub nie. Inna lekcja jest przypadkowo zasugerowana: media społecznościowe, sarkazm i oburzenie to wszystko, czego sceptyk naprawdę potrzebuje.

Ponieważ Psychologia Negatywna robi takie siano z pyskówek i oburzenia, i ponieważ oszustwa w rodzaju tych, o które martwi się Neuroskeptyk, są rzadkie, kryteria czyniące papier lub naukowca celem sarka i oburzenia będą musiały zostać złagodzone. To jest z tego samego powodu, że nowe pieniądze na granty stają się szczególnie ważne po – a nie przed – zdobyciem pierwszego dużego grantu: Trzeba „nakarmić bestię”. Ponieważ prawdziwy rygor jest trudny, a snark i oburzenie łatwe, jest rzeczą banalnie prostą dla Psychologii Negatywnej przekształcić się w pseudokrytykę, do czego, jak twierdzę, jest ona na dobrej drodze. Pseudokrytyka jest kuzynką pseudonauki. Oba przyjmują powierzchowne pozory nauki bez treści. Podobnie jak w przypadku pseudonauki, laicy są źle przygotowani do oceny twierdzeń pseudokrytyków. Ale snark i oburzenie są łatwe do zinterpretowania. Prawdziwi naukowcy są surowi, uczymy się, a nawet wściekli. Stawiają stopy, rysują twarde linie na piasku, mówią w ostatecznych terminach, itd.

Na koniec, Psychologia Negatywna równa się – przynajmniej dla opinii publicznej – złym nawykom metodologicznym, zwykłej naukowej niechlujności, niewinnemu błędowi probabilistycznemu, nieostrożnemu szumowi i jawnemu oszustwu. W praktyce i skutkach może przypominać nagrodę Złotego Runa, która wyrządziła tyle szkód psychologii w latach 70-tych i 80-tych.

Dlaczego Psychologia Negatywna jest zła dla krytyków.

Powyższe może sprawiać wrażenie, że Psychologowie Negatywni nie mają nic wartościowego do powiedzenia. Jest to oczywiście nonsens. Przedstawiciele Psychologii Negatywnej są wspaniałymi ludźmi, także myślącymi, jeśli nie błyskotliwymi. Jak już wspomniałem, Psychologia Negatywna jest zaraźliwa. Tworzy również nawyk. Nawyk Psychologii Negatywnej rozcieńcza poważną krytykę, przenosząc uwagę z treści na przekomarzanie się i oburzanie. A to właśnie sarkanie i oburzenie kusi resztę z nas – teraz już kolegów naukowców – by przestać słuchać. Kilku praktyków Psychologii Negatywnej już się w ten sposób zmarginalizowało.

Jest to częściowo z przyzwyczajenia („oh, there goes , mouthing off again”). Ale inną częścią tego – dużą częścią – jest to, że krytyka powinna być przemyślana i interesująca (i, w rzeczy samej, zabawna, jeśli to możliwe). Krytyka typu Psychologii Negatywnej zaczyna się interesująco, często zabawnie, oburzająco i fascynująco (w sposób, w jaki fascynujące są wraki samochodów), ale nie trwa długo, zanim stanie się nudna, ponura i prymitywna – przynajmniej jeśli jesteś prawdziwym naukowcem próbującym zlokalizować treść krytyczną.

Co podnosi jeszcze jedną kwestię. Nie opowiadam się przeciwko krytyce per se (mam nadzieję, że to jest oczywiste). Niekoniecznie też uważam, że wyrażanie gniewu i irytacji jest samo w sobie zawsze lub nawet szczególnie destrukcyjne. W rzeczy samej, niektóre z najlepszych opublikowanych krytyk, jakie znam, są artystycznie gniewne (zob. Dlaczego nie uczestniczę w konferencjach dotyczących spraw, autorstwa Paula Meehla). Nie jestem zwolennikiem beznamiętnego, proceduralnego podejścia do krytyki i kontrkrytyki, choć rozsądna próba zachowania decorum jest dobrym pomysłem.

Nie uważam też, że krytyka nigdy nie powinna być zabawna, choć bycie zabawnym jest ryzykowne, ponieważ – z całym szacunkiem – większość naukowców nie jest wystarczająco zabawna, by skutecznie połączyć humor i krytykę. Zamiast tego, żarty są niezręczne i nieczułe, a nawet trochę obraźliwe. W moim nieformalnym badaniu Psychologii Negatywnej w ciągu ostatnich dwóch lat, widziałem więcej niż kilku blogerów i uczestników mediów społecznościowych, którzy określali siebie jako „lekkoduchów” lub „niepoważnych”, co wydaje się usprawiedliwiać mówienie dość brzydkich rzeczy – rzeczy, które mamy odbierać jako zabawne. Ale krytyczna niepoważność wymaga pewnego poziomu umiejętności – sztuki, naprawdę – której niestety brakuje prawie wszystkim, których znam, nie wyłączając mnie samego. Mark Twain był niepoważny. H.L. Menken był niepoważny. W najgorszym przypadku „niepoważność” w Psychologii Negatywnej naprawdę przypomina rodzaj znęcania się – takiego, które przyobleka ogrodową odmianę znęcania się w wątpliwy język etyki badawczej. Spycha rozmowę w dół do formy metakomunikacji typu „kto kogo krzywdzi, kto kogo czuje”, która osiąga niewiele poza umieszczeniem krytyka w centrum uwagi wszystkich. Rezultat końcowy jest do przewidzenia: Zbiorowy, często niewypowiedziany konsensus, że trzeba wylać wodę z kąpielą.

Jak powinniśmy postąpić?

Bardzo podobał mi się esej Daniela Kahnemanna A New Ettiquette for Replication, ale mniej ze względu na konkretne zalecenia, które wyliczył, niż ze względu na jego szczerą rozmowę o naukowym ego i sekcjach dotyczących metody badawczej. W odpowiedzi na ten esej widziałem na Twitterze i Facebooku przewidywalne oburzenie – komentarze sugerujące, że sentymenty Kahnemanna zagrażają nauce i że rozdziały dotyczące metod powinny być zawsze na tyle szczegółowe, by inni mogli replikować badania bez jakiejkolwiek komunikacji z autorem. Ten ostatni zarzut jest dla mnie szczególnie interesujący, ponieważ na pierwszy rzut oka wydaje się tak potępiający. Oczywiście, że sekcje metod powinny być wystarczające.

Ale Kahnemann ma całkowitą rację. Sekcje metod rzadko są wyczerpujące, i prawdopodobnie nie powinny być. Twierdzenie tego jest, w obecnym środowisku, czymś bliskim herezji, ale jeszcze jakiś czas temu nie byłoby to kontrowersyjne. I nie jest tak, że ten „problem” jest unikalny dla psychologii. Właśnie skończyłem czytać autobiografię Petera Medawara, Memoir of a Thinking Radish (książkę, którą bardzo gorąco polecam każdemu zainteresowanemu tym, jak robi się naukową kiełbasę). Niektórzy czytelnicy wiedzą, że Medawar otrzymał Nagrodę Nobla za swoją pracę nad tolerancją immunologiczną w przeszczepach organów. Historia jego życia obfituje w przykłady naukowców odwiedzających laboratoria innych naukowców, aby dowiedzieć się dokładnie, jak dana technika jest osiągana, aby być niejako prowadzonym za rękę. Sekcje metod powinny być wystarczające, aby zasadniczo ocenić solidność badania i podnieść ważne flagi, ale prawdopodobnie każda próba kompleksowego dostarczenia każdego szczegółu dla replikacji – lub pełnego zrozumienia – okaże się niewystarczająca.

Więc oto jeden szeroko generalizowalny pomysł: faktycznie, dosłownie, rozmawiajmy ze sobą. I rozmawiajmy nie tylko w celu dokładnej replikacji, ale także wtedy, gdy pojawia się impuls do publicznej krytyki. Przyjaciel i absolwent EGAD, Patrick McKnight, również zasugerował, że powinniśmy współpracować więcej i częściej – że rzeczywiście musimy znaleźć lepsze sposoby nagradzania wspólnego rozwiązywania problemów zamiast indywidualnej produkcji papieru.

W ostatecznym rozrachunku nie mam do zaoferowania żadnych konkretnych zaleceń ani wytycznych. W każdym razie jestem większym zwolennikiem zasad niż reguł. Zasadniczo powinniśmy pracować ciężej, niż jest to wymagane – być hojnymi, pełnymi szacunku, uczciwymi i tak jasnymi, jak to tylko możliwe.

Zacząłem ten esej cytatem z Petera Medawara, i nim też zakończę – zaczerpniętym z pamiętnika, o którym wspomniałem powyżej. Wyraża on jednocześnie ryzyko i obietnice życia naukowego, a także zawiera w sobie ziarna współczującego szacunku, jaki wszyscy powinniśmy mieć dla siebie nawzajem. Co więcej, celebruje kreatywność, którą „atmosfera ostrożnej i podejrzliwej niewiary” promowana przez Psychologię Negatywną grozi stłumieniem.

„…wszyscy naukowcy, którzy mają choć najmniejszą wyobraźnię, przyjmą czasem błędny pogląd i zmarnują czas na jego realizację. To musi być ocenione jako ryzyko zawodowe życia naukowego. Z drugiej strony naukowiec zbyt przestraszony, by odważnie spekulować, nie może być w ogóle uznany za prowadzącego twórcze życie i skończy jak jeden z tych smutnych, jałowych ludzi pióra, których smak jest tak wyrafinowany, a ocena tak miła, że nie mogą się zdobyć na przyłożenie pióra do papieru.