Die Menschen auf allen Seiten des jüngsten Vorstoßes für direkte Replikation – den ich sowohl charmant als auch naiv finde – sind wütend. Letzte Woche hörte ich auf der APS (der Jahrestagung der Association for Psychological Science 2014), wie Kollegen – oft persönliche Freunde – entweder als methodologische Einfaltspinsel oder als undurchschaubare Tyrannen bezeichnet wurden. Das ist nicht zuletzt deshalb traurig, weil alle Beteiligten kollegial, lustig und vernünftig sind. Soweit ich weiß, haben die sichtbarsten Befürworter der direkten Replikation eine respektabel nuancierte Ansicht darüber, warum Replikationen scheitern können, nämlich aus allen möglichen Gründen. Andererseits, wer denkt nicht an „schlechte Forschung“, wenn ein Ergebnis offensichtlich nicht repliziert werden kann? Und warum ist das so?
Ich glaube, die Psychologie leidet unter einem Einstellungsproblem – einem aufkeimenden Trend, den ich Negative Psychologie nenne. So wie die Positive Psychologie davon ausgeht, dass die Konzentration auf Stärken und Tugenden das Wohlbefinden steigert, geht die Negative Psychologie davon aus, dass erhöhte Vorsicht und Misstrauen den wissenschaftlichen Fortschritt fördern. Negative Psychologie umfasst aber auch eine Reihe von Verhaltensweisen – öffentliches Lächerlichmachen und Beschämen, moralische Empörung, plumper Humor -, die das Internet tendenziell fördert. Die Hauptbefürworter der Negativen Psychologie sind Methodiker, mit denen ich mich beruflich stark verbunden fühle. Ich verbringe nun schon fast zwei Jahrzehnte mit Methodikern, und obwohl die Negative Psychologie schon immer zu meiner Sippe gehörte, hat das Internet – und insbesondere die sozialen Medien – das, was früher eine unglückliche Marotte war, in ein professionelles Phänomen verwandelt.
Trotz begrenzter Erträge aus umfangreichen Investitionen habe ich mich lange Zeit selbst an methodologischen Arbeiten beteiligt. In der Tat scheine ich nicht in der Lage zu sein, sie zu vermeiden. Meine Studienzeit war geprägt von der Evaluierungsgruppe für Datenanalyse (EGAD), die von Lee Sechrest gegründet wurde, der den Vorsitz in meinem Nebenfach Methodologie innehatte und sich in allen Bereichen von der Wissenschaftstheorie bis zur multivariaten Statistik auskennt. Lee förderte eine Sichtweise der Methodologie, die ich genießen konnte. In EGAD verbrachten wir wenig Zeit damit, mit den Fingern zu wedeln und die Stirn zu runzeln. Stattdessen experimentierten wir mit unorthodoxen Forschungsdesigns und Datenanalyseverfahren, verschoben methodologische Grenzen und gingen interessante Risiken ein.
Allerdings versuchte sich EGAD auch in negativer Psychologie. Wenn dies geschah, verhielten sich ansonsten mitfühlende und nachdenkliche Menschen schlecht, vernachlässigten jeden Vorteil des Zweifels und übten einen Humor aus, der weniger lustig als gemein war. Und als es erst einmal losging, war es ansteckend – ich glaube, weil Misstrauen und Abfälligkeit mit Strenge verwechselt wurden. Da der Anschein von Strenge höchst wünschenswert ist und Misstrauen und Abfälligkeit einfach sind, wurden Misstrauen und Abfälligkeit zum Weg des geringsten Widerstands, um rigoros zu wirken. Ich denke, dass derselbe Prozess heute die wahrscheinlichste Ursache für die Negative Psychologie ist.
Wenn sie einmal in Gang gekommen ist, kann es schwer sein, sie wieder zu zügeln. Nach der Berichterstattung in den Medien, den bissigen „Tweets“ und den endlosen Diskussionen auf Facebook zu urteilen, ist die Negative Psychologie stark auf dem Vormarsch. Der miserable Zustand der Wissenschaft wird hervorgehoben, und vermeintlich zweifelhafte Ergebnisse werden mit emotional aufgeladenen, humorvollen und ausgesprochen negativen Begriffen konfrontiert.
Die Negative Psychologie nimmt das Schlimmste an – das Schlimmste in Bezug auf die Methodik, das Schlimmste in Bezug auf die sozialen Auswirkungen, das Schlimmste in Bezug auf die Motivation – wenn sie einen Wissenschaftler oder die Arbeit eines Wissenschaftlers bewertet. Diese Annahmen finden sich in „Voodoo-Korrelations“-Behauptungen, „P-Hacking“-Untersuchungen, Websites wie Retraction Watch, Neuroskeptic, einer Handvoll anderer Blogs, die sich der Entlarvung schlechter Wissenschaft widmen, und einer Reihe von Nutzern sozialer Medien auf Twitter, Facebook und anderswo. Die Autoren, die im Modus der Negativen Psychologie arbeiten, geben verschiedene Gründe an, aber die öffentliche Beschämung steht sicherlich ganz oben auf der Liste. Einige haben das ausdrücklich klargestellt.
Das ist schlecht für unsere Kollegen, weil es sie eher zu defensivem als zu kreativem Denken veranlasst; es ist schlecht für die Öffentlichkeit, weil es das Vertrauen in die beste Forschung ebenso wie in die schlechteste unnötig schwächt, indem es die beiden implizit gleichsetzt; und es ist schlecht für die Kritiker selbst, weil es uns alle dazu verleitet, nicht mehr zuzuhören. Negative Psychologie birgt die Gefahr, moralische Empörung mit wissenschaftlicher Strenge zu verwechseln, eine Verwechslung, die meiner Meinung nach sowohl für Laien als auch für Wissenschaftler in der Ausbildung verlockend ist, denn moralische Empörung ist relativ einfach, wissenschaftliche Strenge hingegen nicht. Ohne kritische Substanz könnten unsere Studenten lernen, dass ein launisches Verhalten ausreicht und dass eine Haltung der moralischen Empörung sie schnell in den Club der stahlharten Methodiker bringen kann.
Warum negative Psychologie schlecht für unsere Kollegen ist.
Verschaffen Sie sich selbst einen Überblick über die klassischen Arbeiten in der Psychologie – die Dinge, die das Feld wirklich auf sinnvolle, generative Weise vorangebracht haben – und fragen Sie sich, wie gut diese Arbeiten einer kritischen Prüfung heute standhalten würden. Hier sind einige, die mir in den Sinn kommen: Schacter und Singer, 1962; Festinger, Riecken, & Schachter, 1956; Ekman & Friesen, 1971; Hull, 1943; Eysenck, 1953; es gibt viele andere. Ich wette, es gibt keine einzige direkte Replikation. Schlimmer noch, ich wette, wir würden es lieber nicht versuchen. Diese Studien waren nicht deshalb so einflussreich, weil sie methodisch hieb- und stichfest waren. In der Tat waren sie methodisch gesehen äußerst mangelhaft. Vielmehr waren diese Arbeiten einflussreich, weil sie sehr kreative Ideen enthielten. Ich will nicht behaupten, dass wir mehr methodisch fehlerhafte Forschungsarbeiten brauchen, aber ich denke, dass die Angst vor öffentlicher Beschämung davon abhält, theoretische und methodische Grenzen zu überschreiten. Außerdem glaube ich, dass es eine negative Korrelation zwischen Kreativität und Strenge gibt, die nicht durch die notwendigen Bedingungen für Kreativität, sondern durch die notwendigen Bedingungen für die Art von Strenge, die wir in der Psychologie zu betonen pflegen, bedingt ist – insbesondere die Angst vor Fehlern vom Typ I.
Um H.L. Menken zu paraphrasieren, sind die großen Wissenschaftler der Welt selten Puritaner. Die Menschen wollen Wissenschaft aus allen möglichen Gründen und auf alle möglichen Arten betreiben, von denen nur einige überhaupt etwas mit Experimenten zu tun haben. Und ja, einige Wissenschaftler (natürlich nicht Sie) werden in ihrem hitzköpfigen Streben nach coolen Ideen sogar gelegentlich die Kurve kratzen und schlampige Fehler machen. Wenn das nicht Teil des Spiels ist, wird das Spiel nicht gespielt werden. Zumindest wird das Spiel nicht gut gespielt.
Und außerdem ist die Angst vor öffentlicher Schande bereits Teil des Spiels, wie wir alle wissen. Jeder von uns, der einen Fehler entdeckt, der einen Rückzug wert ist, würde sich zutiefst gedemütigt und beschämt fühlen. Daran führt wahrscheinlich kein Weg vorbei, und wahrscheinlich sollte es auch keinen geben. Wenn das Experiment einer Person fehlschlägt oder sie feststellt, dass sie einen dummen Fehler gemacht hat, oder sich ihre Arbeit nicht wiederholen lässt, können wir erwarten, dass sie sich schämt, ohne dass wir ihr helfen. Wenn überhaupt, dann sollte es unsere Aufgabe sein, ihnen zu helfen, sich besser zu fühlen, wenn etwas schief geht. Wir unterstützen sie, weil sie (und wir) gute Menschen sind, und weil wir eines Tages der Schuldige sein könnten. (Das war nur ein Scherz. Dir wird nie ein Misserfolg passieren.)
Wir sollten auch nicht vergessen, dass Scham Menschen in den Wahnsinn treibt. Das gilt auch unter den besten Umständen. Wenn Menschen erwarten, öffentlich beschämt zu werden, werden sie alles tun, um dies zu vermeiden. Wenn wir uns aufdrängen, machen wir eine schlechte Situation noch schlimmer. Die Leute werden sich auf die Fersen heften, in die Defensive gehen, Gegenvorwürfe erheben usw., und das ist so vorhersehbar, wie die Nacht auf den Tag folgt. Das ist nicht das Verhalten von methodischen Kretins. Das ist das Verhalten von normalen Menschen. Und Wissenschaftler sind normale Menschen.
Warum Negative Psychologie schlecht für die Öffentlichkeit ist.
Die Öffentlichkeit ist darauf angewiesen, dass wir vernünftig sind. Sie beobachtet uns nicht nur, um herauszufinden, was sie glauben soll, sondern auch, um den wissenschaftlichen Prozess zu verstehen. Sie beobachten den Diskurs, und das tun auch unsere Schüler. Wenn wir uns gegenseitig mit den Tropen der Negativen Psychologie kritisieren – also mit moralischer Empörung, feindseligem Humor und öffentlicher Beschämung -, bringen wir der Öffentlichkeit bei, die Wissenschaft entweder ganz zu ignorieren oder (wieder) Empörung mit Strenge zu verwechseln.
Ich glaube nicht, dass dies nur eine Spekulation meinerseits ist.
Leser kennen vielleicht den anonymen Blogger Neuroskeptic, der es sich zur Aufgabe gemacht hat, Kritik an populären neurowissenschaftlichen Arbeiten zu üben, weil diese für die Öffentlichkeit oft schwer zu interpretieren sind. Im vergangenen Dezember (2013) rief der Neuroskeptiker in einem Blog zum „wissenschaftlichen Vigilantismus“ auf. Vigilanten würden Blogs und soziale Medien nutzen, um Betrug aufzudecken und auf eine öffentlich zugängliche Weise außerhalb des traditionellen Peer-Review-Prozesses Alarm zu schlagen.
Ich habe den Beitrag kurz nach seiner Veröffentlichung gelesen. Hier der erste Kommentar:
Als dies vor Jahren in der Klimawissenschaft geschah, wurden wir „Bürgerwehrler“ alle als böse Leugner abgestempelt, die von bösen Unternehmen bezahlt werden, um die natürliche Welt, den Planeten und die Zivilisation selbst zu zerstören.
Es ist schön zu sehen, dass sich die korrekte, skeptische Einstellung zur Wissenschaft stattdessen auf andere Bereiche ausbreitet. Wie es sein sollte.
Was könnte der Neuroskeptiker tun, außer hastig zu antworten:
Das ist ein lächerlicher Vergleich. Ich spreche davon, formales wissenschaftliches Fehlverhalten zu erkennen, nicht wissenschaftliche Theorien zu kritisieren. Aber das ist eigentlich egal, denn seit der BEST-Studie sind selbst böse Leugner, die von bösen Konzernen bezahlt werden, zu dem Schluss gekommen, dass die globalen Temperaturen steigen.
Ich fühle mit dem Neuroskeptiker hier. Es ist eine Art „gotcha“ Moment. Aber der Vergleich ist nicht lächerlich. Er ist in der Tat treffend. Eine Lektion ist klar formuliert und wird sogar gefördert: Jeder kann ein „Skeptiker“ sein, ob Experte oder nicht. Eine andere Lektion wird versehentlich angedeutet: Soziale Medien, Spott und Empörung sind alles, was ein Skeptiker wirklich braucht.
Weil die Negative Psychologie so viel Heu aus Schimpfen und Empörung macht, und weil Betrügereien, wie sie der Neuroskeptiker befürchtet, selten sind, müssen die Kriterien, die eine Arbeit oder einen Wissenschaftler zur Zielscheibe von Verachtung und Empörung machen, gelockert werden. Aus demselben Grund, aus dem neue Fördergelder besonders wichtig werden, nachdem – und nicht bevor – ein erstes großes Stipendium eingeworben wurde: Man muss „die Bestie füttern“. Da wirkliche Strenge schwierig ist, aber Abfälligkeit und Empörung leicht sind, ist es für die Negative Psychologie ein Leichtes, sich in Pseudokritik zu verwandeln, und ich behaupte, sie ist auf dem besten Weg dazu. Pseudokritik ist ein Cousin der Pseudowissenschaft. Beide übernehmen die oberflächlichen Züge der Wissenschaft, ohne die Substanz. Wie bei der Pseudowissenschaft ist die Laienöffentlichkeit schlecht gerüstet, um die Behauptungen der Pseudokritiker zu beurteilen. Aber der Spott und die Empörung sind leicht zu deuten. Echte Wissenschaftler sind streng, lernen wir, sogar wütend. Sie treten mit den Füßen auf, ziehen harte Grenzen im Sand, sprechen in definitiven Begriffen usw.
Letztendlich ist die Negative Psychologie – zumindest für die Öffentlichkeit – gleichbedeutend mit schlechten methodischen Gewohnheiten, gewöhnlichen wissenschaftlichen Schlampereien, unschuldigen probabilistischen Fehlern, unbedachten Übertreibungen und offenem Betrug. In Praxis und Wirkung kann sie an den Preis des Goldenen Vlieses erinnern, der der Psychologie in den 1970er und 80er Jahren so viel Schaden zugefügt hat.
Warum die Negative Psychologie schlecht für Kritiker ist.
Das Vorstehende mag den Eindruck erwecken, dass Negative Psychologen nichts von Wert zu sagen haben. Das ist natürlich Blödsinn. Die Vertreter der Negativen Psychologie sind großartige Menschen, und auch nachdenklich, wenn nicht sogar brillant. Wie ich bereits sagte, ist die Negative Psychologie ansteckend. Sie ist auch gewohnheitsbildend. Die Gewohnheit der Negativen Psychologie verwässert seriöse Kritik, indem sie die Aufmerksamkeit vom Inhalt auf das Schimpfen und die Empörung lenkt. Und es ist die Abfälligkeit und Empörung, die den Rest von uns – jetzt auch die Wissenschaftler – dazu verleitet, nicht mehr zuzuhören. Mehrere Vertreter der Negativen Psychologie haben sich auf diese Weise bereits selbst an den Rand gedrängt.
Das liegt zum Teil an der Gewöhnung („Oh, jetzt wird schon wieder das Maul aufgerissen“). Aber ein anderer Teil davon – ein großer Teil – ist, dass Kritik nachdenklich und interessant (und, wenn möglich, auch unterhaltsam) sein sollte. Kritik des Typs Negative Psychologie beginnt interessant, oft lustig, empörend und faszinierend (so wie Autowracks faszinierend sind), aber es dauert nicht lange, bis sie langweilig, öde und hochnäsig wird – zumindest wenn man ein echter Wissenschaftler ist, der versucht, den kritischen Inhalt zu finden.
Was einen weiteren Punkt anspricht. Ich spreche mich nicht gegen Kritik an sich aus (ich hoffe, das ist klar). Ich glaube auch nicht, dass die Äußerung von Ärger und Irritation an sich immer oder sogar besonders destruktiv ist. Tatsächlich sind einige der besten veröffentlichten Kritiken, die ich kenne, kunstvoll wütend (siehe Why I Don’t Attendance Case Conferences von Paul Meehl). Ich plädiere nicht für einen leidenschaftslosen, prozeduralen Ansatz bei Kritik und Gegenkritik, obwohl ein vernünftiger Versuch des Anstands eine gute Idee ist.
Ich denke auch nicht, dass Kritik niemals lustig sein sollte, obwohl es riskant ist, lustig zu sein, weil – bei allem Respekt – die meisten Wissenschaftler nicht lustig genug sind, um Humor und Kritik effektiv miteinander zu verbinden. Stattdessen wirken Witze unbeholfen und unsensibel und sogar ein wenig beleidigend. In meiner informellen Umfrage zur Negativen Psychologie in den letzten zwei Jahren habe ich mehr als ein paar Blogger und Teilnehmer an sozialen Medien gesehen, die sich selbst als „unbeschwert“ oder „respektlos“ bezeichnen, was in ihren Augen rechtfertigt, einige ziemlich hässliche Dinge zu sagen – Dinge, die wir als lustig empfinden sollen. Aber kritische Respektlosigkeit erfordert ein gewisses Maß an Geschick – eigentlich Kunst -, das leider bei so ziemlich jedem, den ich kenne, fehlt, mich selbst nicht ausgenommen. Mark Twain war pietätlos. H.L. Menken war respektlos. Im schlimmsten Fall ähnelt die „Respektlosigkeit“ in der Negativen Psychologie wirklich einer Art von Mobbing – eine Art, bei der Beleidigungen der verschiedensten Art in die zweifelhafte Sprache der Forschungsethik gehüllt werden. Sie zieht das Gespräch in eine „Wer-verletzt-wessen-Gefühle“-Metakommunikation hinab, die wenig bewirkt, außer den Kritiker in den Mittelpunkt der Aufmerksamkeit zu stellen. Das Endergebnis ist vorhersehbar: Ein kollektiver, oft unausgesprochener Konsens, dass das Badewasser ausgeschüttet werden muss.
Wie sollen wir vorgehen?
Ich mochte Daniel Kahnemanns Aufsatz A New Ettiquette for Replication sehr, aber weniger wegen der spezifischen Empfehlungen, die er aufzählte, als wegen seiner offenen Worte über wissenschaftliche Egos und Abschnitte über Forschungsmethoden. Als Reaktion auf diesen Aufsatz habe ich die vorhersehbare Empörung auf Twitter und Facebook gesehen – Kommentare, in denen behauptet wird, dass die Wissenschaft durch Kahnemanns Ansichten tatsächlich gefährdet ist und dass die Abschnitte über die Forschungsmethoden immer so detailliert sein sollten, dass andere eine Studie ohne jegliche Kommunikation mit dem ursprünglichen Autor replizieren können. Letzteren Einwand finde ich besonders interessant, weil er auf den ersten Blick so verdammenswert erscheint. Natürlich sollten die Methodenteile ausreichend sein.
Aber Kahnemann hat absolut recht. Methodenteile sind selten umfassend und sollten es wahrscheinlich auch nicht sein. Dies zu behaupten ist unter den gegenwärtigen Bedingungen fast schon eine Ketzerei, aber noch vor kurzem wäre es nicht umstritten gewesen. Und es ist ja nicht so, dass dieses „Problem“ nur in der Psychologie auftritt. Ich habe gerade die Autobiographie von Peter Medawar gelesen, Memoir of a Thinking Radish (ein Buch, das ich jedem, der sich dafür interessiert, wie die wissenschaftliche Wurst gemacht wird, sehr empfehlen kann). Medawar, wie einige Leser wissen, erhielt den Nobelpreis für seine Arbeit über Immuntoleranz bei Organtransplantationen. Seine Lebensgeschichte ist voll von Beispielen für Wissenschaftler, die sich gegenseitig in ihren Labors besuchen, um genau zu erfahren, wie eine bestimmte Technik zustande kommt, um sozusagen an der Hand geführt zu werden. Methodenabschnitte sollten ausreichen, um die Stichhaltigkeit einer Studie grundsätzlich zu beurteilen und wichtige Hinweise zu geben, aber wahrscheinlich wird jeder Versuch, jedes Detail für eine Replikation – oder ein vollständiges Verständnis – umfassend darzustellen, zu kurz greifen.
Hier ist also eine weitgehend verallgemeinerbare Idee: Lassen Sie uns tatsächlich, buchstäblich, miteinander reden. Und zwar nicht nur zum Zweck einer genauen Replikation, sondern auch, wenn der Impuls aufkommt, öffentlich Kritik zu üben. Patrick McKnight, ein Freund und ehemaliger EGAD-Kollege, hat ebenfalls vorgeschlagen, dass wir mehr und öfter zusammenarbeiten sollten – dass wir in der Tat bessere Wege finden müssen, um die gemeinsame Problemlösung zu belohnen, anstatt die Produktion von einzelnen Papieren.
Letztendlich habe ich keine spezifischen Empfehlungen oder Richtlinien anzubieten. Ich bin ohnehin ein größerer Fan von Prinzipien als von Regeln. Im Prinzip sollten wir uns mehr anstrengen als nötig, um großzügig, respektvoll, ehrlich und so klar wie möglich zu sein.
Ich habe diesen Aufsatz mit einem Zitat von Peter Medawar eröffnet, und ich schließe auch mit einem, das aus den oben erwähnten Memoiren stammt. Es drückt gleichzeitig die Risiken und Verheißungen des wissenschaftlichen Lebens aus und enthält in sich den Keim des mitfühlenden Respekts, den wir alle füreinander hegen sollten. Mehr noch, es feiert die Kreativität, die die von der negativen Psychologie geförderte „Atmosphäre des misstrauischen Unglaubens“ zu unterdrücken droht.
„…alle Wissenschaftler, die auch nur im Geringsten phantasievoll sind, werden manchmal eine falsche Ansicht vertreten und Zeit damit verschwenden, sie zu verfolgen. Dies muss als Berufsrisiko des wissenschaftlichen Lebens angesehen werden. Andererseits kann man von dem Wissenschaftler, der zu ängstlich ist, um kühn zu spekulieren, kaum sagen, dass er überhaupt ein schöpferisches Leben führt, und er wird wie einer jener traurigen, sterilen Literaten enden, deren Geschmack so raffiniert und deren Urteilsvermögen so schön ist, dass sie sich nicht dazu durchringen können, eine Feder zu Papier zu bringen.“