Les gens de tous les côtés de la récente poussée pour la réplication directe – une poussée que je trouve à la fois charmante et naïve – sont en colère. La semaine dernière, à l’APS (la réunion annuelle 2014 de l’Association for Psychological Science), j’ai entendu des collègues – souvent des amis personnels – qualifiés soit de simplets méthodologiques, soit de brutes impénétrables. C’est triste, notamment parce que toutes les personnes concernées sont collégiales, drôles et raisonnables en personne. Pour autant que je sache, les partisans les plus visibles de la réplication directe ont une vision respectablement nuancée des raisons pour lesquelles les réplications peuvent échouer, c’est-à-dire pour toutes sortes de raisons. D’un autre côté, qui ne pense pas « mauvaise recherche » lorsqu’une découverte ne parvient apparemment pas à être répliquée ? Et pourquoi cela ?

Je pense que la psychologie souffre d’un problème d’attitude – une tendance naissante que j’appelle la psychologie négative. Tout comme la psychologie positive implique une croyance selon laquelle se concentrer sur les forces et les vertus améliorera le bien-être, la psychologie négative implique une croyance selon laquelle une méfiance et une suspicion accrues amélioreront le progrès scientifique, une perspective avec laquelle je suis en désaccord total. Mais la psychologie négative englobe également toute une série de comportements – le ridicule et la honte publique, l’indignation morale, l’humour maladroit – qu’Internet a tendance à encourager. Les principaux partisans de la psychologie négative sont des méthodologistes avec lesquels je ressens une forte affinité professionnelle. Je fréquente des méthodologistes depuis près de deux décennies maintenant, et bien que la psychologie négative ait toujours fait partie de mon clan, Internet – et en particulier les médias sociaux – est en train de transformer ce qui était autrefois une fâcheuse manie en un phénomène professionnel.

Malgré des retours limités sur d’amples investissements, j’ai longtemps participé à mes propres travaux méthodologiques. En effet, je semble incapable de l’éviter. Mes années d’études supérieures ont été imprégnées par le groupe d’évaluation pour l’analyse des données (EGAD), fondé par Lee Sechrest, qui a présidé ma mineure de doctorat en méthodologie, et qui n’est pas en reste dans tous les domaines, de la philosophie des sciences aux statistiques multivariées. Lee a encouragé une vision de la méthodologie que je pouvais apprécier. En EGAD, nous avons passé peu de temps à agiter les doigts et à froncer les sourcils. Au lieu de cela, nous avons expérimenté des modèles de recherche et des procédures d’analyse de données peu orthodoxes, en repoussant les limites méthodologiques et en prenant des risques intéressants.

Alas, EGAD a également tâté de la psychologie négative. Lorsque cela se produisait, des individus autrement compatissants et réfléchis se comportaient mal, négligeant tout bénéfice du doute et exerçant un humour moins drôle que méchant. Et une fois que tout cela a commencé, c’était contagieux – je pense que c’est parce que la suspicion et le sarcasme ont été confondus avec la rigueur. Puisque l’apparence de rigueur est hautement souhaitable et que la suspicion et le sarcasme sont faciles, la suspicion et le sarcasme sont devenus le chemin de moindre résistance pour paraître rigoureux. En effet, je pense que le même processus est la cause la plus probable de la psychologie négative aujourd’hui.

Une fois qu’il est lancé, il peut être difficile de le maîtriser. À en juger par la couverture médiatique populaire, les « tweets » hargneux et les interminables échanges sur Facebook, la psychologie négative est en forte progression. L’état lamentable de la science est souligné, avec des résultats putativement douteux confrontés en termes émotionnellement chargés, largement humoristiques et résolument négatifs.

La psychologie négative suppose le pire – le pire en termes de méthodologie, le pire en termes d’impact social, le pire en termes de motivation – lors de l’évaluation d’un scientifique ou du travail d’un scientifique. On retrouve ces hypothèses dans les revendications de « corrélation vaudou », les enquêtes sur le « p-hacking », les sites Web tels que Retraction Watch, Neuroskeptic, une poignée d’autres blogs consacrés à la dénonciation de la mauvaise science, et un ensemble d’utilisateurs de médias sociaux sur Twitter, Facebook et ailleurs. Les auteurs qui travaillent sur le mode de la psychologie négative invoquent diverses raisons, mais la honte publique figure certainement en tête de liste. C’est mauvais pour nos collègues car cela les oriente vers une pensée défensive plutôt que créative ; c’est mauvais pour le public car cela dégrade inutilement la confiance dans la meilleure recherche au même titre que la pire en mettant implicitement les deux sur le même plan ; et c’est mauvais pour les critiques eux-mêmes car cela nous incite tous à cesser d’écouter. En effet, la psychologie négative risque de confondre l’indignation morale avec la rigueur scientifique, une confusion qui est convaincante, je pense, à la fois pour les profanes et les scientifiques en formation, car l’indignation morale est relativement facile, et la rigueur scientifique ne l’est pas. Manquant de substance critique, nos étudiants peuvent apprendre qu’un comportement grincheux suffira, et qu’une posture d’indignation morale peut les faire accéder rapidement au club des méthodologistes aux yeux d’acier.

Pourquoi la psychologie négative est mauvaise pour nos collègues.

Faites votre propre enquête sur les travaux classiques en psychologie – ceux qui ont vraiment fait avancer le domaine de manière significative et générative – et demandez-vous si ces travaux résisteraient à un examen critique aujourd’hui. Voici quelques exemples qui me viennent à l’esprit : Schacter et Singer, 1962 ; Festinger, Riecken, & Schachter, 1956 ; Ekman & Friesen, 1971 ; Hull, 1943 ; Eysenck, 1953 ; il y en a beaucoup d’autres. Je parie qu’il n’y a pas une seule réplique directe dans le tas. Pire, je parie qu’on préfère ne pas essayer. Ces études n’ont pas eu d’influence parce que leur méthodologie était irréprochable. En effet, d’un point de vue méthodologique, elles étaient profondément défectueuses. Au contraire, ces travaux ont été influents parce qu’ils contenaient des idées très créatives. Je ne suis pas en train de dire que nous avons besoin de plus de recherches méthodologiquement imparfaites, mais je pense que la peur de la honte publique dissuade de repousser les limites théoriques et méthodologiques. De plus, je pense qu’il existe une corrélation négative entre la créativité et la rigueur, motivée non pas par les conditions nécessaires à la créativité, mais par les conditions nécessaires au type de rigueur que nous avons tendance à souligner en psychologie – la peur de l’erreur de type I en particulier.

Pour paraphraser H.L. Menken, les grands scientifiques du monde sont rarement des puritains. Les gens veulent faire de la science pour toutes sortes de raisons et de toutes sortes de façons, dont certaines seulement ont quelque chose à voir avec l’expérimentation. Et oui, certains scientifiques (pas vous, bien sûr) vont même, à l’occasion, prendre des raccourcis et commettre des erreurs grossières dans leur quête effrénée d’idées géniales. Si cela ne fait pas partie du jeu, le jeu ne se jouera pas. Du moins, le jeu ne sera pas bien joué.

Et de toute façon, la peur de la honte publique fait déjà partie du jeu, aussi, comme nous le savons tous. N’importe lequel d’entre nous qui découvrirait une erreur digne d’une rétractation se sentirait profondément humilié et embarrassé. Il n’y a probablement aucun moyen de contourner ce problème, et il ne devrait probablement pas y en avoir. Chaque fois que l’expérience d’une personne échoue, qu’elle découvre qu’elle a fait une erreur stupide ou que son travail ne peut être reproduit, nous pouvons nous attendre à ce qu’elle se sente honteuse sans aucune aide de notre part. Notre travail devrait plutôt consister à les aider à se sentir mieux lorsque les choses tournent mal. Nous leur apportons notre soutien parce qu’ils (et nous) sont des gens bien, et parce qu’un jour, le coupable pourrait être nous. (Je plaisante. L’échec ne vous arrivera jamais.)

Nous devrions également nous rappeler que la honte rend les gens fous. Ceci est vrai dans les meilleures circonstances. Lorsque les gens s’attendent à être honteux publiquement, ils feront à peu près tout pour l’éviter. Lorsque nous en rajoutons, nous aggravons une mauvaise situation. Les gens se retranchent, se mettent sur la défensive, lancent des contre-accusations, etc., de manière aussi prévisible que la nuit suit le jour. Ce n’est pas le comportement de crétins méthodologiques. C’est le comportement de personnes normales. Et les scientifiques sont des gens normaux.

Pourquoi la psychologie négative est mauvaise pour le public.

Le public dépend de nous pour être raisonnable. Il nous observe non seulement pour trouver des indices sur ce qu’il faut croire, mais aussi pour comprendre le processus scientifique. Ils observent le discours, et nos étudiants aussi. Lorsque nous nous critiquons les uns les autres en utilisant les tropes de la psychologie négative – c’est-à-dire avec l’indignation morale, l’humour hostile et la honte publique – nous entraînons le public soit à ignorer complètement la science, soit (encore) à confondre l’indignation avec la rigueur.

Je ne pense pas que ce soit juste une spéculation de ma part.

Les lecteurs connaissent peut-être un blogueur anonyme appelé le Neuroskeptic. La mission du Neuroskeptic est de proposer une critique des travaux neuroscientifiques populaires au motif que ces travaux sont souvent difficiles à interpréter pour le public. En décembre dernier (2013), le Neuroskeptic a publié un blog encourageant le « vigilantisme scientifique ». Les justiciers utiliseraient les blogs et les médias sociaux pour enfumer les fraudes et tirer la sonnette d’alarme d’une manière accessible au public en dehors du processus traditionnel d’examen par les pairs.

J’ai lu l’article peu après sa publication. Voici ce que disait le tout premier commentaire :

Lorsque cela s’est produit il y a des années dans la science du climat, nous, les « justiciers », avons tous été étiquetés comme des négationnistes maléfiques à la solde de sociétés maléfiques qui trollent pour détruire le monde naturel, la planète et la civilisation elle-même.

Bon de voir que l’attitude correcte et sceptique à l’égard de la science se répand au contraire dans d’autres domaines. Comme il se doit.

Que pouvait faire le neurosceptique, sinon répondre hâtivement :

C’est une comparaison ridicule. Je parle de repérer les fautes scientifiques formelles, pas de critiquer les théories scientifiques. Mais cela n’a pas vraiment d’importance car, depuis l’étude BEST, même les négationnistes maléfiques à la solde de sociétés maléfiques ont conclu que les températures mondiales augmentent.

J’ai de la peine pour le neurosceptique ici. C’est un peu un moment de « gotcha ». Mais la comparaison n’est pas ridicule. En effet, elle est appropriée. Une leçon est clairement énoncée, voire encouragée : tout le monde peut être un « sceptique », expert ou non. Une autre leçon est accidentellement sous-entendue : les médias sociaux, le sarcasme et l’indignation sont tout ce dont un sceptique a vraiment besoin.

Parce que la psychologie négative fait un tel foin du ricanement et de l’indignation, et parce que les fraudes du type de celles qui inquiètent le neurosceptique sont rares, les critères qui font d’un article ou d’un scientifique la cible du ricanement et de l’indignation devront être assouplis. C’est un peu pour la même raison que les nouvelles subventions deviennent particulièrement importantes après – et non avant – l’obtention d’une première subvention importante : Il faut « nourrir la bête ». Parce qu’il est difficile de faire preuve d’une réelle rigueur, alors que le sarcasme et l’indignation sont faciles, il est facile pour la psychologie négative de se transformer en pseudocritique, ce qu’elle est, à mon avis, en passe de faire. Le pseudo-criticisme est un cousin de la pseudo-science. Tous deux adoptent les attributs superficiels de la science sans en avoir la substance. Comme pour la pseudo-science, le public profane est mal équipé pour évaluer les affirmations des pseudocritiques. Mais le sarcasme et l’indignation sont facilement interprétables. Les vrais scientifiques sont sévères, nous apprenons qu’ils sont même en colère. Ils mettent les pieds dans le plat, tracent des lignes dures dans le sable, parlent en termes définitifs, etc.

En fin de compte, la psychologie négative équivaut – pour le public, du moins – à de mauvaises habitudes méthodologiques, à un laisser-aller scientifique banal, à une erreur probabiliste innocente, à un battage publicitaire imprudent et à une fraude pure et simple. En pratique et en effet, elle peut rappeler le prix de la Toison d’or qui a fait tant de mal à la psychologie dans les années 1970 et 1980.

Pourquoi la psychologie négative est mauvaise pour les critiques.

Ce qui précède peut donner l’impression que les psychologues négatifs n’ont rien de valable à dire. C’est bien sûr un non-sens. Les représentants de la Psychologie Négative sont des gens formidables, et réfléchis aussi, si ce n’est brillants. Comme je l’ai déjà dit, la psychologie négative est contagieuse. Elle crée aussi des habitudes. L’habitude de la psychologie négative dilue les critiques sérieuses en détournant l’attention du contenu vers le sarcasme et l’indignation. Et c’est le sarcasme et l’indignation qui tentent le reste d’entre nous – des collègues scientifiques maintenant – à cesser d’écouter. Plusieurs praticiens de la psychologie négative se sont déjà marginalisés de cette manière.

C’est en partie par accoutumance (« oh, voilà que je recommence à m’emporter »). Mais une autre partie – une grande partie – est que la critique devrait être réfléchie et intéressante (et, en fait, divertissante si possible). La critique du type Psychologie négative commence par être intéressante, souvent drôle, scandaleuse et fascinante (de la même manière que les épaves de voitures sont fascinantes), mais il ne faut pas longtemps pour qu’elle devienne ennuyeuse, morne et prégnante – du moins si vous êtes un vrai scientifique qui essaie de localiser le contenu critique.

Ce qui amène encore un autre point. Je ne plaide pas contre la critique en soi (j’espère que cela est évident). Je ne pense pas non plus nécessairement que l’expression de la colère et de l’irritation soit en soi toujours ou même particulièrement destructive. En effet, certaines des meilleures critiques publiées que je connaisse sont artistiquement en colère (voir Why I Don’t Attend Case Conferences de Paul Meehl). Je ne plaide pas pour une approche procédurale et sans passion de la critique et de la contre-critique, bien qu’une tentative raisonnable de décorum soit une bonne idée.

Je ne pense pas non plus que la critique ne devrait jamais être drôle, bien qu’être drôle soit risqué parce que – avec tout le respect que je leur dois – la plupart des scientifiques ne sont pas assez drôles pour combiner efficacement humour et critique. Au lieu de cela, les blagues apparaissent comme maladroites et insensibles, voire un peu abusives. Dans mon enquête informelle sur la psychologie négative de ces deux dernières années, j’ai vu plus d’un blogueur et d’un participant aux médias sociaux se caractériser comme étant « légers » ou « irrévérencieux », ce qui leur semble justifier de dire des choses plutôt moches – des choses que nous sommes censés considérer comme drôles. Mais l’irrévérence critique exige un niveau de compétence – d’art, en fait – qui fait tristement défaut à la plupart des gens que je connais, à l’exception de moi-même. Mark Twain était irrévérencieux. H.L. Menken était irrévérencieux. Dans le pire des cas, l' »irrévérence » en psychologie négative ressemble vraiment à une sorte d’intimidation, qui dissimule les abus les plus courants sous le langage douteux de l’éthique de la recherche. Elle entraîne la conversation dans une forme de méta-communication qui ne sert à rien, si ce n’est à placer le critique au premier plan de l’attention de tous. Le résultat final est prévisible : Un consensus collectif, souvent tacite, selon lequel l’eau du bain a besoin d’être jetée.

Comment allons-nous procéder ?

J’ai beaucoup aimé l’essai A New Ettiquette for Replication de Daniel Kahnemann, mais moins pour les recommandations spécifiques qu’il a énumérées que pour son discours franc sur les egos scientifiques et les sections sur les méthodes de recherche. En réponse à cet essai, j’ai vu l’indignation prévisible exprimée sur Twitter et Facebook – des commentaires suggérant que la science est en fait mise en danger par les sentiments de Kahnemann et que les sections sur la méthode devraient toujours être suffisamment détaillées pour que d’autres puissent reproduire une étude sans aucune communication avec l’auteur original. Je trouve cette dernière objection particulièrement intéressante, car elle semble à première vue si accablante. Bien sûr, les sections méthodologiques doivent être suffisantes.

Mais Kahnemann a tout à fait raison. Les sections sur les méthodes sont rarement complètes, et ne devraient probablement pas l’être. Affirmer cela est, dans l’environnement actuel, quelque chose proche de l’hérésie, mais il y a peu de temps, cela n’aurait pas été controversé. Et ce n’est pas comme si ce « problème » était propre à la psychologie. Je viens de terminer la lecture de l’autobiographie de Peter Medawar, Memoir of a Thinking Radish (un livre que je recommande vivement à tous ceux qui s’intéressent à la façon dont la saucisse scientifique est fabriquée). Medawar, certains lecteurs le savent, a reçu un prix Nobel pour ses travaux sur la tolérance immunitaire dans les transplantations d’organes. L’histoire de sa vie regorge d’exemples de scientifiques de laboratoire qui se rendent les uns chez les autres pour apprendre précisément comment une technique particulière est réalisée, pour être guidés par la main, en quelque sorte. Les sections sur les méthodes devraient être suffisantes pour évaluer fondamentalement la solidité d’une étude, et pour soulever des drapeaux importants, mais probablement toute tentative de fournir de manière exhaustive tous les détails pour une réplication – ou une compréhension complète – sera insuffisante.

Voici donc une idée largement généralisable : parlons-nous réellement, littéralement, les uns aux autres. Et parlons non seulement dans le but d’une réplication précise, mais aussi lorsque l’impulsion surgit pour critiquer publiquement. Patrick McKnight, ami et ancien élève de l’EGAD, a également suggéré que nous devrions collaborer plus et plus souvent – qu’en fait, nous devons trouver de meilleurs moyens de récompenser la résolution collaborative des problèmes plutôt que la production individuelle de documents.

En fin de compte, je n’ai pas de recommandations ou de directives spécifiques à offrir. Je suis de toute façon un plus grand fan des principes que des règles. En principe, nous devrions travailler dur – plus dur que ce qui est requis – pour être généreux, respectueux, honnêtes et aussi clairs que possible.

J’ai commencé cet essai avec une citation de Peter Medawar, et je terminerai avec une autre, tirée du mémoire que j’ai mentionné plus haut. Elle exprime simultanément les risques et les promesses de la vie scientifique, et contient en elle les graines du respect compatissant que nous devrions tous avoir les uns pour les autres. Plus encore, il célèbre la créativité que « l’atmosphère d’incrédulité méfiante et suspecte » encouragée par la psychologie négative menace d’étouffer.

« …tous les scientifiques qui ont le moins d’imagination prendront parfois une mauvaise opinion et perdront du temps à la poursuivre. Cela doit être considéré comme un risque professionnel de la vie scientifique. D’autre part, le scientifique trop effrayé pour spéculer hardiment peut difficilement être considéré comme ayant une vie créative, et il finira comme un de ces hommes de lettres tristes et stériles dont le goût est si raffiné et le jugement si agréable qu’ils ne peuvent se résoudre à mettre la plume sur le papier. »