En juin 2016, Antonio Perkins a involontairement diffusé sa propre mort au monde entier. C’était une journée ensoleillée à Chicago, et il la partageait sur Facebook Live, une plateforme de diffusion de vidéos en temps réel, sortie quelques mois plus tôt.
La vidéo est longue. Elle met en scène Perkins en train de faire des choses banales en été. Il se tient debout sur le trottoir. Il se plaint de la chaleur. Environ six minutes plus tard, des coups de feu retentissent soudainement. La caméra bouge frénétiquement, puis tombe au sol. Plus tard dans la journée, Perkins est déclaré mort.
La vidéo compte près d’un million de vues.
The Ugly
Le lendemain, un mémo intitulé « The Ugly » circule en interne chez Facebook. Son auteur, Andrew Bosworth, l’un des vice-présidents et décideurs centraux de l’entreprise.
« Nous parlons souvent du bon et du mauvais de notre travail », commence le mémo, obtenu par BuzzFeed en mars. « Je veux parler du laid. » Il continue :
Nous connectons les gens… Peut-être que cela coûte une vie en exposant quelqu’un à des intimidateurs. Peut-être que quelqu’un meurt dans une attaque terroriste coordonnée sur nos outils. Et pourtant, nous connectons les gens. La vérité laide est que nous croyons si profondément à la connexion des gens que tout ce qui nous permet de connecter plus de gens plus souvent est de facto bon.
Le mémo ne mentionne pas Perkins. Il est possible que Bosworth n’ait pas été au courant de l’incident. Après tout, les tragédies en temps réel ne sont pas si rares sur Facebook Live.
Mais la mort de Perkins, diffusée en direct, est un excellent exemple de « The Ugly ». Bien que sa mort soit tragique, la vidéo ne viole pas les normes communautaires abstruses de l’entreprise, car elle ne « glorifie pas la violence » ou « célèbre la souffrance ou l’humiliation d’autrui. » Et le fait de la laisser en ligne signifie que plus de gens se connecteront à Perkins et à Facebook, donc la vidéo reste. Elle a un million de vues, après tout.
La décision est l’une des nombreuses actions récentes de Facebook qui peuvent avoir laissé un mauvais goût dans votre bouche. L’entreprise a permis sans le savoir à la campagne présidentielle de Donald Trump de collecter des données personnelles sur des millions d’Américains. Elle n’a pas remarqué les tentatives de la Russie d’influencer l’élection de 2016 ; a facilité la violence ethnique et religieuse dans plusieurs pays ; et a permis aux annonceurs de cibler des catégories de consommateurs aussi nobles que les « haters de juifs. » Sans compter que les fake news, les théories du complot et les mensonges flagrants abondent sur la plateforme.
Facebook n’avait pas l’intention que tout cela se produise. Il voulait simplement connecter les gens. Mais il y a un fil conducteur qui va de la mort de Perkins à la violence religieuse au Myanmar, en passant par les tentatives peu convaincantes de l’entreprise de lutter contre les fake news. Facebook est vraiment mauvais. Pas intentionnellement. De manière banale.
Sous-jacente à toutes les erreurs de Facebook, il y a un oubli maladroit des vrais humains. L’objectif singulier de l’entreprise de « connecter les gens » lui a permis de conquérir le monde, rendant possible la création d’un vaste réseau de relations humaines, une source de connaissances et de regards qui fait baver les annonceurs et les investisseurs.
Mais l’impératif de « connecter les gens » manque le seul ingrédient essentiel pour être un bon citoyen : Traiter les êtres humains individuels comme des sacro-saints. Pour Facebook, le monde n’est pas fait d’individus, mais de connexions entre eux. Les milliards de comptes Facebook n’appartiennent pas à des « personnes » mais à des « utilisateurs », des collections de points de données connectées à d’autres collections de points de données sur un vaste Réseau social, à cibler et à monétiser par des programmes informatiques.
Il y a certaines choses que vous ne faites pas en bonne conscience aux humains. Aux données, vous pouvez faire ce que vous voulez.
La vie comme une base de données
Depuis la publication de « The Ugly », Bosworth a pris ses distances par rapport à l’argument avancé dans le mémo. Il dit maintenant qu’il voulait simplement « faire ressortir les problèmes » et que, de manière assez incroyable, « il n’était pas d’accord avec ce document même lorsqu’il l’a écrit. » Mark Zuckerberg a ajouté qu’il était lui aussi en profond désaccord avec le mémo, déclarant : « Nous n’avons jamais cru que la fin justifiait les moyens. »
Pour autant, les choix de Facebook ont révélé que la mise en relation des personnes est considérée comme un bien de facto dans presque tous les cas. C’est pourquoi Zuckerberg, dans une interview récente avec Recode, a défendu la décision d’autoriser les posts des négationnistes de la fusillade de Sandy Hook et de l’Holocauste, en disant qu’ils ne font que « se tromper ».
Avec Facebook, « la vie est transformée en une base de données », écrit le technologue Jaron Lanier dans son livre de 2010 You Are Not a Gadget. La culture de la Silicon Valley a fini par accepter comme une certitude, écrit Lanier, que « toute la réalité, y compris les humains, est un grand système d’information. » Cette certitude, dit-il, donne aux personnes les plus puissantes du monde de la technologie « une nouvelle sorte de destinée manifeste ». Elle leur donne « une mission à accomplir ».
Accepter cette mission est pratique pour Facebook. Cela fait de l’expansion aussi rapide que possible un impératif moral. Dans cette optique, plus Facebook est grand, plus l’entreprise est bonne pour le monde. Il se trouve que c’est aussi le moyen pour elle de faire le plus d’argent.
Le problème, dit Lanier, est que les humains n’ont rien de spécial dans ce système d’information. Chaque point de données est traité de manière égale, indépendamment de la façon dont les humains le vivent. « Ceux qui détestent les juifs » est tout autant une catégorie publicitaire que « les mamans qui font du jogging ». Ce ne sont que des données. Si le groupe A est plus présent sur Facebook que le groupe B, qu’il en soit ainsi, même si le groupe A tente de rabaisser ou d’organiser la violence contre les B. Bien sûr, la réalité est que les humains sont tous différents, et ne peuvent pas être réduits à des données.
Essayez de dire cela au groupe de garçons blancs de la Ivy League qui ont commencé Facebook comme un site web chaud ou pas et ont inventé un tonneau de reconnaissance faciale.
Ce que cela signifie de penser
L’erreur de Facebook n’est pas nouvelle. En général, les choses se gâtent lorsque des organisations massives et puissantes ne tiennent pas compte de l’humanité des autres. Nous allons parler des nazis maintenant.
La meilleure analyse de l’échec intellectuel de Facebook vient de la théoricienne politique Hannah Arendt dans son livre Eichmann à Jérusalem. Le livre est un récit du procès d’Adolf Eichmann en 1961. Bureaucrate nazi de niveau intermédiaire, Eichmann était le principal responsable de la logistique du transport forcé des Juifs vers les camps de concentration pendant la Seconde Guerre mondiale.
Eichmann a été capturé en Argentine et amené devant un tribunal israélien pour expliquer ses crimes. Toutes les personnes présentes s’attendaient à ce qu’il soit un fou sadique, perversement obsédé par la destruction du peuple juif.
Au contraire, il s’est révélé être un bouffon et un carriériste. Il prétendait avoir oublié les détails des grands événements politiques tout en se rappelant clairement lequel de ses pairs avait obtenu une promotion qu’il convoitait. Selon Arendt, un psychiatre de la cour israélienne qui a examiné Eichmann l’a déclaré « un homme tout à fait normal, plus normal, en tout cas, que je ne le suis après l’avoir examiné. »
La question qui hantait Arendt était de savoir comment un homme aussi « normal » avait joué un rôle majeur dans un meurtre de masse. Eichmann a sciemment envoyé des milliers de Juifs vers une mort certaine.
Arendt conclut que ce n’est ni le sadisme ni la haine qui ont poussé Eichmann à commettre ces crimes historiques. Arendt conclut que ce n’est ni le sadisme ni la haine qui ont poussé Eichmann à commettre ces crimes historiques, mais son incapacité à considérer les autres comme des personnes.
Un défaut « décisif » de son caractère, écrit Arendt, était son « incapacité à regarder quoi que ce soit du point de vue de l’autre ».
Comment se fait-il qu’Eichmann, et des centaines d’autres nazis, n’aient pas eu une compréhension de base du caractère sacré de la vie humaine ? La réponse réside dans la croyance d’Eichmann en un grand projet historique visant à établir une « utopie » racialement pure. Ce projet transcendait les vies humaines, les rendant secondaires. Une vie, ou un million de vies, étaient de petits prix à payer pour la promesse d’instaurer un « Reich de mille ans ».
L’incapacité d’Eichmann à penser à la souffrance des autres provenait de son intériorisation de l’importance suprême d’un grand projet, conclut Arendt. Comme le projet doit être achevé à n’importe quel prix, tout ce qui le favorise est de facto bon. Cette logique peut déformer les normes sociales que nous tenons pour acquises, allant jusqu’à inverser quelque chose d’aussi fondamental que « le meurtre est mal » en « le meurtre de ceux qui se mettent en travers du projet est bien ».
Une telle logique démente ne résiste même pas au moindre examen. Mais Eichmann, comme ceux qui l’entouraient, s’est protégé de la réalité de ses actions en utilisant des abstractions sans émotion. « Les clichés, les expressions courantes, l’adhésion à des codes d’expression et de conduite conventionnels et standardisés ont la fonction socialement reconnue de nous protéger de la réalité », écrit Arendt dans un essai intitulé « Thinking », publié dans le New Yorker 15 ans après le livre sur Eichmann. Les événements et les faits du monde devraient toujours faire pression sur notre « attention pensante », écrit-elle, nous forçant à réévaluer nos comportements et nos croyances.
« Eichmann différait du reste d’entre nous », conclut-elle, uniquement en ce qu’il n’y avait aucun lien entre la réalité et son processus de pensée. Au lieu de cela, il a suivi aveuglément la moralité tordue qui était devenue conventionnelle dans ses cercles. Et des millions de personnes sont mortes à cause de cela.
Ce qui nous ramène à Facebook. Il a son propre grand projet : transformer le monde humain en un grand système d’information. C’est, il va sans dire, loin d’être aussi terrible que le projet du Reich millénaire. Mais le problème fondamental est le même : une incapacité à regarder les choses du point de vue de l’autre, une déconnexion entre la réalité humaine et le grand projet.
L’arc en pente descendante du projet historique
Arendt nous aide à voir comment tous les différents faux pas de Facebook sont liés. Voici un exemple qui, bien que mineur, illustre le propos.
L’année dernière, Mark Zuckerberg a publié une vidéo présentant Spaces, la nouvelle plateforme de réalité virtuelle de Facebook. Il y est représenté par une version de lui-même brillante, à grosse tête, souriante et générée par ordinateur.
Cette caricature de Zuck est d’abord vue à l’extérieur, sur le toit du siège de Facebook. Il sort ensuite une sorte d’orbe. L’orbe, dit-il, contient une vidéo à 360° de Porto Rico prise peu après les ravages de l’ouragan Maria. Cet orbe est placé devant la caméra. Soudain, Zuck, accompagné de l’avatar de Rachel Franklin, responsable de la réalité virtuelle sociale chez Facebook, se « téléporte » dans la scène. Ces deux personnages sont maintenant vus en train de « conduire un camion » à travers des quartiers en ruine et « debout » dans des pieds d’eau en crue.
Oh, ils ont oublié de mentionner à quel point cette technologie est cool, alors ils s’arrêtent pour se congratuler.
« On a l’impression d’être vraiment ici à Porto Rico », dit digi-Zuck (rappelez-vous que tout cela est en images de synthèse de qualité inférieure). Ils sautent sur diverses scènes de catastrophes pendant quelques minutes. « Très bien, alors tu veux te téléporter ailleurs ? » Un autre orbe et ils sont emmenés, de retour en Californie.
Pour ceux d’entre nous qui ne font pas partie du grand projet de Facebook, cette vidéo était évidemment une idée terrible. Les médias l’ont ridiculisée en disant qu’elle manquait de ton et de goût. Malgré cela, la vidéo est passée par les nombreuses couches d’approbation de Facebook. Le fait que les gens de Facebook aient donné leur accord alors que les problèmes de la vidéo étaient si évidents pour les spectateurs extérieurs montre à quel point le système de valeurs de Facebook a divergé de celui du reste de la société – le résultat de son objectif myope de connecter tout le monde, quelles que soient les conséquences.
Avec cela à l’esprit, le fil conducteur des nombreux désastres de Facebook en matière de relations publiques commence à devenir clair. Son rejet continu des activistes du Sri Lanka et du Myanmar qui l’implorent de faire quelque chose contre les incitations à la violence. Son refus de supprimer les contenus qui qualifient le massacre de Sandy Hook de « canular » et menacent les parents des enfants assassinés. Son langage trompeur sur la vie privée et les pratiques de collecte de données.
Facebook semble être aveugle à la possibilité qu’il puisse être utilisé à mauvais escient. Dans la récente interview de Zuckerberg avec Kara Swisher de Recode, elle mentionne avoir rencontré des chefs de produit pour Facebook Live. Ils ont semblé « sincèrement surpris », dit-elle, lorsqu’elle a suggéré qu’il pourrait être utilisé pour diffuser des meurtres, des brimades et des suicides. « Ils semblaient moins orientés vers cela que vers la positivité de ce qui pourrait se produire sur la plateforme », dit-elle.
Ces pires scénarios se sont effectivement produits, comme le démontre graphiquement la vidéo d’Antonio Perkins. Pas parce que Facebook voulait que quelqu’un soit blessé. Tout cela parce que, à un moment donné, elle s’est protégée de la réalité humaine avec du jargon de programmation informatique, des clichés sur la liberté d’expression et des phrases chocs affirmant la « positivité » d’une techno-utopie qui, si elle se réalisait, aurait le bel effet secondaire de générer des cargaisons de cash.
Facebook est devenu la proie de l’erreur fondamentale d’Arendt.
Pensez par vous-même
Zuckerberg fait en fait allusion à cette lecture des échecs de son entreprise dans un manifeste de 6 000 mots qu’il a écrit en février dernier sur les ambitions futures de Facebook. Après environ 4 500 mots, il admet que Facebook a commis des erreurs, affirmant qu’il est « souvent d’accord » avec les critiques. (Il ne dit pas sur quoi précisément.) Mais, ajoute-t-il, « Ces erreurs ne sont presque jamais dues à des positions idéologiques en désaccord avec la communauté, mais plutôt à des problèmes de mise à l’échelle opérationnelle. »
Il est vrai que Facebook a rarement des « positions idéologiques en désaccord avec la communauté ». Puisque Facebook est banal, il manque généralement de positions idéologiques sur quoi que ce soit. La plateforme de médias sociaux a longtemps essayé de se positionner comme un bastion de neutralité, une plateforme pour les idées des autres, un conduit passif. Lorsque Swisher a interpellé Zuckerberg sur le fait de permettre aux négationnistes de Sandy Hook de diffuser leur message, il a répondu : « Écoutez, aussi odieux que certains de ces contenus puissent être, je pense vraiment que cela revient à ce principe de donner une voix aux gens. »
Mais une organisation avec autant d’influence n’a pas besoin d’être idéologiquement opposée à la société pour causer du tort. Il suffit qu’elle cesse de penser aux humains, qu’elle se sente à l’aise pour rejeter la violence religieuse, la discrimination ethnique, les discours de haine, la solitude, la discrimination fondée sur l’âge et la mort en direct comme des « problèmes d’échelle opérationnelle. » Pour penser au suicide comme un « cas d’utilisation » pour Facebook Live.
Ces jours-ci, il peut être tentant de soutenir que Facebook est sur la bonne voie. L’énoncé de mission de l’entreprise a été modifié l’année dernière pour réduire l’importance des « connexions ». Au lieu de « rendre le monde ouvert et connecté », son objectif est désormais de « rapprocher le monde ». En juillet, Facebook a annoncé qu’il commencerait à retirer les publications qui appellent à la violence physique dans certains pays.
C’est loin d’être suffisant. La nouvelle mission ne parvient toujours pas à faire ce qu’Arendt dit qu’elle doit faire. Cela place toujours Facebook, la plateforme, au-dessus des humains qui l’utilisent. Rapprocher le monde peut signifier faciliter les ventes de gâteaux et les lectures de la Bible ; cela peut aussi signifier unir le KKK et les skinheads. La déclaration de mission n’a rien à dire sur les différences entre les deux.
Facebook doit apprendre à penser par lui-même. Son propre responsable de la sécurité, Alex Stamos, l’a dit dans son mémo de départ, également acquis par BuzzFeed. « Nous devons être prêts à choisir un camp lorsqu’il y a des questions morales ou humanitaires claires », écrit-il. C’est ce qu’Eichmann n’a jamais fait.
La solution n’est pas que Facebook devienne la police des mœurs d’internet, décidant si chaque post, vidéo et photo doit être autorisé. Pourtant, il ne peut pas se rabattre sur sa ligne d’être une plate-forme neutre, qui convient aussi bien à l’amour qu’à la haine. Arendt disait que la réalité exige toujours l’attention de nos pensées. Nous prenons toujours conscience de nouveaux faits concernant le monde ; ceux-ci doivent être pris en considération et intégrés dans notre vision du monde. Mais elle reconnaissait que céder constamment à cette demande serait épuisant. La différence avec Eichmann, c’est qu’il n’a jamais cédé, car sa pensée était entièrement séparée de la réalité.
La solution, donc, c’est que Facebook change de mentalité. Jusqu’à présent, même les mesures positives de Facebook – comme la suppression des publications incitant à la violence ou l’interdiction temporaire du théoricien de la conspiration Alex Jones – n’ont pas été le résultat d’un examen de conscience, mais d’une pression publique intense et de retombées en termes de relations publiques. Facebook ne fait ce qu’il faut que lorsqu’on l’y oblige. Au lieu de cela, il doit être prêt à sacrifier l’objectif d’une connectivité et d’une croissance totales lorsque cet objectif a un coût humain ; créer un processus de prise de décision qui exige que les dirigeants de Facebook vérifient leur optimisme technologique instinctif par rapport aux réalités de la vie humaine.
En l’absence de considérations humaines, Facebook continuera à apporter un mal irréfléchi et banal au monde. Les 2,5 milliards de personnes qui l’utilisent, dans le cadre de leur vie réelle, ne supporteront pas cela éternellement.