I juni 2016 sendte Antonio Perkins utilsigtet sin egen død ud til hele verden. Det var en solskinsdag i Chicago, og han delte den på Facebook Live, en platform til distribution af video i realtid, der var blevet lanceret blot få måneder tidligere.

Videoen er lang. Den viser Perkins, der laver banale sommerting. Står rundt på fortovet. Klager over varmen. Omkring seks minutter inde i spillet lyder der pludselig pistolskud. Kameraet bevæger sig febrilsk og falder derefter ned på jorden. Senere samme dag blev Perkins erklæret død.

Videoen har næsten en million visninger.

The Ugly

Den næste dag blev et memo med titlen “The Ugly” rundsendt internt på Facebook. Forfatteren, Andrew Bosworth, er en af virksomhedens vicepræsidenter og centrale beslutningstagere.

“Vi taler ofte om det gode og det dårlige ved vores arbejde”, begynder memoet, som BuzzFeed fik fat i i i marts, og det begynder. “Jeg vil gerne tale om det grimme.” Det fortsætter:

Vi forbinder folk … Måske koster det et liv at udsætte nogen for mobberi. Måske dør nogen i et terrorangreb, der er koordineret på vores værktøjer. Og alligevel forbinder vi mennesker. Den grimme sandhed er, at vi tror så dybt på at forbinde mennesker, at alt, der giver os mulighed for at forbinde flere mennesker oftere, de facto er godt.

Memo’et nævner ikke Perkins. Det er muligt, at Bosworth ikke var bekendt med hændelsen. Når alt kommer til alt, er tragedier i realtid ikke så sjældne på Facebook Live.

Men Perkins’ livestreamede død er et godt eksempel på “The Ugly”. Selv om hans død er tragisk, overtræder videoen ikke virksomhedens abstruse fællesskabsstandarder, da den ikke “forherliger vold” eller “hylder andres lidelser eller ydmygelser”. Og hvis den bliver hængende, betyder det, at flere mennesker vil få forbindelse til Perkins og til Facebook, så videoen bliver hængende. Den har trods alt en million visninger.

Beslutningen er en af mange nylige Facebook-handlinger, der måske har efterladt en dårlig smag i munden på dig. Virksomheden tillod uden at vide det Donald Trumps præsidentkampagne at indsamle personlige data om millioner af amerikanere. Det undlod at bemærke Ruslands forsøg på at påvirke valget i 2016; faciliterede etnisk og religiøs vold i flere lande; og tillod annoncører at målrette sådanne ædle kategorier af forbrugere som “jødehadere”. For ikke at nævne, at falske nyheder, konspirationsteorier og åbenlyse løgne florerer på platformen.

Facebook havde ikke til hensigt, at noget af dette skulle ske. Den ønskede blot at forbinde folk. Men der er en rød tråd fra Perkins’ død til religiøs vold i Myanmar og virksomhedens halvhjertede forsøg på at bekæmpe falske nyheder. Facebook er virkelig ond. Ikke med vilje. På den banale måde.

Under alle Facebooks fejltrin ligger en bumlende glemsomhed over for rigtige mennesker. Virksomhedens enestående fokus på at “forbinde mennesker” har gjort det muligt for den at erobre verden, idet den har gjort det muligt at skabe et enormt netværk af menneskelige relationer, en kilde til indsigt og øjne, der får annoncører og investorer til at savle.

Men kravet om at “forbinde mennesker” mangler den ene ingrediens, der er afgørende for at være en god samfundsborger: At behandle det enkelte menneske som noget ukrænkeligt. For Facebook består verden ikke af enkeltpersoner, men af forbindelser mellem dem. De milliarder af Facebook-konti tilhører ikke “mennesker”, men “brugere”, samlinger af datapunkter, der er forbundet med andre samlinger af datapunkter på et enormt socialt netværk, som computerprogrammer kan målrette og tjene penge på.

Der er visse ting, man ikke med god samvittighed kan gøre mod mennesker. Med data kan man gøre, hvad man vil.

Livet som en database

Siden offentliggørelsen af “The Ugly” har Bosworth taget afstand fra det argument, der fremføres i notatet. Han siger nu, at han blot ønskede at “bringe spørgsmål op til overfladen”, og at han, temmelig utroligt nok, “ikke var enig i det, selv da han skrev det”. Mark Zuckerberg tilføjede, at han også var stærkt uenig i memoet og sagde: “Vi har aldrig troet på, at målet helliger midlet.”

Men gang på gang har Facebooks valg dog afsløret, at det at forbinde mennesker anses for et de facto gode i næsten alle tilfælde. Det er grunden til, at Zuckerberg i et nyligt interview med Recode forsvarede beslutningen om at tillade indlæg fra benægtere af både Sandy Hook-skyderiet og Holocaust ved at sige, at de bare “tager fejl.”

Med Facebook er “livet forvandlet til en database”, skriver teknologen Jaron Lanier i sin bog You Are Not a Gadget fra 2010. Silicon Valley-kulturen er kommet til at acceptere som noget sikkert, skriver Lanier, at “hele virkeligheden, herunder mennesker, er ét stort informationssystem”. Denne vished, siger han, giver teknologiverdenens mest magtfulde personer “en ny form for åbenlys skæbne”. Den giver dem “en mission at udføre.”

Accept af denne mission er praktisk for Facebook. Det gør det til et moralsk imperativ at skalere så hurtigt som muligt. I denne optik er det sådan, at jo større Facebook er, jo bedre er virksomheden for verden. Det er tilfældigvis også den måde, hvorpå den kan tjene flest penge.

Problemet, siger Lanier, er, at der ikke er noget særligt ved mennesker i dette informationssystem. Alle datapunkter behandles ens, uanset hvordan mennesker oplever dem. “Jødehadere” er lige så meget en annoncekategori som “mødre, der jogger”. Det er alt sammen data. Hvis gruppe A har en større tilstedeværelse på Facebook end gruppe B, så må det være sådan, også selv om gruppe A forsøger at nedgøre eller organisere vold mod B’erne. Virkeligheden er selvfølgelig, at mennesker alle er forskellige og ikke kan reduceres til data.

Forsøg at fortælle det til den gruppe hvide Ivy League-drenge, der startede Facebook som et hot-eller-ikke-websted og opfandt en ansigtsgenkendelseskegle.

Hvad det vil sige at tænke

Facebooks fejltagelse er ikke ny. Generelt bliver tingene grimme, når massive, magtfulde organisationer undlader at tage hensyn til andres menneskelighed. Nu skal vi tale om nazister.

Den bedste analyse af Facebooks intellektuelle svigt kommer fra den politiske teoretiker Hannah Arendt i hendes bog Eichmann in Jerusalem. Bogen er en beretning om retssagen mod Adolf Eichmann i 1961. Eichmann var en nazistisk bureaukrat på mellemniveau og var hovedansvarlig for logistikken i forbindelse med tvangstransporten af jøder til koncentrationslejre under Anden Verdenskrig.

Eichmann blev taget til fange i Argentina og stillet for en israelsk domstol for at forklare sine forbrydelser. Alle tilstedeværende forventede, at han var en sadistisk galning, der var pervers besat af at tilintetgøre det jødiske folk.

I stedet viste han sig at være en klovn og en karrieremand. Han hævdede at have glemt detaljerne i store politiske begivenheder, mens han tydeligt kunne huske, hvem af sine jævnaldrende der fik en forfremmelse, som han eftertragtede. Ifølge Arendt erklærede en israelsk retspsykiater, der undersøgte Eichmann, at han var “en fuldstændig normal mand, i hvert fald mere normal, end jeg er efter at have undersøgt ham.”

Det spørgsmål, der hjemsøgte Arendt, var, hvordan en så “normal” mand havde spillet en vigtig rolle i massemord. Eichmann sendte bevidst tusindvis af jøder i den sikre død.

Arendt konkluderer, at det hverken var sadisme eller had, der drev Eichmann til at begå disse historiske forbrydelser. Det var en manglende evne til overhovedet at tænke på andre mennesker som mennesker.

En “afgørende” fejl i hans karakter, skriver Arendt, var hans “manglende evne til nogensinde at se på noget fra den andens synsvinkel”.

Hvordan kunne det være, at Eichmann og hundredvis af andre nazister ikke havde en grundlæggende forståelse for menneskelivets ukrænkelighed? Svaret ligger i Eichmanns tro på et stort, historisk projekt om at etablere et racemæssigt rent “utopia”. Dette projekt transcenderede menneskeliv og gjorde dem sekundære. Et liv eller en million liv var små priser at betale for løftet om at skabe et “tusindårigt rige”.

Eichmanns manglende evne til at tænke på andres lidelser skyldtes, at han internaliserede et storslået projekts overordentlige betydning, konkluderer Arendt. Fordi projektet skal gennemføres uanset prisen, er alt, der fremmer det, de facto godt. Denne logik kan forvrænge de sociale normer, som vi tager for givet, og endda omvende noget så grundlæggende som “mord er forkert” til “mord på dem, der står i vejen for projektet, er rigtigt.”

Sådan vanvittig logik holder ikke til selv den mindste smule kontrol. Men Eichmann, ligesom dem omkring ham, afskærmede sig selv fra virkeligheden af sine handlinger ved hjælp af følelsesløse abstraktioner. “Klichéer, standardfraser, overholdelse af konventionelle, standardiserede udtryks- og adfærdskodekser har den samfundsmæssigt anerkendte funktion at beskytte os mod virkeligheden”, skrev Arendt i et essay med titlen “Thinking”, der blev offentliggjort i The New Yorker 15 år efter Eichmann-bogen. Verdens begivenheder og kendsgerninger bør altid presse på vores “tænkende opmærksomhed”, skriver hun, og tvinge os til at revurdere vores adfærd og overbevisninger.

“Eichmann adskilte sig fra resten af os”, konkluderer hun, “kun ved at der ikke var nogen forbindelse mellem virkeligheden og hans tankeproces. I stedet fulgte han blindt den forvredne moral, der var blevet konventionel i hans kredse. Og millioner døde på grund af det.

Det bringer os tilbage til Facebook. Det har sit eget store projekt – at forvandle den menneskelige verden til ét stort informationssystem. Det er, det siger sig selv, ikke nær så forfærdeligt som projektet med det tusindårige rige. Men det grundlæggende problem er det samme: en manglende evne til at se tingene fra den andens synsvinkel, en manglende forbindelse mellem den menneskelige virkelighed og det store projekt.

Den nedadgående bue for det historiske projekt

Arendt hjælper os med at se, hvordan alle Facebooks forskellige fejltrin hænger sammen. Her er et eksempel, der, selv om det er mindre vigtigt, illustrerer pointen.

Sidste år udsendte Mark Zuckerberg en video, hvor han viste Spaces, Facebooks nye virtual reality-platform, frem. I videoen er han repræsenteret af en skinnende, storhovedet, smilende, computergenereret udgave af sig selv.

Denne Zuck-karikatur ses først udenfor, på taget af Facebooks hovedkvarter. Derefter trækker han en slags kugle frem. Kuglen, siger han, indeholder en 360-video af Puerto Rico, der er optaget kort efter orkanen Marias ødelæggelser. Denne kugle er placeret foran kameraet. Pludselig “teleporterer” Zuck – sammen med en avatar af Rachel Franklin, chef for social virtual reality hos Facebook – ind på scenen. Disse to figurer ses nu “køre i en lastbil” gennem ødelagte kvarterer og “stå” i meterhøjt oversvømmelsesvand.

Oh, de glemte at nævne, hvor cool denne teknologi er, så de stopper op for at give hinanden en high-five.

“Det føles, som om vi virkelig er her i Puerto Rico”, siger digi-Zuck (husk, at det hele er i subparat CG). De hopper rundt til forskellige katastrofescener i et par minutter. “Okay, så du vil teleportere dig et andet sted hen?” Endnu en kugle, og de bliver ført væk, tilbage til Californien.

For dem af os uden for Facebooks store projekt var denne video tydeligvis en forfærdelig idé. Nyhedsmedier latterliggjorde den som værende tonedøv og smagløs. Alligevel kom videoen igennem Facebooks mange lag af godkendelser. Det faktum, at folk på Facebook gav den tommelfingeren opad, når videoens problemer var så tydelige for udenforstående seere, er betegnende for, i hvor høj grad Facebooks værdisystem er afveget fra resten af samfundet – resultatet af dets nærsynede fokus på at forbinde alle på alle mulige måder, uanset konsekvenserne.

Med det in mente begynder den røde tråd gennem Facebooks mange public relations-katastrofer at blive tydelig. Facebooks fortsatte afvisning af aktivister fra Sri Lanka og Myanmar, som bønfaldt Facebook om at gøre noget ved opfordringer til vold. Facebook nægter at fjerne materiale, der kalder Sandy Hook-massakren for en “skrøne” og truer forældrene til de myrdede børn. Dets misvisende sprog om privatlivets fred og dataindsamlingspraksis.

Facebook synes at være blind for muligheden for, at det kan bruges til noget dårligt. I Zuckerbergs nylige interview med Kara Swisher fra Recode nævner hun et møde med produktcheferne for Facebook Live. De virkede “oprigtigt overraskede”, sagde hun, da hun foreslog, at det kunne bruges til at udsende mord, mobning og selvmord. “De virkede mindre orienteret mod det end mod det positive i det, der kunne ske på platformen,” siger hun.

Disse værst tænkelige scenarier skete faktisk, som videoen med Antonio Perkins grafisk demonstrerer. Ikke fordi Facebook ønskede, at nogen skulle komme til skade. Alt sammen fordi Facebook på et tidspunkt beskyttede sig selv mod den menneskelige virkelighed med computerprogrammeringsjargon, klichéer om ytringsfrihed og stockphraser, der hævder “positiviteten” af en tekno-utopi, der, hvis den blev realiseret, ville have den rare bivirkning at generere masser af penge.

Facebook er faldet for Arendts grundlæggende fejl.

Tænk selv

Zuckerberg hentyder faktisk til denne læsning af sit firmas fiaskoer i et manifest på 6.000 ord, som han skrev i februar sidste år om Facebooks fremtidige ambitioner. Omkring 4.500 ord inde i det indrømmer han, at Facebook har begået fejl og siger, at han “ofte er enig” med kritikerne. (Han siger ikke om hvad specifikt.) Men han tilføjer: “Disse fejl skyldes næsten aldrig, at vi har ideologiske holdninger, der er i strid med fællesskabet, men er i stedet operationelle skaleringsproblemer.”

Det er rigtigt, at Facebook sjældent har “ideologiske holdninger, der er i strid med fællesskabet.” Da Facebook er banalt, mangler det typisk ideologiske holdninger om noget som helst overhovedet. Den sociale medieplatform har længe forsøgt at positionere sig selv som en bastion af neutralitet, en platform for andres idéer, en passiv kanal. Da Swisher udfordrede Zuckerberg på at tillade Sandy Hook-benægtere at sprede deres budskab, sagde han: “Hør, hvor afskyeligt noget af dette indhold end kan være, så tror jeg, at det handler om dette princip om at give folk en stemme.”

Men en organisation med så stor indflydelse behøver ikke at være ideologisk modstander af samfundet for at forårsage skade. Den behøver blot at holde op med at tænke på mennesker, for at føle sig tryg ved at afvise religiøs vold, etnisk diskrimination, hadefuld tale, ensomhed, aldersdiskrimination og livestreamet død som “operationelle skaleringsproblemer”. At tænke på selvmord som en “use case” for Facebook Live.

I disse dage kan det være fristende at hævde, at Facebook er på rette vej. Virksomhedens mission statement blev ændret sidste år for at reducere betydningen af “forbindelser”. I stedet for at “gøre verden åben og forbundet” er dets mål nu at “bringe verden tættere sammen”. I juli meddelte Facebook, at det vil begynde at fjerne indlæg, der opfordrer til fysisk vold i nogle lande.

Det er langt fra nok. Den nye mission formår stadig ikke at gøre det, som Arendt siger, at den skal. Det sætter stadig Facebook, platformen, over de mennesker, der bruger den. At bringe verden tættere sammen kan betyde at fremme bagesalg og bibellæsninger, men det kan også betyde at forene KKK og skinheads. Missionserklæringen har intet at sige om forskellene mellem de to ting.

Facebook skal lære at tænke selv. Dens egen sikkerhedsansvarlige, Alex Stamos, sagde det i sit afgangsnotat, som BuzzFeed også har fået fat i. “Vi er nødt til at være villige til at vælge side, når der er klare moralske eller humanitære spørgsmål,” skriver han. Det gjorde Eichmann aldrig.

Løsningen er ikke, at Facebook skal blive internettets moralpoliti og beslutte, om hvert enkelt indlæg, video og foto skal være tilladt. Alligevel kan det ikke falde tilbage på sin linje om at være en neutral platform, der er lige velegnet til både kærlighed og had. Arendt sagde, at virkeligheden altid kræver opmærksomhed fra vores tanker. Vi bliver hele tiden opmærksomme på nye kendsgerninger om verden, og disse kendsgerninger skal overvejes og indarbejdes i vores verdensbillede. Men hun erkendte, at det ville være udmattende at give efter for dette krav konstant. Forskellen på Eichmann var, at han aldrig gav efter, fordi hans tænkning var helt adskilt fra virkeligheden.

Løsningen er altså, at Facebook skal ændre sin tankegang. Indtil nu er selv Facebooks positive skridt – som f.eks. at fjerne indlæg, der tilskynder til vold, eller midlertidigt forbyde konspirationsteoretikeren Alex Jones – ikke kommet som et resultat af selvransagelse, men af et intenst offentligt pres og PR-udfald. Facebook gør kun det rigtige, når det er tvunget til det. I stedet skal det være villigt til at ofre målet om total forbundethed og vækst, når dette mål har en menneskelig omkostning; at skabe en beslutningsproces, der kræver, at Facebooks ledere tjekker deres instinktive teknologiske optimisme på baggrund af menneskers virkelighed.

Hvis der ikke tages menneskelige hensyn, vil Facebook fortsat bringe tankeløs, banal skade til verden. De 2,5 milliarder mennesker, der bruger det som en del af deres virkelige liv, vil ikke finde sig i det for evigt.