Kapitel 10
Die Demokratie zerbricht¹

Die Geschichte der sozialen Medien ist noch nicht geschrieben, und ihre Folgen sind nicht neutral.

– Chris Cox, Leiter Produktentwicklung, Facebook, 2019²

Wenn wir ständig belogen werden, führt dies nicht dazu, dass wir die Lügen glauben. Es führt dazu, dass niemand mehr irgendetwas glaubt.

– Hannah Arendt, Interview, 1978³

Am 2. November 2021 beschuldigte die chinesische Tennisspielerin Peng Shuai im sozialen Netzwerk Weibo einen hochrangigen Sportfunktionär, sie sexuell genötigt zu haben. Zwanzig Minuten später wurde die Mitteilung gelöscht. Sie tauchte nie wieder im chinesischen Internet auf. Doch bevor Pengs Beitrag entfernt wurde, hatten bereits einige Nutzer Screenshots davon gemacht, und ausländische Medien griffen die Nachricht auf. In China wurde auch der Zugang zu ausländischen Informationsquellen rasch beschränkt. Die chinesische Öffentlichkeit hatte großes Interesse an Peng Shuai, aber nur wenige Menschen bekamen ihre ursprüngliche Botschaft zu Gesicht, und eine öffentliche Diskussion über den Vorfall fand nicht statt.

In China ist die rasche Beseitigung politisch heikler Informationen nicht die Ausnahme, sondern die Regel. Das Internet und die sozialen Medien werden dort ständig überwacht. Es wird geschätzt, dass der chinesische Staat jedes Jahr 6,6 Milliarden Dollar für Beobachtung und Zensur von Online-Inhalten ausgibt.

China investiert auch massiv in andere digitale Überwachungswerkzeuge, insbesondere in künstliche Intelligenz. Besonders deutlich ist das in der autonomen Region Xinjiang zu sehen, wo seit den Unruhen im Juli 2009 systematisch Daten über die muslimischen Uiguren gesammelt werden; ab dem Jahr 2014 wurde die Überwachung erheblich ausgeweitet. Die Kommunistische Partei hat mehrere führende Tech-Firmen mit der Entwicklung von Instrumenten beauftragt, mit denen Daten über Lebensgewohnheiten von Personen und Haushalten, Kommunikationsmuster, Erwerbstätigkeit, Ausgabenverhalten und sogar Hobbys gesammelt und ausgewertet werden können, um eine »vorausschauende Polizeiarbeit« zu ermöglichen und die elf Millionen Einwohner der Provinz zu kontrollieren, die allesamt als potenzielle Dissidenten betrachtet werden.

Mehrere große chinesische Tech-Firmen, darunter die Ant Group (an der Alibaba Anteile hält), der Telekom-Riese Huawei und einige der größten KI-Unternehmen der Welt – zum Beispiel SenseTime, CloudWalk und Megvii – beteiligen sich im Dienste des Regimes an der Entwicklung von Überwachungswerkzeugen und an ihrem Einsatz in Xinjiang.⁴ Es werden auch regelmäßig KI-Werkzeuge zur Gesichtserkennung gegen die Uiguren eingesetzt.

Was in Xinjiang begann, wurde rasch auf das übrige China ausgeweitet. Mittlerweile sind im ganzen Land Kameras für die Gesichtserkennung installiert, und die Regierung macht stetige Fortschritte bei der Errichtung ihres »Sozialkreditsystems«, in dem Informationen über Personen und Unternehmen gesammelt werden, um in den Augen der Partei unerwünschte und nicht vertrauenswürdige Aktivitäten aufzudecken. Zu diesen Aktivitäten zählen natürlich abweichende Meinungsäußerungen und subversive Kritik an der Partei. Im offiziellen Planungsdokument wird erklärt, das Sozialkreditsystem beruhe auf

Gesetzen, Vorschriften, Normen und Satzungen. Es stützt sich auf ein vollständiges Netzwerk, das die Kreditaufzeichnungen der Mitglieder der Gesellschaft und die Kreditinfrastruktur umfasst und durch die gesetzmäßige Anwendung von Kreditinformationen und ein Kreditdienstsystem unterstützt wird. Es dient der Errichtung einer Kultur der Aufrichtigkeit und der Aufrechterhaltung von Ehrlichkeit und traditionellen Tugenden. Seine Anreizmechanismen bestehen darin, Vertrauen zu fördern und Vertrauensbruch zu beschränken. Sein Ziel ist es, die ehrliche Geisteshaltung und das Kreditniveau der gesamten Gesellschaft zu fördern.⁵

Frühe Versionen des Systems wurden gemeinsam mit Privatunternehmen entwickelt, darunter Alibaba, Tencent und der Fahrdienstanbieter Didi. Das Ziel bestand vermutlich darin, zwischen (für die Partei) akzeptablem und inakzeptablem Verhalten zu unterscheiden und die Bewegungsfreiheit und die Aktivitäten von »Übeltätern« einzuschränken. Seit 2017 sind Prototypen des Sozialkreditsystems in Dutzenden Großstädten eingeführt worden, darunter Hangzhou, Chengdu und Nanking. Das Oberste Volksgericht hat erklärt, dass Personen, die gerichtlichen Anordnungen zuwiderhandelten, »bisher [bis zum 9. Juli 2019] am Kauf von rund 27,3 Millionen Flugtickets und fast 6 Millionen Bahnfahrkarten gehindert worden sind«.⁶ Einige Beobachter sehen im chinesischen Modell und im Sozialkreditsystem einen Prototyp für eine neuartige »digitale Diktatur«, in der die autoritäre Herrschaft durch strikte Überwachung und umfassende Datensammlung aufrechterhalten wird.

Viele hatten sich vom Internet und den sozialen Medien eine ganz andere Wirkung auf den politischen Diskurs und die Demokratie erwartet: Die Online-Kommunikation versprach die Schwarmintelligenz freizusetzen. Im Internet würden verschiedene Meinungen ungehindert miteinander konkurrieren und die Wahrheit würde triumphieren. Das Netz sollte die Demokratien stärken und die Diktaturen in die Defensive drängen, indem es Informationen über Korruption, Unterdrückung und Machtmissbrauch zutage fördern würde. Wikis wie das mittlerweile berüchtigte WikiLeaks sollten zur Demokratisierung des Journalismus beitragen. Die sozialen Medien würden all das auf ein noch höheres Niveau heben, indem sie einen offenen politischen Diskurs und die Koordinierung zwischen den Bürgern ermöglichen würden.

Anfangs schien die Entwicklung diese zuversichtliche Einschätzung zu bestätigen. Am 17. Januar 2001 wurden auf den Philippinen Textmitteilungen eingesetzt, um Protestkundgebungen gegen das Parlament zu koordinieren, das entschieden hatte, im Amtsenthebungsverfahren gegen Präsident Joseph Estrada wichtiges Beweismaterial nicht zuzulassen. Mitteilungen über den Vorgang wurden von Nutzer zu Nutzer weitergegeben, und rasch versammelten sich mehr als eine Million Menschen im Zentrum Manilas, um gegen einen Kongress zu protestieren, der sich zum Komplizen von Estradas Korruption und Verbrechen machte. Als das Leben in der Hauptstadt zum Stillstand kam, widerriefen die Abgeordneten ihre Entscheidung und Estrada wurde abgesetzt.⁷

Weniger als ein Jahrzehnt später waren die sozialen Medien an der Reihe. Im Arabischen Frühling nutzte die Demokratiebewegung Facebook und Twitter, um die autokratischen Herrscher Zine el-Abidine Ben Ali in Tunesien und Hosni Mubarak in Ägypten zu Fall zu bringen. Unter den Anführern der ägyptischen Protestbewegung war Wael Ghonim, ein Computeringenieur von Google. In einem Interview fasste er die Stimmung in der Demokratiebewegung und den Optimismus der Tech-Branche zusammen: »Ich hoffe, Mark Zuckerberg eines Tages persönlich treffen zu können, um ihm zu danken. Diese Revolution – oder ein Großteil dieser Revolution – begann auf Facebook. Wenn du eine Gesellschaft befreien willst, musst du ihr nur das Internet geben. Wenn du die gesellschaftliche Freiheit erhalten willst, musst du den Menschen nur das Internet geben.«⁸ Einer der Gründer von Twitter verstand die Rolle seines Netzwerks genauso: »Manche Tweets können in einem unterdrückten Land positive Veränderungen bewirken […].«⁹

Viele Politiker sahen es ähnlich. Die amerikanische Außenministerin Hillary Clinton rückte im Jahr 2010 ein freies Internet in den Mittelpunkt ihrer Strategie zur Verbreitung der Demokratie in aller Welt.¹⁰

Wie sind wir in eine Situation geraten, in der sich digitale Werkzeuge in wirkungsvolle Waffen in den Händen von Autokraten verwandelt haben, die Informationsfreiheit und abweichende Meinungen zu unterdrücken versuchen? Wie konnte es dazu kommen, dass sich die sozialen Medien in eine Brutstätte der Desinformation verwandelt haben und nicht nur von autoritären Regimen, sondern auch von Rechts- und Linksextremisten missbraucht werden?

In diesem Kapitel werden wir zeigen, dass die schädlichen Auswirkungen der digitalen Technologien und der künstlichen Intelligenz auf Politik und gesellschaftlichen Diskurs keineswegs unvermeidlich waren. Der Schaden ist entstanden, weil in der Entwicklung dieser Technologien ein bestimmter Weg eingeschlagen wurde. Als damit begonnen wurde, diese digitalen Werkzeuge in erster Linie für die umfassende Datensammlung und -verarbeitung einzusetzen, verwandelten sie sich in leistungsfähige Werkzeuge in den Händen von Staaten und Unternehmen, die an Überwachung und Manipulation interessiert waren. Während die Bürger zusehends entmachtet wurden, wurde die hierarchische Kontrolle nicht nur in autokratisch, sondern auch in demokratisch regierten Ländern verstärkt, und es setzten sich neue Geschäftsmodelle durch, die darauf beruhten, das Engagement der Nutzer zu fördern und ihre Empörung zu schüren, um Geld damit zu verdienen.

Ein Zensursystem als politische Waffe

Es war in China nie leicht, sich der Kommunistischen Partei entgegenzustellen. Als Mao Zedong im Jahr 1957 die Kampagne »Lasst hundert Blumen blühen« startete, um Kritik an der Partei zu erlauben, glaubten viele, er wolle die Repression lockern. Aber die Hoffnung, die chinesischen Kommunisten seien tatsächlich bereit, abweichende Meinungen zu dulden, zerschlug sich rasch, als Mao die »Anti-Rechts-Kampagne« vom Zaun brach. Jene, die zuvor seine Einladung angenommen und kritische Ansichten geäußert hatten, wurden nun verhaftet, ins Gefängnis gesteckt und gefoltert, viele hingerichtet. Nach Schätzungen wurden in den Jahren 1957 bis 1959 zwischen 500 000 und zwei Millionen Menschen als »rechte Kräfte« verfolgt.

Ende der siebziger und Anfang der achtziger Jahre bot sich ein ganz anderes Bild. Im Jahr 1976 war Mao gestorben, und die Verfechter einer harten Linie, darunter seine Witwe Jiang Qing, die gemeinsam mit drei weiteren hochrangigen Parteifunktionären die sogenannte »Viererbande« bildete, unterlagen im folgenden Machtkampf und wurden an den Rand gedrängt. Deng Xiaoping, ein Angehöriger der alten Garde der chinesischen Revolutionäre, der sich im Bürgerkrieg als General der Roten Armee ausgezeichnet und die »Anti-Rechts-Kampagne« mitgeplant hatte, eine hohe Funktion in der KPCh innehatte und zum stellvertretenden Ministerpräsidenten aufgestiegen, dann jedoch selbst einer Säuberung zum Opfer gefallen war, kehrte auf die politische Bühne zurück und übernahm im Jahr 1978 die Führung der Partei. Zum Reformer gewandelt, nahm Deng einen Umbau der chinesischen Wirtschaft in Angriff.

In dieser Phase lockerte die Kommunistische Partei ihre Kontrolle über die Gesellschaft. Es tauchten neue Medien auf, die teilweise offene Kritik an der Partei äußerten. Es entstanden verschiedene Basisbewegungen, darunter Zusammenschlüsse von Studenten, die eine Demokratisierung forderten, und Initiativen, welche die Rechte der Landbevölkerung gegen die Landaneignung verteidigten.¹¹

Doch das Massaker auf dem Platz des Himmlischen Friedens (Tiananmen) im Jahr 1989 machte die Hoffnung auf eine gesellschaftliche Öffnung erneut zunichte. Als die Partei in den achtziger Jahren mehr Meinungsfreiheit duldete, waren in der städtischen Bevölkerung und insbesondere in der Studentenschaft Forderungen nach mehr Freiheit und Reformen laut geworden. Im Jahr 1986 kam es zu einer Welle von Studentenprotesten. Die Jugend rief nach Demokratie, Meinungsfreiheit und wirtschaftlicher Liberalisierung. Die Hardliner in der Parteiführung warfen dem reformwilligen Generalsekretär Hu Yaobang zu große Nachgiebigkeit gegenüber der Opposition vor und entmachteten ihn.

Nach Hus Herztod brachen im April 1989 neue Proteste aus. Hunderte Studenten der Universität Peking marschierten ins Stadtzentrum zum Tiananmen-Platz, der an die Verbotene Stadt angrenzt. Innerhalb weniger Stunden wuchs die Zahl der Demonstranten auf dem Platz deutlich, und die Studenten formulierten die »Sieben Forderungen«, darunter jene nach einer Anerkennung von Hu Yaobangs Vorstellungen von Demokratie und Freiheit, nach einem Ende der Pressezensur, nach Aufhebung der Einschränkungen des Demonstrationsrechts sowie nach entschlossenen Maßnahmen gegen die Korruption führender Parteifunktionäre und ihrer Familien.

Während die Parteiführung darüber nachdachte, wie sie auf die Proteste reagieren sollte, wuchs die Unterstützung für die Demokratiebewegung. Am 13. Mai traten die Studenten auf dem Tiananmen-Platz in einen Hungerstreik, und innerhalb weniger Tage schlossen sich eine Million Menschen den Demonstranten an. Schließlich schlug sich Deng Xiaoping auf die Seite der Hardliner und willigte ein, die Armee einzusetzen, um den Protesten ein Ende zu setzen. Am 20. Mai wurde das Kriegsrecht verhängt, und in den folgenden zwei Wochen wurden mehr als 250 000 Soldaten in die Hauptstadt verlegt, um die Demokratiebewegung niederzuschlagen. Am 4. Juni war der Widerstand der Bevölkerung gebrochen. Nach unabhängigen Schätzungen wurden beim sogenannten Tiananmen-Massaker bis zu 10 000 Demonstranten getötet. Die Parteiführung entschloss sich, die Freiheitsrechte, die sich die Bevölkerung in den achtziger Jahren erkämpft hatte, entschlossen zu unterdrücken und jegliche Opposition unter Kontrolle zu bringen.¹²

Doch in den neunziger Jahren und im ersten Jahrzehnt des 21. Jahrhunderts gelang es der Kommunistischen Partei in großen Teilen des Landes nicht, die Opposition vollkommen unter Kontrolle zu bringen. Zu Beginn des neuen Jahrtausends schlossen sich zahlreiche Rechtsanwälte zur Weiquan-Bewegung zusammen, um Opfer von Menschenrechtsverletzungen in ganz China zu verteidigen und sich vor Gericht für Umweltschutz, Recht auf Wohnraum und Meinungsfreiheit einzusetzen. Besonders großes öffentliches Interesse weckte die von dem Schriftsteller und Aktivisten Liu Xiaobo angeführte Bewegung, die im Jahr 2008 die Charta 08 veröffentlichte und darin Reformen vorschlug, die deutlich über die »sieben Forderungen« der Demokratiebewegung auf dem Tiananmen-Platz hinausgingen. Liu und seine Mitstreiter forderten in ihrem Manifest nicht weniger als eine neue Verfassung, die freie Wahl aller öffentlichen Amtsträger, Gewaltenteilung, eine unabhängige Justiz, Schutz der grundlegenden Menschenrechte sowie weitreichende Versammlungs- und Meinungsfreiheit.

Doch im Jahr 2010 war es in China sehr viel schwieriger geworden, öffentlich von der Parteilinie abweichende Meinungen zu äußern. Die Behörden hatten gelernt, das Internet zu nutzen, um den politischen Diskurs wirksam zu überwachen und von missliebigen Meinungsäußerungen zu säubern. Bald nach der Ankunft des Internets in China im Jahr 1994 hatte die Partei begonnen, Dissens im Netz zu zensieren. Im Jahr 2002 wurde der Grundstein für die Errichtung der »Großen Firewall« gelegt, welche die für chinesische Bürger zugänglichen Websites und die Möglichkeiten zum Meinungsaustausch beschränken sollte. Sieben Jahre später wurde das Abschottungsprojekt abgeschlossen, und seitdem wird die Firewall regelmäßig ausgeweitet.¹³

Doch zu Beginn der zehner Jahre stieß die digitale Zensur immer noch an Grenzen. In einer großen Studie sammelten Forscher im Jahr 2011 auf 1 382 chinesischen Websites und Plattformen mehrere Millionen Social-Media-Posts, um anschließend zu untersuchen, welche Mitteilungen von den chinesischen Behörden entfernt wurden. Die Ergebnisse der Studie zeigten, dass die »Große Firewall« funktionierte, obwohl sie keine völlige Kontrolle ermöglichte. Den Großteil von (Hunderttausenden) Meinungsäußerungen, in denen Regierung oder Partei kritisiert wurden, ließen die Behörden unangetastet. Sie löschten lediglich die sehr viel kleinere Zahl von Posts zu sensiblen Themen, bei denen die Gefahr bestand, dass breite Bevölkerungskreise reagieren und verschiedene Oppositionsgruppen gemeinsame Proteste organisieren würden. Beispielsweise wurden die allermeisten Posts zu Protesten in der Inneren Mongolei oder in Zengcheng in der Provinz Guangdong umgehend entfernt. Dasselbe geschah mit Posts zu Bo Xilai (dem früheren Bürgermeister von Dalian, der dem Politbüro angehörte und zu jener Zeit einer Säuberung zum Opfer fiel) und Fang Binxing (dem Vater der »Großen Firewall«).¹⁴

Ein anderes Forscherteam fand heraus, dass die Kommunikation in sozialen Netzwerken trotz »Großer Firewall« und systematischer Zensur immer noch Proteste auslösen konnte. Mitteilungen auf Weibo ermöglichten die Koordinierung und geografische Ausbreitung von Kundgebungen.¹⁵ Doch schon zu jener Zeit waren oppositionelle Aktivitäten in den sozialen Medien von geringer Dauer.

Ab 2014 beschränkte sich das Regime nicht mehr auf eine zurückhaltende Zensur, bei der einige kritische Meinungsäußerungen durch das Netz geschlüpft waren. Unter der Führung von Xi Jinping ging die Partei zum Einsatz neuer Überwachungs- und KI-Technologien zunächst in Xinjiang und dann in ganz China über. Im Jahr 2017 kündigte die Regierung einen »Plan zur Entwicklung von KI der nächsten Generation« an, um China die weltweite Führungsposition auf diesem Gebiet zu sichern.¹⁶ Dabei konzentrierte sich die chinesische Führung auf den Einsatz künstlicher Intelligenz zur Überwachung der Bürger. Seit 2014 steigen die Ausgaben Chinas für Überwachungssoftware und Kameras und sein Anteil an den globalen KI-Investitionen rasant, und mittlerweile entfallen rund 20 Prozent der weltweiten Investitionen in diesen Bereich auf China, wo mehr KI-Patente eingereicht werden als in jedem anderen Land.

Mit besserer KI kam eine intensivere Überwachung. Xiao Qiang, der Gründer der China Digital Times, drückt es so aus: »China hat ein Zensursystem, das als politische Waffe eingesetzt wird. Es ist hoch entwickelt, gut organisiert und koordiniert und nutzt die Ressourcen des Staates. Es dient nicht einfach dazu, Dinge zu löschen. Es wird auch ein leistungsfähiger Apparat eingesetzt, um ein Narrativ zu konstruieren, und er wird mit gewaltiger Durchschlagkraft auf jedes beliebige Ziel gerichtet.«¹⁷

Mittlerweile entgehen der chinesischen Zensur nur noch wenige missliebige Posts in den großen sozialen Netzwerken. Die »Große Firewall« erfasst fast alle in den Augen des Regimes politisch bedenklichen ausländischen Websites, und es gibt kaum noch Hinweise darauf, dass in sozialen Medien Protestbewegungen koordiniert werden können. Die Chinesen haben keinen Zugang mehr zu den meisten unabhängigen ausländischen Medien, darunter New York Times, CNN, BBC, Guardian und Wall Street Journal. Große westliche soziale Netzwerke und Suchmaschinen, darunter Google, YouTube, Facebook, Twitter, Instagram und verschiedene Video-Sharing-Sites, wurden ebenfalls blockiert.

Die künstliche Intelligenz hat die Fähigkeit des chinesischen Regimes zur Umgehung des politischen Diskurses und zur Unterdrückung abweichender Meinungen und Informationen deutlich erhöht, insbesondere im Bereich von Multimediainhalten und Live-Chats.

Eine schönere neue Welt

Im zweiten Jahrzehnt des 21. Jahrhunderts weckte die Situation des politischen Diskurses in China bereits Erinnerungen an George Orwells 1984. Indem der chinesische Staat Informationen unterdrückte und systematische Propaganda betrieb, versuchte er die Darstellung der politischen Realität vollkommen zu kontrollieren. Während ausländische Medien ausführlich über Korruptionsuntersuchungen berichteten, die hochrangige Parteifunktionäre oder ihre Familien betrafen, sorgte die staatliche Zensur in China dafür, dass die Bevölkerung über die Details im Dunkeln blieb und stattdessen mit Propaganda über der Tugendhaftigkeit der Parteiführung überhäuft wurde.¹⁸

Bei vielen Menschen schien die Indoktrinierung zumindest teilweise zu funktionieren – jedenfalls wagten sie nicht, zu sagen, dass sie die offizielle Darstellung für unwahr hielten. Im Jahr 2001 führte die Kommunistische Partei eine umfassende Reform der Lehrpläne für die Sekundarschule durch. Das Ziel war es, die chinesische Jugend politisch zu erziehen. Eine Mitteilung über die Reform aus dem Jahr 2004 trug den Titel »Vorschläge zur Stärkung des ideologischen und moralischen Aufbaus unserer Jugend«. Die neuen Lehrbücher, die im Jahr 2004 eingeführt wurden, enthielten eine nationalistischere Darstellung der Geschichte und hoben die Autorität und die Vorzüge der Kommunistischen Partei hervor. Die westlichen Demokratien wurden kritisiert und als dem chinesischen System unterlegen dargestellt.

Die Ansichten von Schülern, die mit den neuen Lehrbüchern lernten, unterschieden sich deutlich von denen von Schulabsolventen in derselben Provinz, die ihren Abschluss vor der Einführung dieser Bücher gemacht hatten. Die mit dem neuen Material indoktrinierten Schüler vertrauten Staatsbeamten eher und hielten das chinesische System eher für demokratisch als die Schüler, die noch die früheren Lehrbücher verwendet hatten. Ob die Befragten tatsächlich die offizielle Darstellung glaubten oder einfach verinnerlicht hatten, dass von ihnen erwartet wurde, diese Meinung zu teilen, ist schwerer zu beurteilen. Klar ist jedoch, dass sie Ansichten äußerten, die erheblich von der Propaganda beeinflusst waren, der sie ausgesetzt waren.¹⁹

Ende der zehner Jahre wurden alle diese Tendenzen deutlich verstärkt. Aufgrund von digitaler Zensur und Propaganda waren bei den jungen Chinesen sehr viel öfter eine nationalistische Einstellung, eine unkritische Unterstützung für Partei und Staat und eine geringe Bereitschaft zur Auseinandersetzung mit kritischer Berichterstattung und abweichenden Meinungen zu beobachten. Nach den massiven Investitionen in künstliche Intelligenz wurde die »Große Firewall« auch durch eine ständige Überwachung anhand von Daten ergänzt, die auf allen chinesischen Plattformen und am Arbeitsplatz gesammelt wurden. Hatten chinesische Studenten unter solchen Bedingungen überhaupt den Wunsch, sich in ausländischen Medien zu informieren, wenn sie die Möglichkeit dazu erhielten? Diese Frage untersuchten zwei Forscher in einer ambitionierten Studie.²⁰ Die Antwort war sogar für sie selbst eine Überraschung.

In den zehner Jahren hatte die »Große Firewall« noch eine Schwachstelle: Sie identifizierte die IP-Adressen, die Aufschluss über den Standort gaben, um chinesische Nutzer am Zugang zu ausländischen Medien und Websites zu hindern, aber mit einem VPN (einem »virtuellen privaten Netzwerk«) konnten in China ansässige Nutzer ihre IP-Adresse verbergen und auf zensierte Websites zugreifen. Der chinesische Staat hatte die VPN-Nutzung nicht ausdrücklich verboten, und die Behörden hatten keinen Zugang zu Informationen darüber, welche Websites mittels eines VPN besucht wurden, weshalb diese Methode zur Umgehung des Überwachungsstaats eigentlich ungefährlich war. (Mittlerweile hat sich das geändert, denn die private VPN-Nutzung ist verboten, und sämtliche Anbieter solcher Netzwerke müssen sich behördlich registrieren lassen.)

Die beiden Forscher boten Studenten in Peking in einem gut gestalteten Experiment, das sich in den Jahren 2015 bis 2017 über einen Zeitraum von 18 Monaten erstreckte, einen kostenlosen VPN-Zugang an (und ermutigten sie teilweise mit Newslettern und anderen Mitteln zur Nutzung). Dank des VPN konnten sie sich westliche Nachrichtenseiten ansehen. Die derart ermutigten Studenten besuchten die westlichen Websites, interessierten sich für die Nachrichten und bemühten sich anschließend weiterhin um Informationen aus ausländischen Quellen. Ihre Antworten in der Studie deuten darauf hin, dass sie die Informationen verstanden und als glaubwürdig betrachteten, ihre politische Meinung änderten und eine kritischere Haltung gegenüber dem chinesischen Staat einnahmen. Außerdem zeigten sie deutlich größere Sympathie für demokratische Institutionen.

Doch ohne die zusätzliche Ermutigung zeigte die große Mehrheit der Studenten kein Interesse am Besuch ausländischer Websites und wollte nicht einmal den kostenlosen VPN-Zugang nutzen. Die Indoktrinierung in der Schule und die Propaganda in den chinesischen Medien, die ihnen eingeschärft hatten, dass in westlichen Quellen keine zuverlässigen Informationen über China zu finden seien, hatten ihr Denken so tiefgreifend geprägt, dass es nicht mehr nötig war, die Informationen aktiv zu zensieren: Die Studenten hatten die Zensur verinnerlicht.

Die Forscher gelangten zu dem Schluss, dass sich dieses Ergebnis eher mit Aldous Huxleys Darstellung in Schöne neue Welt als mit George Orwells 1984 deckte. Der Gesellschaftskritiker Neil Postman drückte es so aus: »Orwell fürchtete diejenigen, die Bücher verbieten. Huxley befürchtete, daß es eines Tages keinen Grund mehr geben könnte, Bücher zu verbieten, weil keiner mehr da ist, der Bücher lesen will.«²¹

In Huxleys Dystopie ist die Gesellschaft in strikt voneinander getrennte Kasten unterteilt, mit Alpha-Menschen an der Spitze, Betas, Gammas und Deltas bis hinab zu Epsilons. Aber Zensur und ständige Überwachung haben sich erübrigt, denn: »Unter einem wissenschaftlich geschulten Diktator wird Erziehung wirklich etwas leisten – mit dem Ergebnis, daß die meisten Menschen dazu heranwachsen werden, ihre Sklaverei zu lieben und nie von einer Revolution zu träumen. Es scheint keinen stichhaltigen Grund zu geben, daß eine durch und durch wissenschaftliche Diktatur je gestürzt werden sollte.«²²

Von Prometheus zu Pegasus

Nicht nur in China werden digitale Werkzeuge eingesetzt, um abweichende Meinungen zu unterdrücken. Der Iran, Russland und andere Diktaturen bedienen sich ebenfalls solcher Instrumente, um Dissidenten aufzuspüren und zu bestrafen und den Zugang zu freier Information zu behindern.

Schon vor dem Arabischen Frühling war die Weltöffentlichkeit im Iran Zeuge geworden, wie eine Demokratiebewegung die sozialen Netzwerke nutzen konnte. Riesige Volksmengen (manche Beobachter schätzten die Zahl der Kundgebungsteilnehmer auf drei Millionen) strömten auf die Straße, um Präsident Mahmud Achmadineschad zu Fall zu bringen, der sich ihrer Meinung nach im Jahr 2009 nur durch Wahlbetrug an der Macht gehalten hatte. Zur Koordinierung der Proteste der sogenannten Grünen Bewegung wurden verschiedene Werkzeuge genutzt, darunter Textnachrichten und Facebook.

Die Proteste wurden rasch niedergeschlagen, führende Köpfe der Opposition sowie zahlreiche Studenten verhaftet. Die Internetzensur im Iran wurde verschärft. Im Jahr 2012 wurde ein »Oberster Rat für den virtuellen Raum« eingerichtet, um das Internet und die sozialen Netzwerke zu überwachen, und heute sind im Iran fast alle westlichen sozialen Medien, verschiedene Streamingplattformen (darunter Netflix) und die meisten westlichen Nachrichtenwebsites gesperrt.

In Russland wurden die sozialen Netzwerke ebenfalls von der Opposition genutzt, und der Staat reagierte mit ähnlichen Repressionsmaßnahmen. Das beliebteste soziale Netzwerk des Landes war VK (VKontakte), das im Jahr 2011 zahlreiche Nutzer hatte. Am 4. Dezember 2011 kam es bei der Parlamentswahl zu Betrug, der im Internet dokumentiert wurde: mit Fotos von gefälschten Wahlzetteln und Videos von Anhängern der Regierung, die zahlreiche Stimmen abgaben. Die Veröffentlichung löste eine Protestwelle aus. In späteren Studien zeigte sich, dass die Kundgebungen auf der VK-Plattform koordiniert worden waren und dass die Proteste in Städten, in denen dieses Netzwerk umfassend genutzt wurde, sehr viel mehr Menschen angelockt hatten.²³

Wie in China und im Iran veranlassten die Proteste auch in Russland den Staat dazu, Überwachung und Zensur der Online-Aktivitäten der Bürger zu verstärken. Seitdem wird eine intensive Zensur betrieben. Alle Telekommunikationsanbieter sind verpflichtet, im Rahmen des »Systems für operative investigative Aktivitäten« vom FSB bereitgestellte Hardware zu installieren, die es dem Geheimdienst ermöglicht, die Metadaten oder sogar Inhalte zu überwachen und den Zugang zu Websites zu blockieren, ohne dass dafür eine gerichtliche Anordnung benötigt würde. Nach einer weiteren Protestwelle im Jahr 2020 wurden noch mehr regimekritische Websites und Nachrichtenportale gesperrt. VPN-Nutzung und der verschlüsselte Browser Tor wurden verboten, und Unternehmen wurden durch die Androhung astronomischer Bußgelder gezwungen, den Zugang zu illegalen Inhalten – darunter regierungskritische Websites und Posts in sozialen Netzwerken – zu unterbinden. KI-Werkzeuge spielen in der russischen Zensur eine untergeordnete Rolle, aber in jüngster Zeit kommen sie auch dort vermehrt zum Einsatz.

Der Missbrauch digitaler Werkzeuge zur Unterdrückung von Oppositionsgruppen ist nicht auf Diktaturen beschränkt. Im Jahr 2020 wurde Forbidden Stories, einer internationalen Organisation, die Berichte von und über Journalisten veröffentlicht, die von repressiven Regimen bedrängt werden, eine Liste von etwa 50 000 Telefonnummern von Oppositionspolitikern, Menschenrechtsaktivisten, Journalisten und Dissidenten zugespielt, die vermutlich unter Einsatz der Spyware Pegasus bespitzelt worden waren. Pegasus wurde von der israelischen Tech-Firma NSO Group entwickelt (NSO ist benannt nach den Anfangsbuchstaben der Vornamen ihrer Gründer Niv Karmi, Shalev Hulio und Omri Lavie. Das Unternehmen bestreitet jegliches Fehlverhalten und erklärt, seine Software ausschließlich »überprüften staatlichen Kunden« zur Verfügung zu stellen, die selbst entscheiden, wie sie Pegasus einsetzen wollen.)

Pegasus ist eine sogenannte »Zero-Click-Software«, was bedeutet, dass das Programm aus der Entfernung auf Mobiltelefonen installiert werden kann, ohne dass ein Nutzer irgendwelche Links anklicken oder seine Einwilligung geben müsste. Benannt ist das Programm nach dem geflügelten Pferd aus der griechischen Mythologie, was eine Anspielung auf die Art der Software (es ist ein trojanisches Pferd) sowie auf die Tatsache ist, dass Pegasus in ein Smartphone »fliegt«, anstatt manuell installiert werden zu müssen. Wie wir in Kapitel 1 gesehen haben, vergleichen die führenden Köpfe der Tech-Branche die Entwicklung der künstlichen Intelligenz gerne mit der Entdeckung des Feuers und stellen sich als moderne Gegenstücke zu Prometheus dar, weil sie der Menschheit die Segnungen dieser Technologie bringen. Aber die modernen digitalen Technologien haben uns nicht Prometheus gebracht, sondern Pegasus.

Pegasus kann Textmitteilungen lesen, Gespräche mithören, das ausspionierte Gerät lokalisieren, Passwörter abgreifen, die Online-Aktivitäten des Besitzers verfolgen und sogar die Kontrolle über Kamera und Mikrofon eines Smartphones übernehmen. Angeblich wird es in vielen Ländern mit autokratischen Herrschern regelmäßig eingesetzt, darunter Saudi-Arabien, die Vereinigten Arabischen Emirate und Ungarn. Es wird vermutet, dass saudische Geheimagenten den Journalisten Jamal Khashoggi mit Pegasus beobachteten, bevor sie ihn brutal ermordeten und zerstückelten. (Die saudische Regierung erklärt, seine Ermordung sei eine »nichtautorisierte Operation« gewesen.)²⁴

Eine Untersuchung der Telefonnummern, die Forbidden Stories zugespielt wurden, hat gezeigt, dass auch viele demokratische Staaten systematisch diese Software missbrauchen. In Mexiko wurde die Spyware ursprünglich für den Kampf gegen die Drogenkartelle erworben und zur Verhaftung von El Chapo eingesetzt, dem Chef des Sinaloa-Kartells. Doch in der Folge wurde sie verwendet, um Journalisten, Rechtsanwälte, die ein Massaker an 43 Schülern untersuchten, sowie Oppositionelle auszuspionieren, darunter der spätere Präsident Andrés Manuel López Obrador. In Indien nutzt die Regierung von Narendra Modi die Software noch umfassender und hat zahlreiche Oppositionspolitiker, Studentenvertreter, Journalisten, Wahlbeauftragte und sogar führende Vertreter des Inlandsgeheimdienstes überwachen lassen.

Und Pegasus wird nicht nur in Entwicklungs- und Schwellenländern eingesetzt. Die Telefonnummer des französischen Präsidenten Emmanuel Macron findet sich ebenfalls auf der Liste, und dasselbe gilt für die Nummern mehrerer hochrangiger Vertreter des amerikanischen Außenministeriums.

Die Vereinigten Staaten brauchen Pegasus nicht, um Verstöße zu begehen (obwohl einige ihrer Sicherheitsbehörden mit der Software experimentierten und auch als Vermittler beim Verkauf an die Regierung von Dschibuti agierten). Am 5. Juni 2013 veröffentlichte der Guardian die Enthüllungen Edward Snowdens über die illegale Datensammlung durch die Nationale Sicherheitsbehörde NSA. Die NSA hat in Zusammenarbeit mit Google, Microsoft, Facebook, Yahoo und anderen Anbietern von Internetdiensten sowie mit Telefongesellschaften wie AT&T und Verizon gewaltige Mengen an Daten über Internetsuchen, Online-Kommunikation und Telefongespräche amerikanischer Bürger angehäuft. Sie bespitzelte auch die Regierungen verbündeter Länder, darunter Deutschland und Brasilien. Sie sammelte Daten, die per Satellit und Unterwasser-Glasfaserkabel übermittelt wurden. Als Mitarbeiter einer Technologieberatungsfirma, die für die NSA tätig war, hatte Snowden entdeckt, welche Reichweite die Spionageprogramme hatten: »Ich hatte an meinem Schreibtisch die Befugnis, jedermann abzuhören, seien es Sie oder Ihr Buchhalter, ein Bundesrichter oder sogar der Präsident. Ich brauchte dazu nur die persönliche E-Mail-Adresse.«²⁵ Obwohl einige dieser Aktivitäten verfassungswidrig waren und ohne Wissen oder Aufsicht des Kongresses stattfanden, wurden sie von dem für die Kontrolle von Überwachungsaktivitäten zuständigen Bundesgericht FISC (Foreign Intelligence Surveillance Court) genehmigt.

Die Vereinigten Staaten sind nicht China, und diese Aktivitäten mussten vor den Medien und sogar vor den meisten Kongressmitgliedern verborgen werden. Snowdens Enthüllungen lösten in der amerikanischen Öffentlichkeit einen Proteststurm gegen die illegalen Datensammlungsstrategien der NSA und anderer Behörden aus. Doch die meisten Überwachungsaktivitäten konnten dadurch nicht gestoppt werden. Vielleicht noch schlimmer ist, dass Unternehmen wie Clearview AI praktisch ohne Beaufsichtigung durch die Zivilgesellschaft oder öffentliche Institutionen begonnen haben, Bilder von den Gesichtern Hunderter Millionen Nutzer zu sammeln und diese Informationen an Strafverfolgungsbehörden zu verkaufen. In den Augen des Gründers und Geschäftsführers von Clearview ist daran nichts Sittenwidriges: »Wir sind überzeugt, dass wir die Technologie bestmöglich einsetzen.«²⁶

Der Einsatz der Pegasus-Spyware, die Bespitzelung durch die NSA und der Umgang mit der Gesichtserkennungstechnologie von Clearview sind Symptome eines grundlegenden Problems. Sind digitale Werkzeuge einmal auf dem Markt, so werden viele, wenn nicht die meisten Regierungen diese Instrumente zur massenhaften Datensammlung einsetzen, um die Opposition zu bekämpfen und die Bürger besser zu überwachen. Diese Werkzeuge werden undemokratische Regime stärken und in die Lage versetzen, sich besser gegen Widerstand in der Bevölkerung zu wappnen. Sie können sogar das Abgleiten demokratischer Staaten in autoritäre Praktiken erleichtern.

Die Demokratie stirbt im Dunkeln. Aber sie leidet auch unter der Beleuchtung durch die moderne künstliche Intelligenz.

Überwachung und Ausrichtung der technologischen Entwicklung

Anfangs lösten das Internet und die sozialen Netzwerke Begeisterung aus, weil sie das Potenzial hatten, zur gesellschaftlichen Demokratisierung beizutragen. Mittlerweile ist ein Teil der Öffentlichkeit zur gegenteiligen Überzeugung gelangt und betrachtet die digitalen Werkzeuge als inhärent antidemokratisch. Der Historiker Yuval Noah Harari erklärt: »Die Technologie fördert die Tyrannei.«²⁷

Beide binären Urteile sind falsch. Die digitale Technologie ist weder pro- noch antidemokratisch. Es war keineswegs unausweichlich, dass KI-Technologien von Staaten genutzt wurden, um die Medien zu beaufsichtigen, die Informationen zu zensieren und ihre Bürger zu unterdrücken. Vielmehr entschieden sich jene, die Macht hatten, die Technologie in diese Richtung zu lenken.

Wie wir in Kapitel 9 gesehen haben, hätten die digitalen Technologien, die sich beinahe naturgemäß für verschiedenste Zwecke eignen, eingesetzt werden können, um den Nutzen von Maschinen zu erhöhen. Beispielsweise hätten sie neue Tätigkeiten für Arbeitskräfte oder neue Plattformen hervorbringen können, welche die menschlichen Fähigkeiten potenziert hätten. Die Konzentration auf die Überwachung der Arbeitskräfte und die Arbeitsplatzzerstörung mittels Automatisierung waren Resultate der Vision und des Geschäftsmodells der großen Tech-Firmen. Dasselbe gilt für den Einsatz der KI durch autoritäre Regime sowie einige vermeintlich demokratische Regierungen.

Der Traum von einem Internet und digitalen Technologien, welche die Bürger in ihrer Auseinandersetzung mit Diktaturen unterstützen würden, war nicht vollkommen wirklichkeitsfremd. Die digitalen Technologien können zur Verschlüsselung eingesetzt werden, was es den Behörden unmöglich macht, die private Kommunikation auszuspionieren. Dienste wie VPN-Verbindungen können genutzt werden, um die Zensur zu umgehen. Netzwerke wie Tor sind (unseres Wissens) gegenwärtig für Behörden nicht zu knacken, weshalb sie die Privatsphäre schützen und die persönliche Sicherheit erhöhen. Dennoch haben sich die Hoffnungen auf eine digitale Demokratisierung zerschlagen. Der Grund dafür ist, dass sich die Tech-Branche auf die Seite des Staates geschlagen hat, der das Geld und die Macht hat und die Gesellschaft kontrollieren will.

Datensammlung und Überwachung wurden ausgeweitet, weil die Tech-Branche einen bestimmten Weg eingeschlagen hat. Die Fortschritte in der Verarbeitung von Daten in großem Maßstab unter Einsatz des Maschinenlernens haben dazu beigetragen, aber dass Staaten und Unternehmen in der Lage sind, die Bevölkerung zu überwachen, liegt vor allem daran, dass sie Zugang zu gewaltigen Datenmengen haben.

Haben KI-Technologien einmal autoritäre Neigungen geweckt, ist die Folge ein Teufelskreis. Wenn Staaten autoritärer werden, wächst ihr Interesse an künstlicher Intelligenz, mit der sie ihre Bevölkerung beobachten und kontrollieren können, und das lenkt die Entwicklung der KI weiter in Richtung Überwachungstechnologie.

Beispielsweise ist die Nachfrage chinesischer Lokalbehörden nach KI-Technologien, die Gesichtserkennung und andere Arten der Überwachung ermöglichen, in den letzten Jahren deutlich gestiegen. Dieser Anstieg der Nachfrage wird teilweise durch lokale gesellschaftliche Konflikte ausgelöst. Politiker, die mit Unzufriedenheit in der Bevölkerung konfrontiert sind, wünschen sich eine verstärkte Kontrolle und Überwachung. In der zweiten Hälfte der zehner Jahre wurden massive Proteste, insbesondere solche gegen die Zentralregierung, fast unmöglich, aber lokal kam es weiterhin zu Protestkundgebungen, die eine Zeit lang sogar in den sozialen Netzwerken koordiniert wurden.

Doch zu diesem Zeitpunkt bevorzugten die KI-Werkzeuge bereits eindeutig die Unterdrücker, anstatt den Unterdrückten zu helfen. Gestützt auf KI-Technologien, konnten die lokalen Behörden Proteste leichter unterdrücken und verhindern. Der chinesische Zentralstaat und die Behörden vor Ort sind bereit, eine große Zahl von Polizeibeamten zu beschäftigen, aber Investitionen in künstliche Intelligenz verringern offenbar den Personalbedarf für die Überwachung und sogar für die tatsächliche Unterdrückung von Demonstranten.

Noch bedeutsamer ist jedoch, dass sich die erhöhte Nachfrage seitens lokaler Behörden auch auf die Ausrichtung der Innovation auswirkt. Daten zu neu gegründeten KI-Unternehmen in China zeigen, dass die staatliche Nachfrage nach Überwachungstechnologie die Innovation in eine ganz andere Richtung lenkt. Von lokalen Behörden beauftragte KI-Anbieter beginnen, sich in der Forschung auf Gesichtserkennung und andere Verfolgungstechnologien zu konzentrieren. Es dürfte mit diesen Innovationsanreizen zu tun haben, dass China eine weltweite Vormachtstellung auf dem Gebiet von Überwachungstechnologien wie Gesichtserkennung einnimmt, während es in anderen Bereichen wie Sprachverarbeitung, sprachlichem Denken und abstraktem Denken hinterherhinkt.

Nach Einschätzung internationaler Experten hat China in der KI-Forschung immer noch in fast allen Bereichen einen deutlichen Rückstand auf die Vereinigten Staaten. Doch in einem Bereich besitzt China mittlerweile einen Vorsprung: bei den Daten.

Chinesische Forscher arbeiten mit sehr viel größeren Datenmengen und ohne die Datenschutzbeschränkungen, die den Zugang ihrer westlichen Kollegen zu persönlichen Informationen oft einschränken. Die Aufträge von lokalen Behörden wirken sich besonders nachhaltig auf die Ausrichtung der KI-Forschung aus, wenn die Behörden Auftragnehmern in den Beschaffungsverträgen zusagen, große Mengen an Daten mit ihnen zu teilen. Wenn Start-up-Unternehmen Zugriff auf große Datenmengen haben und zur Entwicklung von Überwachungstechnologie aufgefordert werden, können sie wirksame Anwendungen testen und entwickeln, um die Bürger zu kontrollieren und ihre Bewegungen zu verfolgen.²⁸

Die Überwachungstechnologie ist eine Falle: Mächtige Regierungen mit ausreichend Geld, die abweichende Meinungen unterdrücken wollen, verlangen KI-Technologien, um ihre Bevölkerung zu kontrollieren. Je nachdrücklicher die Forderungen erhoben werden, desto mehr derartige Werkzeuge werden von den Forschern entwickelt. Und wenn sich die KI in die Richtung repressiver Werkzeuge entwickelt, wird sie attraktiver für autoritäre Regierungen (und solche, die es werden möchten).

Tatsächlich exportieren chinesische Start-ups mittlerweile ihre für Überwachung und Repression bestimmten Produkte in andere nichtdemokratische Staaten. Der chinesische Technologieriese Huawei, der sehr vom unbeschränkten Datenzugang und von finanziellen Anreizen zur Entwicklung von Spionagetechnologie profitiert, hat solche Werkzeuge in fünfzig Länder exportiert.²⁹ In Kapitel 9 haben wir gesehen, dass sich die KI-gestützte Automatisierung in technologisch fortschrittlichen Ländern auf die übrige Welt auswirken und schädliche Auswirkungen auf die meisten Arbeitskräfte haben dürfte. Dasselbe gilt für die KI-gestützte Überwachung: In aller Welt fällt es den Menschen immer schwerer, sich der Unterdrückung zu entziehen.

Soziale Netzwerke und Büroklammern

Internetzensur und sogar hoch entwickelte Spyware ändern nichts daran, dass soziale Netzwerke das Potenzial haben, zur Verbesserung des politischen Diskurses und zur Koordinierung des Widerstands gegen die schlimmsten Unterdrückungsregime beizutragen. Es sollte niemanden überraschen, dass Diktaturen neue Technologien einsetzen, um ihre Bevölkerung zu unterdrücken. Dass die Vereinigten Staaten dasselbe tun, war angesichts der langen Geschichte gesetzlosen Verhaltens ihrer Sicherheitsdienste, das durch den »Krieg gegen den Terror« weiter angefacht wurde, ebenfalls zu erwarten. Vielleicht besteht die Lösung darin, die sozialen Netzwerke weiter auszubauen, eine erhöhte Konnektivität zu ermöglichen und jegliche Einschränkungen für Inhalte zu beseitigen, damit staatlicher Missbrauch ungehindert angeprangert werden kann. Doch leider geht die Entwicklung der KI-gestützten sozialen Netzwerke gegenwärtig in eine Richtung, die fast ebenso schädlich für die Demokratie und die Menschenrechte ist wie eine staatliche Zensur des Internets.

Um zu veranschaulichen, welche Gefahren von superintelligenter KI ausgehen, wenn ihre Ziele nicht mit denen der Menschheit in Einklang gebracht werden können, bedienen sich Informatiker und Philosophen gerne der Parabel von der Büroklammer.³⁰ In diesem Gedankenexperiment erhält eine unaufhaltsame intelligente Maschine die Anweisung, mehr Büroklammern zu produzieren, und setzt ihre großen Fähigkeiten ein, um dieses Ziel zu erreichen, indem sie neue Methoden entwickelt, um die ganze Welt in Büroklammern umzuwandeln. Ähnlich verhält es sich mit den Auswirkungen der KI auf die Politik: Sie könnte nicht dank ihrer überlegenen Fähigkeiten, sondern aufgrund ihrer Mittelmäßigkeit unsere Institutionen in Büroklammern verwandeln.

Facebook war im Jahr 2017 in Myanmar so beliebt, dass das Unternehmen dort mit dem Internet gleichgesetzt wurde. 22 Millionen von 53 Millionen Einwohnern des Landes nutzten das soziale Netzwerk. Und sie waren ein geeignetes Ziel für Desinformation und Volksverhetzung. Myanmar ist ein ethnischer Flickenteppich und beherbergt nicht weniger als 135 offiziell anerkannte Ethnien. Sein Militär, das seit 1962 mit eiserner Faust regiert und nur zwischen 2015 und 2020 eine von den Militärs streng beaufsichtigte parlamentarische Demokratie zuließ, schürt in der buddhistischen Mehrheitsbevölkerung immer wieder Ressentiments gegenüber anderen Volksgruppen. Keine Gruppe wird öfter zum Ziel von Angriffen als die muslimischen Rohingya, die vom Regime als Ausländer dargestellt werden, obwohl sie seit Jahrhunderten in Myanmar leben. Die Staatsmedien fachen den Hass auf die Rohingya unentwegt an.

Inmitten dieser explosiven Mischung von ethnischen Spannungen und gehässiger Propaganda tauchte im Jahr 2010 Facebook in Myanmar auf und setzte sich rasch im Land durch. In Einklang mit dem im Silicon Valley verbreiteten Glauben an die Überlegenheit der Algorithmen gegenüber dem Menschen überließ Facebook die Beaufsichtigung seines Netzwerks in Myanmar ungeachtet der gewaltigen Zahl von Teilnehmern einer einzigen Person. Diese sprach Birmanisch, beherrschte jedoch kaum eine der rund hundert anderen Sprachen, die in dem Land gesprochen werden.³¹

In Myanmar wurden auf Facebook von Anfang an Hasstiraden und Aufrufe zu Gewalt verbreitet. Im Juni 2012 veröffentlichte ein hochrangiger Regierungsvertreter, der dem damaligen Präsidenten Thein Sein nahestand, folgende Botschaft auf seiner Facebook-Seite:

Es wird berichtet, dass Rohingya-Terroristen, die der sogenannten Rohingya-Solidaritätsorganisation angehören, die Grenze überschreiten und bewaffnet in unser Land eindringen. Rohingya aus anderen Ländern kommen ins Land. Da unser Militär frühzeitig darüber informiert wurde, wird es sie auslöschen! Ich glaube, das geschieht bereits.³²

Weiter hieß es in dem Post: »Wir werden uns von anderen nicht über humanitäre Fragen oder Menschenrechte belehren lassen.« Mit dieser Mitteilung wurde nicht nur der Hass auf die muslimische Minderheit geschürt, sondern auch die falsche Behauptung verbreitet, die Rohingya drängen aus dem Ausland nach Myanmar ein.

Im Jahr 2013 postete der buddhistische Mönch Ashin Wirathu, den das Magazin Time als Gesicht des buddhistischen Terrors bezeichnete, auf Facebook Nachrichten, in denen er die Rohingya als ausländische Invasoren und Mörder bezeichnete, die eine Bedrohung für das Land seien. Er erklärte: »Ich bin stolz darauf, als Extremist bezeichnet zu werden.«³³

Menschenrechtsaktivisten und internationale Organisationen forderten Facebook auf, irreführende Informationen und hetzerische Posts zu unterbinden. Ein Facebook-Manager räumte ein: »Wir sehen ein, dass wir mehr tun könnten und sollten.« Doch was immer Facebook tat, es genügte nicht, um die Hetze einzudämmen. Im August war das Netzwerk zum wichtigsten Medium für die Organisation von Angriffen auf die Rohingya geworden. Die Vereinigten Staaten stuften die Kampagne schließlich als Völkermord ein.

Dass die Volksverhetzung auf Facebook in Myanmar so gut funktionierte, hätte niemanden überraschen sollen. Das Geschäftsmodell von Facebook beruht auf der Einbindung der Nutzer, und jede Mitteilung, die starke Emotionen weckt, darunter natürlich auch Hetze und provokante Desinformation, wird von den Algorithmen bevorzugt, weil sie Tausende und manchmal Hunderttausende Nutzer zur Beteiligung motiviert.

Menschenrechtsgruppen und Aktivisten machten die Geschäftsführung von Facebook schon im Jahr 2014 mit geringem Erfolg auf die besorgniserregende Zunahme der Hetze und die daraus resultierenden Gräueltaten in Myanmar aufmerksam. Anfangs wurde das Problem ignoriert, die Aktivisten wurden abgeblockt. Unterdessen schwoll die Menge hetzerischer Kommentare und Falschinformationen über die muslimische Minderheit weiter an. Es gab auch Belege dafür, dass auf Facebook Hassverbrechen einschließlich von Morden an Rohingya organisiert wurden. Das Unternehmen sträubte sich dagegen, das Problem entschlossen in Angriff zu nehmen, was jedoch nicht daran lag, dass ihm Myanmar nicht am Herzen gelegen hätte. Als die Regierung Myanmars Facebook sperrte, wurde die Unternehmensleitung augenblicklich aktiv, da sie befürchtete, die Schließung werde einen Teil der 22 Millionen Facebook-Mitglieder im Land dazu bewegen, der Plattform den Rücken zu kehren.

Im Jahr 2019 gab Facebook auch der Forderung der Regierung statt, vier ethnische Organisationen als »gefährlich« einzustufen und von der Plattform zu verbannen. Diese Websites waren mit separatistischen Gruppen wie der Arakan-Armee, der Kachin-Unabhängigkeitsarmee und der Armee der Nationaldemokratischen Allianz von Myanmar verbunden, aber vor allem veröffentlichten sie Fotos und andere Beweise für von der Armee und extremistischen buddhistischen Mönchen verübte Morde und Gräueltaten.³⁴

Als Facebook schließlich dem Druck der Menschenrechtsgruppen nachgab, bestand seine Lösung darin, potenzielle Hassbotschaften mit »Aufklebern« zu kennzeichnen. Es war den Nutzern erlaubt, Mitteilungen mit schädlichem oder fragwürdigem Inhalt zu posten, aber der »Aufkleber« enthielt die Warnung »Denke nach, bevor du etwas weitergibst« oder »Sei nicht die Ursache für Gewalt«. Aber so wie eine dumme Version des von der Produktion von Büroklammern besessenen KI-Programms war der Algorithmus von Facebook so darauf versessen, die Nutzer zur Beteiligung anzuregen, dass er schädliche Posts als die beliebtesten identifizierte, weil sich die Leute auf den Inhalt einließen, indem sie ihn als schädlich kennzeichneten. Also empfahl der Algorithmus diese Inhalte, womit er die Verbreitung von Hassbotschaften zusätzlich ankurbelte.³⁵

Facebook scheint keine Lehren aus der Erfahrung in Myanmar gezogen zu haben. Im Jahr 2018 geschah etwas Ähnliches in Sri Lanka, wo in Facebook-Posts zu Gewalt gegen Muslime aufgerufen wurde. Menschenrechtsgruppen meldeten die Hetze, aber das Unternehmen reagierte nicht. Ein Forscher und Aktivist urteilte: »Es wird zu Gewalt gegen ganze Gemeinschaften aufgerufen, aber Facebook erklärt, das verstoße nicht gegen die Normen des Netzwerks.«³⁶

Zwei Jahre später war Indien an der Reihe. Im Jahr 2020 ignorierte das Management von Facebook Warnungen seiner Mitarbeiter und weigerte sich, das Konto des indischen Politikers T. Raja Singh zu sperren, der zur Erschießung eingewanderter Rohingya und zur Zerstörung von Moscheen aufrief.³⁷ Im selben Jahr wurden bei Pogromen in Delhi zahlreiche Moscheen zerstört und mehr als 50 Menschen getötet.

Die Desinformationsmaschine

Es gibt Parallelen zwischen der Volksverhetzung und Desinformation in Myanmar und der Nutzung von Facebook in den Vereinigten Staaten. Der Grund ist derselbe: Hetze, Extremismus und Desinformation wecken starke Emotionen und bewegen mehr Nutzer dazu, sich zu beteiligen und Zeit auf der Plattform zu verbringen, was Facebook die Möglichkeit gibt, mehr individualisierte digitale Werbung zu verkaufen.

Im amerikanischen Präsidentschaftswahlkampf im Jahr 2016 stieg die Zahl der Posts, die irreführende Informationen oder nachweislich falsche Behauptungen enthielten, deutlich an. Dennoch bezeichneten im Jahr 2020 14 Prozent der Amerikaner die sozialen Netzwerke als ihre wichtigste Informationsquelle, und 70 Prozent der Befragten erklärten, zumindest einen Teil ihrer Nachrichten von Facebook und anderen sozialen Medien zu beziehen.³⁸

Dies war kein bloßes Nebenprogramm. Die Autoren einer Studie zu Desinformation auf der Plattform gelangten zu dem Schluss, dass sich »falsche Behauptungen in sämtlichen Informationskategorien schneller und weiter ausbreiteten als die Wahrheit«.³⁹ Viele offenkundig irreführende Posts wurden viral, weil sie weitergeleitet wurden. Aber es lag nicht nur daran, dass Nutzer Falschmeldungen verbreiteten. Die Algorithmen von Facebook gaben diesen sensationellen Meldungen Vorrang sowohl vor politisch weniger relevanten Posts als auch vor Informationen aus vertrauenswürdigen Quellen.

Im Präsidentschaftswahlkampf 2016 trug Facebook wesentlich zur Verbreitung von Desinformation vor allem unter rechtsgerichteten Nutzern bei. Anhänger von Donald Trump besuchten oft Websites, auf denen Desinformation weiterverbreitet wurde, die auf Facebook in Umlauf gebracht worden war. Geringer war der Verkehr von sozialen Netzwerken zu traditionellen Medien. Wie neuere Studien gezeigt haben, neigen Menschen dazu, Posts mit falschen Informationen zu glauben, weil sie sich nicht gut daran erinnern, wo sie eine Nachricht gesehen haben. Das kann besonders bedeutsam sein, weil die Nutzer oft unzuverlässige und manchmal schlichtweg falsche Informationen von Gleichgesinnten weitergeleitet bekommen. In diesen Echokammer-Umgebungen ist es auch wenig wahrscheinlich, dass man mit gegensätzlichen Informationen konfrontiert wird.⁴⁰

Echokammern sind möglicherweise ein unvermeidliches Nebenprodukt der sozialen Netzwerke. Aber es ist seit mehr als einem Jahrzehnt bekannt, dass die Algorithmen der Plattformen die Wirkung von Echokammern verstärken. Der Internetaktivist Eli Pariser, der MoveOn.org leitet, berichtete im Jahr 2010 in einem TED-Vortrag, dass er Nachrichten von vielen progressiven und konservativen Websites beziehe, nach einer Weile jedoch festgestellt habe, dass er zunehmend zu linken Sites gelenkt wurde, weil der Algorithmus registriert hatte, dass er eher Meldungen auf diesen Sites anklickte. Er prägte den Begriff der Filterblase, um zu beschreiben, wie die Algorithmenfilter einen künstlichen Raum erzeugten, in dem man nur Stimmen hört, die den eigenen politischen Ansichten entsprechen.⁴¹

Filterblasen haben schädliche Auswirkungen. Der Algorithmus von Facebook wird Nutzer mit rechtsgerichteten Vorstellungen eher zu rechten Inhalten und linksgerichtete Nutzer eher zu linken Inhalten lenken. Forscher haben gezeigt, dass die so entstehenden Filterblasen die Verbreitung falscher Informationen im sozialen Netzwerk begünstigen, weil die Menschen von den Nachrichten beeinflusst werden, die sie zu Gesicht bekommen. Und die Wirkungen von Filterblasen sind nicht auf die sozialen Medien beschränkt. Eine neuere Studie, in der Personen, die regelmäßig Fox News einschalteten, dazu bewegt wurden, sich CNN anzusehen, zeigte sich, dass die Auseinandersetzung mit den CNN-Inhalten eine Mäßigung ihrer politischen Einstellung zu verschiedensten Themen bewirkte. Der Hauptgrund für diese Wirkung war offenbar, dass Fox News einige Fakten hervorhob und andere unterschlug, womit der Sender seine Zuschauer zu rechten Überzeugungen lenkte. Es häufen sich die Belege dafür, dass diese Wirkung in sozialen Netzwerken noch stärker ist.

Trotz Kongressanhörungen und Medienberichten zu Facebooks Rolle im Wahlkampf des Jahres 2016 war die Situation vier Jahre später kaum anders. Die Desinformation auf der Plattform nahm noch größere Ausmaße an und wurde teilweise von Präsident Trump verbreitet, der wiederholt behauptete, bei der Briefwahl werde betrogen und Einwanderer nähmen scharenweise an der Wahl teil, ohne Staatsbürger zu sein. Mehrfach erhob er in sozialen Medien die Forderung nach einem Auszählungsstopp.

Im Vorfeld der Wahl kam es zu einer Kontroverse über Facebook, weil auf der Plattform ein manipuliertes Video von Nancy Pelosi aufgetaucht war, das den Eindruck erweckte, die Sprecherin des Repräsentantenhauses sei betrunken oder krank. Sie nuschelte und klang, als fühle sie sich unwohl. Das gefälschte Video wurde von Verbündeten Trumps, darunter Rudy Giuliani, verbreitet, und der Hashtag #DrunkNancy weckte großes Interesse. Das Video wurde rasch viral und mehr als zwei Millionen Mal angesehen.⁴² In den Filterblasen der Plattform zirkulierten auch abwegige Verschwörungstheorien wie die von QAnon verbreiteten. Aus Dokumenten, die die ehemalige Facebook-Angestellte Frances Haugen dem Kongress und der Börsenaufsichtsbehörde SEC zur Verfügung stellte, geht hervor, dass das Management von Facebook in vielen Fällen über die Entwicklungen im Bilde war.

Als der Druck auf Facebook wuchs, verteidigte der für das globale Geschäft und die Kommunikationsstrategie zuständige Bereichsleiter Nick Clegg, ein ehemaliger stellvertretender britischer Premierminister, das Vorgehen des Unternehmens, indem er ein soziales Netzwerk mit einem Tennisplatz verglich: »Wir haben dafür zu sorgen, dass der Platz bespielbar ist – dass die Spielfläche eben ist, die Linien klar gezogen sind, das Netz die richtige Höhe hat. Aber wir greifen nicht zum Schläger und spielen. Wie die Spieler spielen, ist ihre Sache, nicht unsere.«⁴³

In den Wochen nach der Wahl ergriff Facebook eine Notfallmaßnahme und änderte seine Algorithmen, um die Verbreitung rechtsextremer Verschwörungstheorien zu unterbinden, in denen behauptet wurde, Trump habe die Wahl gewonnen und sei durch illegale Stimmen und Betrug an den Wahlurnen seines Siegs beraubt worden. Doch Ende Dezember war Facebooks Algorithmus wieder ganz der alte, und der »Tennisplatz« war bereit für eine Wiederholung des Fiaskos von 2016.

Mehrere rechtsextreme Gruppen sowie Donald Trump selbst verbreiteten weiterhin Unwahrheiten, und mittlerweile wissen wir, dass die Revolte am 6. Januar 2022 teilweise unter Einsatz von Facebook und anderen sozialen Medien organisiert wurde. Beispielsweise nutzten Mitglieder der rechtsradikalen Miliz Oath Keepers Facebook, um zu vereinbaren, wie und wo sie sich treffen würden, und mehrere andere extremistische Gruppen schickten einander am 6. Januar über die Plattform Live-Mitteilungen. Thomas Caldwell, einer der Rädelsführer der Oath Keepers, postete Berichten zufolge während des Sturms auf das Kapitol Aktualisierungen und erhielt über die Plattform Tipps dazu, wie er sich im Gebäude zurechtfinden und zur Gewalt gegen Abgeordnete und Polizisten aufrufen konnte.⁴⁴

Desinformation und Hetze sind nicht auf Facebook beschränkt. Um das Jahr 2016 wurde YouTube zu einem ergiebigen Rekrutierungsreservoir für die extreme Rechte. Im Jahr 2019 veröffentlichte Caleb Cain, ein 26-jähriger Studienabbrecher, ein Video, in dem er seine Radikalisierung durch YouTube beschrieb. Er erklärte, er habe sich »im Dschungel der alternativen Rechten verloren«, und schilderte, wie er »tiefer und tiefer hineingeraten« war, als er sich mehr und mehr radikale Inhalte angesehen hatte, die von YouTubes Algorithmen empfohlen wurden.⁴⁵

Der Journalist Robert Evans hat untersucht, wie diese Gruppen Scharen gewöhnlicher Bürger anwarben, und festgestellt, dass Extremisten auf ihrer Website die Bedeutung YouTubes für ihre Radikalisierung hervorheben: »15 von 75 faschistischen Aktivisten, die wir untersucht haben, führten ihr Red-Pilling auf YouTube-Videos zurück.«⁴⁶ (Der Begriff »Red-Pilling« stammt aus dem Argot dieser Gruppen und bezieht sich auf den Film The Matrix: Die Anerkennung der von diesen rechtsextremen Gruppen verfochtenen Wahrheiten entspricht der Einnahme der roten Pille im Film.)

Die Wahl der Algorithmen durch YouTube und das Bestreben des Unternehmens, die Verweildauer auf der Plattform zu verlängern, trugen entscheidend zu dieser Bekehrung bei. Um die Verweildauer der Besucher auf der Plattform zu erhöhen, modernisierte das Unternehmen im Jahr 2012 seinen Algorithmus, sodass der Zeit, die Besucher mit der Betrachtung von Videos verbrachten, größeres Gewicht beigemessen wurde als der Zahl der angeklickten Videos. Durch diese Änderung des Algorithmus wurden Videos bevorzugt, welche die Nutzer fesselten, und unter diesen Beiträgen waren hetzerische extremistische Inhalte von der Art, nach der Cain süchtig geworden war.

Im Jahr 2015 beauftragte YouTube ein Forscherteam aus dem KI-Bereich seines Mutterunternehmens, Google Brain, den Algorithmus der Plattform zu verbessern. Es wurden neue Algorithmen eingeführt, die weitere Wege zur Radikalisierung ebneten – und gleichzeitig hielten sich die Nutzer natürlich länger auf der Plattform auf. Eine der Forscherinnen von Google Brain, Minmin Chen, brüstete sich auf einer KI-Konferenz damit, dass der neue Algorithmus das Verhalten der Nutzer änderte: »Wir können die Nutzer tatsächlich in einen anderen Zustand lenken, anstatt ihnen nur vertraute Inhalte zu empfehlen.«⁴⁷ Das schuf ideale Bedingungen für Randgruppen, die versuchten, Menschen zu radikalisieren. Nutzern, die sich ein Video über den Terrorangriff am 11. September ansahen, wurden rasch entsprechende Verschwörungstheorien angeboten. Da rund 70 Prozent aller YouTube-Videos aufgrund von Empfehlungen der Algorithmen angesehen werden, fanden Radikale zahlreiche Möglichkeiten zu Desinformation und Manipulation vor, um Nutzer in ihre Echokammer zu locken.

Twitter war nicht anders. Das bevorzugte Medium des ehemaligen Präsidenten Trump wurde zu einem wichtigen Kommunikationsmittel für Rechtsextreme (natürlich nutzten es auch Linksextreme gerne). Trumps islamfeindliche Tweets verbreiteten sich rasch und lösten nicht nur eine Welle antimuslimischer und fremdenfeindlicher Posts auf der Plattform, sondern auch tatsächliche Hassverbrechen gegen Muslime aus; solche Verbrechen häuften sich in Bundesstaaten, in denen Trump eine überdurchschnittlich große Anhängerschaft hatte.⁴⁸

Einige der schlimmsten und hetzerischsten Äußerungen wurden auf anderen Plattformen verbreitet, darunter 4chan, 8chan und Reddit einschließlich verschiedener Subplattformen, etwa The_Donald (wo Verschwörungstheorien und Desinformation rund um Trump erzeugt und in Umlauf gebracht wurden), Physical_Removal (eine Plattform, die sich für die Beseitigung von Linken ausspricht) und mehrere andere Sites mit explizit rassistischen Bezeichnungen, die wir hier nicht nennen möchten. Im Jahr 2015 wurde Reddit vom Southern Poverty Law Center als die Plattform mit dem »gewalttätigsten rassistischen Inhalt« im Internet eingestuft.⁴⁹

War es unausweichlich, dass sich die sozialen Medien in eine solche Kloake verwandelten? Oder waren bestimmte Entscheidungen der führenden Tech-Firmen dafür verantwortlich, dass wir in diese betrübliche Lage gerieten? Letzteres kommt der Wahrheit näher, und tatsächlich finden wir hier auch die Antwort auf die in Kapitel 9 gestellte Frage: Warum erfreut sich die KI so großer Beliebtheit, obwohl sie die Produktivität nicht erheblich erhöht hat und nicht leistungsfähiger ist als Menschen?

Die Antwort auf diese Frage – und den Grund dafür, dass sich die digitalen Technologien in eine bestimmte Richtung entwickelt haben – finden wir in der Tatsache, dass Unternehmen, die große Datenmengen sammeln, mit maßgeschneiderter digitaler Werbung gewaltige Einnahmen erzielen können. Aber digitale Werbung ist nur gut, wenn die Konsumenten ihr ausreichende Aufmerksamkeit schenken. Daher bemühten sich die Plattformen, ihre Nutzer dazu zu bewegen, sich mit den Online-Inhalten auseinanderzusetzen. Das konnten sie am besten erreichen, indem sie starke Emotionen wie Empörung oder Wut weckten.

Das Geschäft mit der Werbung

Um zu verstehen, wie sich die Desinformation in den sozialen Netzwerken ausbreitete, müssen wir uns die Ursprünge von Google ansehen.⁵⁰

Das Internet wuchs und gedieh schon vor Google, aber die verfügbaren Suchmaschinen waren nicht allzu hilfreich. Das Besondere am Internet ist seine faszinierende Größe: Im Jahr 2021 wurde die Zahl der Websites auf 1,88 Milliarden geschätzt. Derart viele Websites nach relevanten Informationen zu durchforsten war eine Herausforderung.

Die frühen Suchmaschinen funktionierten nach einem Prinzip, das jedem vertraut ist, der schon einmal das Register eines Buchs verwendet hat: Dort findet man sämtliche Stellen, an denen ein bestimmter Begriff auftaucht. Wenn man herausfinden möchte, wo in einem Buch das Neolithikum, die Jungsteinzeit, behandelt wird, sucht man im Register die Seiten, auf denen der Begriff »Neolithikum« genannt wird. Das funktioniert, weil ein gegebener Begriff nur an einer begrenzten Zahl von Stellen auftaucht, weshalb eine »erschöpfende Suche« auf allen im Register angegebenen Seiten zu bewältigen und hilfreich ist. Aber stellen wir uns vor, was geschieht, wenn wir das Register eines riesigen Buchs mit dem Titel Das Internet durchsuchen müssen. Die Liste der Nennungen des Begriffs »Neolithikum« in diesem gewaltigen Buch dürfte Hunderttausende Stellen umfassen. Viel Spaß bei der erschöpfenden Suche!

Das Problem ist natürlich, dass viele dieser Erwähnungen für unsere Zwecke kaum relevant sein werden. Es dürfte nur einige wenige Websites geben, die als maßgebliche Quellen für die benötigten Informationen über das Neolithikum und über den Übergang der Menschheit zur Sesshaftigkeit und zur ortsgebundenen Landwirtschaft betrachtet werden können. Nur wenn man einen Weg findet, um den wirklich relevanten Erwähnungen Priorität einzuräumen, kann man die wichtigen Informationen rasch finden. Die frühen Suchmaschinen waren dazu nicht imstande.

Womit wir bei zwei ebenso forschen wie intelligenten jungen Männern sind. Larry Page studierte in Stanford, wo er mit dem berühmten Computerwissenschaftler Terry Winograd arbeitete, und Sergey Brin war mit Page befreundet. Winograd, ursprünglich ein Anhänger des gegenwärtig vorherrschenden KI-Paradigmas, hatte mittlerweile seine Meinung geändert und beschäftigte sich in Anlehnung an die Vorstellungen Wieners, Lickliders und Engelbarts mit Problemen, zu deren Bewältigung das Wissen von Mensch und Maschine kombiniert werden konnte. Wie wir gesehen haben, bot sich das Internet für diese Zusammenarbeit an: Sein Rohmaterial waren die von Menschen erzeugten Inhalte und das menschliche Wissen, aber um auf dieses Material zugreifen zu können, brauchte man Algorithmen.

Page und Brin fanden einen besseren Weg, um diese Kombination zu bewerkstelligen. Ihre Lösung war in gewissem Sinne eine wirkliche Interaktion zwischen Mensch und Maschine: Menschen konnten am besten beurteilen, welche Websites relevant waren, und Suchalgorithmen eigneten sich sehr gut dazu, Verknüpfungsinformationen zu sammeln und zu verarbeiten. Konnte man die Einstufung der Relevanz von Websites durch die Suchalgorithmen nicht davon abhängig machen, welchen Links die Besucher von Websites folgten?

Anfangs war dies nur eine theoretische Überlegung – Page und Brin erkannten, dass es möglich war. Dann fanden sie die algorithmische Lösung dafür, wie man es tun konnte. Dies war die Grundlage für ihren revolutionären PageRank-Algorithmus. (»Page« bezieht sich angeblich sowohl auf Larry Page als auch auf die Tatsache, dass Seiten gereiht werden.) Die Idee war, unter den relevanten Seiten jenen Priorität einzuräumen, die häufiger verlinkt wurden. Anstatt anhand von Ad-hoc-Regeln zu entscheiden, welche der Seiten, die den Begriff »Neolithikum« enthielten, dem Nutzer vorgeschlagen werden sollten, würde der Algorithmus diese Seiten abhängig davon reihen, wie oft sie aufgerufen wurden. Die beliebteren Seiten würden höher platziert. Aber warum sollte man nicht noch einen Schritt weitergehen? Wenn eine Seite von anderen Seiten mit hoher Einstufung verlinkt wurde, gab dies besseren Aufschluss über ihre Relevanz. Um diese Erkenntnis umzusetzen, entwickelten Brin und Page einen rekursiven Algorithmus, der jeder Seite einen Rang zuwies, der davon abhing, wie viele andere hoch eingestufte Seiten mit ihr verlinkten. (»Rekursiv« bedeutet, dass der Rang jeder Seite von den Rängen aller anderen Seiten abhängt.) Es ist keine einfache Aufgabe, die Ränge von Millionen Websites zu berechnen, aber in den neunziger Jahren war es bereits möglich.

Letzten Endes ist es zweitrangig, wie der Algorithmus die Resultate berechnet. Die bahnbrechende Neuerung bestand darin, dass Page und Brin einen Weg fanden, um das Wissen, das in der subjektiven Bewertung der Relevanz von Internetseiten enthalten war, zu nutzen, um der Maschine bei der Bewältigung der zentralen Aufgabe zu helfen, die Suchergebnisse abhängig von ihrem Nutzen zu ordnen. Im Jahr 1998 veröffentlichten Brin und Page einen Artikel mit dem Titel »Die Anatomie einer großen Hypertext-Suchmaschine«, der mit folgendem Satz begann: »In dieser Arbeit stellen wir Google vor, einen Prototyp für eine große Suchmaschine, die sich die im Hypertext verborgene Struktur umfassend zunutze macht. Google ist dafür ausgelegt, das Internet effizient zu durchforsten und einen Index zu erstellen, um sehr viel bessere Suchergebnisse zu liefern als die vorhandenen Systeme.«⁵¹

Page und Brin wussten, dass ihnen eine bahnbrechende Neuerung gelungen war, aber sie hatten keinen klaren Plan dafür, wie sie geschäftlichen Nutzen daraus ziehen konnten. Larry Page gestand: »Erstaunlicherweise dachte ich zu keinem Zeitpunkt daran, eine Suchmaschine zu entwickeln. […] Ich hatte das noch nicht einmal im Entferntesten auf dem Schirm.«⁵² Aber als das Projekt abgeschlossen war, war klar, dass die beiden eine vielversprechende Entdeckung gemacht hatten. Wenn sie diese Suchmaschine bauen konnten, würde sie die Funktionsweise des World Wide Web deutlich verbessern.

So entstand das Unternehmen Google. Anfangs wollten Page und Brin ihre Software verkaufen oder Lizenzen vergeben. Aber ihre ersten Versuche waren nicht erfolgreich, was teilweise daran lag, dass sich andere große Tech-Firmen bereits auf eigene Lösungen festgelegt hatten oder anderen Bereichen Vorrang einräumten, denn die Internetsuche galt zu jener Zeit nicht als lukratives Geschäftsfeld. Die führende Plattform Yahoo war nicht an dem von Page und Brin entwickelten Algorithmus interessiert.

Das änderte sich im Jahr 1998, als der Investor Andreas (»Andy«) von Bechtolsheim die Bühne betrat. Er traf sich mit Page und Brin und verstand sofort, dass die neue Technologie vielversprechend war, sofern die beiden einen Weg finden konnten, um ihre Lösung zu Geld zu machen. Und Bechtolsheim wusste, wie das zu schaffen war: mit Werbung.

Page und Brin hatten nicht vor, Werbung zu verkaufen, ja, diese Möglichkeit war ihnen überhaupt nicht in den Sinn gekommen. Aber Bechtolsheim lenkte ihr Unternehmen im Handumdrehen in eine andere Richtung, indem er Google Inc. einen Scheck über 100 000 Dollar ausstellte, obwohl Google noch gar keine Aktiengesellschaft war. Kurz darauf wurde es eine AG, das Potenzial der neuen Technologie, Werbeeinnahmen zu erzielen, wurde unübersehbar, und es floss sehr viel mehr Geld. Ein neues Geschäftsmodell war geboren.

Im Jahr 2000 stellte das Unternehmen AdWords vor, eine Plattform, die Werbung verkaufte, die Nutzern gezeigt werden sollte, die mit Google nach Websites suchten. Die Plattform stützte sich auf eine Erweiterung bekannter Auktionsmodelle und versteigerte rasch die wertvollsten (gut sichtbaren) Flächen auf der Suchmaske. Die Preise hingen davon ab, wie viel potenzielle Werbekunden boten und wie oft ihre Werbung angeklickt wurde.

Im Jahr 1998 und auch noch im Jahr 2000 sprach niemand von Big Data und KI. Aber schon bald konnten Unternehmen dank der Anwendung von KI-Werkzeugen auf große Datenmengen wertvolle Informationen über die Interessen der Nutzer sammeln, um sie mit gezielten Werbebotschaften anzusprechen. Die künstliche Intelligenz revolutionierte innerhalb kürzester Zeit Googles ohnehin erfolgreiches Monetarisierungsmodell. Das bedeutete insbesondere, dass Google verfolgen konnte, welche Websites von der unverwechselbaren IP-Adresse eines Nutzers aus besucht wurden, um diesen Nutzer anschließend mit individualisierter Werbung anzusprechen. Nutzern, die sich Karibikstrände ansahen, wurde Werbung von Fluglinien, Reisebüros und Hotels gezeigt, und wer nach Kleidung oder Schuhen suchte, wurde mit Werbung von Textileinzelhändlern bombardiert.

Der Nutzen gezielter Werbung kann kaum überschätzt werden. Das ewige Problem der Werbebranche kommt in einem geflügelten Wort aus dem späten 19. Jahrhundert zum Ausdruck: »Ich weiß, dass die Hälfte meiner Werbemaßnahmen verschwendet ist, aber ich weiß nicht, welche Hälfte.« Die frühe Internetwerbung litt ebenfalls unter diesem Problem. Die Werbeanzeigen eines Anbieters von Herrenbekleidung wurden sämtlichen Besuchern und Besucherinnen einer Plattform wie jener des Musikstreamingdienstes Pandora gezeigt, aber die Hälfte dieser Personen war weiblich, und auch die große Mehrheit der Männer hatte in diesem Augenblick kein Interesse daran, im Internet Kleidung zu kaufen. Dank des Targeting konnte man ausschließlich jene Personen ansprechen, die Interesse an einem Kauf gezeigt hatten, indem sie zum Beispiel die Website eines Bekleidungsgeschäfts besucht oder sich anderswo Modeartikel angesehen hatten. Das Targeting revolutionierte die digitale Werbung – aber so wie viele Revolutionen richtete es beträchtliche Kollateralschäden an.

Google beschleunigte rasch die Datensammlung, indem es eine Vielzahl fortschrittlicher Produkte kostenlos anbot, darunter Gmail und Google Maps, um mehr über die Präferenzen der Nutzer in Erfahrung zu bringen. Dies ging über die Dinge, nach denen die Leute suchten, und über ihren exakten Aufenthaltsort hinaus. Und Google übernahm YouTube. Von nun an konnte Werbung gezielt auf die einzelnen Nutzer ausgerichtet werden, deren Profil gestützt auf ihre Käufe, Aktivitäten und Aufenthaltsorte entwickelt wurde. Die Rentabilität der Werbung erhöhte sich deutlich. Die Resultate waren verblüffend. Im Jahr 2021 erzielte Google (beziehungsweise sein Mutterunternehmen Alphabet) den Großteil seiner Einnahmen von 65,1 Milliarden Dollar mit Werbung.

Google und andere Unternehmen fanden heraus, wie sie mit Werbung viel Geld verdienen konnten, und das erklärt nicht nur das Auftauchen eines neuen Geschäftsmodells, sondern beantwortet auch eine grundlegende Frage, die wir in Kapitel 9 gestellt haben: Wenn die KI oft nur zu einer So-lala-Automatisierung führt, warum weckt sie dann so große Begeisterung? Die Hauptgründe dafür sind die Möglichkeiten zur Sammlung gewaltiger Datenmengen und zur gezielten Werbung. Beides sollte rasch ungeahnte Ausmaße annehmen.

Ein sozial bankrottes Netzwerk

Was Google aus den Metadaten zu E-Mail-Aktivität und Aufenthaltsorten über seine Nutzer lernen kann, ist wenig wert, verglichen mit dem, was manche Menschen ihren Freunden und Bekannten über ihre Aktivitäten, Absichten, Wünsche und Ansichten verraten. Die sozialen Netzwerke hoben das Geschäftsmodell der gezielten Werbung auf ein ganz anderes Niveau.⁵³

Mark Zuckerberg verstand frühzeitig, dass Facebooks Erfolg davon abhängen würde, ob es sich in das Vehikel, wenn nicht sogar in den Erzeuger eines »sozialen Netzes« verwandeln ließe, in dem die Menschen verschiedensten sozialen Aktivitäten nachgehen würden. Um das zu erreichen, gab er dem Wachstum der Plattform absoluten Vorrang.

Doch obwohl er sich an Googles erfolgreichem Geschäftsmodell orientieren konnte, war es schwierig, die Informationen auf seiner Plattform zu Geld zu machen. Facebooks erste Versuche, Daten zu sammeln, um Werbung gezielter einsetzen zu können, schlugen fehl. Im Jahr 2007 führte das Unternehmen ein Programm namens Beacon ein, um Informationen über das Konsumverhalten von Facebook-Nutzern auf anderen Websites zu sammeln, wenn die Nutzer ihre Freunde in ihrem Newsfeed über ihre Käufe informierten. Doch diese Initiative wurde sofort als schwere Verletzung der Privatsphäre der Nutzer angeprangert und musste eingestellt werden. Das Unternehmen musste einen Weg finden, um die Sammlung großer Datenmengen für gezielte digitale Werbung mit einem gewissen Maß an Nutzerkontrolle zu verbinden.

Die Person, die das möglich machte, war Sheryl Sandberg. Sie war zuvor für Googles AdWords verantwortlich gewesen und hatte entscheidende Beiträge dazu geleistet, dieses Unternehmen in eine Maschine für gezielte Werbung zu verwandeln. Im Jahr 2008 stellte Facebook sie als Co-Geschäftsführerin (COO) ein. Sandberg wusste, wie sie Datensammlung und Nutzerkontrolle miteinander verbinden konnte, und sie erkannte Facebooks Potenzial in diesem Bereich: Das Unternehmen konnte neue Nachfrage für Produkte und damit für Werbung erzeugen, indem es sein Wissen über das soziale Umfeld der Nutzer und über ihre Vorlieben einsetzte. Bereits im November 2008 bezeichnete Sandberg diese Kombination als grundlegend für das Wachstum des Unternehmens: »Wir glauben, dass wir das Vertrauen der Nutzer dadurch gewonnen haben, dass wir ihnen selbst die Kontrolle über ihre Daten überlassen und es ihnen ermöglichen, im Internet ganz sie selbst zu sein.«⁵⁴ Wenn die Menschen authentisch waren, gaben sie mehr über sich preis, und Facebook konnte mehr Informationen sammeln, die genutzt wurden, um Werbeeinahmen zu erzielen.

Die erste wichtige Innovation war die »Gefällt mir«-Schaltfläche, die nicht nur Aufschluss über die Präferenzen der Nutzer gab, sondern auch als emotionaler Auslösereiz diente, um sie zur Beteiligung zu bewegen. Es wurden weitere Änderungen an der Architektur vorgenommen, zum Beispiel an der Funktionsweise des Newsfeeds und an den Möglichkeiten, Feedback zu geben. Besonders wichtig war, dass KI-Algorithmen begannen, den Newsfeed jedes Nutzers so zu organisieren, dass er sein Interesse weckte und ihn bei der Stange hielt – und natürlich konnte die Werbung auf diese Art besonders nutzbringend platziert werden.

Facebook bot Werbekunden auch neue Werkzeuge an, die ebenfalls auf grundlegenden KI-Technologien beruhten. Beispielsweise konnten die Kunden ein maßgeschneidertes Zielpublikum aufbauen, damit Werbung an Nutzer mit bestimmten demografischen Merkmalen geschickt werden konnte. Dazu kam die Möglichkeit, ein Lookalike-Publikum (eine ähnliche Zielgruppe) zu definieren, was nach Aussage des Unternehmens dazu diente, mit der Werbung »neue Personen zu erreichen, die wahrscheinlich an Ihrem Unternehmen interessiert sein werden, weil sie ähnliche Merkmale aufweisen wie Ihre vorhandenen Kunden«.⁵⁵

Im Bereich der Werbung hatten die sozialen Netzwerke gegenüber den Suchmaschinen den großen Vorteil, dass sie die Nutzer intensiv einbinden konnten. Wenn Menschen mit einer Suchmaschine wie Google nach einem Produkt suchten oder einkauften, wurden sie manchmal auf Werbeanzeigen aufmerksam, aber dieses Interesse dauerte nicht lange, weshalb das Unternehmen nicht viel für die Werbung verlangen konnte. Wenn man die Leute hingegen dazu bringen konnte, längere Zeit auf einer Seite zu verweilen und sich die Werbung anzusehen, die auf dem Bildschirm erschien, würde man höhere Werbeeinnahmen erzielen. Die Erhöhung der Zahl der Likes von Freunden und Bekannten erwies sich als ausgezeichnete Methode, um die Nutzer besser einzubinden.

Facebook spielte von Anfang an mit der Psychologie der Nutzer, um diese Ziele zu erreichen, und führte systematische Tests und Experimente durch, um festzustellen, welche Art von Posts und welche Art der Präsentation stärkere Emotionen und Reaktionen auslösten.

Die sozialen Beziehungen gehen insbesondere innerhalb von Gruppen stets mit Gefühlen wie Missbilligung, Ablehnung und Neid einher. Mittlerweile gibt es zahlreiche Belege dafür, dass Facebook nicht nur Empörung über politische Inhalte, sondern auch starke negative Emotionen in anderen sozialen Kontexten fördert. All diese Emotionen nutzt das Unternehmen, um die Nutzer dazu zu bewegen, mehr Zeit auf seiner Plattform zu verbringen. Sensationelle Inhalte sind ebenso wie Angst geeignet, die Aufenthalte der Besucher auf der Plattform zu verlängern. Sozialpsychologische Studien haben gezeigt, dass eine intensive Nutzung sozialer Netzwerke mit einem höheren Maß an Neid und Gefühlen der Unzulänglichkeit korreliert und oft das Selbstwertgefühl beeinträchtigt.⁵⁶

Beispielsweise wirkte sich Facebooks Siegeszug an amerikanischen Hochschulen sehr nachteilig auf die psychische Gesundheit der Studenten aus und führte zu einer Zunahme von Depressionen. Studentinnen und Studenten, die Zugang zu der Plattform erhielten, berichteten auch über eine deutliche Verschlechterung ihrer Noten, was darauf hindeutet, dass die Auswirkungen nicht auf emotionale Reaktionen auf Inhalte beschränkt waren, sondern dass sich auch das Verhalten außerhalb des sozialen Netzwerks änderte.⁵⁷ Facebook verdient Geld mit diesen Gefühlen, weil sowohl Ängste als auch das Bemühen um Anerkennung die Nutzer dazu bewegen, mehr Zeit auf der Plattform zu verbringen.⁵⁸

Ein ehrgeiziges Forschungsprojekt hat wertvolle Erkenntnisse über diesen Zusammenhang geliefert. Die Forscher gaben einigen Nutzern von Facebook Anreize, zeitweilig auf Besuche auf der Plattform zu verzichten, und verglichen anschließend ihre Zeitnutzung und ihre emotionale Situation mit denen der Mitglieder einer Kontrollgruppe, die Facebook weiterhin intensiv nutzte. Jene, die dazu angehalten worden waren, Facebook eine Weile zu ignorieren, verbrachten mehr Zeit mit anderen sozialen Aktivitäten und waren deutlich zufriedener. Aber nach dem Ende der Studie kehrten sie zu Facebook – und in einen schlechteren psychischen Zustand – zurück, was möglicherweise auf den sozialen Druck seitens der Plattform und der Mitglieder ihres Netzwerks zurückzuführen war, die sie wieder einbinden wollten.⁵⁹

Um die Nutzer zum Engagement auf der Plattform zu bewegen, führte Facebook rasch zahlreiche neue Merkmale und Algorithmen ein, ohne genau zu untersuchen, wie diese sich auf die Psyche der Nutzer auswirkten und ob sie zur Verbreitung von Desinformation beitrugen. Dass sich das Unternehmen und seine Techniker bei der Einführung neuer Merkmale vollkommen darauf konzentrierten, die Nutzer zu mehr Engagement zu bewegen, kommt in einem geflügelten Wort zum Ausdruck, das Facebooks Mitarbeiter häufig verwenden: »Fuck it, ship it.«⁶⁰

Aber das Unternehmen richtete nicht nur unbeabsichtigte Schäden in dem Bemühen an, die Nutzer an die Plattform zu binden. Das Management von Facebook wollte sich nicht von anderen Bestrebungen daran hindern lassen, die Aktivität der Nutzer anzuregen. Sandberg forderte wiederholt, auf Instagram, das Facebook im Jahr 2012 übernommen hatte, mehr Werbung zu schalten. Facebook hatte versprochen, die Unabhängigkeit Instagrams zu respektieren und dessen Management die strategischen Entscheidungen einschließlich jener über den Aufbau der App und über die Werbung zu überlassen.

Als sich Facebook nach der Präsidentschaftswahl von 2020 entschieden hatte, seinen Algorithmus zu ändern, damit dieser irreführende Informationen und nicht vertrauenswürdige Websites nicht länger begünstigte, war die Wirkung verblüffend gewesen: Hassbotschaften und Desinformation wurden nicht mehr viral. Aber kurze Zeit später wurden die Änderungen wieder rückgängig gemacht und die Plattform kehrte zu ihrer gewohnten Praxis zurück. Der Hauptgrund dafür war, dass Facebook bei einer Untersuchung der Auswirkungen der Änderung auf die Nutzerbindung festgestellt hatte, dass die Besucher weniger Zeit auf der Plattform verbrachten, wenn sie weniger Empörung und andere starke Emotionen empfanden.

Zuckerberg, Sandberg und später Clegg verteidigten ihre Entscheidungen stets mit dem Argument, Facebook dürfe die Meinungsfreiheit der Menschen nicht einschränken. Der britische Komiker Sacha Baron Cohen fasste zusammen, worin nach Ansicht vieler Beobachter das Problem bestand: »Es geht darum, den Menschen einschließlich einiger der verwerflichsten Menschen auf der Erde die größte Plattform aller Zeiten zu bieten, damit sie ein Drittel des Planeten erreichen können.«⁶¹

Die antidemokratische Wende

Wir können das von den sozialen Netzwerken heraufbeschworene politische Chaos nur verstehen, wenn wir das Gewinnmotiv berücksichtigen, das die Betreiber dazu bewegt, ein Höchstmaß an Nutzerbeteiligung anzustreben und zu diesem Zweck manchmal die Wut zu schüren. Umgekehrt wäre die gezielte Werbung ohne die Sammlung und Verarbeitung gewaltiger Datenmengen nicht möglich gewesen.

Das Gewinnmotiv ist nicht der einzige Faktor, der die Tech-Branche in eine antidemokratische Richtung gelenkt hat. Die Vision, auf der diese Unternehmen beruhen und die wir als die KI-Illusion bezeichnen, hat eine ebenso wichtige Rolle gespielt.

Wie wir in Kapitel 1 gesehen haben, hängt das Funktionieren der Demokratie vor allem davon ab, dass viele verschiedene Stimmen, darunter jene der Normalbürger, gehört werden und Einfluss auf die Ausrichtung der öffentlichen Politik nehmen. Das von dem Philosophen Jürgen Habermas entwickelte Konzept der Öffentlichkeit beinhaltet einige wesentliche Merkmale eines gesunden demokratischen Diskurses. Habermas erklärte, der öffentliche Raum, in dem Individuen neue Zusammenschlüsse bilden und gesellschaftliche und politische Fragen diskutieren, sei grundlegend für die politische Demokratie. Er zog britische Kaffeehäuser und französische Salons des 19. Jahrhunderts als Modelle heran und erklärte, das entscheidende Merkmal der Öffentlichkeit sei, dass sie den Menschen die Möglichkeit gebe, ungehindert an Debatten über Fragen von allgemeinem Interesse teilzunehmen, ohne sich in eine strikte Hierarchie aufgrund des bestehenden Status einfügen zu müssen. So erzeuge die Öffentlichkeit ein Forum für unterschiedliche Meinungsäußerungen und sorge dafür, dass diese Meinungen die Politik beeinflussen. Besonders wirksam sei sie, wenn sie Menschen in die Lage versetze, in einer Vielzahl von Fragen mit anderen zu interagieren.⁶²

Anfangs bestand sogar die Hoffnung, die Online-Kommunikation könne eine neue Öffentlichkeit hervorbringen, in der Menschen mit vielfältigerem Hintergrund als in der Lokalpolitik ungehindert miteinander interagieren und ihre Vorstellungen austauschen könnten.

Leider ist eine Online-Demokratie nicht mit den Geschäftsmodellen der führenden Tech-Firmen und mit der KI-Illusion vereinbar. Tatsächlich steht sie in klarem Widerspruch zu einem technokratischen Zugang, der besagt, dass viele wichtige Entscheidungen zu komplex sind, um sie den Normalbürgern zu überlassen. In den meisten Tech-Firmen herrscht die Überzeugung, dass dort geniale Männer (und manchmal, aber nicht allzu oft geniale Frauen) im Dienste des Gemeinwohls arbeiten. Wenn das stimmt, dann ist es nur natürlich, dass die wichtigen Entscheidungen diesen Personen überlassen werden sollten. Wenn man den politischen Diskurs der Massen so betrachtet, muss er nicht gefördert und geschützt, sondern manipuliert und ausgebeutet werden.

Die KI-Illusion begünstigt also einen antidemokratischen Impuls, obwohl sich viele Führungskräfte in der amerikanischen Tech-Branche als Linksliberale betrachten und die demokratischen Institutionen und teilweise die Demokratische Partei unterstützen. Doch ihre Unterstützung ist oft kulturell verwurzelt und umgeht den unverzichtbaren Baustein der Demokratie: die aktive politische Beteiligung der Bürger. Diese Teilhabe wird insbesondere mit Blick auf die KI unterbunden, weil die meisten Unternehmensgründer und Wagniskapitalgeber der Meinung sind, die Menschen verstünden die Technologie nicht und machten sich unbegründete Sorgen über deren Eindringen in ihre Privatsphäre. Ein Wagniskapitalgeber erklärt: »Die meisten Befürchtungen bezüglich der künstlichen Intelligenz sind übertrieben oder sogar unbegründet.« Die Lösung besteht darin, diese Sorgen zu ignorieren, weiterzumarschieren und die KI in sämtliche Lebensbereiche zu integrieren, weil die Menschen »die Furcht vor einer Technologie möglicherweise erst verlieren, wenn diese vollkommen ins Alltagsleben integriert ist und in unserem Denken in den Hintergrund tritt«.⁶³ Dieselbe Methode befürwortete Mark Zuckerberg im Gespräch mit Time: »Jedes Mal, wenn eine Technologie oder Innovation auftaucht und die Natur von etwas verändert, gibt es Personen, die den Wandel bedauern und sich nach dem früheren Zustand zurücksehnen. Aber ich denke, es kann keinen Zweifel daran geben, dass es gut für die Menschen ist, die Möglichkeit zu haben, in Kontakt mit anderen zu bleiben.«⁶⁴

Beschleunigt wurde diese antidemokratische Wende durch einen weiteren Bestandteil der KI-Illusion, die im Motto »Bewege dich schnell und mache Dinge kaputt« enthaltene Verherrlichung der »Disruption« als Tugend. Mit Disruption sind alle negativen Auswirkungen auf andere gemeint, darunter Arbeitskräfte, Organisationen der Zivilgesellschaft, traditionelle Medien und sogar die Demokratie an sich. Dies waren allesamt als legitim betrachtete Ziele, zu deren Zerstörung aufgerufen wurde, sofern dies eine Konsequenz aufregender neuer Technologien war und mit einem größeren Marktanteil und höheren Einnahmen einherging.

Ein Ausdruck dieses antidemokratischen Impulses ist Facebooks Forschung dazu, wie seine Nutzer auf negative und positive Emotionen von Freunden in ihrem Newsfeed reagieren. Im Jahr 2014 führte das Unternehmen eine große interne Studie durch, in deren Rahmen der Newsfeed von fast 700 000 Nutzern manipuliert wurde: Diese Personen wurden eine Woche lang entweder einer geringeren Zahl positiver Äußerungen oder weniger negativen Emotionen ausgesetzt. Erwartungsgemäß stellte sich heraus, dass mehr Kontakte mit negativen Emotionen und weniger Kontakte mit positiven Emotionen nachhaltige negative Auswirkungen auf die Nutzer hatten.

Das Unternehmen bat die Nutzer nicht um Erlaubnis, sie in die Studie einbeziehen zu dürfen, und versuchte nicht einmal, die in der wissenschaftlichen Forschung geltenden Standards zu erfüllen, die eine Aufklärung und Einwilligung von Versuchspersonen vorschreiben. Nachdem Forscher von Facebook und andere einige Ergebnisse der Studie in Proceedings of the National Academy of Sciences veröffentlicht hatten, äußerte der Herausgeber der Fachzeitschrift in einer Erklärung seine Bedenken darüber, dass die Studie ohne Einwilligung der betroffenen Nutzer durchgeführt worden war und die Standards für wissenschaftliche Forschung nicht erfüllte.⁶⁵ Google ging ähnlich vor, als es versuchte, die Menge der mit Google Books und Google Maps gesammelten Daten zu erhöhen. Das Unternehmen missachtete Datenschutzbedenken und gab grünes Licht, ohne die Nutzer um ihre Einwilligung zu bitten oder sie zurate zu ziehen; die Hoffnung war, dass Bedenken im Nachhinein ausgeräumt würden oder dass sich die Öffentlichkeit zumindest mit vollendeten Tatsachen abfinden würde.⁶⁶ Im Fall von Google funktionierte die Methode.

Facebook und Google sind keine Ausnahmen in der Branche. Mittlerweile ist es üblich, dass Tech-Firmen gewaltige Mengen an Daten sammeln, ohne die Einwilligung derer einzuholen, deren Informationen oder Fotos verwertet werden. Beispielsweise werden im Bereich der Bilderkennung viele KI-Algorithmen mit dem Datensatz von ImageNet trainiert, das von der Informatikerin Fei-Fei Li, der späteren Forschungsleiterin von Google Cloud, gegründet wurde.⁶⁷ Der Datensatz, der über 15 Millionen Bilder enthält, die in mehr als 22 000 Kategorien unterteilt sind, wurde mit Privatfotos aufgebaut, die im Internet in verschiedene Applikationen hochgeladen wurden. Die Personen, die diese Fotos aufnahmen oder darauf zu sehen waren, wurden nicht gefragt, ob sie mit der Verwendung durch Google einverstanden waren. In der Tech-Branche wurde dieses Vorgehen allgemein als akzeptabel betrachtet. Li erklärte: »In der Internetära sind wir plötzlich mit einer Explosion der Bilddaten konfrontiert.«⁶⁸

Die New York Times berichtet, dass Clearview ohne Zustimmung der Betroffenen systematisch Fotos von Gesichtern gesammelt hat, um Vorhersagewerkzeuge zu entwickeln, mit denen illegale Einwanderer und Personen, die wahrscheinlich Straftaten begehen werden, identifiziert werden können.⁶⁹ Ein solches Vorgehen wird mit dem Argument gerechtfertigt, die groß angelegte Datensammlung sei für den technologischen Fortschritt erforderlich. Ein Investor eines auf Gesichtserkennung spezialisierten Start-up-Unternehmens begründete die massenhafte Datensammlung damit, dass »die Gesetze definieren müssen, was legal ist, aber man kann die Technologie nicht verbieten. Sie könnte zu einer dystopischen Zukunft führen, aber man kann sie nicht verbieten.«⁷⁰

Die Wahrheit ist ein wenig komplexer. Umfassende Überwachung und massenhafte Datensammlung sind nicht der einzige Weg zu technologischem Fortschritt, und ihre Begrenzung wäre nicht gleichbedeutend mit einem Verbot der Technologie. Wir haben es hier vielmehr mit einer antidemokratischen Entwicklung zu tun, die ihren Ursprung im Gewinnmotiv und in der KI-Illusion hat, die dazu führt, dass autoritäre Staaten und Tech-Firmen der Welt ihre Vision aufzwingen.

Beim Radio war es genauso, nur ganz anders

Möglicherweise verursachen nicht nur die digitalen Technologien und die künstliche Intelligenz diese Probleme. Jede bahnbrechende neue Kommunikationstechnologie birgt das Potenzial für Missbrauch.

Nehmen wir eine andere Technologie, die im 20. Jahrhundert unsere Kommunikation grundlegend veränderte: das Radio. Der Rundfunk ist ebenfalls eine Technologie, die für verschiedenste Zwecke genutzt werden kann, und er war auf seine Art ebenso revolutionär wie die sozialen Netzwerke. Er ermöglichte es zum ersten Mal in der Geschichte, ein Massenpublikum mit verschiedenen Formen von Unterhaltung sowie mit Informationen und natürlich Propaganda zu erreichen. Im Jahr 1886 hatte der deutsche Physiker Heinrich Hertz die Existenz elektromagnetischer Wellen nachgewiesen, und ein Jahrzehnt später baute der italienische Physiker Guglielmo Marconi den ersten Funksender. Anfang des 20. Jahrhunderts gab es erste Radiosendungen, und in den zwanziger Jahren eroberte der kommerzielle Rundfunk viele westliche Länder. Und es dauerte nicht lange, bis das Radio auch für Propaganda und Desinformation genutzt wurde. Präsident Franklin D. Roosevelt erkannte die Bedeutung der Technologie und machte seine »Kamingespräche« zu einem zentralen Bestandteil einer Aufklärungskampagne für den New Deal.

Charles Coughlin, ein katholischer Priester mit außergewöhnlichen rednerischen Fähigkeiten, wurde zum Inbegriff der Radiopropaganda in den Vereinigten Staaten. Coughlin war ursprünglich ein Anhänger Roosevelts, wandte sich Mitte der dreißiger Jahre jedoch gegen den New Deal und gründete die National Union for Social Justice. In seinen Radioansprachen, die zunächst von CBS übertragen wurden, spielte antisemitische Propaganda eine ebenso große Rolle wie seine politischen Vorstellungen. Schon bald unterstützte Father Coughlin im Radio Benito Mussolini und Adolf Hitler.⁷¹

Couglins Mischung von Kritik an Roosevelt mit faschistischen und antisemitischen Tiraden hatte in den dreißiger Jahren beträchtlichen Einfluss auf die amerikanische Politik. In einer neueren Studie ist untersucht worden, wie sich die abhängig von geografischen und topologischen Hindernissen unterschiedlichen Signalstärken in amerikanischen Countys auf die öffentliche Meinung auswirkten. Wie sich herausgestellt hat, verringerte Coughlins Radiopropaganda die Unterstützung für die New-Deal-Maßnahmen und kostete Roosevelt in der Wahl von 1936 mehrere Prozentpunkte (obwohl das seinen Erdrutschsieg nicht verhindern konnte). Und Coughlin beeinflusste nicht nur das Wahlverhalten der Bürger. In Countys, in denen seine Sendungen gut empfangen werden konnten, wurden eher Niederlassungen des den Nationalsozialisten nahestehenden German American Bund gegründet, und die Unterstützung für die Kriegsbeteiligung der Vereinigten Staaten war dort geringer. Noch mehrere Jahrzehnte später war der Anteil der Personen, die Juden feindselig gegenüberstanden, in diesen Countys höher.⁷²

Die Propaganda, die Coughlin in den Vereinigten Staaten so wirksam einsetzte, wurde zur selben Zeit in Deutschland perfektioniert. Nach ihrer Machtergreifung nutzten die Nationalsozialisten die Radiopropaganda aggressiv. Propagandaminister Joseph Goebbels verstand es meisterhaft, den Rundfunk einzusetzen, um den Rückhalt für die Politik des Regimes zu stärken und den Hass auf Juden und »Bolschewiken« zu schüren. Goebbels erklärte, »sowohl die Eroberung als auch die Ausnutzung der Macht wäre ohne Rundfunk und Flugzeug in dieser Form gar nicht denkbar gewesen«.⁷³

Die Nationalsozialisten verstanden es, mit Rundfunksendungen die Stimmung in der Bevölkerung zu manipulieren. Ein Forscherteam, das die unterschiedliche Stärke der Funksignale in verschiedenen Teilen Deutschlands sowie Änderungen der Inhalte von Radiosendungen im Lauf der Zeit untersuchte, fand heraus, dass die NS-Propaganda sehr wirksam war. Die Radiosendungen verstärkten antisemitische Aktivitäten und erhöhten die Zahl der Personen, die jüdische Mitbürger bei den Behörden denunzierten.⁷⁴

Die Radiopropaganda von Extremisten wurde in den Vereinigten Staaten und Deutschland schließlich unter Kontrolle gebracht. Die dazu angewandte Methode verrät einiges über die Unterschiede zwischen sozialen Netzwerken und Rundfunk und gibt Hinweise darauf, wie neue Kommunikationstechnologien am besten genutzt werden können.

Das Problem in den Vereinigten Staaten in den dreißiger Jahren war, dass Coughlin dank einer nationalen Plattform Millionen Menschen mit hetzerischer Rhetorik erreichen konnte. Heute besteht die Gefahr darin, dass die Algorithmen von Facebook und anderen sozialen Medien die Verbreitung von Desinformation fördern, mit der potenziell Milliarden Menschen erreicht werden können.

Coughlins schädlichen Einfluss neutralisierte die Regierung Roosevelt mit der Entscheidung, der 1. Verfassungszusatz garantiere zwar die Meinungsfreiheit, nicht jedoch das Recht auf Verbreitung von Meinungen im Rundfunk. Die Regierung erklärte, das Frequenzspektrum sei ein Gemeingut, dessen Nutzung vom Staat geregelt werden müsse. Die neuen Vorschriften machten Rundfunkgenehmigungen erforderlich, und die Sendungen von Father Coughlin wurden aus dem Radio verbannt. Coughlin verfasste weiter Artikel und begann bald wieder, Radiosendungen zu produzieren, aber er hatte nur noch Zugang zu einzelnen Sendern, die ihr Programm nicht landesweit ausstrahlten. Nach dem Kriegseintritt der Vereinigten Staaten wurden seine Möglichkeiten, Propaganda für Hitler und gegen eine amerikanische Kriegsbeteiligung zu betreiben, weiter eingeschränkt.

Heute wimmelt es im Talkradio von Desinformation und Hassbotschaften, aber ihre Reichweite ist in der Regel beschränkt, verglichen mit den landesweit ausgestrahlten Sendungen Coughlins oder den Plattformen, die soziale Medien für gezielte Falschinformationen anbieten.

Deutschland ging noch entschlossener gegen die Radiopropaganda vor. Das Grundgesetz verbietet Volksverhetzung sowie die Anstiftung zu Gewalt und Akten, welche die Würde bestimmter Bevölkerungsgruppen verletzen. Und die deutsche Verfassung stellt das Leugnen des Völkermords an den Juden und die Verbreitung antisemitischer Propaganda unter Strafe.⁷⁵

Digitale Entscheidungen

Es war nicht unumgänglich, dass die KI-Technologien für die Automatisierung der Arbeit und für die Überwachung der Beschäftigten genutzt wurden. Und es war auch nicht unausweichlich, dass sie eingesetzt wurden, um die Zensur durch autoritäre Staaten zu ermöglichen. Die digitalen Technologien sind nicht inhärent antidemokratisch, und die sozialen Netzwerke müssen sich keineswegs bemühen, Empörung, Extremismus und Wut zu schüren. In die gegenwärtige Misere haben uns die Entscheidungen von Tech-Firmen, KI-Forschern und Regierungen gebracht.

Wie an anderer Stelle in diesem Kapitel erwähnt, litten YouTube und Reddit anfangs ebenso sehr unter Rechtsextremismus, Desinformation und Hassbotschaften wie Facebook. Aber diese beiden Plattformen haben in den letzten fünf Jahren einige Schritte unternommen, um diese Fehlentwicklung zu korrigieren.

Nach der Veröffentlichung von Insider-Berichten wie dem von Caleb Cain und Reportagen in der New York Times und dem New Yorker reagierten YouTube und sein Mutterunternehmen Google auf den wachsenden öffentlichen Druck, indem sie die Algorithmen änderten, um die Verbreitung besonders bösartiger Inhalte einzudämmen. Google nimmt für sich in Anspruch, mittlerweile Videos aus »vertrauenswürdigen Quellen« zu bevorzugen, bei denen die Wahrscheinlichkeit geringer ist, dass sie für die Radikalisierung missbraucht werden oder Desinformation enthalten. Das Unternehmen erklärt auch, die Anpassung seiner Algorithmen habe die Zahl der Ansichten von »grenzwertigen Inhalten« um 70 Prozent verringert (als »grenzwertig« werden diese Inhalte bezeichnet, weil das Unternehmen für sich in Anspruch nimmt, eindeutige Hassbotschaften bereits ausgeschlossen zu haben).

Bei Reddit sieht es ähnlich aus. Auf der Plattform wurden einige der schlimmsten extremistischen und hetzerischen Inhalte verbreitet, was Steve Huffman, einer der Gründer, anfangs mit der Begründung verteidigte, dies sei vollkommen mit der von Reddit verfochtenen »offenen und aufrichtigen Diskussion« vereinbar. Mittlerweile hat das Unternehmen auf den öffentlichen Druck reagiert und die Normen für die Moderation der Inhalte verschärft. Nachdem die auf der Plattform organisierte Kundgebung der suprematistischen Bewegung Unite the Right im Jahr 2017 in Charlottesville (Virginia) in Gewalt ausgeartet war, die ein Todesopfer und Dutzende Verletzte gefordert hatte, änderten die Gründer Reddits den Kurs. Die Plattform begann, zahlreiche Sub-Reddits zu entfernen, auf denen Hassbotschaften, rassistische Sprache und eklatante Desinformation verbreitet worden waren. Im Jahr 2019 wurde The_Donald entfernt.⁷⁶

Doch die Verbesserungen dank der Selbstregulierung der Plattformen sollten nicht überschätzt werden. Es gibt auf YouTube immer noch sehr viel Desinformation und manipulative Inhalte, die von den Algorithmen begünstigt werden, und auf Reddit findet man zahlreiche hasserfüllte Posts. Beide Plattformen haben ihr Geschäftsmodell nicht geändert und versuchen weiterhin, das Engagement der Nutzer zu maximieren, um Einnahmen mit gezielter Werbung erzielen zu können. Plattformen mit anderen Geschäftsmodellen, darunter Uber und Airbnb, sind sehr viel entschlossener gegen Hassbotschaften auf ihren Websites vorgegangen.

Aber das beste Beispiel dafür, dass andersartige Modelle tragfähig sein können, ist Wikipedia. Die Plattform zählt zu den meistbesuchten im Internet und wurde in der jüngeren Vergangenheit jedes Jahr mehr als 5,5 Milliarden Mal aufgerufen. Wikipedia versucht nicht, die Aufmerksamkeit der Nutzer zu monopolisieren, weil es sich nicht mit Werbung finanziert.

Das hat die Plattform in die Lage versetzt, einen ganz anderen Bezug zu Desinformation zu wählen. Die Einträge in der Online-Enzyklopädie werden von anonymen Freiwilligen verfasst, und jedermann kann einen neuen Eintrag beginnen oder bestehende ändern. Die Plattform beschäftigt Administratoren, die aus einer Gruppe von häufigen Nutzern mit nachgewiesener Zuverlässigkeit rekrutiert werden und auf mehreren Ebenen arbeiten. Unter den Freiwilligen, die Beiträge leisten, sind erfahrene Redakteure, die zusätzliche Privilegien genießen und für Wartung und Konfliktbeilegung zuständig sind. Auf einer höheren Ebene sind die »Stewards« angesiedelt, die Meinungsverschiedenheiten ausräumen sollen. Nach Angabe der Plattform sind die Stewards für die »technische Umsetzung des Gemeinschaftskonsenses« sowie dafür zuständig, »in Notfällen einzugreifen und gegen wikiübergreifenden Vandalismus vorzugehen«. Den Stewards übergeordnet ist das »Schiedsgerichtskomitee«, dem Redakteure angehören, die »gemeinsam oder in Untergruppen verbindliche Lösungen für Streitigkeiten finden, welche die Gemeinschaft nicht beilegen konnte«. Die Administratoren können Seiten schützen oder löschen und im Falle umstrittener Inhalte oder von Vandalismus oder Desinformation in der Vergangenheit die Bearbeitung blockieren. Die Administratoren ihrerseits werden von »Bürokraten« beaufsichtigt und befördert.⁷⁷

Diese Verwaltungsstruktur erleichtert es der Plattform, die Verbreitung von Desinformation und jene Art von Polarisierung zu unterbinden, die auf anderen Websites so verbreitet ist. Die Erfahrung von Wikipedia zeigt, dass die Schwarmintelligenz, von der die Optimisten in der Frühzeit der sozialen Medien träumten, durchaus funktionieren kann, aber nur, wenn sie in eine geeignete Organisationsstruktur eingebunden und angemessen beaufsichtigt wird und wenn die richtigen Entscheidungen über Einsatz und Ausrichtung der Technologie gefällt werden.

Alternativen zum Geschäftsmodell der gezielten Werbung findet man nicht nur bei gemeinnützigen Plattformen wie Wikipedia. Netflix, das sich auf Abonnements stützt, sammelt ebenfalls Informationen über seine Nutzer und investiert hohe Summen in künstliche Intelligenz, um seinen Abonnenten auf ihre individuellen Bedürfnisse zugeschnittene Inhalte empfehlen zu können. Aber auf der Plattform findet man kaum Desinformation oder politische Konfrontationen, denn sie will ihre Nutzer nicht zum Engagement bewegen, sondern ihre Erfahrung verbessern, um mehr Abonnenten zu gewinnen.

Auch soziale Netzwerke können mit einem auf Abonnements beruhenden Modell arbeiten und Geld damit verdienen. Natürlich wird ein solches Modell nicht sämtliche Probleme der sozialen Medien lösen. Nutzer können auch auf einer Plattform, die sich auf Abonnements stützt, Echokammern erzeugen, und es können neue Wege gefunden werden, um Desinformation und Unsicherheit zu Geld zu machen. Doch alternative Geschäftsmodelle können sich vom Bemühen um eine intensive Einbindung der Nutzer lösen, das die schlimmste Art von sozialer Interaktion fördert, die sowohl der psychischen Gesundheit als auch dem demokratischen Diskurs schadet.

Ein soziales Netzwerk kann vielfältige positive Wirkungen haben, wenn die Möglichkeiten für Desinformation, Polarisierung und Schädigung der psychischen Gesundheit eingeschränkt werden. Forscher haben den Markteintritt von Facebook in neuen Ländern untersucht und festgestellt, dass kleine Unternehmen in den betroffenen Ländern über das Netzwerk Zugang zu Informationen über ausländische Märkte erhalten, was sie in die Lage versetzt, ihre Umsätze zu erhöhen.⁷⁸ Es gibt keinen Grund für die Annahme, dass ein Unternehmen nicht mit solchen Diensten Geld verdienen könnte, anstatt seine Fähigkeit zu nutzen, die Nutzer zu manipulieren. Wie wir in Kapitel 11 sehen werden, können soziale Netzwerke und digitale Werkzeuge die Menschen auch besser vor Überwachung schützen und sogar die Demokratie fördern. Die Provokation emotionaler Reaktionen, die dann genutzt werden, um die Nutzer mit gezielter Werbung anzusprechen, war nie die einzige Option für die sozialen Netzwerke.

In dem Moment, da wir die Demokratie am meisten brauchen, wird sie ausgehöhlt

Besonders schlimm ist, dass die künstliche Intelligenz die Demokratie just in dem Moment untergräbt, in dem wir sie am dringendsten brauchen. Wird die Entwicklung der digitalen Technologien nicht in eine vollkommen andere Richtung gelenkt, so werden sie im Westen und zunehmend in aller Welt weiterhin die Ungleichheit fördern und viele Arbeitskräfte verdrängen. Die KI-Technologien werden auch eingesetzt, um die Beschäftigten strenger zu überwachen und auf diese Art den Druck auf die Löhne weiter zu erhöhen.

Wer möchte, kann auf die Sogwirkung von Produktivitätszuwächsen vertrauen. Aber es gibt keinen Hinweis darauf, dass die Erträge von Produktivitätserhöhungen in absehbarer Zeit breiten Bevölkerungsgruppen zugutekommen werden. Wie wir gesehen haben, neigen Manager und Unternehmer oft dazu, neue Technologien zur Automatisierung von Arbeitsabläufen und zur Entmachtung der Arbeitskräfte einzusetzen, wenn sie nicht von Gegenmächten daran gehindert werden. Die massenhafte Datensammlung hat diese Neigung verstärkt.

Ohne Demokratie ist es jedoch schwer, Gegenkräfte zu stärken. Wenn eine Elite umfassende Kontrolle über die Politik ausübt und Repressions- und Propagandawerkzeuge wirksam einsetzen kann, wird es schwierig, eine gut organisierte und schlagkräftige Opposition aufzubauen. In China wird es in absehbarer Zeit nicht möglich sein, von der Parteilinie abweichende Meinungen frei zu äußern, vor allem, da die Kommunistische Partei ein zunehmend wirkungsvolles System von Zensur und KI-gestützter Überwachung errichtet hat. Aber auch die Hoffnung auf ein Wiedererstarken der Gegenkräfte in den Vereinigten Staaten und großen Teilen der westlichen Welt schwindet. Die künstliche Intelligenz untergräbt die Demokratie und liefert gleichzeitig sowohl autoritären als auch demokratisch gewählten Regierungen die Werkzeuge für Repression und Manipulation.

In 1984 fragte George Orwell: »Woher wissen wir denn schon, daß zwei und zwei vier ist? Oder daß die Gravitationskraft funktioniert? Oder daß die Vergangenheit unveränderbar ist? Wenn sowohl die Vergangenheit als auch die äußere Realität nur in der Vorstellung existieren und die Vorstellung selbst kontrollierbar ist – was dann?«⁷⁹ Heute hat diese Frage noch größere Relevanz als zu Orwells Zeiten, denn wie die Philosophin Hannah Arendt voraussah, hören die Menschen, wenn sie mit Falschinformationen und Propaganda bombardiert werden, sowohl in nichtdemokratischen als auch demokratischen Ländern auf, irgendwelche Informationen zu glauben. Und es könnte noch schlimmer kommen: Menschen, die an ihre sozialen Netzwerke gefesselt sind, in denen immerzu Empörung und andere starke negative Emotionen geweckt werden, kapseln sich von ihrer Gemeinde und vom demokratischen Diskurs ab, weil im Internet eine getrennte alternative Realität entstanden ist, in der extremistische Stimmen den Ton angeben, künstliche Echokammern entstehen und größer werden, jegliche Information verdächtig oder parteilich ist und die Möglichkeit von Kompromissen nicht mehr gesehen oder sogar abgelehnt wird.

Optimisten erwarten, dass neue Technologien wie das Web 3.0 oder das Metaverse die Entwicklung in eine andere Richtung lenken werden. Aber wenn die Tech-Firmen an ihrem gegenwärtigen Geschäftsmodell festhalten und sich Staaten auf Überwachung konzentrieren, werden auch die neuen Technologien zu diesen Trends beitragen, noch dichtere Filterblasen erzeugen und die Kluft zur Realität vergrößern.

Aber vielleicht ist es noch nicht zu spät. In Kapitel 11 werden wir zeigen, wie der Kurs geändert werden kann und welche spezifischen Maßnahmen einen Wandel herbeiführen können.