Nachdem Sie nun zum einen erfahren haben, auf welch vielfältige Weise menschliches Denken verzerrt sein kann, und zum anderen, wie komplex die Entwicklung eines Algorithmus ist, haben Sie wahrscheinlich begonnen zu verstehen, auf welch vielfältige Weise algorithmische Verzerrungen entstehen können. In diesem zweiten Teil des Buches werden wir die verschiedenen Wege, auf denen algorithmische Verzerrungen entstehen können, genauer untersuchen.
In diesem Kapitel packen wir den Stier bei den Hörnern und befassen uns zunächst mit der schwierigsten Art der algorithmischen Verzerrung: der algorithmischen Verzerrung, die durch verzerrtes Verhalten in der realen Welt verursacht wird. Es ist die schwierigste Art der Verzerrung, weil diese algorithmische Verzerrung in gewissem Sinne „korrekt“ ist – der Algorithmus tut das, was er statistisch gesehen tun soll: Er spiegelt und repräsentiert die reale Welt korrekt. Wir haben es also nicht nur mit technischen Fragen zu tun, sondern mit tiefgreifenden philosophischen und ethischen Problemen. Wichtig ist, dass wir zu dem Schluss kommen werden, dass Algorithmen sowohl Teil der Lösung als auch Teil des Problems sein können.
Ich habe bereits darauf hingewiesen, dass statistische Algorithmen eine Möglichkeit sind, die Voreingenommenheit des menschlichen Urteils zu beseitigen. Allerdings halten Algorithmen dieses Versprechen manchmal nicht ein. Der Grund dafür ist, dass Voreingenommenheit in der realen Welt manchmal Tatsachen schafft, und diese Tatsachen sind nun die Realität, die die Logik des Algorithmus prägt, wodurch eine Voreingenommenheit aufrechterhalten wird.
Betrachten wir zur Veranschaulichung dieses fiktive Beispiel für Bestätigungsfehler: Wenn die Polizei Passanten mit grüner Hautfarbe (auch bekannt als Marsmenschen) eher durchsucht als Passanten mit grauer Hautfarbe (auch bekannt als Zeta Reticulans), obwohl beide Populationen genau den gleichen Anteil an Menschen haben, die illegale Drogen bei sich tragen (z. B. 5 %), dann wird die Polizei am Ende des Tages wahrscheinlich eine unverhältnismäßig große Anzahl von Marsmenschen mit illegalen Drogen erwischen. Nehmen wir an, Sie möchten diese Verzerrung ausgleichen, indem Sie ein Gerät programmieren, das jede Person, die an einem Polizeibeamten vorbeigeht, bewertet und piept, wenn der Algorithmus vorschlägt, die Person zu filzen, weil der Algorithmus eine hohe Wahrscheinlichkeit des Mitführens von Drogen feststellt. Wenn beide Gruppen die gleiche Neigung zum Mitführen illegaler Drogen haben, würden Sie erwarten, dass Ihr Gerät auch Mitglieder beider Gruppen mit der gleichen Häufigkeit aufspürt.
Um den Algorithmus zu erstellen, könnten Sie Daten über alle Personen sammeln, die in den letzten 12 Monaten von der Polizei durchsucht wurden. Für jede Person werden viele verschiedene Attribute sowie die Ergebnisse der Durchsuchung erfasst – ein binäres Kennzeichen, wenn illegale Drogen gefunden wurden. Auf der Grundlage der obigen Informationen könnten Sie erwarten, dass sowohl 5 % der Marsmenschen als auch 5 % der Zeta-Reticulaner illegale Drogen bei sich hatten – oder Sie erwarten eine Erfolgsquote von 50 %, weil Sie glauben, dass die Polizei wirklich gut darin ist, Kriminelle aufzuspüren. Sie stellen jedoch fest, dass 20 % der Marsianer und 10 % der Zeta-Reticulaner in der Stichprobe Drogen bei sich hatten. Was war passiert?
Zunächst einmal können Sie davon ausgehen, dass die Polizei irgendwie einen Weg gefunden hat, Personen ins Visier zu nehmen, die mit größerer Wahrscheinlichkeit illegale Drogen mit sich führen als die Durchschnittsperson, da ihre Erfolgsquote deutlich über 5 % liegt – die Polizei verfügt also über echte Fachkenntnisse, die Sie in Ihrem Algorithmus erfassen möchten. Warum aber ist die Wahrscheinlichkeit, illegale Drogen mit sich zu führen, bei Marsmenschen doppelt so hoch?
Es ist möglich, dass es für die Polizei irgendwie einfacher ist, illegale Drogen bei Marsianern zu erkennen als bei Zeta-Reticulanern – vielleicht bevorzugen Marsianer enger sitzende Kleidung, die es einfacher macht, kleine Päckchen in Hosentaschen zu erkennen. Es ist jedoch auch möglich, dass Bestätigungsvoreingenommenheit das Verhalten der Polizei auf subtile Weise verändert. Wenn die Polizei davon ausgeht, dass jeder gefilzte Marsianer illegale Drogen bei sich trägt, wird sie nicht nur sehr sorgfältig vorgehen, sondern, wenn die erste Durchsuchung keine Ergebnisse liefert, vielleicht noch einmal nach versteckten Taschen suchen. Wenn andererseits viele Zeta-Reticulaner nur pro forma durchsucht werden, um nicht den Eindruck zu erwecken, dass die Polizei übermäßig voreingenommen ist, durchsucht ein Polizist vielleicht nur ein paar Taschen und lässt den Zeta-Reticulaner dann gehen. Mit anderen Worten: Ihre Daten sind durch die Bestätigungsvoreingenommenheit beeinträchtigt worden, weil einige Zeta-Reticulaner, die illegale Drogen bei sich haben, aufgrund einer weniger strengen Durchsuchungspraxis unentdeckt bleiben.
Dieses Verhalten tritt in vielen Zusammenhängen auf, etwa auch bei der Einstellung von Mitarbeitern. Aufgrund des Verankerungseffekts haben sich die Interviewer oft schon in den ersten paar Sekunden eines Gesprächs eine Meinung über einen Interviewpartner gebildet, vielleicht sogar schon, wenn der Kandidat zur Tür hereinkommt. Diese Meinung fließt nun in den Bestätigungseffekt ein. Wenn der Bewerber auf eine Interviewfrage eine genuschelte Antwort gibt, könnte das Gehirn des Interviewers (unbewusst) die richtige Antwort „hören“, wenn es bereits entschieden hat, dass es sich um einen Spitzenkandidaten handelt – und es könnte das Genuschel als Beweis dafür interpretieren, dass der Befragte kein Spitzenkandidat ist, wenn das Gehirn den Bewerber bereits abgelehnt hat.
Noch verrückter ist jedoch, dass der Bewerber die Voreingenommenheit des Interviewers durch seine Körpersprache und seine Sprache1 erkennen und sich unbewusst darauf einstellen kann. Befragte, die das Gefühl haben, dass der Interviewer eine schlechte Meinung von ihnen hat, schneiden tatsächlich schlechter ab. Selbst wenn Sie das Interview per Video aufzeichnen und das fortschrittlichste Deep-Learning-Modell der Welt entwickeln würden, um die Leistung des Befragten objektiv zu bewerten, würde die Bewertung immer noch auf eine Leistung hindeuten, die mit der Voreingenommenheit des Interviewers übereinstimmt, obwohl es sich dabei ausschließlich um ein psychologisches Artefakt handelt.
Dies verdeutlicht ein großes Dilemma: Menschliche Voreingenommenheit prägt in gewissem Maße die Welt – und wo sich Voreingenommenheit in faktischen Unterschieden im Verhalten oder Aussehen von an sich gleichen Personen niederschlägt, verlieren Algorithmen ihre Fähigkeit, das Bild zu korrigieren, indem sie einfach statistische Verfahren auf Daten anwenden.
Gehen wir in unserem Gedankenexperiment noch einen Schritt weiter: Wenn Sie feststellen, dass die Polizei bei Marsmenschen und Zeta-Reticulanern unterschiedliche Durchsuchungsprotokolle anwendet, könnten Sie mit einer Gruppe von Beamten ein Experiment durchführen, bei dem die Polizei darauf achtet, bei jeder Person, die sie durchsucht, genau die gleiche Vorgehensweise anzuwenden – vielleicht sogar einen tragbaren Körperscanner (wie er an Flughäfen verwendet wird) einzusetzen, um die manuelle Durchsuchung zu ergänzen. Zu Ihrer großen Überraschung stellt sich heraus, dass die Marsmenschen, obwohl sich die Raten für das Mitführen illegaler Drogen einander angenähert haben, immer noch häufiger Drogen bei sich tragen. Sie beginnen, an Ihrer Hypothese zu zweifeln. Was, wenn Marsmenschen wirklich mehr kriminelle Energie haben?
In Wirklichkeit haben Sie es vielleicht mit einem viel tieferen Problem zu tun. Jahrelange schlechte Presse (der Zeta Evening Standard bringt häufig Schlagzeilen wie „Weitere 15 marsianische Drogendealer verhaftet“ und ignoriert dabei stillschweigend die 7 Zeta-Reticulaner, die am selben Tag angeklagt wurden) könnte die öffentliche Meinung beeinflusst haben, so dass es für Marsianer schwieriger ist als für Zeta-Reticulaner, einen Arbeitsplatz zu finden. Infolgedessen könnten mehr von ihnen vom Drogenhandel leben müssen.
Voreingenommenheit hat daher oft den Effekt, dass der Gewinner alles bekommt („the winner takes it all“, we schon Abba gesungen hat) – eine anfängliche Voreingenommenheit beginnt, die Realität zu verändern, und der Effekt wirkt selbstverstärkend und sogar selbst erfüllend. Ersetzt man an dieser Stelle das menschliche Urteilsvermögen durch einen Algorithmus, kann dies oft genug den Status quo zementieren. Wenn Sie mit den von Ihnen gesammelten Daten einen erstklassigen Algorithmus entwickelt haben, werden Sie wahrscheinlich eine viel höhere Erfolgsquote erzielen als die Polizei mit ihrem Urteilsvermögen – dank Ihres Algorithmus wird die Polizei vielleicht insgesamt weniger Personen filzen, aber bei 80 % von ihnen illegale Drogen finden und damit die Zahl der festgenommenen Drogendealer deutlich erhöhen. Die überwiegende Mehrheit der von Ihrem Algorithmus erfassten Personen könnten jedoch Marsmenschen sein, und nach mehreren reißerischen Artikeln über die Arbeit der Polizei wird der Zeta Evening Standard eines Tages den ersten Leserbrief veröffentlichen, in dem offen darüber nachgedacht wird, ob die Stadt Marsmenschen verbieten sollte.
Eine dreimalige Wiederholung der falschen Antwort macht sie nicht richtig. In einer Situation wie der, die wir hier betrachten, ist es jedoch wichtig, den Gegner, gegen den man kämpft, richtig zu identifizieren: Der Algorithmus ist nicht voreingenommen – er ist eine unvoreingenommene Darstellung einer Realität, die aufgrund menschlicher Voreingenommenheit furchtbar fehlerhaft ist. Um die Situation zu korrigieren, reicht es daher nicht aus, nur den Algorithmus zu verbessern, sondern man muss auch die Welt verbessern.
Doch was sollten Sie mit Ihrem Algorithmus tun? Darauf gibt es eine kurze und eine lange Antwort.
Die kurze Antwort ist, dass Ihr Algorithmus erst einmal eine voreingenommene Sicht auf Marsmenschen aufrechterhält, die zu immer mehr Diskriminierung und Ungerechtigkeit führt. Ihr Algorithmus ist zu einem Komplizen geworden. In einem ersten Schritt müssen Sie daher überlegen, ob Sie Ihren Algorithmus nicht mehr verwenden wollen. Dies ist eine schwierige ethische Entscheidung und gehört nicht in den Rahmen dieses Buches. Ich lade Sie jedoch ein, sich vorzustellen, was in unserer kleinen Geschichte passieren würde, wenn Sie den Algorithmus der Polizei wegnehmen würden. Würden der Verfasser des besagten Leserbriefs und andere, die ähnlich denken, ihre Ansichten über Marsmenschen ändern und würden sie es akzeptieren, wenn die Polizei aufhört, Marsmenschen zu filzen? Oder würden sie verlangen, dass die Polizei ihren Kampf gegen Drogendealer verdoppelt, weil sie ehrlich um ihre Sicherheit und die Zukunft ihrer Kinder fürchten? Und was würde die Polizei ohne Ihren Algorithmus tun? Würde sie anfangen, Marsmenschen und Zeta-Reticulaner mit der gleichen Häufigkeit und der gleichen Neutralität zu filzen, oder würde sie zu noch schlimmeren Vorurteilen als zuvor zurückkehren?
Google sah sich 2016 mit einer solchen Situation konfrontiert, als ein Reporter feststellte, dass die Forschungsergebnisse Hassreden verbreiteten – zum Beispiel, wenn ein Nutzer „Juden sind“ in die Suchmaschine eingab.2 Google fand eine einfache Lösung: Die automatische Vervollständigung wird nun für potenziell kontroverse Themen gesperrt.3 Leider gibt es nicht immer einen so einfachen Ausweg, wenn ein Algorithmus eine tiefe Voreingenommenheit widerspiegelt, die sich in die Gesellschaft eingeschlichen hat.
Die lange Antwort ist, dass Ihr Algorithmus Teil der Lösung werden könnte. In unserem kleinen Beispiel hat Ihr Algorithmus jetzt die oberste Entscheidungsgewalt darüber, wer gefilzt wird. Wenn Ihr Algorithmus in einer Weise geändert würde, die „gerechter“ ist, würde dies zu gerechteren Ergebnissen führen. Das große Problem ist, dass die Definition von Gerechtigkeit hier außerhalb des Bereichs der Statistik liegt.
Im dritten Teil dieses Buches werden wir daher eine breite Palette von Optionen für diese „lange Antwort“ in Betracht ziehen. Es könnte geniale Wege geben, um bessere Daten zu erheben, die die Voreingenommenheit übertrumpfen, oder es könnte einen demokratischen, politischen Prozess geben, um zu definieren, was die Wählerschaft als „Gerechtigkeit“ ansieht, als Grundlage, den Algorithmus und die auf ihm basierende Entscheidungslogik unabhängig von den Zwängen der Statistik gerechter zu gestalten.
Zusammenfassung
Wenn Verzerrungen in der realen Welt ihre eigene Realität geschaffen haben, verlieren statistische Verfahren ihre Fähigkeit, solche Verzerrungen von selbst zu beseitigen.
In solchen Situationen wird ein Algorithmus zu einem Komplizen, der Vorurteile verewigen und sie so immer tiefer in der Realität verankern kann.
Dennoch kann selbst ein voreingenommener Algorithmus das kleinere Übel im Vergleich zu einem menschlichen Entscheider sein, der noch schlimmere Vorurteile mit sich bringt.
Langfristig können Algorithmen sogar die Lösung für reale Verzerrungen sein, wie wir in Teil III dieses Buches (insbesondere in Kap. 16) ausführlich erörtern werden.