Vorurteile sind zweischneidige Schwerter. Wie Sie im nächsten Kapitel sehen werden, sind Vorurteile in der Regel kein Charakterfehler oder eine seltene Abweichung, sondern vielmehr der notwendige Preis dafür, dass der menschliche Verstand jeden Tag Tausende von Entscheidungen scheinbar mühelos und blitzschnell treffen kann. Haben Sie sich schon einmal darüber gewundert, wie Sie einem sich schnell bewegenden Objekt, z. B. einem Auto, das Sie zu überfahren drohte, in Sekundenbruchteilen entkommen konnten? Neurowissenschaftler und Psychologen haben begonnen, die Geheimnisse des Verstandes zu entschlüsseln, und haben herausgefunden, dass das Gehirn diese Geschwindigkeit nur durch zahlreiche Abkürzungen erreichen kann.Neigung oder Vorurteil für oder gegen eine Person oder Gruppe, insbesondere in einer Weise, die als ungerecht empfunden wird.
Eine Abkürzung bedeutet, dass der Verstand vorschnell eine Schlussfolgerung zieht (z. B. ein Gericht für ungenießbar oder einen Fremden für gefährlich hält), ohne alle Fakten gebührend zu berücksichtigen. Mit anderen Worten: Der Verstand nutzt Vorurteile, um schneller zu sein.
Die Verwendung von Vorurteilen bei der Entscheidungsfindung ist daher insofern ungerecht, als sie bestimmte Fakten, die für eine andere Entscheidung sprechen könnten, (absichtlich) außer Acht lässt. Wenn Ihr Partner beispielsweise einmal eine Bouillabaisse-Fischsuppe gegessen hat und ihm danach furchtbar übel wurde, wird er oder sie bestimmt nie wieder Bouillabaisse essen und sich vielleicht sogar weigern, die schöne Bouillabaisse zu probieren, die Sie gerade gekocht haben, wobei er oder sie geflissentlich die Tatsache ignoriert, dass Sie die Kochschule mit Auszeichnung absolviert und die besten und frischesten Zutaten gekauft haben, die im ganzen Land erhältlich sind.
Algorithmen sind mathematische Gleichungen oder andere logische Regeln zur Lösung eines bestimmten Problems, z. B. zur Entscheidung über eine binäre Frage (ja/nein) oder zur Schätzung einer unbekannten Zahl. Ähnlich wie das Gehirn in Sekundenbruchteilen Entscheidungen trifft, versprechen Algorithmen eine sofortige Antwort (in den meisten Fällen kann der Ergebniswert der Gleichung des Algorithmus in einem Bruchteil einer Sekunde berechnet werden), und sie sind auch eine Abkürzung, weil sie nur eine begrenzte Anzahl von Faktoren in einer vorgegebenen Weise berücksichtigen.
Auf einer Ebene sind Algorithmen eine Möglichkeit für Maschinen, menschliche Entscheidungsträger nachzuahmen oder zu ersetzen. So kann eine Bank, die jeden Monat Tausende von Kreditanträgen genehmigen muss, anstelle menschlicher Kreditsachbearbeiter einen von einem Computer angewandten Algorithmus einsetzen, um diese Kredite zu prüfen; der Grund dafür ist oft, dass ein Algorithmus sowohl schneller als auch billiger ist als ein Mensch.
Auf einer anderen Ebene können Algorithmen jedoch auch eine Möglichkeit sein, Verzerrungen zu verringern oder sogar zu beseitigen. Statistiker haben Techniken entwickelt, um Algorithmen speziell unter der Bedingung der Unvoreingenommenheit zu entwickeln. So ist beispielsweise die gewöhnliche Kleinstquadratregression (OLS) eine statistische Technik, die als BLUE definiert ist, die beste lineare unvoreingenommene Schätzung. Leider musste ich schreiben, dass Algorithmen Verzerrungen reduzieren oder beseitigen „können“ – Algorithmen können genauso voreingenommen oder sogar schlechter sein als menschliche Entscheidungen. Mehrere Kapitel dieses Buches sind der Erläuterung der vielen Möglichkeiten gewidmet, wie ein Algorithmus voreingenommen sein kann.
Im Zusammenhang mit Algorithmen sollte die Definition von Voreingenommenheit jedoch spezifischer sein. Für Probleme, die von Algorithmen gelöst werden, gibt es zumindest theoretisch eine richtige Antwort. Wenn ich zum Beispiel die Anzahl der Haare auf dem Kopf eines bekannten Präsidenten schätze, hat sie vielleicht noch niemand gezählt, aber jeder, der unbegrenzt Zeit und Zugang zu dem Präsidenten hat, könnte meine Schätzung von 107.817 Haaren überprüfen.
In den meisten Situationen (auch bei Präsidentschaftswahlen) ist die richtige Antwort zumindest a priori (d. h. zum Zeitpunkt der Anwendung des Algorithmus) nicht bekannt. Algorithmen sind daher oft eine Möglichkeit, Vorhersagen zu treffen. Durch Vorhersagen helfen Algorithmen, Unsicherheiten zu verringern und zu bewältigen. Wenn ich beispielsweise einen Kredit beantrage, weiß die Bank (noch) nicht, ob ich den Kredit zurückzahlen werde, aber wenn ein Algorithmus der Bank sagt, dass die Wahrscheinlichkeit, dass ich den Kredit nicht zurückzahle, 5 % beträgt, kann die Bank entscheiden, ob sie mit mir einen Gewinn macht, wenn sie mir den Kredit zu einem Zinssatz von 5,99 % gewährt, indem sie den erwarteten Verlust mit den Zinsen und anderen Kosten vergleicht, die der Bank entstehen. Dies ist ein typisches Beispiel für die Verwendung von Algorithmen: Algorithmen schätzen Wahrscheinlichkeiten für bestimmte Ereignisse (z. B. dass ein Kunde einen Kredit nicht zurückzahlt, ein Auto bei einem Unfall beschädigt wird oder eine Person erst am Ende der Laufzeit eines Lebensversicherungsvertrags stirbt), und diese Wahrscheinlichkeiten ermöglichen es einem Unternehmen, das Risiken übernimmt, auf der Grundlage eines objektiven Kriteriums für die erwartete risikoadjustierte Rendite eine Genehmigungs-/Ablehnungsentscheidung zu treffen.
Algorithmen werden in Situationen eingesetzt, in denen die Informationen unvollkommen sind (z. B. weiß der Algorithmus für die Kreditwürdigkeitsprüfung der Bank nichts über die Spielschulden, die ich gestern Abend gemacht habe, und er weiß auch nicht, ob mein Unternehmen mich nächsten Monat entlassen wird). Algorithmen können daher Fehler machen, sollten aber im Durchschnitt korrekt sein. Eine Verzerrung liegt vor, wenn der Durchschnitt aller Vorhersagen systematisch von der richtigen Antwort abweicht. Wenn der Algorithmus der Bank beispielsweise 10.000 verschiedenen Kunden eine Ausfallwahrscheinlichkeit von 5 % zuweist, würde man erwarten, dass 500 der 10.000 Kunden ausfallen werden (500/10.000 = 5 %). Wenn man die Situation untersucht und feststellt, dass in Wirklichkeit 10 % der Kunden säumig sind, der Algorithmus aber jedes Mal, wenn ein Antragsteller einen deutschen Pass hat, die wahre Schätzung um die Hälfte reduziert, ist der Algorithmus voreingenommen – in diesem Fall zugunsten der Deutschen. (Ist es ein Zufall, dass dieser Algorithmus von einem Deutschen entwickelt wurde?)
Systematische Fehler bei Vorhersagen – ob von Menschen oder Algorithmen gemacht – können schwerwiegende Folgen für Unternehmen haben, und leider kommen sie immer wieder vor. So wurden in einer Studie über Mega-Infrastrukturprojekte, in der 258 Projekte in 20 verschiedenen Ländern analysiert wurden, bei fast 9 von 10 Projekten Kostenüberschreitungen festgestellt, was auf eine systematische Unterschätzung der tatsächlichen Kosten hindeutet.2 Während der globalen Finanzkrise gingen Banken wie Northern Rock, Lehman Brothers und Washington Mutual unter, weil sie Kredit-, Markt- und Liquiditätsrisiken systematisch unterschätzt hatten.
Manchmal ist menschliche Voreingenommenheit daran schuld. Eine US-Bank verfügte beispielsweise über ein ökonomisches Kapitalmodell (ein ausgeklügeltes Modell zur Quantifizierung der „unerwarteten Verluste“ eines bestimmten Portfolios, die zu einem Bank-Run oder Konkurs führen können), das vor der globalen Finanzkrise auf die übergroßen Risiken hinwies, die bei nachrangigen Hypotheken drohten, indem es unerwartete Verluste schätzte, die um ein Vielfaches höher waren als die erwarteten Verluste; tragischerweise glaubte die Geschäftsleitung diese Schätzungen nicht, weil sie unerwartete Verluste gewohnt war, die in ihrer Größenordnung viel näher an den erwarteten Verlusten lagen, und daher das Modell für fehlerhaft hielt.
In anderen Fällen sind jedoch die Algorithmen selbst fehlerhaft. So kaufte eine asiatische Bank ein Scoring-Modell für Verbraucherkreditkarten, das den Nutzungsgrad der Karte als einen Faktor zur Vorhersage eines Zahlungsausfall betrachtete. Die Algorithmen gingen davon aus, dass Kunden mit einer geringen Nutzung (z. B. nur 10 % des Kreditlimits) sicherer waren als Kunden mit einer hohen Nutzung; für sichere Kunden erhöhte der Algorithmus das Limit. Dies führte jedoch zu einem zirkulären Bezug: In dem Moment, in dem der Algorithmus das Kreditlimit erhöhte, sank die Auslastung (berechnet durch Division des aktuellen Kreditsaldos durch das Kreditlimit), was den Algorithmus dazu veranlasste, das Limit weiter zu erhöhen (bei einem Kreditsaldo von 10 und einem Limit von 100 lag die Auslastung also bei 10 %; erhöhte das System das Limit um 25 % von 100 auf 125, sank die Auslastung auf 8 % (= 10/125), was eine weitere Erhöhung des Limits auslöste, und so weiter). Dies geschah so lange, bis die Kreditlimits stratosphärische Höhen erreichten, die die Möglichkeiten der Kunden zur Rückzahlung an die Bank völlig überstiegen. Als immer mehr Kunden begannen, ihre sehr hohen Kreditlimits tatsächlich zu nutzen, fielen natürlich viele aus, und die Bank ging fast in Konkurs, nachdem sie mehr als eine Milliarde USD an uneinbringlichen Forderungen abgeschrieben hatte.
Algorithmische Verzerrungen gibt es in allen möglichen Formen und Farben. Im Jahr 2016 veröffentlichte ProPublica einen Forschungsbericht, aus dem hervorging, dass COMPAS, ein Algorithmus, der von US-Behörden verwendet wird, um die Wahrscheinlichkeit einer erneuten Straftat eines Kriminellen abzuschätzen, rassistisch gegen Schwarze eingestellt ist.3 Das MIT berichtete, dass Algorithmen zur Verarbeitung natürlicher Sprache sexistisch sind, da sie Programmierer mit Männern und „home-maker“, was im Englischen sowohl Hausmann als auch Hausfrau bedeuten kann, einseitig mit Frauen assoziieren.4 Und Untersuchungen aus dem Jahr 2014 haben gezeigt, dass die Einstellung des Nutzerprofils auf „weiblich“ in den Anzeigeneinstellungen von Google dazu führen kann, dass weniger gut bezahlte Stellenangebote in den Anzeigen erscheinen.5 Da immer mehr Entscheidungen von Algorithmen getroffen werden – mit Auswirkungen auf Verbraucher, Unternehmen, Mitarbeiter, Regierungen, die Umwelt und sogar auf Haustiere und unbelebte Gegenstände –, nehmen die Gefahren und Auswirkungen algorithmischer Voreingenommenheit von Tag zu Tag zu. Dies ist jedoch nicht zwangsläufig der Fall – Voreingenommenheit ist lediglich ein Nebeneffekt der Funktionsweise eines Algorithmus und somit ein Nebenprodukt bewusster und unbewusster Entscheidungen, die von den Entwicklern und Nutzern von Algorithmen getroffen werden. Diese Entscheidungen können überprüft und geändert werden, um algorithmische Verzerrungen zu verringern oder sogar zu beseitigen.
In diesem Buch geht es um algorithmische Verzerrungen. Zunächst einmal wollen wir besser verstehen, was sie sind, woher sie kommen und wie sie wichtige Entscheidungen beeinträchtigen können. Zweitens wollen wir den Schaden eindämmen, indem wir untersuchen, wie man mit algorithmischer Voreingenommenheit umgehen kann – sei es als Nutzer oder als Regulierer. Und drittens wollen wir untersuchen, wie sogenannte Datenwissenschaftler (Data Scientists), also die Entwickler von Algorithmen, algorithmische Voreingenommenheit verhindern können.
Der erste Teil, Kap. 2–5, führt in das Thema ein. Ich beginne mit einem kurzen Überblick über die Psychologie und die menschlichen Vorurteile bei Entscheidungen, da algorithmische Vorurteile diese mehr widerspiegeln, als man auf den ersten Blick sieht (Kap. 2), und erörtere, wie Algorithmen helfen können, solche Vorurteile bei Entscheidungen zu beseitigen (Kap. 3). Da viele Leser dieses Buches Laien und keine Datenwissenschaftler sind, werde ich anschließend erläutern, wie die Wurst gemacht wird, d. h. wie Algorithmen entwickelt werden (Kap. 4), und entmystifizieren, was hinter dem maschinellen Lernen („Machine Learning“ auf Englisch) steckt (Kap. 5).
Im zweiten Teil des Buches, den Kap. 6–11, wird untersucht, woher algorithmische Verzerrungen kommen. In Kap. 6 wird untersucht, wie Vorurteile in der realen Welt durch Algorithmen widergespiegelt (anstatt korrigiert) werden können. Kap. 7 befasst sich mit der Person des Datenwissenschaftlers und der Frage, wie die eigenen (menschlichen) Voreingenommenheiten des Datenwissenschaftlers zu algorithmischen Verzerrungen führen können. Kap. 8 befasst sich eingehender mit der Rolle der Daten, und in Kap. 9 wird untersucht, wie die Natur der Algorithmen zur so genannten Stabilitäts-Verzerung (stability bias) führt. Kap. 10 befasst sich mit neuen Verzerrungen, die durch statistische Artefakte entstehen, und Kap. 11 taucht tief in die sozialen Medien ein, wo sich menschliches Verhalten und algorithmische Verzerrungen auf besonders teuflische Weise gegenseitig verstärken können.
Der dritte Teil des Buches, die Kap. 12–17, befasst sich mit der algorithmischen Verzerrung aus der Sicht des Nutzers. Zunächst wird kurz erörtert, ob ein Algorithmus tatsächlich verwendet werden sollte oder nicht (Kap. 12) und wie die Schwere des Risikos der algorithmischen Verzerrung für ein bestimmtes Entscheidungsproblem zu bewerten ist (Kap. 13). Kap. 14 gibt einen Überblick über Techniken, mit denen man sich vor algorithmischer Verzerrung schützen kann. In Kap. 15 werden Techniken zur Diagnose von algorithmischer Voreingenommenheit beschrieben, und in Kap. 16 werden Managementstrategien zur Überwindung von Voreingenommenheit erörtert, die in einem Algorithmus (wenn auch nicht im wirklichen Leben) verankert ist. In Kap. 17 wird erörtert, wie Nutzer von Algorithmen einen entscheidenden Beitrag zur Entschärfung von algorithmischen Vorurteilen leisten können, indem sie unvoreingenommene Daten produzieren.
Der vierte Teil des Buches, Kap. 18–23, befasst sich mit Datenwissenschaftlern, die Algorithmen entwickeln. Kap. 18 gibt einen Überblick über die verschiedenen Möglichkeiten, wie sich Datenwissenschaftler vor algorithmischen Verzerrungen schützen können. Kap. 19 befasst sich eingehend mit spezifischen Techniken zur Identifizierung verzerrter Daten. In Kap. 20 wird erörtert, wie man bei der Entwicklung eines Algorithmus zwischen maschinellem Lernen und anderen statistischen Verfahren wählen kann, um algorithmische Verzerrungen zu minimieren, und Kap. 21 baut darauf auf, indem es hybride Ansätze vorschlägt, die das Beste aus beiden Welten kombinieren. In Kap. 22 wird erörtert, wie die in diesem Buch vorgestellten Debiasing-Techniken für selbstverbessernde maschinelle Lernmodelle angepasst werden können, die eine fortlaufende Validierung in Echtzeit erfordern. Und Kap. 23 nimmt die Perspektive einer großen Organisation ein, die zahlreiche Algorithmen entwickelt, und beschreibt, wie die besten Praktiken zur Vermeidung algorithmischer Verzerrungen in einen robusten Modellentwicklungs- und -einsatzprozess auf institutioneller Ebene eingebettet werden können.