Wie Sie in den folgenden Kapiteln sehen werden, haben algorithmische Verzerrungen ihren Ursprung in menschlichen kognitiven Verzerrungen oder spiegeln diese in vielerlei Hinsicht wider. Der beste Weg, algorithmische Voreingenommenheit zu verstehen, ist daher, menschliche Voreingenommenheit zu verstehen. Auch wenn „Voreingenommenheit“ umgangssprachlich oft als etwas Schlechtes angesehen wird, das rücksichtsvolle, wohlmeinende Menschen meiden würden, so ist sie doch ein zentraler Bestandteil der Arbeitsweise des menschlichen Gehirns. Der Grund dafür ist, dass die Natur drei konkurrierende Ziele gleichzeitig verfolgen muss: Genauigkeit, Geschwindigkeit und (Energie-)Effizienz.
Genauigkeit ist ein offensichtliches Ziel. Wenn Sie auf der Jagd nach Beute sind, aber ein schlecht funktionierendes kognitives System Sie dazu bringt, in jedem zweiten Baumstamm oder Felsen, auf den Sie stoßen, ein Tier zu sehen, wird es Ihnen offensichtlich schwer fallen, etwas Essbares zu erlegen.
Die Schnelligkeit hingegen wird oft übersehen. Das Überleben in der Wildnis ist oft eine Frage von Millisekunden. Wenn ein Tiger in Ihrem Blickfeld auftaucht, dauert es mindestens 200 Millisekunden, bis Ihr Frontallappen – der Ort des logischen Denkens im Gehirn – erkennt, dass Sie einen Tiger anstarren. Zu diesem Zeitpunkt kann es durchaus sein, dass sich der Tiger bereits auf Sie stürzt, und kurz darauf haben Sie Ihr Leben als Frühstück des Tigers beendet. Unser Überleben als Spezies hing wahrscheinlich davon ab, dass es der Natur gelungen ist, die Zeit, in der der Flucht-oder-Kampf-Reflex einsetzt, auf 30–40 Millisekunden zu verkürzen – nur 160 Millisekunden Unterschied zwischen dem Aussterben und dem Aufstieg zur Krone der Schöpfung (wie manche behaupten)! Wie John Coates in seinem Buch The Hour Between Dog and Wolf (Die Stunde zwischen Hund und Wolf) sehr detailliert beschreibt, musste die Natur (1) eine verblüffende Reihe von Verbesserungen und Tricks anwenden, um dies zu erreichen. Ein wichtiger Aspekt der Lösung: Im Zweifelsfall sollte man annehmen, dass man einen Tiger sieht. Wie Sie sehen werden, sind Vorurteile also ein wichtiger Bestandteil des Werkzeugkastens der Natur, um Entscheidungen zu beschleunigen.
Effizienz ist der am wenigsten bekannte Aspekt des Denkens und der Entscheidungsfindung in der Natur. Wahrscheinlich sind Sie in dem Glauben aufgewachsen, dass logisches, bewusstes Denken alles ist, was Ihr Gehirn leistet. Von wegen! Die meisten Denkvorgänge laufen in Wirklichkeit unbewusst ab. Selbst das, was sich wie bewusstes Denken anfühlt, ist oft ein Hin und Her zwischen bewusstem und unterbewusstem Denken. Stellen Sie sich zum Beispiel vor, Sie möchten heute Abend essen gehen. Für welches Restaurant würden Sie sich entscheiden? Bitte halten Sie hier inne und treffen Sie tatsächlich eine Entscheidung! Sind Sie bereit? Haben Sie Ihre Wahl getroffen? GUT. War es eine bewusste oder unbewusste Entscheidung? Wahrscheinlich sind Ihnen ein paar Optionen eingefallen und Sie haben dann bewusst eine Wahl getroffen. Aber wie ist diese kurze Liste von Optionen, die Sie in Betracht gezogen haben, zustande gekommen? Haben Sie eine Tabelle erstellt, um die Dutzenden oder Tausende von Restaurants in Ihrer Stadt akribisch durchzugehen, sie nach sorgfältig ausgewählten Kriterien zu bewerten und dann eine Entscheidung zu treffen? Oder ist Ihnen auf magische Weise eine recht kleine Auswahl an Restaurants eingefallen? Das ist ein Beispiel dafür, dass Ihr Unterbewusstsein Ihrem bewussten Denken auf die Sprünge hilft – es hat Ihnen die Entscheidung für ein Restaurant sehr erleichtert, indem es die Auswahl auf eine relativ kurze Liste reduziert hat.
Der Grund, warum die Natur so sehr auf Effizienz bedacht ist, liegt darin, dass Ihr logisches, bewusstes Denken erschreckend ineffizient ist. Das durchschnittliche Gehirn macht weniger als 2 % des Körpergewichts eines Menschen aus, verbraucht aber 20 % der Energie des Körpers.2 Das bedeutet, dass 20 % der Nahrung, die Sie aufnehmen und verdauen, allein für die Versorgung Ihres Gehirns verwendet werden! Das ist eine Menge Energie für einen so kleinen Teil des Körpers. Und der größte Teil dieser Energie wird durch das logische Denken verbraucht (im Gegensatz zur fast mühelosen unterbewussten Mustererkennung). So wie moderne Flugzeuge und Schiffe über alle möglichen technischen Raffinessen verfügen, um den Energieverbrauch zu senken, hat auch Mutter Natur alle möglichen Mechanismen in das Gehirn eingebaut, um den Energieverbrauch durch logisches Denken zu minimieren (damit man nicht 20 Steaks pro Tag essen muss). Es überrascht nicht, dass sie dadurch auch allerhand Verzerrungen eingeführt hat.
Wenn man alle in der psychologischen Literatur beschriebenen Vorurteile sammelt, kommt man auf über 100 davon.3 Viele von ihnen sind jedoch spezifische Anwendungen grundlegenderer Prinzipien der Funktionsweise des Gehirns, und daher haben mehrere Autoren die Literatur auf 4–5 Haupttypen von Vorurteilen reduziert. Mir persönlich gefällt die von Dan Lovallo und meinem ehemaligen Kollegen Olivier Sibony entwickelte Systematik:4 Sie unterscheiden zwischen handlungsorientierten, stabilitätsbezogenen, mustererkennenden, interessensbezogenen und sozialen Effekten. Ich werde mich lose an diesen Rahmen halten, wenn ich im Folgenden einige der wichtigsten Vorurteile erörtere, die für das Verständnis der algorithmischen Verzerrung erforderlich sind.
Handlungsorientierte Voreingenommenheit
Handlungsorientierte Neigungen spiegeln die Einsicht der Natur wider, dass Schnelligkeit oft der König ist. Was glauben Sie, wer in der Wildnis eher überleben wird? Der umsichtige Planer, der eine 20-seitige Risikobewertung erstellt und mindestens fünf verschiedene Reaktionsmöglichkeiten durchdenkt, bevor er entscheidet, ob Kampf oder Flucht die bessere Reaktion auf den Tiger wäre, der gerade fünf Meter vor ihm aufgetaucht ist, oder der Draufgänger, der sich in einem Sekundenbruchteil entscheidet, gegen den Tiger zu kämpfen?
Eine Reihe von Vorurteilen veranschaulicht die Art der handlungsorientierten Vorurteile. Zunächst einmal lenken Vorurteile wie der von-Restorff-Effekt (Konzentration auf den einen Gegenstand, der sich von den anderen vor uns abhebt) und der Bizarrheitseffekt (Konzentration auf den Gegenstand, der sich am meisten von dem unterscheidet, was wir zu sehen erwarten haben) unsere Aufmerksamkeit auf den gelben Pelz unter all den Büschen und Bäumen um uns herum; übermäßiger Optimismus und übermäßiges Selbstvertrauen dämpfen dann die Selbstzweifel, die zu tödlichem Zögern führen könnten.
Der Bizarrheits-Effekt kann unsere Wahrnehmung verzerren, so wie Ausreißer und Leverage-Punkte einen übergroßen Effekt bei der Schätzung der Koeffizienten eines Algorithmus haben können. Der Grund dafür ist die Verfügbarkeitsverzerrung: Wenn wir uns an einen bestimmten Datenpunkt leichter erinnern als an andere Datenpunkte (z. B. weil er sich von den meisten anderen Datenpunkten abhebt), überschätzen wir die Repräsentativität des besonders einprägsamen Datenpunkts. Dies kann erklären, warum z. B. ein einziger Vorfall, bei dem ein Ausländer ein spektakuläres Verbrechen begeht, unsere Wahrnehmung von Menschen mit der Nationalität dieses Ausländers stark verzerren kann, was zu unverhältnismäßiger Feindseligkeit und Aggression gegen sie führt.
Übermäßiges Selbstvertrauen verdient unsere besondere Aufmerksamkeit, weil es auch erklärt, warum nicht genug gegen Vorurteile im Allgemeinen und algorithmische Verzerrungen im Besonderen getan wird. Viele Forscher haben Selbstüberschätzung nachgewiesen, indem sie Menschen gefragt haben, wie sie sich mit anderen vergleichen.5 So glaubten beispielsweise 70 % der befragten Gymnasiasten, dass sie „überdurchschnittliche“ Führungsqualitäten haben, aber nur 2 %, dass sie „unterdurchschnittlich“ sind (wobei per Definition jeweils etwa 50 % unter- bzw. überdurchschnittlich sein müssten). Bei der Fähigkeit, mit anderen auszukommen, glaubten sogar 60 %, zu den besten 10 % und 25 %, zu den besten 1 % zu gehören. Ähnliche Ergebnisse wurden für technische Fähigkeiten wie Autofahren und Softwareprogrammierung gefunden. Überoptimismus ist im Wesentlichen die gleiche Voreingenommenheit, wird aber auf die Bewertung von Ergebnissen und Ereignissen angewandt, z. B. darauf, ob ein großes Bauprojekt sein Kostenbudget einhalten kann.
Was bedeutet das für die Bekämpfung von Voreingenommenheit? Selbst wenn Menschen die Tatsache akzeptieren, dass andere voreingenommen sein könnten, überschätzen sie ihre eigene Fähigkeit, bei Entscheidungen ihren Vorurteilen zu widerstehen – und widersetzen sich daher Bemühungen anderer, ihre eigenen Vorurteile zu entkräften. Da die meisten Menschen zu optimistisch sind, kann es leicht zu einer Situation kommen, in der die meisten Menschen akzeptieren, dass es Vorurteile gibt, sich aber trotzdem weigern, etwas dagegen zu unternehmen.
Ein weiterer faszinierender Aspekt der Forschung zum Überoptimismus: Dieser wurde nur in der westlichen Kultur gefunden, nicht aber im Fernen Osten.6 Dies zeigt, dass sowohl die Persönlichkeit des Einzelnen als auch die allgemeine Kultur eines Landes (oder eines Unternehmens/einer Organisation) einen Einfluss auf die Art und Weise haben, wie wir Entscheidungen treffen, und somit auch auf Vorurteile. Eine Voreingenommenheit, die wir in einem bestimmten Kontext beobachten, tritt in einem anderen möglicherweise nicht auf – stattdessen können andere Voreingenommenheiten auftreten.
Ein hervorragendes Exempel für Selbstüberschätzung ist die Tatsache, dass ich schreibe, dass die meisten Menschen aufgrund ihrer Selbstüberschätzung nichts gegen ihre Vorurteile unternehmen – aber ich trotzdem ein Buch verfasse, wie man Verzerrungen von Algorithmen bekämpft, weil ich irgendwie dennoch glaube, dass ich trotz aller Widrigkeiten in der Lage sein werde, die menschliche Voreingenommenheit meiner Leser zu überwinden und sie dafür zu gewinnen, meine Vorschläge umzusetzen. Ich weiß aber auch, dass Sie, liebe Leserin, lieber Leser, anders sind als der Durchschnittsleser und viel eher dazu neigen, tatsächlich Maßnahmen zu ergreifen als andere. Lassen Sie mich daher nur darauf hinweisen, dass Sie, um Ihrem wohlverdienten positiven Selbstbild gerecht zu werden, noch heute einen Aktionsplan aufstellen sollten, wie Sie die Erkenntnisse und Empfehlungen aus diesem Buch in Ihrer täglichen Arbeit anwenden werden, und damit aktiv dem verlockenden Glauben widerstehen, dass Sie gegen Voreingenommenheit immun sind, so dass Sie nicht die hohen Erwartungen von uns beiden in unsere jeweiligen Fähigkeiten enttäuschen.☺
Stabilitätsverzerrungen
Stabilitätsvorurteile sind eine Möglichkeit für die Natur, effizient zu sein. Stellen Sie sich vor, Sie wären der einzige Besucher einer Matinee-Vorstellung eines Kunstfilms – Sie könnten sich also buchstäblich jeden der 200 Plätze aussuchen. Was würden Sie tun: alle 30 Sekunden aufspringen, um einen anderen auszuprobieren, oder sich auf einem Sitz niederlassen und ihn höchstens ein- oder zweimal wechseln, um vielleicht mehr Beinfreiheit zu gewinnen oder der kalten Brise einer unangenehmen Klimaanlage zu entkommen? Aus Sicht der Natur haben Sie jedes Mal, wenn Sie nur daran denken, den Sitzplatz zu wechseln, bereits geistigen Treibstoff verbraucht, und wenn Sie tatsächlich aufstehen, um den Sitzplatz zu wechseln, verbrauchen Ihre Muskeln teure Energie, ganz zu schweigen davon, dass Sie vielleicht die beste Szene des Films verpassen. Eine Reihe von Vorurteilen versucht, die Verschwendung geistiger und körperlicher Ressourcen zu verhindern, indem sie Sie am Status quo „festhalten“.
Beispiele für diese Voreingenommenheit sind die Status-quo-Voreingenommenheit und die Verlustaversion. Man mag den Platz, auf dem man sitzt, lieber als andere Plätze, einfach weil es der Status quo ist – und man hasst die Vorstellung, ihn zu verlieren. In Experimenten mit Kaffeebechern und Kugelschreibern von Universitäten wurde gezeigt, dass der Mindestpreis, zu dem Sie bereit sind, einen Gegenstand zu verkaufen, sobald er sich in Ihrem Besitz befindet (d. h., Sie mit dem Gegenstand „ausgestattet“ sind), etwa doppelt so hoch ist wie der Höchstpreis, den Sie für den Gegenstand bei Neuanschaffung zu zahlen bereit wären.7
Während Wirtschaftswissenschaftler eine solche Situation als irrational und abnormal betrachten, erscheint sie aus der Sicht der Natur vollkommen vernünftig – die Natur möchte, dass Sie sich entweder ausruhen oder produktivere Dinge tun, als mit unbedeutenden Gegenständen zu handeln, die nur einen geringen persönlichen Gewinn bringen! Manchmal schießt diese Status-quo-Einstellung jedoch über das Ziel hinaus. Zum Beispiel weisen Unternehmensentscheidungen bei der jährlichen Budgetierung eine sehr starke Tendenz zum Status quo auf, wobei eine Analyse eine 90-prozentige Korrelation bei den Budgetzuweisungen Jahr für Jahr (für einzelne Abteilungen oder Referate) ergab. Dadurch konnte zwar eine erbitterte Debatte über die Streichung von Budgets aus einigen Abteilungen vermieden werden, aber diese Stabilität hat enorme wirtschaftliche Kosten zur Folge: Unternehmen mit einer dynamischeren Budgetzuweisung wachsen doppelt so schnell wie solche, die sich dem Status quo beugen.8
Eine weitere wichtige Stabilitätsverzerrung ist der Verankerungseffekt. Ökonometriker, die sich mit Zeitreihenmodellen befassen, sind oft überrascht, wie gut das so genannte naive Modell funktioniert9 – für viele Zeitreihen ist der Wert der aktuellen Periode ein hervorragender Prädiktor für den Wert der nächsten Periode, und viele komplexe Zeitreihenmodelle übertreffen dieses naive Modell kaum. Die Natur muss dies bemerkt haben, denn wenn Menschen eine Schätzung vornehmen, stützen sie sich oft stark auf den ihnen vorliegenden Anfangswert und nehmen nur geringfügige Anpassungen vor, wenn sich im Laufe der Zeit neue Informationen ergeben. Manchmal führt diese Voreingenommenheit jedoch ernsthaft in die Irre – nämlich dann, wenn der Ausgangswert komplett falsch oder einfach zufällig ist. Eine beliebte Demonstration des Verankerungseffekts besteht darin, die Teilnehmer aufzufordern, die letzten beiden Ziffern ihrer Sozialversicherungs- oder Telefonnummer aufzuschreiben, bevor sie den Preis eines Gegenstands schätzen, z. B. einer Flasche Wein oder einer Schachtel Pralinen. Obwohl es offensichtlich keinerlei Zusammenhang zwischen diesen Zahlen und dem Preis des Artikels gibt, schätzen diejenigen, die hohe Zahlen aufschreiben, die Preise durchweg 60 bis 120 Prozent höher ein als diejenigen mit niedrigen Zahlen.10
Verzerrungen bei der Erkennung von Mustern
Die Verzerrungen bei der Mustererkennung haben mit einem sehr lästigen Problem unserer Wahrnehmung zu tun: Viele unserer Sinneswahrnehmungen sind unvollständig, und es gibt eine Menge Rauschen in dem, was wir wahrnehmen. Stellen Sie sich vor, als Sie das letzte Mal mit jemandem gesprochen hatten – wahrscheinlich ist das erst ein paar Minuten her, vielleicht haben Sie mit dem Zugführer oder dem Flugbegleiter gesprochen, wenn Sie dieses Buch unterwegs lesen. Denken Sie an einen gehaltvollen, informationsreichen Satz, den Ihr Gesprächspartner mitten im Gespräch gesagt hat. Es ist gut möglich, dass ein Teil des Satzes durch ein lautes Geräusch (z. B. das Niesen einer anderen Person) völlig übertönt wurde, dass mehrere Silben gemurmelt wurden, oder dass Sie einen Teil des Satzes verpasst haben, weil Sie auf Ihr Telefon geschaut haben. Haben Sie die Person gebeten, den Satz zu wiederholen? Oder haben Sie irgendwie trotzdem eine gute Vorstellung davon, was die Person gesagt hat? Sehr oft ist Letzteres der Fall – dank der erstaunlichen Fähigkeit unseres Gehirns, „Lücken zu füllen“. Unsere Gehirne sind sehr gut im Raten – aber manchmal sind diese Vermutungen systematisch falsch, und das ist der Bereich der Mustererkennungsfehler.
Verzerrungen bei der Mustererkennung sind für dieses Buch besonders relevant, da die Mustererkennung im Wesentlichen die Aufgabe von Algorithmen ist.
Um das Problem zu lösen, aus verrauschten, unvollständigen Daten (seien es visuelle oder andere sinnliche Wahrnehmungen oder tatsächliche Daten wie ein Bericht eines Management-Informationssystems voller klein gedruckter Tabellen) sinnvolle Schlüsse zu ziehen, muss das Gehirn Regeln entwickeln. Systematische Fehler (d. h. Verzerrungen) treten auf, wenn entweder die Regeln falsch sind oder eine Regel falsch angewendet wird.
Der „Texas Sharpshooter“-Trugschluss ist ein Beispiel für eine fehlerhafte Regel. Ihr Gehirn sieht Regeln (d. h. Muster) in den Daten, wo keine vorhanden sind. Dies könnte viele Aberglauben erklären. Wenn eine Verkäuferin dreimal hintereinander ein Geschäft abschließt, während sie ein rotes Halstuch trägt, das sie von ihrem Mann zum Geburtstag bekommen hat, könnte das Gehirn zu dem Schluss kommen, dass es sich um ein „Glückshalstuch“ handelt. Interessanterweise hat das Gehirn vielleicht gar nicht so Unrecht – es ist möglich, dass die Farbe Rot eine psychologische Wirkung auf Käufer hat, die die Wahrscheinlichkeit eines Geschäftsabschlusses erhöht –, aber drei abgeschlossene Geschäfte sind eine statistisch unbedeutende Stichprobe und viel zu wenig Daten, um daraus eine zuverlässige Schlussfolgerung zu ziehen. Dies veranschaulicht, dass die Natur bei der Mustererkennung stark von einer „lieber auf Nummer sicher gehen“-Mentalität geprägt ist – wie oft muss der Nachbarshund Sie beißen, damit Sie zu dem Schluss kommen, dass Sie diesem süßen Hündchen besser nicht zu nahe kommen? Umgekehrt ist das Gehirn so verdrahtet, dass es denkt: Selbst wenn die Wahrscheinlichkeit gering ist, dass das rote Halstuch hilft, warum sollte man ein großes Risiko eingehen, wenn man es nicht trägt?
Confirmation Bias kann ein Komplize des Texas Sharpshooter Trugschlusses sein und ist die Art und Weise, wie die Natur bei der Erkennung von Mustern effizient ist. Der Bestätigungsfehler kann als ein „hypothesengesteuerter“ Ansatz zum Sammeln von Datenpunkten betrachtet werden. Das bedeutet, dass Sie, wenn Sie eine Hypothese haben (z. B. dass Sie bereits davon überzeugt sind, dass es eine gute Idee war, dieses Buch zu kaufen), dazu neigen, neue Daten auszuwählen, die Ihre Überzeugung bestätigen (z. B. loben Sie die Fünf-Sterne-Rezension dieses Buches für ihre brillanten Einsichten), und widersprüchliche Daten zurückweisen (z. B. bezeichnen Sie den Autor der Ein-Stern-Rezension als Idioten – natürlich zu Recht, wie ich anmerken möchte!). Hinter dem Confirmation Bias scheint der Wunsch der Natur zu stehen, schnell zu einer Entscheidung zu kommen und den kognitiven Aufwand zu verringern. Laborexperimente haben gezeigt, dass die Teilnehmer mit größerer Wahrscheinlichkeit Nachrichtenartikel lesen, die ihre Ansichten unterstützen, als solche, die ihnen widersprechen. Sie werden daher in Kap. 11 über algorithmische Verzerrungen in sozialen Medien auf den Confirmation Bias als zentralen Feind stoßen.
Bestätigungsvorurteile können auch die Art und Weise beeinflussen, wie wir „verrauschte“ Informationen verarbeiten. Stellen Sie sich die oben erwähnte Interaktion mit einer Flugbegleiterin oder einem Zugbegleiter vor. Sie fragt Sie nach dem Buch, das Sie gerade lesen, und Sie zeigen ihr stolz das Cover dieses Buches. Gerade als sie antwortete, übertönte ein lautes Geräusch einen Teil ihres Satzes. Es gibt keine Möglichkeit festzustellen, ob sie gesagt hat: „Ich habe das Buch geliebt!“ oder „Ich habe das Buch verabscheut!“ Außer, dass Sie wahrscheinlich „gehört“ haben, dass sie das Buch geliebt hat. Das liegt daran, dass Ihr Gehirn natürlich erwartet hätte, dass sie das sagt, und ein nicht eindeutiger Laut würde automatisch und unbewusst durch den erwarteten Inhalt ersetzt werden.
Die Stereotypisierung ist eine Erweiterung des Bestätigungsfehlers und ein Beispiel für eine Voreingenommenheit, bei der eine Regel übermäßig starr angewendet wird. Stellen Sie sich zunächst vor, dass Sie in einem schicken Restaurant sitzen. Der Kellner hat gerade die Rechnung an den Tisch neben Ihnen gebracht, als ein stattlicher, älterer, weißer Mann einen schwarzen Gegenstand aus seiner Hose zieht. Was denken Sie, was es ist? Sie haben wahrscheinlich an eine Brieftasche gedacht. Nun stellen Sie sich vor, dass ein Polizeiauto an einer sichtlich verstörten Frau vorbeifährt, die am Straßenrand liegt. Als das Polizeiauto vorbeifährt, ruft die Frau: „Meine Geldbörse, meine Geldbörse!“ und winkt in die Luft. In diesem Moment werden die Polizeibeamten auf einen jungen schwarzen Mann aufmerksam, der in der Nähe in Richtung einer U-Bahn-Station läuft. Sie rennen sofort hinter dem Mann her, rufen „Stopp! Polizei!“ und zielen mit ihren Gewehren auf den Mann. Als der Mann die Stufen zum Eingang der U-Bahn-Station erreicht, zieht er einen schwarzen Gegenstand aus seiner Tasche. Was ist das? Wenn Sie an eine Pistole gedacht haben (und nicht an die Brieftasche mit dem U-Bahn-Pass, den der Mann schnell hervorholen muss, wenn er seinen Zug nicht verpassen und somit zu spät zu seiner Klavierstunde kommen will), dann sind Sie Opfer einer Stereotypisierung geworden. Aufgrund des Kontextes der Situation hat Ihr Gehirn bereits einige Erwartungen, was als Nächstes passieren könnte. Eine Person in einem Restaurant, die gerade eine Rechnung erhalten hat, wird wahrscheinlich eine Brieftasche, eine Kreditkarte oder ein Bündel Geldscheine aus der Tasche ziehen; eine Person, die offenbar einen Raubüberfall begangen hat, wird wahrscheinlich ein Messer, eine Pistole oder eine Handgranate aus der Tasche ziehen, wenn sie versucht, vor der Polizei zu fliehen. Wenn das Gehirn nur weiß, dass ein „schwarzer Gegenstand“ aus der Tasche gezogen wird, „füllt es die Lücken“ auf der Grundlage dieser stereotypen Ansichten darüber, was eine Person in einem solchen Kontext am wahrscheinlichsten in ihrer Tasche hat. Das Dilemma ist, dass diese Vermutung falsch sein könnte. Es liegt auf der Hand, dass ein Polizeibeamter, der einen Verdächtigen in dem Moment erschießt, in dem ein schwarzer Gegenstand aus der Tasche gezogen wird, mit geringerer Wahrscheinlichkeit erschossen wird und somit eher überlebt als ein vorsichtigerer und bedächtigerer Beamter, der erst dann abdrückt, wenn der Verdächtige ohne jeden Zweifel eine Waffe auf ihn gerichtet hat, so dass die Evolution nicht gerade der größte Fan eines ordnungsgemäßen Ermittlungsverfahrens war. Wenn der Beamte jedoch einen Unschuldigen erschießt, weil dieser in den Augen des Beamten wie ein „stereotypischer“ Räuber aussieht, haben die List und die Voreingenommenheit der Natur auf tragische Weise ein Leben gefordert.
Dieses Beispiel weist auch auf die nüchterne Tatsache hin, dass die Entwicklung und Nutzung von Algorithmen uns manchmal vor schwerwiegende ethische Dilemmata stellen kann – sei es die Verweigerung der Menschenrechte für mutmaßliche Terroristen, die Entscheidung, einem verurteilten Verbrecher Bewährung zu gewähren, oder die Programmierung von selbstfahrenden Autos für eine Situation, in der ein tödlicher Zusammenstoß mit Fußgängern unvermeidlich ist, das Auto aber entscheiden kann, welchen von mehreren Fußgängern es überfährt. Wie in einer klassischen Tragödie, in der der Held zwischen zwei gleichermaßen katastrophalen Wegen wählen muss, müssen Algorithmen manchmal dazu programmiert sein, in die eine oder andere Richtung zu gehen, und die „Voreingenommenheit“, die wir letztendlich in den Algorithmus einbetten, spiegelt unsere beste Einschätzung dessen wider, was in diesem Fall die ethischste Entscheidung ist.
Interessenbedingte Verzerrungen
Interessenbedingte Verzerrungen gehen über bloße heuristische Abkürzungen hinaus. Während Handlungs-, Stabilitäts- und Mustererkennungsvoreingenommenheit einfach darauf abzielen, die „richtige“ Entscheidung so genau, schnell und effizient wie möglich zu treffen, berücksichtigen Interessenvoreingenommenheit ausdrücklich die Frage „Was will ich?“. Denken Sie einen Moment lang an ein mittelmäßiges Restaurant in Ihrer Umgebung, in das Sie nur ungern gehen würden. Stellen Sie sich nun vor, ein Freund würde Sie bitten, morgen zum Mittagessen dorthin zu gehen. Welche Gedanken kommen Ihnen in den Sinn? Hätten Sie schnell gedacht: „Lieber nicht – wie wäre es, wenn wir ins … gehen?“ Stellen Sie sich nun vor, dass Ihr Kreditkartenunternehmen Ihnen ein fantastisches Angebot gemacht hat: Wenn Sie bis Ende der Woche ein Essen für zwei Personen in diesem mittelmäßigen Restaurant auf Ihre Karte buchen, erhalten Sie einen Einkaufsgutschein über 500 Euro. Nun stellen Sie sich erneut vor, dass Ihr Freund Sie zum Mittagessen einlädt – dieses Mal jedoch in ein anderes Restaurant, das Sie im Allgemeinen sehr mögen. Wie reagieren Sie jetzt? Verspüren Sie plötzlich den Wunsch, stattdessen in das schlechte Restaurant zu gehen?
Wenn Sie Ihren Gedanken genau zuhören, werden Sie vielleicht feststellen, dass Ihr Unterbewusstsein Ihren Denkprozess auf ganz subtile Weise beeinflusst. In unserer Übung haben Sie vielleicht nicht nur darüber nachgedacht, wie Sie Ihrem Freund vorschlagen würden, in ein anderes Restaurant zu gehen, sondern Ihr Unterbewusstsein hat vielleicht auch verschiedene Argumente geliefert, um Ihren Vorschlag zu untermauern (d. h. zusätzliche Argumente gegen oder für das minderwertige Restaurant). Wenn ich Ihnen die Aufgabe stelle, ein bestimmtes Restaurant nicht zu mögen, wird Ihr Verstand zwangsläufig insbesondere die Eigenschaften des Restaurants abrufen, die Sie nicht mögen. Wenn ich Sie dagegen auffordere, den Wunsch zu verspüren, in dasselbe Restaurant zu gehen, wird Ihr Verstand zwangsläufig die attraktiveren Eigenschaften des Restaurants abrufen.
Der Punkt ist, dass Sie nicht nur rational das mäßige Restaurant bevorzugen könnten, wenn der Besuch dort einen unerwarteten Gewinn von 500 Euro verspricht, sondern dass diese explizite oder versteckte Vorliebe Ihre Einschätzung im weiteren Sinne beeinflusst (betrachten Sie es als Bestätigungsvoreingenommenheit) und Sie daher ernsthaft glauben könnten, dass das Restaurant auch für Ihren Freund eine gute Wahl wäre (der leider keinen Einkaufsgutschein erhält). Interessensbedingte Verzerrungen können daher das Wasser erheblich trüben – anstatt objektiv festzustellen, dass eine Option gut für Sie, aber schlecht für alle anderen wäre, könnte Ihr eigener Verstand Sie fälschlicherweise davon überzeugen, dass die von Ihnen bevorzugte Option objektiv für jeden einzelnen Beteiligten besser ist.
Ein solches Verhalten ist häufig in Unternehmen zu beobachten, wo bestimmte Entscheidungen sehr persönliche Auswirkungen haben. Stellen Sie sich vor, Ihr Unternehmen erwägt, seine Büros auf die andere Seite der Stadt zu verlegen. Wie denken Sie darüber? Glauben Sie, dass es einen Zusammenhang gibt zwischen Ihrer Gesamtbeurteilung des Umzugs und der Frage, ob Sie persönlich das Büro lieber auf dieser oder auf der anderen Seite der Stadt hätten? Das Verhalten von Datenwissenschaftlern und Nutzern von Algorithmen wird in hohem Maße von Interessenvoreingenommenheit beeinflusst.
Soziale Vorurteile
Soziale Voreingenommenheit ist wohl nur eine Unterkategorie der Interessenvoreingenommenheit, aber sie ist so wichtig, dass es meiner Meinung nach gerechtfertigt ist, sie als eigene Gruppe herauszustellen. Der Mensch ist ein soziales Wesen und – mit Ausnahme einer Handvoll erfolgreicher Eremiten – nicht in der Lage, außerhalb seiner Gruppe zu überleben. Wenn ein Höhlenmensch seine Mitmenschen so sehr verärgert, dass sie ihn aus der Höhle vertreiben, wird er bald von einem wilden Tier gefressen. Der Mensch hat also eine grundlegende Angst vor Ausgrenzung, die im Grunde eine Todesangst ist – soziale Ausgrenzung verursacht nämlich Schmerzen (als Warnsignal vor drohendem Unheil), die stärker sind als die meisten Formen körperlicher Schmerzen (was auch erklärt, warum die zunehmende Einsamkeit eine Krise der öffentlichen Gesundheit ist und das Vereinigte Königreich einen „Minister für Einsamkeit“ ernannt hat).
Bei der Entscheidungsfindung wägt der Verstand daher die Vorteile jeder möglichen Maßnahme gegen das Risiko ab, geächtet zu werden. Sunflower Management ist die Tendenz, dem eigenen Chef zuzustimmen; Groupthink ist die Tendenz, dem Konsens der Gruppe zuzustimmen. Mitglieder von Ausschüssen, die mit wichtigen Entscheidungen betraut sind, geben häufig zu, dass sie eine Entscheidung unterstützt haben, die sie persönlich für schwerwiegend falsch, vielleicht sogar für katastrophal hielten (man denke an Fusions- und Übernahmeentscheidungen, die ansonsten gesunde Unternehmen zerstörten), weil sie es für sozial inakzeptabel hielten, ein Veto einzulegen.
Ähnlich wie bei anderen Interessenvoreingenommenheiten wirken soziale Voreingenommenheiten auf zwei Ebenen. Während häufig genug Menschen sehr genau wissen, was die richtige Antwort ist, und sich dennoch für eine alternative Entscheidung entscheiden, weil sie glauben, dass es selbstmörderisch wäre, die Wahrheit zu sagen, wirken sich soziale Voreingenommenheiten auch auf kognitive Prozesse im weiteren Sinne aus – sie können beispielsweise eine Bestätigungsvoreingenommenheit auslösen, bei der Ausschüsse sich bemühen, zahlreiche Beweise zu finden, die die Ansichten des Vorsitzenden unterstützen, während sie unbewusst Beweise dafür zurückweisen, dass er falsch liegen könnte.
Spezifische Entscheidungen vs. das große Ganze
Interessen- und soziale Voreingenommenheit zeigen, dass die Natur oft das große Ganze betrachtet und nicht nur eine einzelne Entscheidung. Dieses Argument wurde auch als Kritik an der Idee der kognitiven Voreingenommenheit selbst verwendet – das Argument lautet, dass das Konzept der Voreingenommenheit eine Illusion ist, weil wir nur ein bestimmtes Ergebnis einer einzelnen Entscheidung betrachten (z. B. ob der Teilnehmer in einem bestimmten Experiment die Zahl, nach der wir gefragt haben, richtig geschätzt hat), während die Natur einen viel größeren Bezugsrahmen betrachtet, in dessen Kontext das Verhalten und die Entscheidungsfindung eines Individuums vollkommen rational und korrekt sind.
Wir brauchen uns nicht in Debatten über den Wert jedes einzelnen kognitiven Effekts zu verlieren, der in der psychologischen Literatur als Verzerrung beschrieben wird; worauf es ankommt, ist die Erkenntnis, dass „Wahrheit“ (oder im Kontext der statistischen Modellierung eines binären Ergebnisses von 0 oder 1, die Definition von 1) oft ein überraschend kontextabhängiges Konzept ist, und dass, wenn eine Entscheidung voreingenommen erscheint, sie einfach die Widerspiegelung eines Kompromisses zwischen konkurrierenden Zielen sein kann – sei es einfach die Berücksichtigung der Bedeutung von Geschwindigkeit und Effizienz oder die Erkenntnis, dass eine einzelne Entscheidung ein vernachlässigbares Element in einem viel größeren und komplexen Problem wie der Aufrechterhaltung guter sozialer Beziehungen sein kann.
Diese Erkenntnis ist wichtig für die Erkennung, den Umgang mit und die Vermeidung von Verzerrungen. Wie Sie in den folgenden Kapiteln sehen werden, stellt nicht jedes Mal, wenn ein Vorhersageergebnis (und damit der verantwortliche zugrunde liegende Algorithmus) verzerrt erscheint, ein „Problem“ dar, das behoben werden muss. Gleichzeitig können Verhaltensweisen, die zu (fälschlicherweise) voreingenommenen Ergebnissen führen, immer noch gerechtfertigt oder zumindest rational sein, und daher muss ein wirksamer Weg zur Eindämmung einer solchen Voreingenommenheit eher auf die Umgehung eines solchen Verhaltens abzielen, als zu erwarten, dass sich das Verhalten selbst ändert. Und wann immer ein Datenwissenschaftler eine Maßnahme ergreift, um eine bestimmte Verzerrung in einem Algorithmus explizit zu beseitigen, muss er oder sie prüfen, ob dies ein anderes Problem im System insgesamt verursachen kann und ob der Eingriff daher gerechtfertigt und wirklich im besten Interesse der Interessengruppen ist, die von der Entschärfung des Algorithmus profitieren sollen.
Zusammenfassung
In diesem Kapitel haben Sie gesehen, wie Voreingenommenheit aus dem Bedürfnis nach Schnelligkeit und Effizienz bei der Entscheidungsfindung oder aus anderen persönlichen Interessen, einschließlich dem Bedürfnis nach sozialer Integration, das manchmal das Bedürfnis nach Korrektheit übertrumpft, entstanden ist. Diese Vorurteile prägen viele Phänomene, die von Algorithmen beschrieben und vorhergesagt werden; sie prägen auch das Verhalten von Menschen, die Algorithmen erstellen, verwenden oder regulieren. Wie Sie in den folgenden Kapiteln sehen werden, können die zur Entwicklung von Algorithmen verwendeten Techniken einige dieser Voreingenommenheiten beseitigen, während andere Vorurteile zwangsläufig von Algorithmen widergespiegelt werden. Schließlich wird dieser Überblick über menschliche kognitive Voreingenommenheit auch nützlich sein, um andere Arten von Voreingenommenheit zu verstehen, die für Algorithmen aufgrund der Art und Weise, wie sie entwickelt und eingesetzt werden, spezifisch sind.
Handlungsorientierte Vorurteile treiben uns zu schnellem Handeln an, indem sie unsere Aufmerksamkeit fokussieren und uns davon abhalten, aufgrund von Selbstzweifeln zu zögern.
Eine Verfügbarkeitsverzerrung ist eine besondere handlungsorientierte Verzerrung, die dazu führt, dass bestimmte Datenpunkte – vor allem bizarre oder anderweitig bemerkenswerte – unsere Vorhersagen übermäßig beeinflussen.
Übergroßer Optimismus und übergroße Zuversicht sind spezifische handlungsorientierte Vorurteile, die Entwickler und Nutzer von Algorithmen dazu veranlassen können, Gefahren und Einschränkungen außer Acht zu lassen und die Vorhersagekraft ihrer Algorithmen zu überschätzen.
Stabilitätsvorurteile minimieren kognitive und physische Anstrengungen, indem sie uns am Status quo festhalten.
Bei der Verankerung handelt es sich um eine spezifische Stabilitätsverzerrung, die Schätzungen beeinträchtigen kann, indem sie diese auf völlig zufällige oder stark fehlerhafte Referenzpunkte abstellt.
Mustererkennungsfehler führen zu fehlerhaften Vorhersagen, indem entweder Entscheidungsregeln aus zufälligen Mustern gebildet oder sinnvolle Regeln auf einen falschen Fall angewendet werden.
Confirmation bias ist eine besondere Verzerrung bei der Mustererkennung, die die Daten beeinträchtigt, die wir bei der Entwicklung musterbasierter Entscheidungsregeln berücksichtigen.
Interessenbedingte Voreingenommenheit beeinträchtigt ein objektives Urteilsvermögen, indem es mit subjektiven Interessen vermischt wird.
Soziale Voreingenommenheit ist eine besondere Art von Interessenvoreingenommenheit, die sich speziell darauf konzentriert, unsere Stellung innerhalb unseres sozialen Umfelds zu sichern.