Im letzten Kapitel haben Sie gelernt, wie man das Risiko der Voreingenommenheit eines bestimmten Algorithmus bewerten kann. Die Schlussfolgerung war, dass wir in vielen Situationen feststellen können, dass ein gewisses Risiko der algorithmischen Verzerrung vorhanden ist, dass aber der Algorithmus auf der Grundlage einer Kosten-Nutzen-Analyse immer noch bessere Entscheidungen trifft als andere Ansätze (wie z. B. noch voreingenommenere Menschen). Diese Situation kann mit einem lebensrettenden Medikament mit schweren Nebenwirkungen verglichen werden. Genauso wie der Arzt versuchen wird, die Nebenwirkungen eines Medikaments zu lindern, werden wir in diesem Kapitel erörtern, welche Maßnahmen Sie ergreifen können, um sich vor algorithmischen Verzerrungen zu schützen.
Wie sollten Laien mit Algorithmen umgehen, um Probleme durch algorithmische Verzerrungen zu vermeiden? Die wichtigste Verteidigungslinie für Laien ist die informierte Nutzung von Algorithmen.
Betrachten wir analog dazu, wie ein informierter Verbraucher über den Kauf von Lebensmitteln und den Verzehr von Lebensmitteln denkt: Nur wenige von uns sind professionelle Ernährungswissenschaftler oder verfügen über das notwendige medizinische und biologische Wissen, um die Gesundheitsrisiken bestimmter Lebensmittel zu verstehen. Schlimmer noch, wenn man die Nachrichten über die „neuesten“ Erkenntnisse darüber verfolgt, was gut oder schlecht für einen ist, kann man sich manchmal des Eindrucks nicht erwehren, dass selbst die Wissenschaft noch dabei ist, herauszufinden, was bestimmte Lebensmittel mit unserem Körper anstellen. Es gibt jedoch allgemeine und grundlegende Daumenregeln, die uns helfen, dennoch fundierte Entscheidungen zu treffen. Wir wissen zum Beispiel, dass Ballaststoffe gut, zu viel Zucker aber schlecht ist, und wir wissen, dass eine ausgewogene Ernährung eine gute Absicherung gegen größere Ernährungsfehler ist.
Was ein Verbraucher nicht tun sollte, ist, blind alles zu kaufen, was gut schmeckt – wir wissen, dass wir fast garantiert zu viel Junk Food zu uns nehmen – und wir wissen auch, dass wir nicht zu naiv gegenüber der Werbung sein sollten. Eine wichtige Gewohnheit des informierten Verbrauchers ist daher das Lesen von Produktetiketten und auch von gelegentlichen Artikeln zu diesem Thema.
Mit der Lektüre dieses Buches befinden Sie sich offensichtlich bereits auf dem besten Weg, ein informierter Nutzer von Algorithmen zu werden. Insbesondere möchte ich Sie dazu anhalten, sich drei Gewohnheiten anzueignen:
Erstens: Fragen, fragen, fragen. Pfeffern Sie Ihre Datenwissenschaftler mit neugierigen Fragen. Neugierige Fragen sind Fragen, die Ihnen nur helfen, etwas zu verstehen. Gehen Sie nicht davon aus, dass Ihr Datenwissenschaftler böse ist oder Fakten vor Ihnen verbirgt – das vergiftet nur die Beziehung und verleitet Ihren Datenwissenschaftler dazu, in die Defensive zu gehen –, sondern lassen Sie im Gegenteil Ihre natürliche Neugierde das Gespräch leiten. Fragen Sie, wie genau die Ausgabe des Algorithmus zu lesen ist, und wundern Sie sich ehrlich darüber, dass der neue Kreditscore eine Gruppe besonders sicherer Unternehmen ausfindig machen kann, bei denen die Wahrscheinlichkeit, dass sie ihre Schulden nicht zurückzahlen, nur 0,03 % beträgt. Fragen Sie, wie die Kreditwürdigkeitsprüfung dies erreichen kann, ohne Ihre sorgfältig erstellten Kommentare zu den Kreditanträgen zu lesen, und fragen Sie Ihren Datenwissenschaftler, was passieren könnte, wenn ein Unternehmen seine Finanzdaten fälscht. Fragen Sie vor allem ganz sachlich, welche Verzerrungen die Algorithmen haben könnten, in welchen Situationen Sie besonders vorsichtig mit den Ergebnissen sein sollten und was nötig wäre, um den Algorithmus zum Entgleisen zu bringen. Damit wollen Sie erreichen, dass Ihr Datenwissenschaftler die Herausforderungen, denen der Algorithmus in der realen Welt begegnen könnte, und die größten Schwächen des Algorithmus besser versteht. Auf diese Weise kann der Datenwissenschaftler nicht nur über Verbesserungen für die nächste Version des Scores nachdenken, sondern auch den Algorithmus besser überwachen und die Geschäftsergebnisse schützen, indem er spezifische Einschränkungen für die Verwendung des Scores vorschlägt. Je mehr Ihr Datenwissenschaftler Sie als Partner und nicht als Kritiker oder Feind sieht, desto produktiver wird diese Beziehung sein. Und geben Sie nicht vor, selbst ein Datenwissenschaftler zu sein, oder lassen Sie sich davon abschrecken, dass Sie keiner sind – Ihr Mehrwert besteht gerade darin, dass Sie Probleme aus einer völlig anderen, nicht-technischen Perspektive angehen, die daher die statistische Perspektive des Datenwissenschaftlers ergänzt.1
Zweitens: Verstehen Sie, in welchen Fällen der Algorithmus eine unzureichende Grundlage für eine nützliche Vorhersage hat, und bitten Sie den Datenwissenschaftler, diese Fälle statt mit einer Schätzung mit „weiß nicht“ zu kennzeichnen. Es ist ein potenziell fatales Designproblem, dass viele Algorithmen immer ihre beste Schätzung angeben (selbst wenn es sich nur um den Mittelwert der Population oder eine Zufallszahl handelt), anstatt ehrlich zu sagen: „Ich weiß es nicht“.2 Bestimmte Klassen von Fällen als „weiß nicht“ zu kennzeichnen, ist ein doppelt kluger Schachzug. Einerseits ermöglicht es bessere hybride Entscheidungsprozesse – diese Fälle eignen sich beispielsweise für ein menschliches Eingreifen oder eine konservative Entscheidungsregel. Sobald ein Algorithmus eine Schätzung abgibt, besteht die Gefahr, dass diese Zahl ein Eigenleben entwickelt und unbewusst ein übergeordnetes menschliches Urteil beeinflusst, selbst wenn völlig klar ist, dass diese Zahl rein zufällig ist. Oft wird dieser Effekt durch die Formatierung noch verstärkt – eine Ausgabe von 2,47 % sieht sehr präzise aus, auch wenn es sich nur um den Mittelwert der Bevölkerung handelt. Algorithmen runden nicht einmal ihre wildesten Vermutungen! Die einzige Aussage, die den menschlichen Benutzer angemessen warnen kann, ist „Ich weiß es nicht“.
Drittens: Fordern Sie regelmäßig aussagekräftige Überwachungsberichte an, und wenn Sie der Meinung sind, dass zusätzliche Messgrößen Ihnen bei der Beurteilung helfen würden, ob alles funktioniert, versuchen Sie, diese in den Bericht aufzunehmen. Genauso wie eine durchdachte Ernährung durch regelmäßige Gesundheitschecks ergänzt werden sollte und hohe Cholesterinwerte eine Überprüfung Ihrer Essgewohnheiten auslösen, ist die faktische Natur der Überwachung von unschätzbarem Wert, wenn es darum geht, algorithmische Verzerrungen (wie auch viele andere Probleme von Algorithmen) aufzudecken. Die Überwachung ist sogar so wichtig, dass wir im nächsten Kapitel ausführlich auf die Überwachung von Algorithmen eingehen werden. Denken Sie nur daran, dass diese Überwachungsberichte aussagekräftig sein müssen. Das bedeutet erstens, dass alle Metriken für Sie eine Aussagekraft haben müssen (andernfalls verschwenden sie nur Ihre Zeit); zweitens, dass sie zusammengenommen recht umfassend sein sollten; und schließlich, dass der Bericht Ihre Aufmerksamkeit auf die wichtigen Erkenntnisse lenken sollte – es hilft nicht, wenn die eine Metrik, die „Verzerrung!“ schreit, unter tausend anderen Metriken begraben ist, die alle gut aussehen. Gute Berichte sind daher so konzipiert, dass sie Ihre Aufmerksamkeit insbesondere auf zwei Arten von Situationen lenken: Kennzahlen, die außerhalb des als „sicher“ oder „OK“ angesehenen Wertebereichs liegen, und Kennzahlen, die große Veränderungen aufweisen. Auf diese Weise hält unser Gehirn ständig Ausschau nach Gefahren – es sucht nach ungewöhnlichen Dingen (Sie sind bereits auf den Bizarrheitseffekt gestoßen) und hält Ausschau nach großen Veränderungen. Die Erfahrung eines meiner Bankkunden veranschaulicht die Macht der Überwachung: Eine sehr aussagekräftige Kennzahl für die Wertentwicklung von Eigenheimkrediten, der Skalierungsfaktor der so genannten Vintage-Kurven, zeigte bereits 2005 große Veränderungen – volle zwei Jahre vor Ausbruch der globalen Finanzkrise. Diese Kennzahl war das Äquivalent eines Frühwarnsignals für Tsunamis (und wird im nächsten Kapitel wieder aufgegriffen, wenn wir die Kalibrierungsanalyse besprechen).
Zusammengenommen führen diese drei Praktiken nicht nur dazu, dass die Nutzer von Algorithmen über die Risiken algorithmischer Verzerrungen informiert werden, ohne dass dafür besondere technische Kenntnisse erforderlich sind, sondern sie führen auch zu spezifischen Lösungen.
Das Verständnis der spezifischen Risiken und Grenzen algorithmischer Verzerrungen durch Gespräche mit Datenwissenschaftlern (z. B. Datenschwächen) kann als Grundlage für Vorsichtsmaßnahmen dienen, die sowohl auf der Unternehmensseite (z. B. manuelle Überprüfung bestimmter Arten von Fällen und andere Einschränkungen bei der Verwendung des Algorithmus) als auch auf der Modellierungsseite (z. B. spezifische Korrekturen der Daten, Entfernung bestimmter Variablen aus der Gleichung oder gezielte Überwachung bestimmter Metriken) getroffen werden. Eine wirksame Überwachung hilft den Nutzern, neue Verzerrungen zu erkennen oder bestehende Verzerrungen zu verstärken.
Eine letzte Anmerkung: Von den drei empfohlenen Gewohnheiten ist die zweite (den Algorithmus dazu zu bringen, zuzugeben, dass er wirklich nichts weiß) die am wenigsten verbreitete Praxis. Das ist ziemlich ironisch, wenn man bedenkt, dass Sokrates bemerkte, er wisse mehr als seine Athener Mitbürger, weil er wisse, was er nicht wisse („Έν οἶδα ὅτι οὐδὲν οἶδα“, „Ich weiß, dass ich nichts weiß“) – im Gegensatz zu anderen, die nicht einmal wissen, was sie nicht wissen. Hoffentlich wird dieses Buch dies ändern!
Zusammenfassung
Die Erörterung und das Verständnis der Risiken und Grenzen von Algorithmen ermöglicht es Laien nicht nur, angemessene Sicherheitsvorkehrungen in den Geschäftsprozessen zu treffen, sondern auch Datenwissenschaftlern als Denkpartner mit sehr komplementären Einblicken in die reale Geschäftswelt zur Seite zu stehen.
Es ist von entscheidender Bedeutung, dass die Geschäftsanwender die Datenwissenschaftler nicht in die Defensive drängen, was ihre Arbeit angeht, und dass sie nicht zulassen, dass der Fachjargon eine Diskussion der realen Risiken in allgemeinverständlichem Klartext behindert. Ein freundschaftliches Gespräch zwischen Fachanwendern und Datenwissenschaftlern ist für beide Seiten von großem Wert.
Ein sehr praktisches Ergebnis einer Diskussion über die Grenzen eines Algorithmus und die Gefahren der Voreingenommenheit ist die Festlegung objektiver Kriterien für Fälle, in denen algorithmische Ergebnisse unterdrückt und buchstäblich durch den Text „Ich weiß es nicht“ ersetzt werden sollten.
Die Unterdrückung numerischer Ausgaben an allen Stellen, an denen der Benutzer „Ich weiß nicht“ lesen sollte, ist von entscheidender Bedeutung, um zu verhindern, dass die Entscheidungsfindung durch den Benutzer durch den Ankereffekt verzerrt wird.
Ein weiteres sehr praktisches Ergebnis der Diskussion über die Grenzen eines Algorithmus und die Gefahr von Verzerrungen ist die Festlegung eines maßgeschneiderten Überwachungssystems.