1 Einleitung
In einem einflussreichen Aufsatz hat Lawrence Lessig unter dem Titel ,Code is Law‘ schon früh auf die Bedeutung der konkreten Implementierung von Algorithmen für die uns umgebende Cyber-Infrastruktur hingewiesen und daraus eine prinzipielle Notwendigkeit der Regulierung von Code abgeleitet (Lessig 2000). Diese Vorstellung trifft auf regelbasierte Algorithmen zu (Schubert und Hütt 2019), wird aber noch dramatischer und weniger einfach zu entdecken (und zu regulieren) im Bereich des maschinellen Lernens (Lehr und Ohm 2017). Daher wird die Frage nach der Fairness von Algorithmen durch den sich aktuell vollziehenden Übergang von einer algorithmen-zentrischen (regelbasierten) zu einer datenzentrischen (auf maschinellem Lernen basierenden) Perspektive noch relevanter. Zu der Suche nach algorithmischen Ursachen kommt dann noch die Suche nach ,Biases‘ in den Daten.
Priorisierung. Jeder Algorithmus, der eine Rangliste erzeugt, wird eine Bewertungsfunktion benutzen. Häufig besteht diese Bewertungsfunktion aus mehreren Teilen (Attribute des zu bewertenden Objektes, die für die Bewertung von Relevanz sind). Die Gewichte dieser Teile bestimmen indirekt die Position eines Objektes in der Rangliste.
Klassifikation. Eine häufige algorithmische Aufgabe ist, Objekte in Klassen einzusortieren. In manchen Fällen sind diese Klassen auf natürliche Weise vorgegeben. In anderen Fällen sind sie entweder ein soziales Konstrukt (z. B. weiblich/männlich vs. weiblich/männlich/divers) oder eine algorithmische Entscheidung (z. B. das Alter in bestimmte Intervalle aufzuteilen, etwa <15, 15-20, 20-40, 40-50, >50).
Assoziation. In Assoziationsaufgaben werden Objekte verbunden, wenn sie eine Ähnlichkeit aufweisen. Hinter dieser algorithmischen Aufgabe stehen Entscheidungen über Ähnlichkeitsmaße und die entsprechenden Schwellen, ab wann die Ähnlichkeit groß genug für eine Verbindung zwischen den Objekten ist.
Filtern. Eine große Klasse von algorithmischen Entscheidungen handelt davon, auf Suchanfragen Informationen aus einem großen Datenfeld anzuzeigen. Dieses Anzeigen oder Weglassen von Information ist ein Filtervorgang, der ebenfalls Abstandsmaße, Gewichtungen von Kriterien und Schwellen verwendet.
Im Fall des maschinellen Lernens sind die in diesen algorithmischen Handlungen vorliegenden Gewichte, Schwellen, Abstandsmaße und Klassen oft adaptiv. Sie passen sich an die Nutzergewohnheiten und an den vorhandenen (oft über die Zeit anwachsenden) Datensatz an. Ein Schlüsselbegriff ist die Operationalisierung. In der Operationalisierung von ML-Systemen geht es darum, geeignete Messgrößen oder Kategorien für oftmals abstrakte und nicht direkt der Quantifizierung zugängliche Systemeigenschaften festzulegen. Abweichungen der gewählten Messgrößen von den Systemeigenschaften sind eine wichtige Ursache für Verzerrungen von algorithmischen Entscheidungen.
Im Folgenden werden wir – zuerst an einem einfachen Beispiel und dann anhand aktueller Forschungsbeiträge – die Ursachen und Auswirkungen für Abweichungen von Fairness bei Algorithmen vorführen. Danach zeigen wir, mit welchen Strategien ein regulatorischer Rahmen für Algorithmen geschaffen werden kann.
2 Ein numerisches Experiment
Nehmen wir an, in diesem Fall gibt es eine einfache Dosisschwelle, ab der die Nebenwirkungen auftreten. Nehmen wir weiter einen unterschiedlichen Wert dieser Schwelle für Männer und Frauen an. Erwartet wird von dem neuronalen Netz, dass es für eine Dosis vorhersagt, ob der Patient Nebenwirkungen zeigen wird. Verwendet man nun das neuronale Netz zur Festlegung der Medikamentdosis für Patientenkohorten, die gleichermaßen aus weiblichen und aus männlichen Patienten bestehen, so wird das an den verzerrten Daten trainierte neuronale Netz systematisch zu hohe Medikamentdosierungen für Frauen als sicher (d. h. nebenwirkungsfrei) einschätzen.
Genauigkeit als Funktion der Geschlechter-Asymmetrie in den Trainingsdaten. In dem numerischen Experiment wurden Trainingsdaten (200 Patienten für eine gegebene Asymmetrie mit zufälligen Medikamentdosen im Bereich 0 und 1 und der Zuweisung von Nebenwirkungen gemäß einer Schwelle θ (männliche Patienten: θ = 0,5; weibliche Patienten: θ = 0,2)) erzeugt und damit künstliche neuronale Netze trainiert (in der Softwareumgebung Mathematica mit dem Befehl Classifiy und der Option Method → „NeuralNetwork“). Für 500 auf dieselbe Weise erzeugte Testdaten (mit gleicher Zahl männlicher und weiblicher Patienten) wurde dann die Genauigkeit (getrennt für die Untermengen der männlichen und weiblichen Patienten in den Testdaten) und (für Abb. 2) die Zahl der falsch klassifizierten weiblichen Patienten bestimmt. Die Fehlerbalken wurden durch 20 Wiederholungen dieses numerischen Experimentes erzeugt. (Quelle: Eigene Darstellung)
Zahl der falsch klassifizierten weiblichen Patienten als Funktion der Geschlechter-Asymmetrie in den Trainingsdaten für das in Abb. 1 beschriebene numerische Experiment. (Quelle: Eigene Darstellung)
Diesen Fehler kann man natürlich vermeiden, indem man das Geschlecht in die Klassifikation mit einbezieht.2 Dennoch führt dieses Minimalbeispiel vor, wie es zu den an einer Vielzahl von Beispielen dokumentierten Abweichung von Fairness beim Anwenden von Algorithmen kommen kann: (1) Bias in den Trainingsdaten (hier: die höhere Anzahl männlicher Patienten); (2) unvollständige Operationalisierung (hier: der Verzicht, das Geschlecht als weiteren Faktor zu berücksichtigen).
In diesem Beispiel lassen sich die Ursache-Wirkungsbeziehungen zwischen Biases in den Trainingsdaten und den Konsequenzen noch sehr einfach sichtbar machen.
In den im Folgenden aufgeführten Beispielen aus realen Anwendungsfällen wird deutlich, dass sich diese aufgrund ihrer Komplexität und der fast immer nicht kausal interpretierbaren internen Repräsentation der Dateneigenschaften (Features) in den Gewichten des trainierten neuronalen Netzes oft einer solchen Sichtbarmachung einfacher Ursache-Wirkungsbeziehungen entziehen. Hierbei ist auch zu bemerken, dass in vielen realen Situationen und heute üblichen Verwendungsformen die trainierten neuronalen Netze von ihrem ursprünglichen Trainingsdatensatz entkoppelt werden. Oftmals stehen dem Anwender dann Informationen über mögliche Biases in den Trainingsdaten nicht mehr zur Verfügung.
Moderne Varianten künstlicher neuronaler Netze bedienen sich der als tiefes verstärkendes Lernen Deep Reinforcement Learning bezeichneten Trainingsstrategie3 in extrem hochdimensionalen Parameterräumen (Arulkumaran et al. 2017). Diese ML-Systeme können auch Information aus der Umgebung sammeln (etwa im Fall der visuellen Navigation, Zhu et al. 2017) oder mit anderen neuronalen Netzen interagieren (wie im Fall der Generative Adversarial Networks, Goodfellow et al. 2014). Zum Beispiel erzeugt ein neuronales Netz Daten, die von einem anderen neuronalen Netz gelernt und bewertet werden. Diese ‚Spiele neuronaler Netze gegeneinander‘ oder mit anderen elektronischen Datenerzeugungssystemen haben zu großen Erfolgen geführt (Radford et al. 2015; Mnih et al. 2015; Silver et al. 2017). An dieser Stelle wird jedoch nicht nur die interne Repräsentation dieser Daten (also die Feature-Extraktion4 und iterative Umschreibung der Features in Form der Gewichte der Knoten im neuronalen Netz), sondern auch der durch die Trainingsdaten aufgespannte Möglichkeitsraum einer genauen analytischen Betrachtung unzugänglich, also zu einer Black Box. Dieser Mangel an Transparenz begrenzt die Möglichkeiten, die Fairness von Algorithmen a priori sicherzustellen (Burrell 2016).
3 Forschungsstand
Einige der aktuellsten und prominentesten Beispiele von algorithmischen Biases stammen aus dem Bereich medizinischer Anwendungen. In einem Kommentar zu Obermeyer et al. (2019) diskutieren Wiens et al. (2020) die Zukunft algorithmischer Entscheidungen im Bereich der Gesundheitsversorgung (vgl. auch Shilo et al. 2020). Die Abwägung von Nutzen und Gefahren (vgl. auch unsere Diskussion in Abschn. 5) wird hier besonders deutlich.
In dem Beispiel aus Obermeyer et al. (2019) geht es um Algorithmen, die Patienten identifizieren, deren Krankheitsverlauf wahrscheinlich mit hohen zukünftigen Ausgaben assoziiert ist. Der Algorithmus soll so geeignete Kandidaten für zusätzliche Pflegeangebote identifizieren. Da in dem von Obermeyer et al. (2019) untersuchten Vorhersage-Algorithmus die bisherigen Versorgungskosten eines Patienten als indirektes Maß (also als Operationalisierung) des Versorgungsbedarfs verwendet werden, entsteht ein Bias aufgrund der in den USA bestehenden systematischen Unterschiede zwischen ethnischen Gruppen in den Versorgungskosten auch bei denselben Krankheiten.
In Obermeyer et al. (2019) werden auch Rekalibrierungen des Algorithmus diskutiert, die darin bestehen, die vorangegangene Operationalisierung über die Versorgungskosten als Ersatzgröße für den Bedarf an Versorgung durch andere Messgrößen zu ersetzen (etwa die ebenfalls gut quantifizierbaren Messgrößen der Häufigkeit und Schwere chronischer Krankheiten), so dass dieser Bias sich reduzieren ließe. In dem begleitenden Kommentar von Benjamin (2019) in dem wissenschaftlichen Journal Science wird auch auf die Verantwortung von Institutionen in solchen Fragen algorithmischer Fairness hingewiesen.
In Greene et al. (2019) ordnen die Autoren die aktuelle Vielzahl von Bestrebungen, Richtlinien für die verantwortungsvolle Entwicklung von Algorithmen zu formulieren. Die Entwicklung der Ethik von künstlicher Intelligenz und maschinellem Lernen (KI/ML-Ethik) wird in Greene et al. (2019) im Detail nachgezeichnet und analysiert. Dabei werden Richtlinien einer Vielzahl von Gruppierungen im Detail betrachtet, etwa die Obama White House statements, die von Pervasive Data Ethics for Computational Research (PERVADE) formulierten Richtlinien und die unter Fairness, Accountability and Transparency in Machine Learning (FATML) zusammengefassten Äußerungen.
Eine Nutzbarmachung des interessanten Konzeptes kontrastiver Fairness wird in Chakraborti et al. (2019) diskutiert. Dabei stellt die Arbeit geeignete theoretische Methoden bereit, um die Fairness von Algorithmen anhand der Frage „Why this but not that?“ zu analysieren. In diesem Formalismus werden algorithmische Entscheidungen nicht absolut bewertet, sondern in kontrastiver Logik, was einen anderen mathematischen Zugang zu dem Problem erlaubt. In Mehrabi et al. (2019) geben die Autoren eine ausführliche Kompilation der verschiedenen Biases in ML-Systemen. Diese Darstellung von 23 möglichen Biases wird ergänzt durch eine Reihe von Versuchen, algorithmische Fairness zu definieren und algorithmische Strategien, Biases aus ML-Systemen und den ihnen zugrunde liegenden Daten zu entfernen. Lehr und Ohm (2017) betonen, dass es vor den eigentlichen Entscheidungen durch ML-Systeme (also dem Einsatz von trainierten ML-Systemen in der Praxis) bei jedem solchen System eine Phase der Datenaufbereitung, Datenanalyse, Feature-Extraktion, Operationalisierung der Zielgrößen, etc. gibt (‚machine learning’s playing-with-the-data stages‘, Lehr und Ohm 2017), die auch von den Rechtswissenschaften besser verstanden und stärker analysiert werden muss. In Friedler et al. (2019) werden verschiedene in den letzten Jahren publizierte Strategien, die Fairness von ML-Systemen zu erhöhen, getestet und verglichen. Insbesondere wird auch die Robustheit dieser Fairness verstärkenden Interventionen bezüglich kleiner Änderungen des Datensatzes untersucht.
In einem frühen Beitrag zu der gerade erst beginnenden Debatte, wie Algorithmen kontrolliert werden können, entwickelt Diakopoulos (2014) Möglichkeiten einer ‚Black-Box-Analyse‘, die es erlaubt, die Fairness eines Algorithmus zu bewerten, ohne notwendig in den Code selbst zu sehen (vgl. auch die Diskussion in Krafft und Zweig 2018). Für einige Elemente der aktuellen Debatte ist es vorstellbar, dass diese Betrachtungen direkte Implikationen für den rechtlichen Rahmen haben könnten (siehe z. B. Diakopoulos 2014; Christin et al. 2015; Asudehy et al. 2017; Berendt und Preibusch 2017). Eine Zusammenfassung dieser Forschungsstränge findet sich auch in Schubert und Hütt (2019). Das Buch von Katharina Zweig ‚Ein Algorithmus hat kein Taktgefühl‘ gibt eine sehr gut lesbare, mit einfachen Beispielen versehene Einführung in das Thema algorithmischer Fairness (Zweig 2019).
4 Diskussion des Forschungsstandes
Die aktuellen Arbeiten lassen sich grob in die folgenden drei Klassen unterteilen: (1) Datengetriebene Arbeiten, die algorithmische Biases sichtbar machen (z. B. Christin et al. 2015; Corbett-Davies et al. 2017; Berk et al. 2018; Obermeyer et al. 2019); (2) Strategien, Biases aus Algorithmen zu entfernen oder biasfreie Algorithmen zu erzeugen (z. B. Berendt und Preibusch 2017; Zliobaite 2017; Friedler et al. 2019; Celis et al. 2019; Chakraborti et al. 2019); (3) Gesellschaftliche Strategien, um mit algorithmischen Entscheidungen und insbesondere mit Biases in Algorithmen umzugehen (z. B. Sandvig et al. 2014; Gajane 2017; Jones 2017; Kim 2017; Williams et al. 2018; Greene et al. 2019; Mehrabi et al. 2019; Martin 2019).
Die erste Klasse enthält vor allem Arbeiten, in denen Datenwissenschaftler mit Experten des entsprechenden Feldes zusammenarbeiten, die also auf einer Kombination aus fortgeschrittenen Analysemethoden und hoher Kenntnis der Anwendungsdomäne erwachsen. Die zweite Klasse ist dominiert von der klassischen Informatik und Algorithmenentwicklung, unter gelegentlicher Beratung durch Sozialwissenschaftler.
Die dritte und aktuell größte Klasse von Arbeiten erwächst aus einem interdisziplinären Dialog einer Vielzahl von Akteuren aus unterschiedlichen wissenschaftlichen Kontexten. Auf der Seite der Sozial- und Rechtswissenschaften formt sich die Debatte entlang der Frage der Regulation und der Zertifizierung von Algorithmen durch geeignete Instanzen. Ein wichtiges Fundament dieser Entwicklungen sind transdisziplinäre Übersichtsartikel, in denen Methoden des maschinellen Lernens für die Medizin (Rajkomar et al. 2019) oder die Rechtswissenschaften (Lehr und Ohm 2017; für Informatik 2018) oder die allgemeine Öffentlichkeit (Krafft und Zweig 2018; Zweig 2019) dargestellt werden.
Dabei berührt diese Debatte eine Reihe wichtiger Punkte in der Theorie maschinellen Lernens, zum Beispiel zur Lernbarkeit (Ben-David et al. 2019) und zu Abhängigkeiten zwischen Eigenschaften (Features) (Lapuschkin et al. 2019) und damit zur Frage der Erzeugung oder Rekonstruktion von Eigenschaften aus anderen, in den Daten gegebenen Eigenschaften (Feature Engineering) (Zheng und Casari 2018).
Im Gegensatz zu regelbasierten Algorithmen, bei denen kleine Design-Entscheidungen zu Biases und damit zu einer Reduzierung der Fairness führen können (Schubert und Hütt 2019), ist bei Algorithmen, die auf maschinellem Lernen basieren, die Fairness nahezu immer entweder auf Biases in den Daten oder auf Mängel in der Operationalisierung zurückzuführen. Das belohnungsbasierte und bereits oben erwähnte Deep Reinforcement Learning, bei dem der Raum von Lösungsstrategien von dem ML-System so durchsucht wird, dass die Strategie mit der höchsten Belohnungsrate ausgewählt wird, hat besonders überraschende Anwendungen zutage gefördert (Arulkumaran et al. 2017). Hier zeigt sich präzise die Gefahr der Operationalisierung. Ist die Belohnung so konzipiert, dass die besten Strategien diskriminieren, so werden die Vorhersagen des trainierten ML-Systems diese Diskriminierungen abbilden.
Wie Zweig (2019) schlüssig argumentiert, bedeutet die Verwendung von ML-Algorithmen zur Vorhersage des Verhaltens von Systemen eine Abkehr von der wissenschaftlichen Methode, die charakterisiert ist durch den Weg von den Beobachtungen zu Hypothesen hin zu Experimenten, die diese Hypothesen überprüfen, und schließlich hin zu Modellen oder einer Theorie, auf deren Grundlage Vorhersagen getroffen werden können. Die von ML-Systemen aus Trainingsdaten extrahierten Features werden ohne weitere Überprüfung oder theoretische Reflexion zur Vorhersage verwendet (vgl. auch Coveney et al. 2016; Succi und Coveney 2019; Voit 2019).
Jedoch wandelt sich nicht nur die wissenschaftliche Methode im Kontext maschinellen Lernens, sondern auch unsere Vorstellung von Verständnis. Besonders geprägt durch die Physik ist Verständnis heute verbunden mit dem Vorliegen einer mathematischen Theorie, die die Gesamtheit der empirischen Beobachtungen eines Feldes quantitativ oder qualitativ erklären kann, oder eines mathematischen Modells des betrachteten Systems, das alle empirischen Beobachtungen zu diesem System quantitativ oder qualitativ reproduzieren kann und zudem fähig ist, Vorhersagen über noch nicht durchgeführte Experimente zu machen. Geleitet von Prinzipien der Ästhetik (Farmelo 2002) und philosophischen Konzepten wie Occam’s Razor (Sober 2015) werden Theorien und Modelle bevorzugt, die besonders elegant und einfach sind. Gerade im Bereich der Theorie komplexer Systeme hat sich so eine Kultur der mathematischen ‚Minimalmodelle‘ herausgebildet, die mit wenigen Parametern die grundlegenden (oft statistischen) Eigenschaften von Systemen erklären können (Buchanan 2012; Reutlinger et al. 2018). Beispiele sind das Bak-Tang-Wiesenfeld (BTW) Modell für selbstorganisierte Kritizität (Bak et al. 1987), Boolesche Zufallsnetze als Modell der Genregulation (Kauffman 1969; Bornholdt 2005), gekoppelte Phasenoszillatoren als Modell von Synchronisation (Strogatz 2000; Rodrigues et al. 2016) und das Ising-Modell des Ferromagnetismus (Ising 1925; Peierls 1936; Zhou und Sornette 2007), das eine Vielzahl interdisziplinärer Anwendungen im Bereich der Meinungsbildung und anderer Phänomene der Selbstorganisation hat (Stauffer 2013).
Die Erklärkraft solcher Modelle besteht in ihrer Generalisierung. Das BTW-Modell ist ein gutes Beispiel dafür (Bak 2013). Beginnend von einem einfachen Gedankenexperiment – Wie groß sind die Lawinen, die durch das iterative Hinzufügen einzelner Sandkörner zu einem Sandhaufen ausgelöst werden? – werden über die mathematische Ausgestaltung dieses minimalen Systems universelle Resultate zur Größenverteilung hergeleitet (nämlich eine Verteilung nach einem Potenzgesetz), in einer Weise, die erwarten lässt, dass ähnliche Prinzipien in einer Vielzahl von Systemen, in denen kleine Störungen zu großen Wirkungen kumulieren können, für beobachtete Potenzgesetzverteilungen (etwa bei Erdbeben) verantwortlich sind (siehe auch Jensen 1998).
In vielen Aspekten sind Modelle des maschinellen Lernens und der künstlichen Intelligenz (also zum Beispiel ein an Daten trainiertes neuronales Netz) solchen Minimalmodellen diametral entgegengesetzt. Ganz ähnlich wie schon von May (2004) für die Verwendung großer numerischer Simulationen ausgeführt, entkoppeln sich die numerischen Ergebnisse von der Intuition über das System, die aber gerade im Vordergrund der Verwendung von Minimalmodellen komplexer Systeme steht. Erklärt werden durch ML-Systeme nicht qualitativ allgemeine statistische Eigenschaften mit wenigen Parametern, sondern durch viele Parameter werden Muster in den vorliegenden (Trainings-)Daten algorithmisch aufgespürt und parametrisiert und so für Vorhersagen nutzbar gemacht.
Es ist denkbar, dass unsere Vorstellung von Verständnis sich durch diese Modelle wandelt. Bisher könnten wir etwas vereinfacht zusammenfassen: Ein Phänomen ist ‚verstanden‘, wenn wir die Mechanismen des Systems in einem einfachen mathematischen Modell repräsentieren und so die wesentlichen Eigenschaften der Daten reproduzieren können. Eine zukünftige Vorstellung von Verständnis könnte sein, dass wir aus den zur Verfügung stehenden Daten aus dem System ein neuronales Netz trainieren können, das neue empirische Befunde zu dem System mit hoher Genauigkeit vorhersagt. Verständnis wäre dann, wenn das System von einem neuronalen Netz ‚gelernt‘ werden kann.
Auf die Fairness von Algorithmen verweist dieser Exkurs in unser Konzept von Verstehen über die Entkopplung von Vorhersage und systemischer Intuition, die sich mit der Verwendung von ML-Systemen vollzieht.
Es mangelt – wie oben gezeigt – nicht an Vorschlägen, wie Algorithmen kontrolliert und reguliert werden könnten. In der Entwicklung begriffen ist derzeit der rechtliche Rahmen für solche Regulierungsansätze. Dies wird im folgenden Abschnitt adressiert.
5 Regulatorische Strategien
5.1 Zur Entwicklung eines Rechtsrahmens für KI-Algorithmen
Die Fairness von KI-Algorithmen ist in jüngster Zeit eine begriffliche Kategorie, um Fehlfunktionen von KI-Algorithmen zu erfassen, die entweder zu Diskriminierungen oder zu anderen unerwünschten Wirkungen führen (dazu in der juristischen Literatur Busch 2018; Schweighofer et al. 2018; Wischmeyer 2018 m. w. N.; Martini 2019). Dabei ist algorithmische Fairness zunächst ein Begriff der Informatik. Unabhängig davon ist die Fairness von KI-Algorithmen ein Element der europäischen wie nationalen Ethikrichtlinien. So stellt die Ethikrichtlinie der Europäischen Union an KI-Algorithmen die Anforderung, „Vielfalt, Nichtdiskriminierung und Fairness“ zu gewährleisten, und fordert insoweit eine Vermeidung der hier beschriebenen Fehlfunktionen (Europäische Kommission, Mitteilung, COM [2019] 168 endg.; vgl. auch Gutachten der Daten-Ethikkommission 2019). Aus juristischer Perspektive führen die Fehlfunktionen der KI-Algorithmen zu einem Verstoß gegen die bestehende Rechtsordnung oder zu einer Verletzung von Rechten, Rechtsgütern und Allgemeininteressen, die Schäden verursachen oder unerwünscht sind und daher eine Ergänzung der Rechtsordnung notwendig machen.
Für den hier im Mittelpunkt stehenden Rechtsrahmen für KI-Algorithmen ist zunächst festzuhalten, dass die rechtliche Relevanz von Algorithmen nicht nur an ihrem bewusst gestalteten Inhalt anknüpfen kann, sondern auch an Wirkungen, die sich aus der Datenqualität, unvollständigen Operationalisierungen oder der technischen Konstruktion ergeben. In Reaktion auf diesen Rechtsrahmen besteht die Notwendigkeit, solche Rechtsverstöße zu diagnostizieren und zu vermeiden, was eine technische Entwicklung notwendig macht. Hier soll zunächst – vor allem aus der Perspektive der deutschen Rechtsdiskussion – skizziert werden, welcher Rechtsrahmen für KI-Algorithmen besteht bzw. nach welchen Kriterien er gestaltet werden kann und welche Wechselwirkungen zwischen der technischen Entwicklung und der Rechtsgestaltung identifiziert werden können. Dabei geht es hier nicht darum, die bestehenden Regelungen im Einzelnen vorzustellen, sondern es soll ein Überblick über die Entwicklung und die regulatorischen Kategorien gegeben werden.
Die Regulierung von KI-Algorithmen setzt einen Rechtsrahmen für deren Gestaltung und deren Einsatz und reagiert auf die technikspezifischen Gefahren. Unabhängig davon gelten für KI-Algorithmen alle (technikneutralen) Rechtsnormen, die für den Sachbereich gelten, in dem diese Anwendung finden. Für KI-Algorithmen und ML-Systeme als Querschnittstechnologie, die eine Vielzahl von Lebensbereichen betreffen, sind daher jeweils die einschlägigen Regelungen anzuwenden. Letztlich dürfen KI-Algorithmen weder durch ihren Inhalt noch durch ihre Wirkung die bestehende Rechtsordnung usurpieren. So gilt z. B. für den Einsatz von Algorithmen bei der Personalauswahl im Einstellungsverfahren das Antidiskriminierungsrecht (Kullmann 2018; Schubert und Hütt 2019), und es gelten die Regeln des Datenschutzes (Ernst 2017; Kullmann 2018). Auch Legal Technology (Legal Tech), also Software, die für juristische Arbeitsschritte bei Rechtsdienstleistungen (z. B. zur Prüfung von Dokumenten auf bestimmte Klauseln bzw. deren Rechtswidrigkeit, Erstellung von Verträgen und Klageschriften) verwendet wird, muss die Rechtsordnung korrekt abbilden und darf nicht durch (un)bewusste Fehler manipuliert sein. Nichts anderes gilt für den Einsatz von KI-Algorithmen im Verwaltungsverfahren. Spezifische Probleme resultieren vor allem aus der mangelnden Transparenz, die das Erkennen von Fehlfunktionen erschwert. Darüber hinaus bestehen sie hinsichtlich der Verantwortlichkeit für rechtswidriges Handeln durch KI-Systeme. Die Eigenständigkeit von ML-Systemen hat zur Folge, dass deren Verwender das Ergebnis ihres Handelns ggf. nur noch dadurch beeinflussen, dass sie sich für den Einsatz solcher Systeme entscheiden. Verantwortlichkeit stützt sich damit weniger auf ein autonomes, ggf. schuldhaftes Handeln.
Das oben angeführte Beispiel eines Medizinprodukts verdeutlicht, dass nicht nur die Wahrung der bestehenden Rechtsordnung, sondern auch der Schutz vor Gefahren für individuelle Rechtsgüter staatliche Vorgaben notwendig macht. So bedürfen Medizinprodukte generell einer Zertifizierung (CE-Kennzeichnung), bevor sie in den Verkehr gebracht oder in Betrieb genommen werden dürfen. Diese staatliche Regelung ist nicht neu, sondern Teil des öffentlich-rechtlichen Gefahrenabwehrrechts, im Besonderen des Wirtschaftsverwaltungsrechts. Ziel solcher Regelungen ist der Schutz von individuellen Rechten und Rechtsgütern der Bürger sowie der Interessen der Allgemeinheit. Ein solcher Rechtsrahmen wurde für eine Vielzahl technischer Innovationen geschaffen (z. B. Atomkraft, Gentechnik, Biotechnologie, Straßen-, Eisenbahn- und Luftverkehr). Er entsteht in der Regel zeitverzögert zur technischen Entwicklung, weil es erst einer soliden Analyse der Risiken und Gefahren, aber auch der Vorteile bedarf, die mit einer Technik verbunden sind, um nicht gesellschaftlich und wirtschaftlich sinnvolle Innovationen zu verhindern oder unnötig zu behindern.
Eine Verhaltenssteuerung beim Umgang mit Algorithmen bewirkt aber nicht nur das öffentliche Gefahrenabwehrrecht, sondern auch das Privatrecht. Haftungsregelungen verteilen Schäden um, die mit dem Einsatz von KI-Algorithmen verbunden sind, oder sozialisieren deren Kosten durch eine Versicherungspflicht (z. B. für Verkehrsunfälle durch autonom fahrende Kfz im Straßenverkehr; vgl. Wagner 2017, 2020). Insbesondere die Ausgestaltung der Haftung als Gefährdungshaftung erlaubt es, externe Effekte aus technischen Innovationen denjenigen aufzuerlegen, die diese Innovation entwickeln und wirtschaftlich verwerten. Um Anreize für eine Eigenvorsorge der Hersteller zu setzen, kann zudem eine Entlastung von der verschuldensunabhängigen Haftung in solchen Fällen vorgesehen werden, in denen der Hersteller die KI-Algorithmen z. B. zertifizieren lässt oder selbst einen Test nach vorgeschriebenen oder empfohlenen Standards durchführt und nachweist.
Jenseits der staatlichen Regulierung ist eine Selbstregulierung der Akteure möglich, indem sie sich selbst auf bestimmte Standards verpflichten oder sich über die Einhaltung staatlich empfohlener Standards und Verhaltensempfehlungen erklären. Insbesondere kann ein Algorithmic Accountability Standard (Busch 2018) entwickelt werden. Dies kann mit einer Folgenabschätzung für KI-Algorithmen verbunden werden wie dem sog. Artificial Intelligence Assessment (AIA), das in den USA für automated decision-making gesetzlich geregelt ist (vgl. Algorithmic Accountability Act; dazu Quezada 2019). Die Bundesregierung hat derzeit ein gemeinsames Projekt mit dem Deutschen Institut für Normung, um die Erarbeitung von Normen und Standards für KI-Algorithmen zu planen (sog. Normungsroadmap). Dafür ist zunächst zu identifizieren, welche Bedarfe für Standardisierung und Normung bei KI-Algorithmen bestehen. Parallele Bemühungen durch die Internationale Organisation für Normung (ISO) sind zu erwarten.
Auf dieses breite Spektrum an Reaktionsmöglichkeiten greift die juristische Diskussion über den Rechtsrahmen für die Gestaltung und den Einsatz von KI-Algorithmen zurück. Bisher besteht kein übergreifender Rechtsrahmen für KI-Algorithmen, sondern Regelungen für einzelne Sachbereiche wie Medizinprodukte oder Hochfrequenzhandel an den Börsen. Übergreifende Bedeutung haben vor allem das Datenschutzrecht, das Wettbewerbsrecht und das Antidiskriminierungsrecht. Daher bezieht sich ein großer Teil der juristischen Diskussion auf konkrete Anwendungsfelder für KI-Algorithmen wie autonomes Fahren bzw. Produkthaftung (z. B. Borges 2018; Feldle 2018; Hilgendorf 2017; Wagner 2017, 2020), Robotik (z. B. Gaede 2019; Wagner 2019), Medizinprodukte (z. B. Frost 2019), Hochfrequenzhandel bei digitalen Bankgeschäften (z. B. Söbbing 2019), Preisbildung und -abstimmung im Wettbewerb (z. B. Bernhardt 2019; Küstner 2019; s. auch Ezrachi und Stucke 2016), E-Governance und Legal Tech (z. B. Breidenbach und Glatz 2020; Beck 2019; Hoch 2019).
Über die Analyse der bestehenden Gesetze hinaus hat die Debatte über die Weiterentwicklung des Rechtsrahmens für Algorithmen und KI bereits begonnen (z. B. Schweighofer et al. 2018; Busch 2018; Wischmeyer 2018; Martini 2019; Bull 2019; s. auch Ernst 2017), und es liegen Vorschläge für eine Ergänzung der Rechtsordnung vor (z. B. Martini 2017; Spiecker gen. Döhmann 2017; Busch 2018; Martini 2019; Wagner 2020). Diese zielen nicht auf ein allgemeines Algorithmen- oder KI-Gesetz. Vielmehr sollen Gesetzeslücken gefüllt werden, die sowohl im europäischen und nationalen Datenschutzrecht, aber auch in einzelnen Sachgebieten bestehen (insbesondere Busch 2018; Martini 2019).
Neben dieser Diskussion über den Rechtsrahmen für KI-Algorithmen werden parallel ethische und politische Standards in Form von Ethikrichtlinien entwickelt, um rechtlich unverbindliche Anforderungen an die Technik und deren Verwendung zu formulieren. Sie sind zugleich ein Schritt hin zu rechtlich verbindlichen Regelungen. Sowohl die Europäische Union als auch die Mitgliedsstaaten haben bereits eigene Richtlinien ausgearbeitet (z. B. Europäische Kommission, Mitteilung, COM [2019] 168 endg.; Gutachten der Daten-Ethikkommission 2019). Der im Gutachten der Daten-Ethikkommission befürwortete risikobasierte Regulierungsansatz für algorithmische Systeme entspricht dem typischen Herangehen des Gefahrenabwehrrechts. Je nach Einsatzzweck, Robustheit und Sicherheit der KI-Algorithmen sowie mit Rücksicht auf ihre Wirkung soll eine differenzierte Regelung erfolgen, wobei der regulatorische Eingriff umso intensiver sein kann, je größer die potenziellen Schäden sind (Daten-Ethikkommission 2019). Zudem bestehen Empfehlungen der OECD und eine Prinzipienerklärung der G20 (OECD 2019; G20 2019).
5.2 Instrumente einer direkten und indirekten Regulierung von KI
Im Folgenden soll ein knapper Überblick über die Instrumentarien verdeutlichen, wie der Gesetzgeber seine Regelungsziele umsetzen kann. Die gewählten Beispiele verdeutlichen, in welchen KI-relevanten Bereichen diese bereits zum Einsatz kommen. Vor diesem Hintergrund lassen sich KI-spezifische Anforderungen an die rechtliche Regelung aufzeigen und Kriterien für die Weiterentwicklung des regulatorischen Rahmens darstellen.
Die direkte Regulierung von KI-Algorithmen kann durch materiell-rechtliche Beschränkungen und prozedurale Vorgaben erfolgen. Materiell-rechtliche Vorgaben in ihrer stärksten Form sind Verbote für den Einsatz von KI-Algorithmen für jedermann (z. B. von autonomen Waffensystemen, sog. killer robots, die bisher nicht international geächtet sind). Ein solches Verbot kann sich auf das Handeln des Staates beschränken. So sind automatisierte Verwaltungsentscheidungen, bei denen die Verwaltung ein Ermessen oder einen Beurteilungsspielraum hat, unzulässig (§ 35a Verwaltungsverfahrensgesetz). Darüber hinaus regelt aber auch Art. 22 Datenschutz-Grundverordnung, dass jeder das Recht hat, grundsätzlich nicht rechtlichen oder ähnlich relevanten Entscheidungen unterworfen zu sein, die ausschließlich auf der automatisierten Verarbeitung von Daten beruhen, es sei denn, es liegt eine gesetzlich geregelte Ausnahme oder eine Einwilligung des Betroffenen vor. Diese Bestimmung erfasst jedoch keine Entscheidungen, die auf der Grundlage eines automatisierten Scorings erfolgen (z. B. Darlehensvergabe, dazu Busch 2018; Martini 2019; Arbeitsaufträge über Plattformen, dazu Schubert und Hütt 2019). Insgesamt finden Verbote nur begrenzt Verwendung, zumal sie als innovationshemmende Regelung nur dort eingesetzt werden, wo das Risiko dies erzwingt.
Daneben kommen Einsatzbeschränkungen, z. B. durch Auflagen in Betracht. So muss ein Wertpapierdienstleistungsunternehmen, das algorithmischen Handel betreibt, über Systeme und Risikokontrollen verfügen, die die in § 80 Absatz 2 Sätze 3, 4 Wertpapierhandelsgesetz vorgesehene Gefahrenabwehr sicherstellen. Zudem ist jede Börse zu Vorkehrungen gegen die übermäßige Inanspruchnahme von Systemkapazität durch den sog. algorithmischen Hochfrequenzhandel von Wertpapieren verpflichtet (§ 26d Absatz 1 Börsengesetz).
Eine präventive Gefahrenabwehr kann schließlich durch Erlaubnispflichten bzw. Zulassungsverfahren ex ante vor der Verwendung oder dem Vertrieb der KI-Algorithmen erfolgen, die sich auf das Produkt oder die handelnde Person beziehen kann (z. B. bei Medizinprodukten nach dem Medizinproduktegesetz; für Bankgeschäfte und Finanzdienstleistungen nach § 23 Kreditwirtschaftsgesetz). Bei der Einführung solcher Verfahren ist zu berücksichtigen, dass sie stets verlangsamend auf die technische Entwicklung wirken und erhebliche Kosten haben (vgl. Martini 2019). Insofern muss das Risiko für den Betroffenen oder die Allgemeinheit ein solches Vorgehen rechtfertigen, zumal weniger eingreifende Alternativen (z. B. Gefährdungshaftung) zur Verfügung stehen. Besondere Gefahren für den Einzelnen (z. B. Gesundheits- oder Lebensgefahr) oder gravierende Schäden für die Allgemeinheit können ein solches Vorgehen aber rechtfertigen. In Anlehnung an das bestehende Technikrecht wird die Einführung von sog. Risikoklassen für KI-Algorithmen vorgeschlagen, so dass die Erlaubnispflicht von der Einordnung der KI-Algorithmen in einer bestimmten Klassen abhängt (Busch 2018; Martini 2019). Dabei handelt es sich um eine Vorstrukturierung, um die Ermittlung der Erlaubnispflicht und deren Durchsetzung zu vereinfachen.
Alternativ oder kumulativ kann eine staatliche Aufsicht eingerichtet werden. Derzeit besteht bereits eine Mehrzahl von sachgebietsbezogenen Aufsichtsbehörden wie die Bundesanstalt für Finanzdienstleistungen, das Bundeskartellamt und die Datenschutzbeauftragten des Bundes und der Länder. Insofern kommt es für KI-Algorithmen weniger darauf an, neue Behörden zu errichten, sondern eher darauf, spezifische Kompetenz für KI-Algorithmen zu bündeln und die Aufsichtsbehörden in ihrer Arbeit zu unterstützen (Martini 2019). Zum Teil wird die Schaffung einer Behörde vergleichbar der Physikalisch-Technischen Bundesanstalt oder dem Bundesamt für Sicherheit in der Informationstechnologie vorgeschlagen, die die sachgebietsbezogenen Aufsichtsbehörden unterstützen (Martini 2019).
Alternativ zu einer behördlichen Prüfung kann dem Hersteller bzw. Verwender von KI-Algorithmen aufgegeben werden, die Technik selbst oder durch bestimmte Stellen zu testen, und einen Testbericht einzureichen. So sind Handelsteilnehmer beim Hochfrequenzhandel verpflichtet, ihre Algorithmen in einer von der Börse zur Verfügung gestellten Umgebung zu testen (§ 26d Absatz 2 Satz 1 Börsengesetz).
Verfahrensrechtliche Regelungen, die staatliche Kontrolle ermöglichen, sind Anzeigepflichten für den Einsatz bestimmter Technik. Unabhängig davon können Pflichten zur Unterrichtung von Betroffenen bestehen. Diese ergeben sich im Datenschutzrecht in Bezug auf die Erhebung personenbezogener Daten bereits aus Art. 13 und 14 Datenschutz-Grundverordnung. Damit ist aber noch nichts über die Verarbeitung durch KI-Algorithmen gesagt. Die Pflicht zur Anzeige des Einsatzes von KI-Algorithmen oder dessen Protokollierung ist eine typische Verfahrensvorgabe (z. B. Anzeigepflicht und Dokumentationspflicht für Wertpapierhandelsunternehmen gegenüber der Bundesanstalt für Finanzdienstleistungen, wenn ein direkter Zugang zum Handelsplatz angeboten wird, § 77 Absatz 2 Wertpapierhandelsgesetz). Solche Dokumentationen können zielführend sein, um z. B. dem Bürger eine informierte Einwilligung zu ermöglichen, oder sie geben ihm die Möglichkeit, die Verwendung von KI-Algorithmen mit Rechtsbehelfen anzugreifen (vgl. Busch 2018). Abhängig von der Zwecksetzung muss somit die Anzeige bereits vor der Verwendung (ex ante) erfolgen oder genügt auch nachträglich (ex post).
Darüber hinaus wird vielfach versucht, Gefahrprävention durch Transparenz zu erzeugen, indem Dokumentations- oder Erklärungspflichten auferlegt (z. B. hinsichtlich der vorgenommenen Datenverarbeitung, Art. 30 Datenschutz-Grundverordnung) oder den betroffenen Personen Auskunftsrechte gewährt werden (z. B. über die gespeicherten personenbezogenen Daten, Art. 15 Datenschutz-Grundverordnung). Wie Transparenz im Falle von KI-Algorithmen zu gestalten ist, wird vor allem davon abhängen, wer der Adressat der Information ist und welcher Zweck erreicht werden soll. Es gehört zu den Anforderungen an KI-Algorithmen in den Ethikrichtlinien, dass diese erklärbar sind bzw. bleiben. Die Anforderungen an eine solche Transparenz werden insbesondere wegen der besonderen Technizität und der Veränderlichkeit von KI-Algorithmen eigens entwickelt werden müssen.
Schließlich sind Pflichten zur Überwachung der verwendeten Technik und die Folgenabschätzung typische prozedurale Maßnahmen zur Gefahrenabwehr (z. B. Datenschutz-Folgeabschätzung, insbesondere für die Verarbeitung von Daten durch neue Technologien, Art. 35 Datenschutz-Grundverordnung). Eine solche Verpflichtung kann dem Hersteller auferlegt werden. Daneben lassen sich behördliche Sektoruntersuchungen, wie sie bereits heute im Wettbewerbsrecht bekannt sind, auf diese Bereiche erweitern (Busch 2018).
Ergänzend erstreckt sich die staatliche Regulierung häufig auf die Förderung der Rechtsdurchsetzung. Unabhängig von einer staatlichen Aufsicht kommt eine Verstärkung der privaten Rechtsdurchsetzung (private enforcement) in Betracht, z. B. durch Beweislastumkehr, durch Sammelklagen oder Verbandsklagen. Diese sind bereits Teil des Verbraucherschutz- und Wettbewerbsrechts, aber auch des Datenschutzrechts, soweit Verbände eigene Rechte geltend machen (Art. 80 Datenschutz-Grundverordnung). Zudem können bestimmte Personen oder Personengruppen ein Recht auf kostenpflichtige Abmahnung von Gesetzesverstößen erhalten.
Bei der Ausgestaltung des Rechtsrahmens für KI-Algorithmen ist auf die in den einzelnen Sachbereichen sehr unterschiedlich ausgeprägten Anforderungen und Gefahren einzugehen (Martini 2019). Der Einsatz dieser Gestaltungsmöglichkeiten wird keinesfalls einheitlich für den Einsatz von KI-Algorithmen erfolgen, auch wenn in der politischen Diskussion zum Teil ein sog. „Algorithmen-TÜV“ gefordert wurde (Müller 2017). Die rechtlichen Vorgaben müssen differenziert auf die Art und Intensität der drohenden Gefahren für Rechte, Rechtsgüter oder die Allgemeinheit zugeschnitten sein. Immerhin beschränken sie diejenigen in ihrer Handlungsfreiheit und den geschützten wirtschaftlichen Freiheitsrechten, die solche KI-Algorithmen entwickeln und einsetzen. Im Interesse der Rechtssicherheit bedarf es einer hinreichenden Konkretisierung und Bestimmtheit. Insofern müssen die Beschränkungen für die konkret angestrebte Gefahrenabwehr verhältnismäßig sein (Martini 2019). Dabei wird auch die Nützlichkeit der Technik im Interesse der Innovationsförderung Berücksichtigung finden (Martini 2019). Aus dieser Abwägung wird sich ein abgestuftes System ergeben, das umso strengere Anforderungen stellt, wenn Menschen von den Wirkungen der Technik in ihrer Freiheit und Integrität betroffen sind. Das gilt umso mehr, wenn die Schäden irreversibel oder besonders groß sind. Damit erfüllt der Staat seine Schutzpflichten. Auch die Gefährdung staatlicher Institutionen in einer Demokratie wird eine weitergehende Beschränkung des Einsatzes von KI-Algorithmen rechtfertigen können.
Neben diesem direkten Zugriff auf die Ausgestaltung und den Einsatz von Algorithmen bestehen und entstehen privatrechtliche Regelungen, um die Technikfolgen zu erfassen (z. B. Schäden). Dadurch werden Kosten des Technikeinsatzes z. B. demjenigen zugewiesen, der die Gefahr beherrscht oder zumindest ihren Einsatz steuert bzw. von ihm (wirtschaftlich) profitiert. Die damit verbundenen Kosten haben verhaltenssteuernde Wirkung, wenngleich eine indirekte. Wegen der geringeren Eingriffsintensität solcher Maßnahmen in die Freiheit der KI-Hersteller und -Verwender haben sie sogar Vorrang. Sie treten aber häufig neben Formen direkter Regulierung. Das gilt z. B. für den Straßenverkehr, wo eine direkte Regulierung der Kraftfahrzeugzulassung erfolgt und ergänzend für die Schäden aus Straßenverkehrsunfällen eine Gefährdungshaftung für den Fahrzeughalter bzw. -führer besteht. Bei autonomen Fahrzeugen ist insoweit eine Haftung des Herstellers von Bedeutung, der besser als der Halter die Fahrsicherheit gewährleisten kann und von der wirtschaftlichen Verwertung profitiert.
5.3 Wechselwirkungen zwischen technischer Entwicklung und regulatorischem Rahmen
Bei der Weiterentwicklung des Rechtsrahmens der KI-Algorithmen wird es darauf ankommen, Lücken in der bestehenden Rechtsordnung zu identifizieren und zu schließen. Zusätzliche Herausforderungen werden sich daraus ergeben, dass KI-Algorithmen veränderlich sind, eine hohe Veränderungsgeschwindigkeit haben und in besonderem Maße intransparent sind. Für eine rechtliche Regelung kann zwar durch eine hinreichende Abstraktion der Begrifflichkeiten oder durch ein Anknüpfen an der Art der Gefahr vermieden werden, dass die Veränderlichkeit und Intransparenz der Abfassung einer Regelung entgegensteht. Das ändert aber nichts daran, dass der Normvollzug bzw. die effektive Gefahrenabwehr Schwierigkeiten bereitet. Es braucht daher technische Standards und Instrumente, um den effektiven Gesetzesvollzug sicherzustellen. Das gilt für bewusste und unbewusste Gefahren bzw. Rechtsverletzungen gleichermaßen.
Bei den hier demonstrierten unbewussten Fehlfunktionen von KI-Algorithmen ist vor allem die Entwicklung von Datenqualitätsstandards von Bedeutung. Außerdem bedarf es eines Verfahrens, um die KI-Algorithmen auf bestimmte Rechtsverstöße hin zu testen. Darüber hinaus wird sich zeigen müssen, ob und inwieweit Rechtsschutz bereits durch die Gestaltung der KI-Algorithmen, z. B. anti-discrimination by design, möglich sein wird (vgl. Busch 2018). Im Einzelnen besteht hierbei noch erheblicher Forschungsbedarf. Die damit verbundene technische Entwicklung kann die Qualität des Rechtsschutzes erheblich steigern.
Ob ein solches Testverfahren ex ante vor der Inbetriebnahme oder Inverkehrbringen der KI-Algorithmen durchlaufen werden muss oder lediglich ex post erfolgt, muss der Gesetzgeber in Abhängigkeit von der abzuwendenden Gefahr, der Art und dem Umfang der drohenden Schäden und der gesellschaftlichen Erwünschtheit der Technik entscheiden. Insbesondere bei individuellen, personenbezogenen Entscheidungen durch oder anhand von KI-Algorithmen, die auf aggregierte Daten zurückgreifen, muss dem Betroffenen zumindest ex post eine Kontrollmöglichkeit offenstehen (Wischmeyer 2018). Dies kann durch einen Auskunftsanspruch (z. B. zur Dokumentation der KI-Verwendung) oder einen Anspruch auf Testung (durch eine Behörde/ein ermächtigtes Institut) umgesetzt werden (Schweighofer et al. 2018). Transparenz wird insoweit zur Voraussetzung, um individuelle Rechte zu wahren. Wegen der Begrenzung des Allgemeinen Gleichbehandlungsgesetzes im Wesentlichen auf das Arbeitsverhältnis und zivilrechtliche Massengeschäfte und Versicherungen wird zum Teil eine Erweiterung des Gesetzes auf alle Rechtsgeschäfte befürwortet, die unter Mitwirkung von KI-Algorithmen zustande kommen (Martini 2019).
Ein Anreiz für die Entwicklung solcher Standards kann auch dadurch gesetzt werden, dass die Durchführung eines Testverfahrens die Haftung des Herstellers bzw. Verwenders reduziert. Auch in diesem Punkt wird es vom interdisziplinären Zusammenwirken abhängen, ob und inwieweit Standards und Tests entwickelt werden, die trotz der Veränderlichkeit von KI-Algorithmen für die Gestaltung des rechtlichen Rahmens Bedeutung erlangen können.
5.4 Zuständigkeiten für die Schaffung eines Rechtsrahmens und internationale Koordinierung
Die Ausgestaltung des Rechtsrahmens der KI-Algorithmen wird durch eine Mehrzahl von Akteuren gestaltet und weiterentwickelt. Dies ergibt sich bereits daraus, dass die Europäische Union ihre Kompetenzen in einer Reihe von Sachgebieten ausgeübt hat. Das gilt insbesondere für das Datenschutzrecht, das Teil des sog. vollharmonisierenden Unionsrechts ist, und von den Mitgliedstaaten nur dort weiter ausgestaltet werden kann, wo es die Datenschutz-Grundverordnung zulässt. Auch das angesprochene Medizinprodukterecht, das Wertpapierhandelsrecht und das Wettbewerbsrecht sind Teil des Unionsrechts, das durch die Mitgliedstaaten vollzogen wird, wobei es in vielen Bereichen der vorherigen Transformation in nationales Recht bedarf. Insofern werden die Europäische Union und ihre Mitgliedstaaten bei der Weiterentwicklung des Rechts in diesen Bereichen zusammenwirken (müssen). Darüber hinaus bleiben den Mitgliedstaaten eigene Gestaltungsbereiche. Unabhängig davon wird es insbesondere in einer globalisierten Wirtschaft darauf ankommen, allgemeine Standards für den Umgang mit KI-Algorithmen zu entwickeln. Der grenzüberschreitende Einsatz von KI-Algorithmen macht eine internationale Rechtsentwicklung notwendig (Hoffmann-Riem 2017). Dabei hat die OECD durch die Empfehlungen aus dem Jahr 2019 bereits eine aktive Rolle übernommen.
Sofern es im Besonderen um die Überprüfung von Algorithmen auf ihre Fehlfunktion und die damit verbundenen Verstöße gegen die Rechtsordnung geht, ist zu berücksichtigen, dass der zu vollziehende Rechtsrahmen zum Teil mitgliedstaatliches Recht, zum Teil europäisches Recht sowie ggf. internationale Abkommen ist. Die Überprüfung von KI-Algorithmen ist ein Mittel der Rechtsdurchsetzung. Das spricht grundsätzlich dafür, dass diese durch den Regelsetzer gestaltet und vollzogen wird. Etwas anderes gilt aber, wenn – wie häufig im Unionsrecht – der Vollzug des Rechts durch die Mitgliedstaaten erfolgt. Auch bei internationalen Abkommen ist der Vollzug in der Regel Sache der Vertragsstaaten. Insofern wird der Normvollzug vielfach dezentral in den Staaten erfolgen.
6 Fazit
Maschinelles Lernen ist durch die dramatischen Entwicklungen auf der methodischen Seite und in der Vielfalt der Anwendungen heute ein diverses und rapide evolvierendes Forschungsfeld. Hier können wir nur eine Momentaufnahme dieser virulenten Debatte liefern, die sich aktuell in der Informatik an der Schnittstelle zu den Sozial- und Rechtswissenschaften formiert.
Zu den Ansätzen dieses neuen Forschungsfeldes gehört, (1) dass die Algorithmen mit wachsenden Datenmengen besser werden, (2) dass unser theoretisches Verständnis der Lernbarkeit bestimmter Dateneigenschaften besser wird und wir das Fehlschlagen des Trainings oder der Vorhersagen auf diese Weise besser erkennen können, (3) dass sich Verzerrungen der algorithmischen Vorhersagen aufgrund von Asymmetrien in den Trainingsdaten algorithmisch entdecken und reparieren lassen. Die Regulierung von KI-Algorithmen muss an diese Forschungsergebnisse anknüpfen, um differenzierte und möglichst freiheitserhaltende Regelungen zu schaffen.