1 Einführung
Über 20 Jahre ist er bereits her, der Sieg von Deep Blue über Garri Kasparow. Inzwischen hat Künstliche Intelligenz in vielerlei Hinsicht Einzug in unseren Alltag gefunden, oftmals ohne dass wir es überhaupt bemerken. Von den allgegenwärtigen automatischen Ergänzungen bei der Google-Suche und Werbungseinblendungen beim Internet-Surfen bis hin zur Unterstützung bei medizinischen Diagnosen. Die Verselbstständigung von Maschinen schreitet voran, wie auch die Beiträge in diesem Band deutlich zeigen. In wenigen Jahren könnten beispielsweise Wohnungen älterer Menschen mit künstlicher Intelligenz ausgestattet sein, die ihnen nicht nur das selbstständige Leben im gewohnten Lebensraum ermöglicht, sondern im Notfall auch einen Krankenwagen rufen. Künstliche Intelligenz könnte unsere alltägliche Email-Kommunikation übernehmen, unsere Autos steuern, einen Großteil unserer Einkäufe erledigen und uns mit unserem Traumpartner zusammenführen.
Doch die Zukunftsvisionen im Zusammenhang mit KI haben oft auch dystopische Züge. In den schlimmsten Szenarien übernehmen die Maschinen die Welt, dominieren uns, versklaven uns oder löschen uns aus (Broman und Finckenberg-Broman 2017, S. 1; Horn 2019, S. 574; Joy 2000, S. 1). Doch auch weniger dramatische Zukunftsverläufe bergen gewisse Risiken und in jedem denkbaren Szenario wird diese Technologie, auch unerwünschte Nebeneffekte mit sich bringen. Die Gefahren sind vielfältig, sie reichen von Schädigungen einzelner Personen durch Unfälle mit selbstfahrenden Kraftfahrzeugen und der Unmöglichkeit, solche Schäden einer (zahlungsfähigen) Person zuzurechnen über diskriminierende Ergebnisse von KI-Entscheidungen bis hin zu Veränderungen der demokratischen Grundordnung, weil sogenannte „impossibility structures“ oder „blockchains“ bestimmte Normen und Werte technisch garantieren sollen und so sonstige institutionelle Garantien vermeintlich überflüssig werden (Caspar 2019, S. 2; HAZ Online 07.07.2016; FAZ Online 24.06.2019; Markwalder und Simmler 2017, S. 171; Rademacher 2019, S. 702).
Aus diesem Grund ist es erforderlich, die ethischen und rechtlichen Herausforderungen durch KI genauer zu betrachten. Hierfür wird zunächst dargestellt, was diese Technologie von anderen unterscheidet und warum sie neue Herausforderungen mit sich bringt. Anschließend werden die ethischen und rechtlichen Herausforderungen im Überblick dargestellt und an Anwendungsfeldern konkretisiert. Schließlich wird hinterfragt, wie sich das Konzept der Verantwortung durch KI verändern könnte (Loh 2017, S. 221).
2 Die Besonderheiten von KI aus ethischer und rechtlicher Perspektive
Bevor wir auf die einzelnen Herausforderungen und Konflikte eingehen, sei zunächst analysiert, was das Spezifikum von KI aus ethischer und rechtlicher Perspektive darstellt, d. h. warum es für diese normativen Wissenschaften überhaupt erforderlich ist, die Probleme gerade dieser technologischen Entwicklung detailliert zu beleuchten.
Künstliche Intelligenz wird in den nächsten Jahren in immer mehr Lebensbereichen zu finden sein. Algorithmen werden etwa in Zukunft zunehmend die Aufgaben von Institutionen wie z. B. Banken und Verwaltungen übernehmen. Bereits heute spielt KI eine – auch rechtlich und moralisch relevante – Rolle bei Abschlüssen von Verträgen im Internet, insbesondere an der Börse. Vorfälle wie etwa der „Flash Crash“ an der New Yorker Börse vor einigen Jahren, die von elektronischen Agenten verursacht wurden, zeigen nicht nur das Schädigungspotenzial, sondern auch die Unvorhersehbarkeit und Unkontrollierbarkeit derartiger Programme (Kirn und Müller-Hengstenberg 2014, S. 227 und 231; Süddeutsche Zeitung 04.11.2015; Zech 2019, S. 202).
Aber auch in der Medizin, im Straßenverkehr, bei der Entscheidung über die Vergabe von Arbeitsplätzen oder Krediten, Vermietung von Wohnungen oder auch der Partnerwahl und nicht zuletzt im Rahmen der Kriegsführung werden Algorithmen und Lernende Systeme eine immer wichtigere Rolle spielen (Katzenmeier 2019, S. 259; Keßler 2017, S. 589; Markwalder und Simmler 2017, S. 179; Müller 2014, S. 596; Schliesky 2019, S. 693; Stender-Vorwachs und Steege 2017, S. 553). Das wird ohne Zweifel erhebliche Vorteile mit sich bringen, könnten die Entscheidungen doch regelmäßig besser und weitreichender informiert, schneller, und möglicherweise neutraler sein als menschliche Entscheidungen.
Zugleich bergen diese Entwicklungen auch Risiken und Konflikte – und an dieser Stelle sind Ethik und Rechtswissenschaft gefordert, sich bereits heute mit diesen Technologien zu befassen, um diese Gefahren frühzeitig zu erkennen, zu analysieren und Vorschläge zur Minimierung zu erarbeiten. So ist es durchaus auch im Sinne des technologischen Fortschritts, wenn die potenziellen Schwierigkeiten bereits vorab diskutiert werden, Lösungen gefunden werden aber auch die Öffentlichkeit auf mögliche Probleme frühzeitig vorbereitet wird; der Widerstand gegen die Entwicklung könnte zunehmen, wenn erhebliche Schädigungen (insbesondere von Unbeteiligten) geschehen, ohne dass eine öffentliche Debatte über diese möglichen Schädigungen geführt wurde bzw. Regulierungen geschaffen wurden, wonach über Zulassung und Gefahrvermeidung vorab entschieden wurde. Nicht zuletzt könnte es zum einen sein, dass auch moralische und rechtliche Entscheidungen verstärkt von KI getroffen oder zumindest unterstützt werden, oder dass ethische und rechtliche Expertise gefragt sind, die Programmierung und Weiterentwicklung von KI zu verbessern (Loh 2018, S. 32; Markwalder und Simmler 2017, S. 180; Meyer 2018, S. 236; Neuhäuser 2012, S. 25; Zech 2019, S. 212).
KI unterscheidet sich deutlich von bisher im Einsatz befindlichen Maschinen – und gerade diese Unterschiede sind für Ethik und Recht bedeutsam (Dettling und Krüger 2019, S. 211). Traditionelle Maschinen übernehmen klar strukturierte Tätigkeiten und sind typischerweise nach einer „wenn-dann“-Logik programmiert (Beck 2018, S. 773; von Graevinger 2018, S. 239; Hilgendorf 2012, S. 125; Münch 2017, S. 54). Moderne, KI-gestützte Programme und Maschinen sollen verstärkt „autonom“ – in technischem Sinne – agieren, d. h. in einem bestimmten Rahmen eigenständige Entscheidungen treffen, sich durch neuronale Netzwerke gesteuert an neue Situationen anpassen, selbstständig aus Fehlern „lernen“ – ggf. mittels Deep Learning– und vom Entwickler, aber auch später vom Nutzer, trainiert werden (Gausling 2019, S. 335; Keßler 2017, S. 589; Wachenfeld und Winner 2015, S. 468). Zudem werden sie häufig über Plattformen miteinander vernetzt sein, d. h. die Programme entwickeln sich nicht isoliert und kontrolliert weiter, sondern kumulativ und dadurch werden sie umso schwerer vorhersehbar und überprüfbar (Beck 2018, S. 773; Dettling und Krüger 2019, S. 212; Gausling 2019, S. 337).
Derartige Programme bedürfen für das Training und den Einsatz regelmäßig einer großen Menge an Informationen und Daten („Big Data“) (Bräutigam und Klindt 2015, S. 1139; Katzenmeier 2019, S. 259; Paal und Hennemann 2017, S. 1697). Durch die Verknüpfung zwischen verschiedenen Datensätzen und der Schnelligkeit und Komplexität der Prozesse werden Anonymisierung oder Pseudonymisierung von Daten erschwert. Das könnte bedeuten, dass die Programme eine Vielzahl personenbezogener Daten speichern und verwenden werden (Hilgendorf 2015, S. 18; Ohrtmann und Schwiering 2014, S. 2985).
Schließlich ist die Art und Weise der Entscheidungsfindung für die rechtliche Betrachtung von Bedeutung – so basieren die Entscheidungen typischerweise auf Korrelationen und statistischen Wahrscheinlichkeiten. Wie dargelegt ist die Entwicklung, das Lernen, das Zustandekommen der Entscheidungen hoch komplex und ex post oft nur schwer nachzuvollziehen (Beck 2018, S. 773; Dettling und Krüger 2019, S. 212; Gausling 2019, S. 337).
All diese einzelnen Aspekte und Besonderheiten haben Auswirkungen auf die ethische und rechtliche Betrachtung der Technologie und erfordern eine spezifische Bewertung, die sich von der Bewertung und Regulierung anderer Technologien deutlich unterscheidet. Gerade die – zumindest teilweise – Übertragung von Entscheidungen auf Maschinen führt sogar, wie wir im Folgenden sehen werden, dazu, dass zum Teil ganz grundlegende Konzepte der Ethik und des Rechts, wie die individuelle Verantwortung oder das Recht auf Privatsphäre, hinterfragt werden bzw. in diesem Kontext angepasst werden müssen. Insofern ist die technologische Veränderung im Bereich der Künstlichen Intelligenz eine zentrale aktuelle Herausforderung für die normativen Wissenschaften (Katzenmeier 2019, S. 261; Loh 2017, S. 221; Markwalder und Simmler 2017, S. 172).
3 Ethische und rechtliche Herausforderungen von KI im Überblick
Zunächst einmal birgt die Weiterentwicklung von KI zweifellos das Risiko der Schädigung von Menschen, sei es direkt durch die ungeplante Bewegung eines KI-gesteuerten Roboters oder Fahrzeugs, aber auch indirekt etwa durch Fehlentscheidungen von KI-gestützten Diagnosesystemen im medizinischen Bereich (Hahn 2018, S. 27; Katzenmeier 2019, S. 265; Meyer 2018, S. 234; Simmler und Markwalder 2017, S. 21; Zech 2019, S. 2015). Insofern ist es notwendig, frühzeitig gesellschaftlich auszuhandeln, welches Risiko insofern akzeptabel ist (sog. sozialadäquates Risiko), d. h. welche Gefahren – gerade auch für Unbeteiligte – hingenommen werden müssen. Dies basiert letztlich auf einer Abwägung zwischen den Vorteilen und Nachteilen einer technologischen Entwicklung. Dabei ist zweifellos zu berücksichtigen, dass die Entwicklung bei KI ganz generell, aber auch beim einzelnen Programm, deutlich schwieriger vorhersehbar ist als bei anderen Technologien (Dettling und Krüger 2019, S. 212; Gausling 2019, S. 337). Das erschwert nicht zuletzt die Zulassung und Regulierung der Programme.
Eine besondere Herausforderung stellt sich mit Blick auf die Verantwortung. Je größer die „Autonomie“ der KI wird, je stärker ihre vernetzte Interaktion, desto problematischer wird die moralische oder rechtliche Zurechnung ihres Verhaltens (Neuhäuser 2012, S. 24; Zech 2019, S. 206). Da rechtliche und moralische Verantwortlichkeit zumindest in der Regel Vorhersehbarkeit und Vermeidbarkeit eines Schadens voraussetzt, wird es möglicherweise unmöglich, Programmierer oder Produzent in den dargestellten Fällen für Fehlverhalten der Maschine bzw. für Schädigungen Dritter, haftbar zu machen. Bei Maschinen, die einen eigenen Entscheidungsspielraum haben, durch Sensoren und Vernetzung Informationen erhalten und selbst auswerten, lässt sich weder im Vorhinein vorhersehen, welche Entscheidungen sie in welchen Situationen treffen werden, noch im Nachhinein feststellen, worauf eine Entscheidung beruhte (Herberger 2018, S. 2828; Martini 2017, S. 1018). Insbesondere ob einer der Beteiligten, etwa Programmierer, Produzent oder Nutzer, einen Fehler gemacht haben, ist häufig nicht mehr nachweisbar (Buck-Heeb und Dieckmann 2019, S. 63; Markwalder und Simmler 2017, S. 173; Schuster 2019, S. 11). Zugleich können, wie erwähnt, erhebliche Schäden verursacht werden, für die dann niemand zur Verantwortung gezogen werden könnte – dies wäre möglicherweise nicht nur mit erheblichen finanziellen Nachteilen für die Geschädigten, sondern auch mit einer gesellschaftlichen Verunsicherung verbunden (Gless und Janal 2016, S. 564).
Ein weiteres Risiko entsteht für den Schutz von Daten und Informationen (Beck 2018, S. 778; Gausling 2019, S. 335; Herberger 2018, S. 2828; Hötitzsch 2013, S. 91). Dies betrifft zum einen personenbezogene Daten: Da für die Fortentwicklung von KI eine große Menge an Daten erforderlich ist, und diese auch miteinander verknüpft sein müssen („Big Data“), besteht ein erhöhter Bedarf an personenbezogenen Daten (Hilgendorf 2015, S. 19; Keßler 2017, S. 590; Martini und Botta 2018, S. 627). Aber auch ganz generell ist die Nutzung von Daten und Informationen erforderlich, und selbst unabhängig vom Personenbezug werden diese Daten regelmäßig einem Verfügungsberechtigten zustehen.
Ein weiteres Problem gründet sich in der Funktionsweise von KI: Da die Entscheidungen auf statistischen Korrelationen basieren, werden die Betroffenen zwangsläufig aufgrund von bestimmten Eigenschaften in verschiedene Gruppierungen eingeteilt und auf dieser Basis wird dann entschieden – etwa darüber, ob ein Kredit erteilt, ein Job vergeben oder eine Wohnung vermietet wird. Je nachdem, auf welchen Eigenschaften die Entscheidung fußt, könnten sich (neben berechtigten Differenzierungen) ungerechtfertigte Diskriminierungen ergeben (Beck et al. 2019, S. 5 und 10–12; Hartmann 2019, S. 421). In vielen Fällen wird zunächst unklar sein, ob eine Unterscheidung zwischen verschiedenen Gruppen gerechtfertigt ist oder nicht. Auch kann es problematisch sein, dass die Maschine eben auf Basis von rationalen, verallgemeinernden Kriterien entscheidet, ohne Emotion, ohne Blick auf den Einzelfall, ohne Empathie (Frese 2015, S. 2092; Katzenmeier 2019, S. 269; Simmler und Markwalder 2017, S. 26). Es kann durchaus sein, dass wir derartige Entscheidungen in bestimmten Lebensbereichen grundsätzlich nicht akzeptieren wollen.
Die Entwicklung wird jedoch auch allgemeinere, gesellschaftliche Konsequenzen haben. So besteht in der Bevölkerung die Besorgnis, dass Maschinen den Menschen in immer mehr Bereichen ersetzen könnten – sei es, dass der Arbeitsplatz von einer Maschine übernommen wird, sei es, dass die Maschine an die Stelle zwischenmenschlicher Beziehungen rücken soll. Diese Entwicklung würde die bestehenden gesellschaftlichen Strukturen massiv verändern (Zeit Online 25.04.2018; Wirtschaftswoche Online 16.12.2015).
Dass diese Entwicklung durch Anpassung oder gar Ersetzung bestehender moralischer und rechtlicher Normen eingehegt werden muss – darüber sind sich die damit befassten Experten einig (Hilgendorf 2017, S. 258; Horn 2019, S. 576; Markwalder und Simmler 2017, S. 171; Zech 2019, S. 204). Und auch darüber, dass die Entwicklung fundamentale moralische bzw. rechtliche Konzepte wie Schuld oder Verantwortung verändern wird, ja vielleicht sogar verändern sollte. Damit ist nicht nur oder nicht einmal vorrangig gemeint, dass über die strafrechtliche Verurteilung von Autonomen Waffensystemen oder die moralische Verantwortlichkeit von Einparkhilfen zu entscheiden sei. Diskutiert wird vielmehr vor allem, inwieweit die Übertragung von Entscheidungen auf „autonome“ Maschinen die Schuld und Verantwortung der Personen, die sich für diese Übertragung entscheiden, verändert, wer in solchen Konstellationen überhaupt Verantwortung übernehmen kann, oder ob eben in diesen Fällen niemand „Schuld hat“, selbst wenn die Maschine einen Fehler macht und dabei Dritte schädigt (Markwalder und Simmler 2017, S. 171; Sander und Hollering 2017, S. 193; Schuster 2019, S. 6).
Nicht zuletzt wird es voraussichtlich erforderlich werden, ethische und rechtliche Vorgaben in irgendeiner Form in die Programme einzuspeisen, sie also die Einhaltung dieser Normen erlernen zu lassen oder sie vorab als Rahmen der Entscheidungen vorzugeben. Da unsere Normen jedoch einer anderen Logik entspringen, Sprache nicht ohne weiteres in Algorithmen transferierbar ist, wird dies eine erhebliche Herausforderung darstellen – und möglicherweise im Gegenzug die moralischen und rechtlichen Normen und deren Anwendung verändern (Erhardt und Mona 2016, S. 61; Gless und Janal 2016, S. 561).
Die hier im Überblick zusammengefassten Herausforderungen sind zum Teil solche, die einer gesellschaftlichen Debatte bedürfen und auch auf dieser, gesellschaftlicher Ebene angegangen werden sollten, zum Teil handelt es sich um Herausforderungen, die auf rechtlicher Ebene zu diskutieren sind. Wir werden im Folgenden zunächst die Probleme, die (möglicherweise) rechtlich gelöst werden können, betrachten, um anschließend auf die Schwierigkeiten einzugehen, die auf gesamtgesellschaftlicher Ebene angegangen werden müssen.
4 Rechtliche Herausforderungen durch KI
Das Recht kann nicht allen Herausforderungen moderner Technologien begegnen; es ist etwa nicht dazu geeignet, allgemeine gesellschaftliche Besorgtheit zu verringern oder wirtschaftliche Strukturen grundlegend zu reformieren. Es kann aber natürlich bestimmte, gesellschaftlich als verwerflich angesehen Handlungen verbieten, es kann Bedingungen für die Erforschung und den Einsatz der Technologien vorgeben (z. B. in Form von Genehmigungen) oder bestimmte Vorgaben für die jeweiligen Verträge machen bzw. Haftungsfragen regeln (Beck 2009, 2018, S. 226–228 und 777; Hilgendorf 2013, S. 15). Das Recht steckt also den Rahmen für die Fortentwicklung der KI, hegt die absehbaren Risiken ein und schafft Rechtssicherheit für die Beteiligten.
Zunächst wird es durch die Fortentwicklung von KI einige spezifische Sonderprobleme geben, etwa im Urheberrecht, da immer öfter Werke von Maschinen hergestellt werden statt von Menschen und zumindest bisher ungeklärt ist, wie diese Situation urheberrechtlich aufzufangen ist (Hetmank und Lauber-Rönsberg 2018, S. 575). Auch völkerrechtliche Fragen bezüglich des Einsatzes von autonomen Waffensystemen werden aufgeworfen (Thompson 2016, S. 835–839; Ficuciello 2019, S. 31; Hartwig 2019, S. 325). Diese eher speziellen Fragestellungen sollen jedoch an dieser Stelle nicht vertieft behandelt werden; stattdessen werden wir uns auf die größeren Umwälzungen im Rechtssystem konzentrieren.
Ein zentrales Problem, das ohne Zweifel rechtlicher Regulierung bedarf, ist der Umgang mit Daten und Informationen (Gausling 2019, S. 335; Herberger 2018, S. 2828). Diese sind für die Weiterentwicklung und Nutzung von KI in einem bisher unbekannten Ausmaß erforderlich. Denn die Programme werden nicht nur zu Beginn mit Daten gefüttert, auch für das spätere Lernen und Weiterentwickeln bedürfen sie Informationen, die ihnen entweder weiterhin zugeführt werden oder die sich selbst aus dem Internet holen (Borges 2018, S. 978; Decker 2016, S. 33; Gausling 2019, S. 335). Zugleich werden sie gerade durch die Vernetzung, die mit KI einhergeht, besonders schutzwürdig. Denn aufgrund der Verknüpfung der Daten ist es sehr viel einfacher möglich, sie einem bestimmten Individuum zuzuordnen; der jeweils betroffene Mensch wird „gläsern“ und damit in vielerlei Hinsicht verletzbar (Bericht der AG Gesundheit, Medizintechnik, Pflege 2019, S. 5). Hinzu kommt die Schutzwürdigkeit bezüglich der Verfügungsberechtigung: Neben demjenigen, auf den sich die Daten beziehen, hat auch der Ersteller von Informationen und Daten bzw. derjenige, in dessen Auftrag sie erstellt werden, ein Interesse daran, den Zugriff auf die Daten zu kontrollieren. Hier stehen sich also die Interessen der KI-Entwickler und -Nutzer auf der einen, die der Dateninhaber auf der anderen diametral gegenüber. Das aktuelle Datenregime schützt vor allem diejenigen, auf die sich die Daten beziehen (Katzenmeier 2019, S. 263; Schindler 2019, S. 6647). Dieser Schutz ist sehr weitgehend, schränkt die Nutzbarkeit der Daten bereits erheblich ein, wenn der Personenbezug in irgendeiner Form wiederhergestellt werden kann (Bräutigam und Klindt 2015, S. 1140; Veil 2018, S. 696). Der Schutz der Verfügungsberechtigten ist dagegen nicht ebenso weitreichend und klar ausgestaltet, insbesondere ist in vielen Fällen nicht einmal rechtlich geklärt, wer überhaupt als Verfügungsberechtigter anzusehen ist (Weisser und Färber 2015, S. 508; Heinrich Böll Stiftung 2019). Auch wie Konflikte zwischen denjenigen, über die die Daten Auskunft geben und denjenigen, die über sie verfügen dürfen, aufzulösen sind, ist weitgehend ungeklärt. Schließlich wird teilweise argumentiert, dass der Schutz und die Zugriffsbeschränkung bezüglich der Daten zu weit in die technologischen Entwicklungsmöglichkeiten eingreife, und man zumindest überdenken sollte, ob Daten nicht im Sinne einer Infrastruktur angesehen und reguliert werden müssten (Fezer 2017, S. 3; Kerber 2016, S. 639; Michl 2019, S. 2729; Paal und Hennemann 2017, S. 1697; Wendehorst 2016, S. 2609). Das würde im Sinne eines großen öffentlichen Interesses einen deutlich weitergehenden Zugriff erlauben. All diese Debatten lassen sich nur bedingt de lege lata lösen; vielmehr ist der Gesetzgeber gefordert, durch Neustrukturierung und -regelung einen adäquateren Interessensausgleich zu schaffen.
Ein weiterer Bereich, für den ohne Zweifel das Recht zuständig ist, ist die Risikobewertung und – beschränkung (Zech 2019, S. 209). Jede neue Technologie, jedes neue Produkt oder Arzneimittel oder ähnliches, bergen Gefahren für Unbeteiligte. Diese sind mit den potenziellen Vorteilen abzuwägen und vom Gesetzgeber sind dann Bedingungen vorzugeben, unter denen eine Weiterentwicklung und Nutzung zulässig ist. Meist erfolgt das in Form von Zulassungs- bzw. Genehmigungserfordernissen. Aber auch die Notwendigkeit von Einwilligungen potenziell Betroffener kann gesetzlich bestimmt sein (etwa bei medizinischer Forschung am Menschen) (Hahn 2018, S. 27–28; Kühl in Lackner und Kühl 2018, § 228, Rn. 22; Schaar 2017, S. 18–219). In diesem Kontext stellt KI das Recht unter anderem dadurch vor neue Herausforderungen, dass die Maschine bzw. das Produkt nicht zu einem bestimmten Zeitpunkt „fertig“ ist, sondern sich vielmehr regelmäßig durch selbstständiges Lernen weiterentwickelt. Das ist nicht zwingend, und eine Voraussetzung der Zulassung könnte ja durchaus sein, den Prozess des Trainierens und Lernens zu einem bestimmten Zeitpunkt zu beenden und die Maschine so zuzulassen, wie sie sich zu diesem Zeitpunkt verhält (Zech 2019, S. 201). Zugleich nimmt das den Maschinen die Möglichkeit der anschließenden Verbesserung durch Nutzung in der Praxis und ein darauf basierendes Lernen. Insofern wäre denkbar, eine immer wieder zu erneuernde Zulassung oder verschiedene Kontrollinstanzen einzuführen, so dass das Programm nicht nur einmal, sondern während seines Einsatzes regelmäßig kontrolliert wird (Zech 2016, S. 186; Zech 2019, S. 210).
Das bisher wohl am intensivsten diskutierte Rechtsproblem im Bereich von KI ist die Frage der Haftung bzw. Verantwortung für durch die KI verursachte Schäden (Borges 2018, S. 979; Keßler 2017, S. 590 und 593; Zech 2019, S. 207). Das Problem ergibt sich daraus, dass die Programme nicht ohne weiteres ex ante vorhersehbar und kontrollierbar sind, und insbesondere bei selbst-lernenden Programmen auch nicht ohne weiteres ex post nachvollziehbar ist, was genau zu einer bestimmten Entscheidung führte (Beck 2018, S. 773; Dettling und Krüger 2019, S. 212; Gausling 2019, S. 337). Nicht zuletzt weil das nachträgliche Lesen des Algorithmus, also die ex post Suche nach dem Grund für das Fehlverhalten, bei „neuronalen Netzwerken“, die die interne Struktur derartiger Maschinen ausmachen bzw. künftig ausmachen werden, erschwert wenn nicht gar unmöglich ist, kann davon ausgegangen werden, dass häufig eine Zurechenbarkeit zu einem menschlichen Individuum entfällt. Selbst wenn der Nachweis gelingt bzw. zumindest eindeutig feststeht, dass eine Schädigung durch eine Entscheidung der Maschine verursacht wurde, sind die klassischen Zurechnungsstrukturen des Rechts – wie wir im Folgenden detailliert untersuchen werden – auf derartige Konstellationen nicht mehr ohne Weiteres anwendbar (Dettling und Krüger 2019, S. 214; Hilgendorf 2015, S. 12–13; Simmler und Markwalder 2017, S. 20). Denn hinzu kommt, dass wie erwähnt für die Zukunft selbsttätige Informationssammlung und -verwertung durch diese Maschinen geplant ist, ebenso wie „Training“ der Maschinen durch den Nutzer. Das verstärkt nicht nur ihre Unberechenbarkeit, es führt auch dazu, dass es normativ problematisch erscheint, ausschließlich die Hersteller der Maschine – also eben entweder Programmierer oder Produzenten – zur Verantwortung zu ziehen. Denn ein Nutzer, der die Maschine seinen Bedürfnissen entsprechend unterrichtet und trainiert, hat erheblichen Einfluss auf deren Verhalten und trifft ja schließlich auch überhaupt erst die Entscheidung, die Maschine in einem bestimmten Lebensbereich einzusetzen. Zugleich erscheint es aber auch nicht ohne weiteres normativ plausibel, die Entscheidungen weiterhin umfassend einem menschlichen Individuum zuzurechnen. Die Programme werden gerade derart gestaltet, dass bestimmte Entscheidungen zumindest teilweise auf sie übertragen werden können, weil sie in bestimmten Aspekten besser geeignet sind, mehr Informationen erhalten und diese schneller auswerten können, etc. Mit Blick hierauf erschiene es zumindest problematisch, dass dieser Transfer bei der rechtlichen Bewertung völlig unberücksichtigt bleibt, nicht zuletzt, weil es nicht selten eine faktische oder psychologische Überforderung darstellt, sich gegen die Maschine zu entscheiden oder die Maschine permanent in einer Art und Weise zu kontrollieren, dass man einen tatsächlichen und normativ relevanten Einfluss auf ihre Funktionsweise und die Entscheidungen hat.
Diese Veränderungen sind jedenfalls Anlass dafür, die bestehenden Verantwortungskonzepte im Kontext dieser neuen Technologie zu überdenken und gegebenenfalls neu zu justieren (Beck 2019 S. 50; Loh 2017, S. 221; Sander und Hollering 2017, S. 193). Dabei ist zu differenzieren zwischen Haftung – hierbei geht es in der Regel um materiellen Ersatz des entstandenen Schadens – und individueller, meist strafrechtlicher, Verantwortung.
Bezüglich der Haftung lassen sich Lösungen finden auf der Ebene derjenigen, die die Maschinen programmieren und produzieren, oder derjenigen, die über den Einsatz solcher Maschinen in einem bestimmten Bereich entscheiden (z. B. in einem bestimmten Unternehmen, in einer Klinik o. ä.) (Hetmank und Lauber-Rönsberg 2018, S. 580; Simmler und Markwalder 2017, S. 25; Zech 2019, S. 198). Doch auch diese Lösungen sind zumindest teilweise nicht ohne Weiteres dem geltenden Recht zu entnehmen – auch im Zivilrecht bedarf Schadenersatz nicht selten eines schuldhaft gegen normative Vorgaben Verstoßenden, der wie erläutert im Kontext der KI aber gerade häufig nicht aufzufinden ist (Keßler 2017, S. 589). Mit Blick hierauf wird zum Teil diskutiert, die Maschine selbst zum Adressaten finanzieller Ansprüche zu machen; hierfür wird von einigen Stimmen die Einführung einer „elektronischen Person“ gefordert, die analog einer juristischen Person selbst für die Schäden haften müsste (Borges 2018, S. 977; Kütük-Markendorf und Essers 2016, S. 26; Specht und Herold 2018, S. 43). Einzelfragen wie woher das Vermögen der elektronischen Person stammt, wie die Ursächlichkeit der Schadensverursachung ausgestaltet sein müssten, etc., wären vom Gesetzgeber zu klären. Eine andere Lösung könnte eine der Kraftfahrzeughaftung angenäherte, allerdings mit Blick auf den Kontext umgestaltete Halter- und Nutzer-Haftung sein. Vieles lässt sich in diesem Bereich zudem über entsprechende (Zwangs-)Versicherungen lösen. Auch hierfür müssen künftig entsprechende Gesetze erlassen werden (Beck 2018, S. 777; Katzenmeier 2019, S. 270; Zech 2019, S. 206).
Besonders komplex ist, wie mit der individuellen rechtlichen Verantwortung in diesem Kontext umzugehen ist, insbesondere mit Blick auf mögliche Strafbarkeiten. Verantwortungsdiffusionen wie die hier geschilderten sind kein völlig neues Phänomen – solche Anpassungen waren und sind bereits mit Blick auf die verstärkte Kollektivierung unserer Gesellschaft erforderlich – was sich etwa in der Konstruktion der „juristischen Person“ niederschlägt (Joecks in Joecks und Miebach 2017, Vor § 25 Rn. 16–20; Scholz 2000, S. 435–436; Zech 2016 S. 203). Doch handelt es sich hierbei immer noch um menschliche Gegenüber, wenn diese auch als Kollektiv agieren und adressiert werden. Ein maschinelles „Gegenüber“ unterscheidet sich hiervon erheblich, so dass die Konzeptionierung von rechtlicher Verantwortung hier erneut zu diskutieren ist. Das betrifft eben gerade das Strafrecht – dieses Rechtsgebiet basiert im Besonderen, wie sich gerade mit Blick auf den Allgemeinen Teil zeigen wird, auf dem Bezug zum Individuum, dessen Handlung und der persönlichen Vorwerfbarkeit (Lutz 2015, S. 121; Markwalder und Simmler 2017, S. 180; Seher 2016, S. 46). Somit ist denkbar, dass es in diesem Kontext zu noch weniger strafrechtlicher Verantwortlichkeit (insbesondere für Fahrlässigkeitstaten) als dies bereits in anderen aktuellen Lebensbereichen der Fall ist. Das erscheint zwar jedenfalls besser als dass derjenige strafrechtlich verantwortlich gemacht wird, der letztlich kaum Kontrolle über die Entscheidungsfindung hatte, den Einsatz der Maschine nicht selbst initiiert hatte und somit normativ nicht als derjenige angesehen werden kann, der für die entsprechenden Schädigungen selbst verantwortlich wäre.
Mit Blick unter anderem auf die problematischen rechtlichen Konsequenzen ist derzeit nach den Vorgaben der Datenschutzgrundverordnung der EU eine ausschließlich maschinelle Entscheidung, die rechtlich relevante Auswirkungen auf einen Bürger hat, unzulässig (Abel 2018, S. 304; Gausling 2019, S. 339; Schindler 2019, S. 6647). Erforderlich ist also immer noch eine menschliche Überprüfung der Entscheidung – wie dargelegt sollte daraus aber gerade nicht notwendigerweise zu schlussfolgern sein, dass derjenige, der die Entscheidung überprüft, dafür auch individuell strafrechtlich verantwortlich sein sollte.
Ein weiteres Problem, das sich auf rechtlicher (und auf ethischer) Ebene stellt, ist das enorme Diskriminierungspotenzial von Künstlicher Intelligenz; diese ist in der Realität nämlich keineswegs so neutral wie sie erwarten lässt (Ein Beispiel hierfür ist die Aussage der Bundesministerin der Justiz und für Verbraucherschutz Katarina Barley, dass Algorithmen objektiver sein können als Menschen (Heise Online 11.04.2019). Eine Bertelsmann-Studie hingegen zeigt, dass über Algorithmen informierte Europäer trotz eines grundlegenden Bewusstseins für das Potenzial dieser Technologien auch für potenzielle Risiken sensibilisiert sind (Bertelsmann Stiftung 2019). Ein erster Überblick über potenziell unbedachte negative Folgen bei der Anwendung von Künstlicher Intelligenz ist im „Atlas der Automatisierung“ von AlgorithmWatch zu finden (AlgorithmWatch 2019). Lernende Systeme bergen vielmehr verstärkt das Potenzial, bereits vorhandene Diskriminierungen nicht nur zu übernehmen, sondern sogar zu verschärfen. Ein Beispiel hierfür sind die Algorithmen, die in den USA zur Ermittlung des kriminellen Risikos, also der Rückfallwahrscheinlichkeit, eines Straftäters eingesetzt werden (Zeit Online 06.06.2016). Im Ergebnis erhalten durch ihn Menschen, die zu Bevölkerungsgruppen gehören, die in der Vergangenheit bereits häufiger ins Visier der Strafverfolgungsbehörden gerieten, wie etwa ethnische Minderheiten, schlechtere Prognosen. Dieses Beispiel zeigt, dass sich auf verschiedenen rechtlichen Ebenen Probleme ergeben können: Betroffen sein könnten das Allgemeine Gleichbehandlungsgesetz, das Arbeitsrecht, das Zivilrecht, das Prozessrecht und insbesondere natürlich das Grundgesetz (Art. 3 GG). In der aktuellen Debatte hierzu finden sich bereits erste Lösungsvorschläge (Dettling und Krüger 2019, S. 211; Guggenberger 2019, S. 849; Schindler 2019, S. 06647). Grundsätzlich scheint zunächst wichtig, dass in der Gesellschaft ein Bewusstsein für die Diskriminierungsrisiken entsteht. Die technischen Ansätze, mit denen versucht wird, ethische Prinzipien im Designprozess der Software zu integrieren, etwa Value Sensitive Design oder Constructive Technology Assessment, werden alleine nicht ausreichen. Zusätzlich werden Mechanismen oder Institutionen einer gesellschaftlichen Regulatorik benötigt, die u. a. Menschen ohne vertieftes Fachwissen in die Lage versetzen, Abhängigkeiten von Entscheidungen lernender Systeme zu vermeiden und die Entscheidungen einschätzen zu können. Der erforderlichen Transparenz der Systeme können jedoch Firmengeheimnisse entgegenstehen; es wird zu klären sein, in welchem Maß und gegenüber welchen Akteuren Transparenz hergestellt wird (Heinrich Böll Stiftung 2019; Heise online 2018; Plattform lernende Systeme 18.09.2019). Angeregt wird an dieser Stelle regelmäßig eine unabhängige Instanz, die als Stellvertreter für potenziell diskriminierte Bürgerinnen und Bürger die Outputs lernender Systeme kontrolliert und bewertet, sowie laufende Schulungen und Fortbildungen der Mitarbeiterinnen und Mitarbeiter, die die Systeme anwenden. Auch wird unabhängig von einer derartigen prüfenden Institution eine permanente nachträgliche Beobachtungspflicht der Hersteller oder Betreiber der Systeme gefordert. Zudem wird diskutiert, von der Gesellschaft im jeweiligen Kontext als diskriminierend bewertete nicht für die Anwendung relevante Merkmale aus dem Input für maschinelle Lernverfahren zu streichen. Das erfordert eine breite Debatte darüber, welche Kriterien diskriminierend bzw. welche für uns derzeit noch nicht vorstellbaren Korrelationen akzeptabel sind und welche nicht. Wie problematisch diese Festsetzung ist, zeigen die bereits lange andauernden Debatten um Art. 3 GG (Britz 2008, S. 178–179). Die vermehrte Nutzung lernender Systeme wird diese Debatten verstärken und die Notwendigkeit verschärfen, sich zu einigen. An dieser Stelle überschneiden sich (wie bei vielen der dargestellten Probleme) die ethischen und rechtlichen Herausforderungen; denn die Frage, was als diskriminierend betrachtet wird, ist letztlich auch gesellschaftlich und nicht ausschließlich rechtlich beantwortbar. Das Recht muss insofern die – anschließend geschilderten – ethischen Überlegungen in seine Strukturen aufnehmen und entweder durch Regulierung oder entsprechende Rechtsanwendung einhegen.
Mit Weiterentwicklung der lernenden Systeme wird es erforderlich werden, auch die rechtlichen Rahmenbedingungen in die Entscheidungen der KI einzubinden. Das bedeutet, dass dieser normative Rahmen einprogrammiert bzw. antrainiert werden muss (Gless und Janal 2016, S. 561; Simmler und Markwalder 2017, S. 20). Insofern stellen sich – da moralische und rechtliche Normen regelmäßig mittels Sprache gebildet und vermittelt werden – die von Höltgen erläuterten sprachphilosophischen Probleme (Höltgen 2024). Zudem ist umgekehrt davon auszugehen, dass sich die Normen ändern könnten, um der für dieses Einprogrammieren bzw. Lernen erforderlichen Logik zu entsprechen. Wie genau dies aussehen könnte, wird sich wohl erst im Verlauf der Zeit zeigen, aber die Interpretationsoffenheit und Weite der derzeit bestehenden Normen wird möglicherweise nicht umfassend bestehen bleiben (können), wenn man diesen Anforderungen gerecht werden möchte. Das gilt auch für die damit verbundene Weiterentwicklung von Legal Tech; denn auch für den kommenden Einsatz der dargestellten Technologien in der Rechtspraxis wird eine Anpassung des Rechts erforderlich werden (Hötitzsch 2013, S. 92; Markwalder und Simmler 2017, S. 175; Zech 2019, S. 215). Dass ein solcher Einsatz kommen wird, ist höchst wahrscheinlich und die damit verbundene Entlastungsfunktion auch durchaus zu begrüßen – nur sollte dafür gesorgt werden, dass das Recht seine spezifische Natur, seine Besonderheit, insbesondere seine Möglichkeit, sich durch zeitgemäße Anwendung weiterzuentwickeln, nicht verliert. Die Programmierung muss also Offenheit beinhalten, anpassungsfähig bleiben und gesellschaftliche Bezüge integrieren können.
Insofern besteht auch ein Problem mit Blick auf die inzwischen in der Debatte so genannten „Impossibility Structures“ (Rademacher 2019, S. 702; Rich 2012, S. 796 and 802–804). Deren Sinn und Zweck ist es, systematisch zu verhindern, dass sich eine Person rechtswidrig verhalten kann (Rademacher 2019, S. 702). Hierbei handelt es sich dem Grunde nach um keine neue Vorgehensweise. Faktische „Impossiblity Structures“, die einen Rechtsverstoß verhindern sollen, finden sich beispielsweise bereits an Bahnhöfen in Form von Drehkreuzen. Aber auch Banktresoren sowie Diebstahlsicherung anderer Art fallen darunter. Der zunehmende technische Fortschritt eröffnet jedoch deutlich mehr und engmaschigere Möglichkeiten, Rechtsverstöße zu verhindern. Intensive Diskussionen wurden zuletzt um den EU „Upload-Filter“ geführt, der das Hochladen von urheberechtsverletzendem Material verhindern soll (Becker 2019, S. 636; Gerpott 2019, S. 420; Peifer 2019, S. 403). Daneben können „Impossibility Structures“ aber auch in zahlreichen anderen Bereichen zur Anwendung kommen, beispielsweise im Rahmen sich selbst vollziehender Verträge, so genannten Smart-Contracts, aber vor allem auch im Straßenverkehr. Unlängst informierte der Auto-Hersteller Volvo darüber, die Höchstgeschwindigkeit seiner Autos auf eine Maximalgeschwindigkeit von 180 km/h zu beschränken. Darüber hinaus wird bereits seit längerer Zeit in den USA die Einführung von „Driver Alcohol Detection System for Safety“ (DADSS) (Rich 2012, S. 828), also solcher Systeme, die verhindern sollen, dass ein Fahrzeug betrunken geführt wird, diskutiert und vorangetrieben. Neben Diskussionen über die technische Realisierbarkeit solcher Mechanismen oder den Datenschutz, stellt sich hier insbesondere die Frage, welchen potenziellen Wandel das Recht durch den Einsatz solcher Techniken erfahren kann bzw. wird. Denn wenn der Mensch sich nicht mehr selbst und freiwillig für die Einhaltung des Rechts entscheidet, dann verändert das den Charakter des Rechts, aber auch die Gesellschaft und das menschliche Miteinander insgesamt.
5 Ethische Herausforderungen für die Gesamtgesellschaft
All die geschilderten rechtlichen Herausforderungen haben selbstverständlich auch ethische Implikationen. So stellt sich die Frage nach der (individuellen) Verantwortlichkeit eben nicht nur auf rechtlicher, insbesondere strafrechtlicher, Ebene, sondern auch auf moralischer. Auch wenn dies aus moralischer Perspektive jeweils eine andere Bedeutung und andere Reichweite hat, andere Akteure betrifft und zum Teil auch nach anderen Lösungen als im Recht ruft, sollen hier nicht alle bereits im rechtlichen Teil geschilderten Interessenskonflikte erneut nachgezeichnet werden. Vielmehr soll an dieser Stelle auf allgemeinere, gerade nicht auf der Ebene des Rechts lösbare, sondern gesamtgesellschaftlich zu diskutierenden Fragen eingegangen werden.
So bringt die Weiterentwicklung der KI eine gewisse, generelle Skepsis der Gesamtbevölkerung gegenüber automatisierten Entscheidungen mit sich. Eine Studie (repräsentative Umfrage des Instituts YouGov, FAZ 11.09.2018) ergab, dass 26 % Prozent der deutschen Bevölkerung der Künstlichen Intelligenz eher skeptisch gegenüber stehen. Auch wenn dies zum Teil auf unzureichender Information oder insbesondere auf den medialen Darstellungen, in Filmen, Büchern, Serien, etc., beruhen mag, so ist diese Besorgnis doch ernst zu nehmen und in die gesellschaftlichen Überlegungen einzubeziehen. Zudem ist es jedenfalls nicht per se unberechtigt, nicht in jedem Lebensbereich Entscheidungen auf Maschinen transferieren zu wollen. Unabhängig davon, dass KI natürlich sehr viele Vorteile versprechen – sei es durch die Geschwindigkeit der Informationsverwertung, sei es durch die Masse der verwertbaren Information oder durch die Möglichkeiten des Lernens und Vernetzens der Programme untereinander – gibt es trotzdem auch gute Gründe für eine gewisse Skepsis gegenüber dieser Entwicklung (Beck 2012, S. 140; Borges 2018, S. 977; Simmler und Markwalder 2017, S. 20–22). Maschinen wissen nicht, was es bedeutet, Mensch zu sein, sterblich zu sein, Gefühle zu haben. Sie können nicht empathisch sein, mitfühlen, mitleiden (Simmler und Markwalder 2017, S. 34–36; Schwintowski 2018, S. 1605; Süddeutsche Zeitung 04.06.2019). Sie können letztlich primär statistische Erkenntnisse auswerten, nicht dagegen den Einzelfall betrachten, die konkrete Geschichte des Menschen begreifen, über den sie entscheiden. Und es ist zumindest schwer vorstellbar, dass sie disruptiv, kreativ agieren können, völlig neue Lösungsideen entwickeln oder Wege beschreiten – primär werden sie sich an bestehenden Lösungen orientieren (Herberger 2018, S. 2827–2828; Pieper 2018, S. 12). Mit Blick hierauf ist es durchaus verständlich, dass gesamtgesellschaftlich nicht ausschließlich Euphorie für die Weiterentwicklung von KI vorzufinden ist. Sicherlich ist zutreffend, dass die Gesamtgesellschaft – gerade die europäische Gesellschaft – auch darauf achten sollte, dass KI aller Voraussicht nach in Zukunft einen wichtigen Wirtschaftsfaktor darstellen wird und Europa insofern in einem schwierigen Wettbewerb insbesondere mit China und den USA steht. Zu starke Einschränkungen der technologischen Entwicklungen könnten deshalb einen nicht unerheblichen gesellschaftlichen Nachteil begründen. Zugleich ist natürlich der Wettbewerb nur eines von vielen Argumenten im ethischen Diskurs und darf nicht dazu führen, dass Bedenken nicht hinreichend ernst genommen werden. Teilweise wird im Übrigen auch überlegt, ob nicht gerade eine an moralischen Werten orientierte KI das besondere Kennzeichen der europäischen Technologieentwicklung und insofern ein diesbezüglicher, kleiner Wettbewerbsvorteil sein könnte.
Die fehlende „Menschlichkeit“ der Maschinen könnte neben der konkreten Entscheidungssituation zusätzliche negative Auswirkungen auf die Gesellschaft und den Einzelnen haben. Befürchtet wird die zunehmende „Enthumanisierung“ durch die vermehrte Interaktion mit Maschinen/Programmen in den unterschiedlichsten Lebensbereichen (Hellinge et al. 2018, S. 113; Martini und Botta 2018, S. 631). Wenn etwa mit KI ausgestattete Roboter zu Lebenspartnern werden oder im Rahmen der Pflege mit älteren, sonst kaum soziale Kontakte habenden Menschen interagieren, wenn Algorithmen in sozialen Netzwerken (vermeintliche) Fakten verbreiten oder im Kundensupport gar kein Mensch mehr erreichbar ist – dann sind diese Entwicklungen von erheblicher Bedeutung für die Gesellschaft. Zugleich ist zu berücksichtigen, dass solche Ängste bei vielen technischen Neuerungen geäußert wurden, und auch wenn einige Aspekte wie z. B. die Zeitdauer der durchschnittlichen täglichen Handynutzung und damit verbundene Verringerung persönlichen Kontakts sicherlich problematisch sind, ist der Mensch doch auch erstaunlich anpassungsfähig (bspw. Gless und Janal 2016, S. 561–562). Es ist jedoch zweifellos wichtig, dass zum einen ein Adressat nicht darüber getäuscht werden darf ob er mit einem Menschen oder mit einem Programm kommuniziert, und zum anderen ganz grundsätzlich darauf geachtet werden sollte, dass soweit wie möglich die direkte Interaktion mit Menschen Vorrang haben sollte (oder zumindest als Alternative zur Verfügung stehen sollte), gerade bei anderweitig ohnehin schon sozial isolierten Menschen und in besonders sensiblen Lebensbereichen.
Hiermit verbunden ist die häufig geäußerte Sorge um Arbeitsplätze (Handelsblatt 14.02.2019; Schieffer 2018, S. 145; Zeit Campus 31.05.2019). Ohne Zweifel wird KI in vielen Arbeitsfeldern immer mehr Aufgaben übernehmen können und somit den Einsatz von Menschen nicht selten überflüssig machen. Zugleich werden durch die Technologie natürlich auch neue Arbeitsplätze geschaffen – dies betrifft aber gerade nicht bestimmte Arbeitsbereiche mit eher niedrig Qualifizierten (z. B. Call Center). Insofern sollte parallel zur Weiterentwicklung von KI auch die Arbeitswelt entsprechend angepasst und umgestaltet werden, und hierbei insbesondere auf einen Ausgleich für ohnehin bereits sozial Benachteiligte geachtet werden. Auch gerade für diese Gruppe von Bedeutung ist die Frage der Kosten und deren Berechtigung. KI wird zweifellos für die Entwicklung der Wirtschaft insgesamt eine erhebliche Bedeutung haben. Zugleich ist die Technologie teuer und aufwendig, bestimmte Sonderentwicklungen wie etwa Blockchain verbrauchen erhebliche Ressourcen (Die Blockchain-Technologie 2018, S. 37; Thum 2018, S. 18–20). Auch das sollte bei der Fortentwicklung berücksichtigt werden – und auch hier gilt, dass nicht gerade diejenigen die Nachteile tragen sollten, die von den Vorteilen nicht oder nur in geringem Maße profitieren.
Ein derzeit besonders intensiv diskutiertes Thema, das mit Blick auf seine rechtlichen Bezüge bereits detailliert dargestellt wurde (AGG, Art. 3 GG), aber doch auch ethischen Gehalt hat, ist das Problem der Diskriminierung durch KI. Die Schwierigkeit, Korrelationen sozial zu bewerten, ergibt sich gerade aus der Funktionsweise von KI – es handelt sich also um ein strukturelles Problem. Dieses wird sich, wie angedeutet, nur über ein Bündel an Maßnahmen lösen lassen – von einer achtsamen Auswahl der Trainingsdaten über die Suche nach Kausalitäten statt nur nach Korrelationen und angemessene Transparenz der Prozesse bis hin zur Überprüfung der Ergebnisse.
Schließlich sei an dieser Stelle mit Blick auf die zunehmende Notwendigkeit, bereits bei der Programmierung rechtliche und ethische Expertise einzubringen, auf eine Forderung aus den Guidelines der High Level Expert Group hingewiesen: In den nächsten Jahren wird es dringend erforderlich sein, entsprechende Ethik-Professuren einzurichten, um so bald wie möglich die notwendige Anzahl an solchen Experten auszubilden (High-Level Expert Group on AI 2019, S. 23–24; Strategie Künstliche Intelligenz der Bundesregierung 2018, S. 15). Das gilt nicht weniger für den Bereich der Rechtswissenschaft.
6 Spezielle Herausforderungen einzelner Anwendungsbereiche: Ethische und rechtliche Herausforderungen von KI in der Medizin und Pflege
KI wird bereits und soll auch in Zukunft in den unterschiedlichsten Lebensbereichen eingesetzt werden – sei es bei der individualisierten Werbung, bei der Auswahl geeigneter Bewerber für einen Job oder der Kreditvergabe, bis hin zur Kriegsführung (Gausling 2019, S. 335; Martini und Botta 2018, S. 625; Zech 2016, S. 166). In jedem dieser Bereiche stellen sich spezifische rechtliche und ethische Probleme. Im Folgenden soll exemplarisch ein aktuell besonders in der Diskussion stehender Lebensbereich dargestellt werden, der Einsatz von KI im Bereich der Medizin und Pflege. Bezüglich eines weiteren Sonderbereichs, den selbstfahrenden Kraftfahrzeugen, sei auf den Beitrag von Lütge/Kriebitz/Max verwiesen.
„Werden wir 2028 von Robotern gepflegt?“ – fragte im Jahr 2018 die BILD-Zeitung (BILD Online 16.02.2018). Diese mediale Besorgnis – die sicherlich auch Anklang in der Bevölkerung findet – kann einer von vielen Anlässen sein, sich mit der KI im Bereich Medizin und Pflege zu befassen. Die Sorge vor dieser Entwicklung, vor der zunehmenden Maschinisierung in einem derart sensiblen Lebensabschnitt, sollte ebenso ernst genommen werden wie die Chancen, die mit dem Einsatz der Technologien verbunden sein könnten.
Zunächst soll betrachtet werden, welche Maschinen Einzug im Bereich der Medizin und Pflege gefunden haben bzw. in den nächsten Jahren finden werden. Denkbar und bereits in der Testphase ist der Einsatz von Maschinen für einfache Arbeiten wie Essenstransport oder Unterstützung bei Reinigung der Örtlichkeiten (Graf 2018, S. 3–4; detaillierter Klein et al. 2018, S. 25). Maschinen sind auch einsatzbar zur Vorbereitung von Diagnose oder Behandlung; gerade an dieser Stelle wird verstärkt auch KI eingesetzt, d. h. trainierte und ggf. noch weiter lernende Systeme (So z. B. das „IntelliVue Guardian Early Warning Score“-System von Philips Healthcare, das im Falle der Verschlechterung des Zustands des Patienten dem Personal selbstständig Maßnahmen zur Verbesserung empfiehlt (vgl. darstellend Münch 2017, S. 53–54)). Programme, die sich zum Teil im Rahmen von Deep Learning und durch Vernetzung weiter entwickeln, werden für Diagnose- und Behandlungsvorschläge eingesetzt (Dettling und Krüger 2018, S. 520–521; Müschenich und Wamprecht 2018, S. 334). Verdeutlicht werden soll die Funktionsfähigkeit hier am Beispiel der Radiologie – Bilderkennungssoftware kann für eine Diagnose unendlich viele Röntgenbilder mit dem zu diagnostizierenden vergleichen (Müschenich und Wamprecht 2018, S. 334). Aber auch bei anderen Diagnose- und Behandlungsverfahren ist der Einsatz von KI denkbar (Dazu das Projektkonzept AUXILIA, dargestellt in Seidel et.al. 2018, S. 140). Roboter wiederum könnten daraufhin etwa die Sortierung von Tabletten in die an Patienten auszuteilende Dosen vornehmen, etc. (Wie z. B. auch die „ProtocolWatch“ von Philipps Healthcare, die, sobald die Kriterien für eine Sepsis des Patienten erfüllt sind, das Personal zum Handeln nach Protokoll auffordert, Münch 2017, S. 54). Einige Roboter werden künftig eingesetzt werden, um in direktem Kontakt mit den Patienten die pflegende und therapeutische Arbeit zu erleichtern (Der bereits in der Testphase befindliche robotische Reha-Assistent „Roreas“ soll zum Eigentraining von Schlaganfall-Patienten, die das Laufen neu erlernen müssen, eingesetzt werden, ROREAS 2013–2017). So können Maschinen das Umbetten der Patienten übernehmen, mit KI ausgestattete Betten die Mobilisierung von Komapatienten unterstützen, etc. Eine spezifische Art der Therapie durch Interaktion mit einer Maschine findet durch die Roboterrobbe PARO statt; es handelt sich um eine Art „künstliches Haustier“, das auf Berührungen positiv reagiert und z. B. dementen Patienten als Gegenüber dient, das sie streicheln, um das sie sich kümmern können (WELT 12.09.2011; t3n digital pioneers 02.10.2019). Weiterhin gibt es bereits Maschinen, die die Körperfunktionen des Patienten überwachen und bei Fehlfunktionen einen Alarm auslösen. Derartiges Monitoring wird künftig zunehmen; verstärkt werden Informationen aus verschiedenen Quellen miteinander verbunden und gegebenenfalls wird das Monitoring direkt mit der entsprechenden Behandlung verknüpft sein, etwa indem beim Auftreten von Anzeichen für starke Schmerzen gleich ein entsprechend dosiertes Schmerzmittel über die bestehende Infusion zugeführt wird (Münch 2017, S. 52 und 54; Katzenmeier 2019, S. 264).
Für die ethische und rechtliche Betrachtung ist nun von Bedeutung, was gerade auch in diesem spezifischen Kontext das Besondere an diesen Maschinen ist, d. h. wie sie sich von bereits in der Nutzung befindlichen Geräten unterscheiden. Auch wenn diese Maschinen nicht alle „Roboter“ oder gar autonome Systeme sind, ist doch erkennbar, dass Fehlfunktionen problematische Auswirkungen haben können. Einige der Maschinen haben direkten Kontakt zu Patienten, sie ersetzen sogar zum Teil Begegnungen zwischen Patient und Arzt bzw. Pflegepersonal. Durch ihren Einsatz können Patienten verletzt werden. Teilweise könnten die Interaktionen auch als eine Art Täuschung angesehen werden, etwa bei PARO, der ein Gegenüber simuliert (van Rysewyk und Pontier 2015, S. 103). Die Maschinen speichern Patientendaten, und ziehen daraus gegebenenfalls ohne direkte Mitwirkung bzw. Entscheidung eines Menschen selbstständig (im weitesten Sinne) Schlüsse (So beispielsweise der Roboterassistent Care-O-bot, der einzelne Patienten mithilfe der Bewohnerdatenbank identifizieren kann und zur Vermeidung einer Dehydration der Patienten eingesetzt wird (Graf 2018, S. 3; Mischak und Ranegger 2017, S. 87; Münch 2017, S. 46)). Diese Überwachung in Verbindung mit teilweise geplanter eigenständiger Schlussfolgerung ist aus rechtlicher Perspektive durchaus ein neues Problem. Natürlich haben wir bereits Maschinen, etwa auf Intensivstationen, die bei entsprechenden Messungen einen Alarm auslösen o. ä.; es ist jedoch davon auszugehen, dass die derzeitigen bzw. geplanten Maschinen erheblich mehr Daten sammeln und diese Daten aufgrund von Verknüpfungen mit anderen Informationen aussagekräftiger sind. Das gilt im Übrigen nicht zuletzt für Fitness-Uhren, Health Apps, etc. Zudem werden die maschinellen Entscheidungen weitreichender und selbstständiger. Spezifische Bereiche medizinischer Entscheidungen werden wie dargestellt bewusst auf Maschinen übertragen (Winter 2005, S. 54). Das ist – insbesondere in Verbindung mit Deep Learning und Künstlicher Intelligenz – eine erhebliche Neuerung. Die Erkenntnisse der Maschine sind, wie bereits diskutiert, oft nicht umfassend vorhersehbar oder ex post nachvollziehbar (Katzenmeier 2019, S. 269; Zech 2019, S. 211). Wenn die Maschine nicht allein entscheidet, beeinflusst sie doch in einer nicht ohne Weiteres durchschaubaren Weise die menschliche Entscheidung. Trifft sie gar selbst Entscheidungen – diese Formulierung soll nicht suggerieren, dass Maschinen menschenähnliche Fähigkeiten haben, sondern beschreiben nur den Vorgang – verändert das das rechtliche Gefüge sehr viel weitergehend.
Es zeigt sich: Die bereits geschilderten Herausforderungen des Einsatzes von KI verstärken sich in Medizin und Pflege (Klesen 2017, S. 32; Münch 2017, S. 31). Erforderlich sind deshalb besonders hohe Sorgfalt, besonders bewusste Aufklärung bzw. adäquater Umgang mit der Einwilligungsunfähigkeit der Betroffenen. Auch ist gerade in einem derart sensiblen Bereich von Bedeutung, dass sich aufgrund veränderter Verantwortungsregime möglicherweise niemand mehr persönlich für das Geschehen verantwortlich fühlt. Schließlich spielt die Befürchtung bezüglich eines veränderten bzw. verringerten zwischenmenschlichen Kontakts in diesem Kontext eine zentrale Rolle. Die Sorge, dass selbst in diesem Lebensbereich immer mehr Maschinen die Aufgaben von Menschen übernehmen und dadurch zwischenmenschliche Begegnungen erschwert werden, sollte ernst genommen und in die Überlegungen zu Weiterentwicklung und Einsatz von Maschinen im Medizin- und Pflegebereich einbezogen werden. Auch die Skepsis gegenüber einer Vortäuschung von Emotionen durch Maschinen ist mehr als nachvollziehbar (Süddeutsche Zeitung 20.02.2018).
Zugleich sollte nicht jeder maschinelle Kontakt negativ bewertet werden. Zum einen können gewisse Maschinen einen therapeutischen Vorteil bedeuten, zum anderen gibt es Konstellationen, in denen Patienten vielleicht selbst die Interaktion mit einer Maschine präferieren, gerade in der Pflege. Schließlich ist der Personalmangel in diesem Bereich nicht zu leugnen (Deutsches Ärzteblatt 15.06.2018; Handelsblatt 07.01.2019; Hämel und Schaeffer 2013). Wenn der Patient nicht zwischen menschlichem und maschinellem Kontakt, sondern nur zwischen maschinellem Kontakt und keinem Kontakt wählen kann, gewinnt durchaus auch der maschinelle Kontakt an Bedeutung (Beck 2018, S. 774; Bung 2014, S. 17).
Im Bereich von Medizin und Pflege setzt das Recht der Weiterentwicklung von KI eher enge Grenzen; die Antwort auf die Herausforderungen scheint hier also tendenziell Vorsicht bzw. Zurückhaltung zu sein (Lohmann 2017, S. 168; Wagner in Säcker, Rixecker und Oelker 2016, § 630e Rn. 23–26). Im Öffentlichen Recht ist mit Blick auf die Zulassungsverfahren zu diskutieren, ob es sich jeweils um Medizinprodukte handelt bzw. wie im medizinischen Bereich damit umzugehen ist, dass es sich bei der Zulassung jedenfalls dann um eine Momentaufnahme handelt, wenn die Maschine danach noch weiter trainiert wird bzw. gar selbstständig dazu lernt (Siehe hierzu I. Die Besonderheiten von KI aus ethischer und rechtlicher Perspektive). Im Zivilrecht stellen sich Fragen insbesondere mit Blick auf die Vertragsinhalte, die Einwilligung und damit verbunden die Aufklärung des Patienten. So ist über unbekannte Risiken, die sich zudem mit der Weiterentwicklung noch verändern werden, nur schwer umfassend aufzuklären (Deutschlandfunk 25.08.2016; Groß und Gressel 2016, S. 990; Keßler 2017, S. 589; Lohmann 2017, S. 168; Sternberg-Lieben und Schuster in Schönke und Schröder 2019, § 15 Rn. 212i). Eine entsprechende Einwilligung des Betroffenen ist nur wirksam, wenn deutlich wird, dass ihm diese Unbekanntheit und Weiterentwicklung bewusst war (Specht und Herold 2018, S. 40; Wagner in Säcker et al. 2016, § 630e Rn. 23). Eine vertretene bzw. mutmaßliche Einwilligung ist in derartigen Konstellationen kaum denkbar. Wie erwähnt ist bei lernenden, vernetzten Maschinen oft nicht nur faktisch unmöglich, sondern auch normativ nicht überzeugend, die Verantwortung einem einzelnen Beteiligten zuzuschreiben (Groß und Gressel 2016, S. 990; Sander und Hollering 2017, S. 193; Taeger 2016, S. 3764). Insbesondere der naheliegende „Letztentscheider“ (Arzt, Pfleger oder ehrenamtlich Tätiger) würde hierdurch regelmäßig überfordert (IT for Health 2017; Zukunftsinstitut 2016). Er hat über den Einsatz der Maschine nicht entschieden, die Maschine nicht programmiert oder trainiert, er kann die Gründe für ihre Vorschläge oft nicht umfassend nachvollziehen. Diese Vorsicht bei der Zuschreibung gilt auch für das Strafrecht.
Ohne hier auf Details des höchst komplexen Datenschutzregimes einschließlich der Datenschutzgrundverordnung (Ferlemann 2018, S. 56; Krankenhaus-IT Online 2017; Paal und Hennemann 2017, S. 215). eingehen zu können, sei festgestellt, dass der rechtliche Schutz personenbezogener Daten derzeit immer weiter ausgebaut wird. Anonymisierung bzw. Pseudonymisierung sind aufgrund der Vernetzung der Daten kaum noch möglich, ebenso wie eine wirklich überzeugende Sicherung. Umso schärfer wird bereits die Generierung und andauernde Speicherung der Daten, ihre weitere Verwendung und besonders neue, nicht vereinbarte Verwendungen begrenzt und kontrolliert (Gless und Janal 2016, S. 572; Münch 2017, S. 49).
Eine weitergehende Auseinandersetzung mit den rechtlichen Grenzen der Weiterentwicklung von KI im Medizin- und Pflegebereich ist an dieser Stelle nicht möglich, denn hierfür müssten die einzelnen Rechtsgebiete und Regeln spezifisch untersucht werden. Grundsätzlich bleibt festzuhalten: Für eine enge Begrenzung der Weiterentwicklung von KI in diesem Bereich spricht die erhebliche Unsicherheit bezüglich der Risiken in einem derart sensiblen Lebensbereich. Damit verbunden ist aufgrund der sich verändernden Verantwortungsregime die Gefahr, dass sich immer weniger Beteiligte für gelungene Zwischenmenschlichkeit verantwortlich fühlen. Schließlich ist zu betonen, dass wir es mit besonders sensiblen Daten zu tun haben, die vor jeglichem unberechtigten Zugriff zu schützen sind. Zugleich gibt es gute Gründe für eine – bedachte und bewusste – Weiterentwicklung der Technologie und damit gegen zu enge rechtliche Grenzen: So ist der Personalmangel in diesem Bereich bereits heute kaum noch zu leugnen und wird sich in den nächsten Jahren noch verstärken. Zudem kann die Übertragung von Entscheidungen – oder auch nur von Teilaspekten von Entscheidungen – durchaus deren Qualität verbessern, weil autonome Systeme mehr Informationen schneller verarbeiten können als Menschen (bspw. Zech 2016, S. 166). Diese und zweifellos zahlreiche hier nicht alle aufzählbare Überlegungen werden künftig einfließen müssen in die Gestaltung eines angemessenen rechtlichen Rahmens.
7 Resumee: Was heißt Verantwortung im Zeitalter der KI?
Neben den dargestellten Einzelaspekten und Fragen stellt sich m. E. zentral die Frage, was genau Verantwortung im Zeitalter von KI bedeutet. Die dargestellte Komplexität und Abwälzung von (Teilen von) Entscheidungen ist der Grund, warum teilweise – analog zur Haftung von Tierhaltern für von ihren Tieren hervorgerufene Schäden – zum Teil sogar dafür plädiert wird, von einer Gefährdungshaftung desjenigen auszugehen, der die Maschine tatsächlich nutzt und somit eine Gefahr für die Außenwelt erst begründet (Hilgendorf 2017, S. 258; Katzenmeier 2019, S. 270; Zech 2019, S. 205 und 214). Das löst aber jedenfalls nicht das Problem, ob und wofür sich hier strafrechtliche Verantwortung findet. Aber auch eine umfassende zivilrechtliche Haftung des Nutzers ist problematisch: Zum einen sind autonome Maschinen bisher noch im Entwicklungsstadium, und auch in den ersten Jahren ihres massenhaften Einsatzes wird kaum ein Nutzer ihr volles Potenzial kennen, ihre Schadhaftigkeit einschätzen oder ihr Verhalten umfassend sicher steuern können. Auch wird den Nutzern nicht möglich sein, Einblicke in das Innenleben zu nehmen und sie wirklich „verstehen“ zu können. Das, so könnte man entgegnen, ist allerdings nicht nur bei Tieren, sondern auch bei vielen anderen, schon im Einsatz befindlichen Maschinen der Fall. Zudem hätte aber diese umfassende Gefährdungshaftung in der Praxis zur Folge, dass die Nutzung einer autonomen Maschine deutlich an Attraktivität verlöre – wer etwa würde ein Google Car selbsttätig fahren lassen, wenn von vorneherein feststünde, dass er für jeden von diesem verursachten Unfall selbst und individuell haften müsste? (vgl. Gless und Janal 2016, S. 564 und 575; Zech 2016, S. 178). Konsequenz einer solchen Regelung wäre wahrscheinlich, dass sich die Entwicklung dieser Maschinen aufgrund wirtschaftlicher Unrentabilität verlangsamen würde. Wenn die Gesellschaft also die Vorteile derartiger Maschinen nutznießen möchte, scheint eine Gefährdungshaftung des Nutzers keine gute Lösung darzustellen.
Sollte also schlicht niemand zur Verantwortung gezogen werden? Das würde wiederum bedeuten, dass der Geschädigte niemanden in Regress nehmen könnte, dass sich niemand strafrechtlich verantworten müsste – was gerade bei erheblichen Verletzungen einer größeren Anzahl von Personen oder gar Todesfällen als problematisch herausstellen könnte. Die Gesellschaft könnte beunruhigt und bezüglich der Technologie ablehnend reagieren. In der aktuellen Diskussion um elektronische Agenten, mit künstlicher Intelligenz ausgestattete Roboter und Autonome Waffensysteme wird dies als „responsibility gap“ bezeichnet (Roff und Moyes 2016, S. 5; Santoni de Sio und van den Hoven 2018, S. 1). Die Verantwortungslücke ergibt sich daraus, dass die eigentlich verantwortlichen Menschen sich den erheblichen Anforderungen entziehen wollen, die viele der alltäglichen und nicht-alltäglichen Entscheidungen heutzutage mit sich bringen. Ein Ausweg aus der „Tyrannei der Wahlmöglichkeiten“ und der menschlichen Unzulänglichkeiten scheint für viele eben diese Übertragung der Entscheidungsfindung auf Maschinen. So wird argumentiert, dass sich durch Google-Cars die Anzahl von Unfällen verringern könnte, da diese keine Übermüdungserscheinungen haben, nicht betrunken sind, nicht aggressiv auf andere Autofahrer reagieren. Selbst mit Blick auf Autonome Waffensysteme findet sich der Hinweis auf deren rationale, nicht durch Überlebensinstinkt, Adrenalin oder Aggressionen geprägte Entscheidungsfindung. Und elektronische Agenten werden für Börsenspekulationen gerade deshalb eingesetzt, weil sie dem Menschen mit Blick auf die Schnelligkeit, mit der sie Informationen verarbeiten können, überlegen sind und ihre Kauf- bzw. Verkaufsentscheidungen als besser angesehen werden. Dies würde geradezu ad absurdum geführt, wenn man die Entscheidung umfassend von einem Menschen überprüfen lassen müsste.
Doch auch wenn die Übertragung von Entscheidungen auf Maschinen in mancherlei Hinsicht sicher Vorteile mit sich bringen mag, so verändert sie eben doch unsere Konzepte von Verantwortung und Schuld grundlegend (Markwalder und Simmler 2017, S. 174; Sander und Hollering 2017, S. 193; Schuster 2019, S. 6). Es gibt keinen Menschen mehr, der für die Entscheidung einstehen, auf potenzielle Schäden dem Opfer oder der Gesellschaft Rede und Antwort stehen kann (und auch um diese „Antwort“ geht es im Rahmen der Verantwortung). Wenn die Gesellschaft sich entscheidet – und auch für diese Entscheidung besteht eine prospektive Verantwortung – die Weiterentwicklung derartiger Maschinen zu fördern, müssen neue Konzepte gefunden werden, damit die Lücke im jetzigen Verantwortungssystem keine sozialen Probleme zur Folge hat. Dabei geht es nicht nur darum, wer materiell für Schäden einzustehen hat; dies ließe sich möglicherweise durch neue Konzepte wie die „elektronische Person“, analog zur juristischen Person, noch relativ einfach lösen (Borges 2018, S. 977; Kütük-Markendorf und Essers 2016, S. 26; Specht und Herold 2018, S. 43). Es geht auch darum, bewusst zu entscheiden, in welchen Lebensbereichen derartige Entscheidungsübertragungen akzeptabel sind und in welchen nicht, ob z. B. alte Menschen von Robotern gepflegt, Kinder von Maschinen erzogen, Soldaten von autonom entscheidenden Drohnen erschossen werden dürfen (Markwalder und Simmler 2017, S. 179). Erforderlich ist ein neues Bewusstsein, dass sich grundlegende soziale Konzepte durch diese Maschinen verändern werden. Dabei geht es nicht darum, diese Maschinen dem Menschen gleichzusetzen, ihnen Gefühle, Selbstbewusstsein oder Reue zuzuschreiben und deshalb die bereits bestehenden Konzepte von Schuld und Verantwortung auch auf sie anwenden zu können. Die hierzu gelegentlich geführten Diskussionen gehen m. E. am Problem vorbei. Entscheidend ist nicht so sehr, ob der elektronische Agent nach einem Börsensturz ausgeschaltet werden darf oder nicht. Entscheidend ist vielmehr, wie wir die Übertragung der Entscheidung auf Maschinen in unsere sozialen Strukturen einbinden können, ohne dadurch allzu problematische Irritationen hervorzurufen. Es sollte in den aktuellen Diskussionen also nicht primär darum gehen, ob eines Tages Strafgerichte über einen „Shut Down“ einer Maschine entscheiden können. Der Fokus sollte sich darauf richten, wie sich unser Verständnis der Verantwortung von Menschen verändert, wenn diese zentrale Entscheidungen auf Maschinen übertragen dürfen.
Dazu gehört auch, den Fokus nicht nur auf die Verantwortung als Konzept, sondern auf ihre konkrete Ausgestaltung zu richten. Diesbezüglich findet derzeit, nicht nur, aber vor allem mit Blick auf Autonome Waffensysteme, eine Debatte unter dem Stichwort „meaningful human control“ statt (Ficuciello 2019, S. 30; Roff und Moyes 2016, S. 1; Santoni de Sio und van den Hoven 2018, S. 1). Hiermit wird der Blick nicht primär auf die Zeit nach einem schädlichen Ereignis gerichtet, sondern auf die Gestaltung des Geschehens, die aktive Auseinandersetzung mit einer gelungenen Mensch-Maschine-Kooperation, die die Fähigkeiten des Menschen mit denen der Maschine in der bestmöglichen Weise kombiniert. Nur wenn eine solche, bedeutsame Kontrolle durch den Menschen vorliegt, kann man noch von einer wirklichen Verantwortung sprechen. Das gilt letztlich für alle Stufen der Entscheidung – vom Programmieren der Maschine, über die Entscheidung über ihren Einsatz, bis hin zur Ausgestaltung der Entscheidungssituation und schließlich der konkreten Entscheidung selbst. Auch eine anschließende Überprüfung der Entscheidungen ist erforderlich und bedarf einer bedeutsamen menschlichen Kontrolle. Somit erscheint es mir zielführend, in Zukunft nicht primär darüber zu diskutieren, ob entweder der Mensch oder die Maschine entschieden hat und damit in irgendeiner Form „verantwortlich“ ist, sondern darüber, in welchen Lebensbereichen Mensch-Maschine-Kooperationen in welcher Form auszugestalten sind, so dass man tatsächlich von „meaningful human control“ sprechen kann und sowohl die beteiligten Individuen als auch die Gesellschaft insgesamt in größtmöglicher Weise vom Einsatz derartiger Programme und Maschinen profitieren.