Nick Bostrom
Professor an der University of Oxford und Leiter des Future of Humanity Institute
Nick Bostrom ist weltweit anerkannter Experte für Superintelligenz und für die existenziellen Bedrohungen, die KI und Machine Learning potenziell für die Menschheit darstellen können. Er ist Gründer und Leiter des Future of Humanity Institute an der University of Oxford, einem interdisziplinären Forschungsinstitut, das fachübergreifend Fragen über die Menschheit und ihre Zukunft untersucht. Er ist ein erfolgreicher Autor mit mehr als 200 Veröffentlichungen, unter anderem dem New-York-Times-Bestseller Superintelligence: Paths, Dangers, Strategies (deutscher Titel: Superintelligenz: Szenarien einer kommenden Revolution) aus dem Jahr 2014.
![[Bild]](Images/NickBostrom.jpg)
Die Befürchtung ist nicht, dass [eine Superintelligenz] uns hassen würde, weil wir sie versklavt haben, oder dass plötzlich ein Funken von Bewusstsein aufblitzt und dass sie rebelliert, sondern dass sie sehr planmäßig ein Ziel verfolgen würde, das von dem abweicht, was wir eigentlich wollen. Dann wird die Zukunft von fremdartigen Kriterien geprägt.
Martin Ford: Sie haben über die Risiken geschrieben, die mit der Erschaffung einer Superintelligenz verbunden sind – einem Wesen, das entstehen könnte, wenn ein AGI-System seine Energie darauf verwendet, sich selbst zu verbessern, sodass ein rekursiver Verbesserungszyklus zu einer Intelligenz führt, die Menschen weit überlegen ist.
Nick Bostrom: Ja, das ist ein Szenario und ein Problem, aber es gibt andere Szenarien und andere Möglichkeiten, wie dieser Übergang zu einer Ära der Maschinenintelligenz stattfinden könnte, und es gibt sicherlich noch andere Pro-bleme, über die man sich Sorgen machen könnte.
Martin Ford: Sie haben sich besonders auf das Kontrollproblem konzentriert, bei dem die Ziele oder die angestrebten Werte einer Maschinenintelligenz zu Ergebnissen führen, die für die Menschheit schädlich sind. Können Sie für Laien verständlich erklären, was das Kontrollproblem genau ist?
Nick Bostrom: Ein charakteristisches Problem bei sehr fortschrittlichen KI-Systemen, das es bei anderen Technologien so nicht gibt, besteht darin, dass es nicht nur die Möglichkeit gibt, dass Menschen die Technologie missbrauchen – die gibt es bei anderen Technologien natürlich auch –, sondern dass es darüber hinaus die Möglichkeit gibt, dass sich die Technologie sozusagen selbst missbrauchen könnte. Mit anderen Worten: Sie erschaffen einen künstlichen Agenten oder einen Prozess, der seine eigenen Ziele und Absichten verfolgt und dazu auch sehr gut in der Lage ist, weil er in diesem Szenario superintelligent ist. Die Befürchtung ist, dass sich die Ziele, die dieses leistungsfähige System verfolgt, von den menschlichen Zielen unterscheiden oder vielleicht sogar in krassem Widerspruch zu den Zielen stehen, die wir Menschen erreichen wollen. Wenn nun einerseits Menschen versuchen, ein Ziel zu erreichen und andererseits ein superintelligentes System versucht, etwas anderes zu erreichen, könnte es durchaus sein, dass die Superintelligenz die Oberhand behält und sich durchsetzt.
Die Befürchtung ist nicht, dass sie uns hassen würde, weil wir sie versklavt haben, oder dass plötzlich ein Funken von Bewusstsein aufblitzt und dass sie rebelliert, sondern dass sie sehr planmäßig ein Ziel verfolgen würde, das von dem abweicht, was wir eigentlich wollen. Dann wird die Zukunft von fremdartigen Kriterien geprägt. Das Kontrollproblem besteht also darin, KI-Systeme so zu entwickeln, dass sie eine Art verlängerter Arm des menschlichen Willens sind. In dem Sinn, dass unsere Absichten ihr Verhalten prägen und keine zufälligen, unvorhergesehenen und ungewollten Ziele auftreten.
Martin Ford: Sie haben sich ein sehr bekanntes Beispiel ausgedacht, nämlich ein System, das Büroklammern herstellt. Dem liegt die Idee zugrunde, dass ein System, dem ein Ziel gesetzt wird, dieses Ziel mit superintelligenter Kompetenz verfolgt, dabei aber den gesunden Menschenverstand nicht berücksichtigt, sodass es uns letztendlich Schaden zufügt. Das Beispiel, das Sie geben, ist ein System, dass das gesamte Universum in Büroklammern verwandelt, weil es die Aufgabe hat, Büroklammern herzustellen. Ist das eine gelungene Formulierung des Kon-trollproblems?
Nick Bostrom: Das Büroklammer-Beispiel steht für eine umfassendere Kategorie von möglichen Fehlschlägen, bei denen Sie ein System anweisen, etwas zu tun, und anfangs funktioniert es auch ganz gut, bis es zu einer Schlussfolgerung gelangt, die sich unserer Kontrolle entzieht. Es ist ein überzogenes Beispiel, in dem eine KI entwickelt wird, die eine Büroklammerfabrik betreibt. Die KI ist zunächst unbedarft, aber je smarter sie wird, desto besser kann sie die Büroklammerfabrik betreiben. Der Fabrikbesitzer ist sehr zufrieden und möchte weitere Fortschritte machen. Irgendwann bemerkt die KI allerdings, dass es zusätzliche Möglichkeiten gibt, die Welt mit noch mehr Büroklammern zu versorgen, dazu ist es jedoch notwendig, den Menschen die Kontrolle zu entziehen. Sie verwandelt den gesamten Planeten in Büroklammern und sendet Raumsonden aus, die das ganze Universum in weitere Büroklammern verwandeln sollen.
Das Entscheidende ist hier, dass man Büroklammern durch ein nahezu beliebiges anderes Ziel ersetzen kann. Und wenn man darüber nachdenkt, was es bedeuten würde, wenn tatsächlich die ganze Welt darauf ausgerichtet wird, dieses Ziel zu erreichen, dann muss man bei der Formulierung der Ziele schon sehr, sehr vorsichtig sein, wenn man verhindern will, dass beim Erreichen des Ziels nicht irgendwelche Nebeneffekte dafür sorgen, dass wir Menschen und die Dinge, die uns wichtig sind, ausgerottet werden.
Martin Ford: In Beschreibungen dieses Problems ist es immer so, dass wir dem System ein Ziel vorgeben, und dann verfolgt es dieses Ziel auf eine Weise, mit der wir nicht einverstanden sind. Von einem System, das einfach sein Ziel ändert, ist nie die Rede, und ich verstehe nicht ganz, wieso das keine Rolle spielt. Warum sollte ein superintelligentes System nicht irgendwann entscheiden können, andere Ziele und Absichten zu verfolgen? Menschen machen das ständig!
Nick Bostrom: Das hat folgenden Grund: Eine Superintelligenz ist durchaus dazu fähig, ihre Ziele zu ändern, Sie müssen jedoch berücksichtigen, welche Kriterien bei der Auswahl ihrer Ziele maßgeblich sind. Diese Auswahl hängt von den aktuellen Zielen ab. In den meisten Situationen wäre es für einen Agenten ein ziemlich schlechter strategischer Schritt, seine Ziele zu ändern, weil er vorhersagen kann, dass es zukünftig keinen Agenten mehr gibt, der sein derzeitiges Ziel verfolgt, stattdessen jedoch einen Agenten, der ein anderes Ziel verfolgt. Das würde entsprechend der aktuellen Ziele, die per definitionem als Kriterien für die Auswahl von Aktionen maßgeblich sind, tendenziell zu schlechteren Ergebnissen führen. Wenn Sie es also mit einem hinreichend ausgeklügelten System zu tun haben, ist zu erwarten, dass es sich so verhält und deshalb in der Lage ist, die Beständigkeit der internen Ziele zu bewahren.
Menschen sind chaotisch. Wir kennen kein bestimmtes Ziel, das aus vielen Teilzielen besteht, die wir verfolgen. Verschiedene Teile unseres Verstands streben in unterschiedliche Richtungen, und wenn Hormone ausgeschüttet werden, verändern wir plötzlich diese Werte. Menschen sind nicht auf die gleiche Weise be-ständig wie Maschinen und verfügen auch nicht über eine unmissverständliche, kompakte Beschreibung zum Erreichen der Ziele. Deshalb sieht es so aus, als ob wir Menschen uns manchmal entscheiden, unsere Ziele zu ändern. Eigentlich entscheiden wir nicht, unsere Ziele zu ändern, unsere Ziele ändern sich einfach. Mit »Zielen« sind nicht unbedingt die grundlegenden Beurteilungskriterien gemeint, sondern auch bestimmte Absichten, die sich natürlich ändern können, wenn neue Umstände eintreten oder wenn wir neue Pläne schmieden.
Martin Ford: Einem Großteil der Forschung, die hier betrieben wird, liegt die Neurowissenschaft zugrunde, und so finden durch das menschliche Gehirn inspirierte Vorstellungen Eingang in die Maschinenintelligenz. Stellen Sie sich eine Superintelligenz vor, der das gesamte Wissen der Menschheit zur Verfügung steht. Sie hätte Zugang zur gesamten Geschichte der Menschheit. Sie könnte Wissen über mächtige Persönlichkeiten und ihre verschiedenen Zielen und Absichten haben. Die Maschine könnte sogar für Krankheiten anfällig sein. Das menschliche Gehirn muss mit allen möglichen Problemen zurechtkommen, und es gibt Drogen, die seine Funktionsweise ändern. Wie können wir wissen, ob es bei Maschinen nicht etwas Vergleichbares gibt?
Nick Bostrom: Ich denke, das wäre durchaus möglich, insbesondere in den frühen Phasen der Entwicklung, bevor die Maschine ein ausreichendes Verständnis der Funktionsweise von KI entwickelt hat, um in der Lage zu sein, sich selbst zu modifizieren, ohne alles durcheinanderzubringen. Schließlich gibt es entscheidende Gründe, Technologie zu entwickeln, die verhindert, dass die Ziele Schaden nehmen. Ich würde erwarten, dass ein hinreichend leistungsfähiges System derartige Technologien zum Schutz der Ziele entwickelt und dieser Entwicklung vielleicht sogar Priorität einräumt. Wenn es hingegen unter Zeitdruck steht oder noch nicht sehr leistungsfähig ist – ungefähr auf menschlichem Niveau –, besteht sicherlich die Möglichkeit, dass etwas beschädigt wird. Man könnte eine Änderung implementieren, in der Hoffnung, dass die Maschine dadurch vielleicht besser arbeitet, aber wie sich zeigt, gibt es Nebeneffekte bei der Änderung der Zielfunktion.
Martin Ford: Die andere Sache, über die ich mir Gedanken mache: Es gibt immer die Befürchtung, dass eine Maschine nicht das tut, was wir wollen, wobei »wir« sich auf die gesamte Menschheit bezieht, so als ob es Anliegen oder Werte gäbe, die allen Menschen gemein seien. Aber wenn man sich in der heutigen Welt umsieht, ist das tatsächlich gar nicht der Fall. Es gibt verschiedene Kulturen mit unterschiedlichen Wertvorstellungen. Ich habe den Eindruck, dass es eine große Rolle spielen könnte, wo die erste Maschinenintelligenz entwickelt wird. Ist es naiv, über die Maschine und die gesamte Menschheit so zu sprechen, als ob es sich nur um ein Gebilde handelt? In meinen Augen ist das Ganze sehr viel chaotischer.
Nick Bostrom: Man versucht, ein großes Problem in kleinere Probleme aufzuteilen, um Fortschritte zu erzielen. Man versucht, eine Komponente der gesamten Herausforderung abzuspalten, in diesem Fall das technische Problem, eine Ausrichtung der KI an menschliche Wertvorstellungen zu erreichen, damit die Maschine das tut, was ihre Entwickler wollen. Solange dieses Problem nicht gelöst ist, haben Sie noch nicht einmal das Recht, zu versuchen, eine Lösung für das umfassendere politische Problem zu finden, zu gewährleisten, dass wir Menschen diese leistungsfähige Technologie für nutzbringende Zwecke einsetzen werden.
Sie müssen das technische Problem lösen, um die Möglichkeit zu erhalten, sich darüber auseinanderzusetzen, wessen Wertevorstellungen für den Einsatz dieser Technologie maßgeblich sind oder in welchem Maße verschiedene Wertvorstellungen ihre Verwendung beeinflussen. Aber selbst, wenn Sie das technische Kontrollproblem lösen, haben Sie nur einen Teil der gesamten Herausforderung bewältigt. Sie müssen anschließend auch einen Weg finden, das Ganze friedlich zu nutzen, und zwar auf eine Weise, die der gesamten Menschheit zugutekommt.
Martin Ford: Ist die Lösung des technischen Kontrollproblems durch die Entwicklung einer Maschine, die an den Zielen ausgerichtet bleibt, das, woran Sie am Future of Humanity Institute arbeiten und worauf sich andere Denkfabriken, wie OpenAI und das Machine Intelligence Research Institute konzentrieren?
Nick Bostrom: Ja, das stimmt. Bei uns arbeitet eine Gruppe daran, aber wir arbeiten auch an anderen Dingen. Eine Gruppe konzentriert sich auf die Governance-Probleme, die durch die Fortschritte der Maschinenintelligenz auftreten.
Martin Ford: Glauben Sie, dass mit Denkfabriken wie Ihrer genügend Ressourcen für KI-Governance vorhanden sind, oder sollte die Regierung hier in größerem Maßstab tätig werden?
Nick Bostrom: Ich denke, dass es für die Sicherheit in der KI mehr Ressourcen geben sollte. Wir sind ja nicht allein: Bei DeepMind gibt es auch eine Gruppe, die sich mit Sicherheit in der KI befasst und mit der wir zusammenarbeiten, aber ich denke, zusätzliche Ressourcen wären vorteilhaft. Es gibt jetzt schon mehr Nachwuchs und Fördergelder als vor vier Jahren. Prozentual hat es ein schnelles Wachstum gegeben, wenngleich das Forschungsgebiet noch immer sehr klein ist, wenn man die absoluten Zahlen betrachtet.
Martin Ford: Glauben Sie, dass die Befürchtungen bezüglich einer Superintelligenz stärker ins Licht der Öffentlichkeit gerückt werden sollten? Würden Sie sich wünschen, dass Präsidentschaftskandidaten in den USA über Superintelligenz sprechen?
Nick Bostrom: Eigentlich nicht. Es ist immer noch ein wenig zu früh, um Staaten und Regierungen zu beteiligen, weil noch gar nicht feststeht, was sie zum jetzigen Zeitpunkt sinnvollerweise tun sollten. Zuerst muss die Art des Problems geklärt und besser verstanden werden und viele Aufgaben können auch ohne staatliche Beteiligung erledigt werden. Ich sehe derzeit keinen Bedarf für irgendwelche bestimmten Regulierungen bezüglich der Superintelligenz. Bei kurzfristig verfügbaren KI-Anwendungen gibt es eine Vielzahl von Dingen, bei denen Regierungen verschiedene Rollen einnehmen könnten.
Wenn es überall in den Städten fliegende Drohnen geben soll, oder selbstfahrende Autos auf den Straßen, dann werden wohl Rahmenbedingungen erforderlich sein, die das regulieren. Die Leute, die Bildungssysteme betreiben oder Wirtschaftspolitik machen, sollten sich auch für das Ausmaß der Auswirkungen interessieren, das KI auf Wirtschaft und Arbeitsmarkt haben wird. Ich denke nach wie vor, dass sich Superintelligenz etwas außerhalb des Zuständigkeitsbereichs von Politikern befindet, die sich hauptsächlich über das Gedanken machen, was während ihrer Amtszeit geschieht.
Martin Ford: Wenn Elon Musk behauptet, dass Superintelligenz eine größere Bedrohung darstellt als Nordkorea, könnte das die Sache also noch verschlimmern?
Nick Bostrom: Wenn man sich zu früh damit befasst, aus einer Situation heraus, in der es einen Rüstungswettlauf gibt, der zu einem verschärften Wettbewerb führen könnte, und in der Stimmen, die Vorsicht und globale Zusammenarbeit fordern, an den Rand gedrängt werden, dann ja, das könnte die Situation tatsächlich eher verschlimmern als verbessern. Ich denke, man sollte abwarten, bis es einen eindeutigen, konkreten Fall gibt, bei dem die Regierung in Zusammenhang mit einer Superintelligenz tätig werden sollte, und dann kann man versuchen, sie zum Handeln zu bewegen. Aber bis es so weit ist, gibt es noch viel Arbeit, die wir erledigen können, beispielsweise in Zusammenarbeit mit der KI-Entwickler-Community sowie mit Unternehmen und wissenschaftlichen Instituten, die KI verwenden. Diese Grundlagenarbeit sollten wir als Erstes in Angriff nehmen.
Martin Ford: Wie sind Sie zu der Rolle gekommen, die Sie in der KI-Community einnehmen? Wie ist Ihr Interesse an KI entstanden und wie hat sich Ihre berufliche Laufbahn bis zu dem Punkt entwickelt, an dem Sie jetzt sind?
Nick Bostrom: Für Künstliche Intelligenz habe ich mich interessiert, seit ich denken kann. Ich habe an der Universität KI und später Neurowissenschaft und einige andere Fächer studiert, wie etwa theoretische Physik. Das habe ich gemacht, weil ich zum einen dachte, dass die KI-Technologie früher oder später die Welt verändern wird und zum anderen, weil es intellektuell reizvoll ist, herauszufinden, wie das Denken im Gehirn oder in einem Computer entsteht.
Mitte der 1990er-Jahre habe ich einige Arbeiten über Superintelligenz veröffentlicht, und 2006 bot sich mir die Gelegenheit, an der University of Oxford das Future of Humanity Institute (FHI) zu gründen. Zusammen mit meinen Kollegen habe ich die Auswirkungen neuer Technologien auf die Zukunft der Menschheit untersucht. Dabei habe ich einen besonderen Schwerpunkt auf die Zukunft der Maschinenintelligenz gelegt – manche Leute würden von einer Besessenheit sprechen. Das führte 2014 zur Veröffentlichung meines Buchs Superintelligence: Paths, Dangers, Strategies. Derzeit gibt es im FHI zwei Gruppen. Die eine konzentriert sich auf technische Aufgabenstellungen beim Kontrollproblem und sucht nach Algorithmen für skalierbare Kontrollmethoden. Die andere Gruppe konzentriert sich auf Governance, Politik, Ethik und soziale Folgen der Fortschritte der Maschinenintelligenz.
Martin Ford: Bei Ihrer Arbeit am Future of Humanity Institute haben Sie sich mit einer Vielzahl existenzieller Bedrohungen befasst, nicht nur mit den Gefahren der KI, richtig?
Nick Bostrom: Das ist richtig, aber wir haben auch die existenziellen Möglichkeiten untersucht, wir sind ja nicht blind für die Vorteile von Technologie.
Martin Ford: Erzählen Sie mir von den anderen Risiken, die Sie untersucht haben und weshalb Sie sich entschlossen haben, Maschinenintelligenz so sehr in den Mittelpunkt zu stellen.
Nick Bostrom: Am FHI sind wir an Fragen interessiert, die ein wirklich großes Gesamtbild betreffen, also an den Dingen, die die menschlichen Lebensbedingungen grundlegend verändern könnten. Wir versuchen nicht, zu untersuchen, wie das iPhone nächstes Jahr aussieht, sondern erforschen Dinge, die bestimmte fundamentale Parameter ändern könnten, die festlegen, was es bedeutet, ein Mensch zu sein – also Fragen, die das zukünftige Schicksal des auf der Erde entstandenen intelligenten Lebens bestimmen. Aus dieser Perspektive sind wir an existenziellen Bedrohungen interessiert – Dinge, die die menschliche Zivilisation dauerhaft zerstören könnten –, aber auch an Dingen, die unseren Weg in die Zukunft dauerhaft prägen könnten. Ich denke, dass die Technologie wohl die plausibelste Quelle für solch grundlegende Veränderungen der Menschheit ist, und innerhalb der Technologie gibt es nur einige wenige, die tatsächlich entweder existenzielle Risiken darstellen oder aber existenzielle Möglichkeiten bieten. KI könnte hier an erster Stelle stehen. Am FHI gibt es auch eine Gruppe, die sich mit den Risiken befasst, die mit Biotechnologie verbunden sind. Wir sind ganz allgemein daran interessiert, wie sich die verschiedenen Überlegungen miteinander verbinden lassen – wir bezeichnen das als Makro-Strategie.
Warum gerade KI? Wenn KI so erfolgreich wäre, wie es ursprünglich das Ziel war, das nicht nur darin bestand, bestimmte Aufgaben zu automatisieren, sondern die allgemeinen menschlichen Fähigkeiten des Lernens und Planens in Maschinen nachzubilden, dann wäre das die letzte Erfindung, die Menschen noch machen müssten. Wenn das gelingt, hätte das nicht nur auf die KI enorme Auswirkungen, sondern auf alle technologischen Bereiche und tatsächlich sogar auf alle Gebiete, in denen menschliche Intelligenz derzeit nützlich ist.
Martin Ford: Was ist beispielsweise mit dem Klimawandel? Steht er auf Ihrer Liste existenzieller Bedrohungen?
Nick Bostrom: Nicht in erster Linie, unter anderem, weil wir uns lieber auf das konzentrieren, von dem wir glauben, dass unsere Bemühungen einen großen Unterschied ausmachen. Das sind tendenziell Bereiche, in denen die Fragen bisher vernachlässigt worden sind. Den Klimawandel untersuchen rund um den Globus jede Menge Leute. Es ist auch schwer vorstellbar, dass ein globaler Temperaturanstieg von einigen Grad das Aussterben der Menschheit verursacht oder dauerhaft die Zukunft zerstört. Aus diesen und einigen anderen Gründen steht der Klimawandel nicht im Mittelpunkt unserer eigenen Anstrengungen, obwohl wir hin und wieder einen Blick darauf werfen, wenn wir versuchen, ein Gesamtbild der Bedrohungen zu erstellen, mit denen die Menschheit konfrontiert wird.
Martin Ford: Sie behaupten also, dass die Risiken durch eine fortgeschrittene KI von größerer Bedeutung sind als die durch den Klimawandel verursachten, und dass wir unsere Ressourcen und Investitionen hier nicht richtig einsetzen? Das klingt nach einer sehr kontroversen These.
Nick Bostrom: Ich glaube tatsächlich, dass manche Mittel falsch eingesetzt werden, und dabei geht es nicht nur um diese beiden Bereiche. Ganz allgemein glaube ich nicht, dass wir als menschliche Zivilisation unsere Ressourcen besonders vernünftig einsetzen. Nehmen wir an, uns Menschen stünde für unsere Befürchtungen ein bestimmtes Kapital zur Verfügung, das durch Jetons repräsentiert wird, Jetons für Befürchtungen oder Ängste, die wir auf die verschiedenen Gefahren verteilen können, von denen die Menschheit bedroht ist. Ich glaube nicht, dass wir bei der Verteilung der Jetons sehr durchdacht vorgehen würden.
Wenn man auf das letzte Jahrhundert zurückblickt, hat es zu jedem Zeitpunkt eine Befürchtung gegeben, die allen gebildeten Menschen bewusst war und die sich im Lauf der Zeit änderte. Vor 100 Jahren war das vielleicht Dysgenik – man befürchtete eine Verschlechterung des menschlichen Erbguts. Während des Kalten Kriegs war die große Befürchtung natürlich ein Atomkrieg, später war es eine Zeitlang die Überbevölkerung. Aktuell würde ich sagen, dass es der Klimawandel ist, allerdings hat sich hier in den letzten Jahren die KI eingeschlichen.
Martin Ford: Das liegt vielleicht größtenteils am Einfluss von Leuten wie Elon Musk, die sich dazu äußern. Halten Sie es für positiv, dass er sich so lautstark zu Wort meldet, oder besteht die Gefahr, dass es überbewertet wird und uninformierte Leute in die Diskussion einbezogen werden?
Nick Bostrom: Ich denke, bislang ist es positiv aufgenommen worden. Als ich an meinem Buch arbeitete, war es verblüffend, wie wenig Beachtung das ganze Thema KI fand. Es gab schon viele Leute, die sich mit KI befassten, aber nur die wenigsten dachten darüber nach, was geschehen würde, wenn KI Erfolg hat. Außerdem war das auch kein Thema, über das man sich vernünftig unterhalten konnte, weil die Leute es einfach als Science Fiction abtaten, aber das hat sich inzwischen geändert.
Ich halte es für sinnvoll, und dadurch, dass das Thema deswegen eine breitere Öffentlichkeit gefunden hat, ist es jetzt möglich, Forschung zu betreiben und Artikel über Themen wie das Kontrollproblem zu veröffentlichen. Es gibt eine Reihe von Forschungsgruppen, die genau das tun. Auch hier am FHI gibt es eine Gruppe, die zusammen mit DeepMind Forschungsseminare abhält. Bei OpenAI sind ebenfalls Sicherheitsforscher tätig, und es gibt weitere Gruppen, wie das Machine Intelligence Research Institute in Berkeley. Ich bin mir nicht sicher, ob sich so viel Nachwuchs diesem Forschungsgebiet zugewendet hätte, wenn es die ursprüngliche Herausforderung nicht gegeben hätte. Wir brauchen nicht noch mehr Warnungen oder weitere Scharmützel mit Leuten, die Aufmerksamkeit suchen. Die Herausforderung besteht jetzt darin, die bekannten Befürchtungen und Interessen konstruktiv zusammenzuführen und die Arbeit fortzusetzen.
Martin Ford: Könnte man sagen, dass die Risiken, die Ihnen bei der Maschinenintelligenz Sorgen bereiten, eigentlich davon abhängen, ob wir eine AGI er-reichen oder sogar eine Superintelligenz? Die mit schwacher KI verbundenen Risiken sind vermutlich beträchtlich, aber nicht das, was Sie als existenziell bezeichnen.
Nick Bostrom: Das stimmt. Wir sind auch an den eher kurzfristig zu erwar-tenden Anwendungen von Maschinenintelligenz interessiert, die schon für sich -genommen interessant und eine Unterhaltung wert sind. Ich glaube, dass die Missverständnisse entstehen, wenn diese beiden verschiedenen Kontexte, kurzfristig und langfristig, in einen Topf geworfen und miteinander verwechselt werden.
Martin Ford: Über welche kurzfristigen Risiken müssen wir uns in den nächsten fünf Jahren Sorgen machen?
Nick Bostrom: Kurzfristig sind das vor allem Dinge, die ich sehr spannend finde und auf deren Verfügbarkeit ich mich freue. Im kurzfristigen Kontext werden die Vorteile die Nachteile bei Weitem überwiegen. Sie brauchen sich nur die Wirtschaft und all die Bereiche anzusehen, in denen smartere Algorithmen zu positiven Änderungen führen würden. Schon ein simpler langweiliger Algorithmus, der in einem Logistikzentrum im Hintergrund läuft und den Verlauf des Bedarfs genauer vorhersagt, würde es ermöglichen, die Lagerhaltungskosten zu verringern und den Preis für die Kunden zu senken.
Im Gesundheitswesen könnten die gleichen neuronalen Netze, die Katzen, Hunde und Gesichter erkennen, auf Röntgenbildern Tumoren identifizieren und Radiologen dabei unterstützen, genauere Diagnosen zu stellen. Diese neuronalen Netze könnten im Hintergrund laufen, die Behandlungen optimieren und Ergebnisse überwachen. Sie können sich fast einen beliebigen Bereich aussuchen, wahrscheinlich wird es kreative Möglichkeiten geben, die durch Machine Learning hervorgebrachten Technologien sinnvoll einzusetzen.
Ich glaube, das ist ein spannendes Fachgebiet, das Unternehmern viele Gelegenheiten bietet. Aus wissenschaftlicher Sicht ist es äußerst spannend, dass wir allmählich anfangen, ein klein wenig zu verstehen, wie Intelligenz und wie Wahrnehmung im Gehirn und in neuronalen Netzen funktionieren.
Martin Ford: Viele Menschen machen sich Sorgen um kurzfristige Risiken durch Dinge wie autonome Waffen, die selbst entscheiden, wer getötet werden soll. Unterstützen Sie ein Verbot von Waffen dieses Typs?
Nick Bostrom: Es wäre schön, wenn die Welt es vermeiden könnte, sofort einen weiteren Rüstungswettlauf zu starten, bei dem viel Geld in die Perfektionierung von Killerrobotern gesteckt wird. Ganz allgemein ist es mir lieber, dass Maschinenintelligenz für friedliche Zwecke eingesetzt wird und nicht, um neue Möglichkeiten zu entwickeln, uns zu zerstören. Wenn man die Sache genauer betrachtet, ist allerdings nicht ganz klar, was genau durch ein Abkommen verboten werden sollte.
Es gibt eine Bewegung, die fordert, dass an der Entscheidung zu töten Menschen beteiligt sein müssen und dass es keine autonomen Drohnen gebe sollte, die eigenständig Ziele auswählen. Vielleicht ist das möglich. Die Alternative ist allerdings, dass genau dasselbe System zum Einsatz kommt, aber nicht die Drohne entscheidet, eine Rakete abzufeuern, Stattdessenn sitzt in Arlington, Virginia, ein 19-Jähriger vor einem Computerbildschirm, der die Aufgabe hat, sobald ein Fenster mit dem Text »Feuer« auf dem Bildschirm erscheint, auf einen roten Knopf zu klicken. Wenn eine »menschliche Beteiligung« so aussieht, dann stellt sich die Frage, ob es tatsächlich einen großen Unterschied macht, wenn das System vollständig autonom arbeitet. Ich denke, es ist vielleicht wichtiger, dass es Verantwortlichkeiten gibt und jemanden, dem man Feuer unterm Hintern machen kann, wenn etwas schiefgeht.
Martin Ford: Es sind auch bestimmte Situationen denkbar, in denen ein autonomes System wohl besser ist. Wenn ich nicht an militärische Anwendungen denke, sondern an Polizeiarbeit: In den USA gab es beispielsweise Vorfälle, bei denen es sich offenbar um polizeilichen Rassismus handelte. Ein ordnungsgemäß designtes KI-gestütztes Robotiksystem wäre in solch einer Situation unvoreingenommen. Es wäre zudem darauf vorbereitet, erst dann zu schießen, wenn es selbst von einer Kugel getroffen wurde, was für einen Menschen nicht infrage kommt.
Nick Bostrom: Vorzugsweise sollten wir überhaupt keine Kriege führen, aber wenn es Kriege geben wird, ist es vielleicht besser, wenn Maschinen andere Maschinen erledigen, als dass junge Männer auf andere junge Männer schießen. Wenn es Angriffe auf bestimmte Kombattanten gibt, könnte man vielleicht Präzisionsangriffe durchführen, bei denen nur die Personen getötet werden, die getötet werden sollen, ohne dass es Kollateralschäden gibt, die Zivilisten betreffen. Deshalb meine ich, dass alles etwas komplizierter wird, wenn man die Einzelheiten berücksichtigt und festlegen möchte, wie die Regeln oder Abkommen genau aussehen, die bezüglich tödlicher autonomer Waffen implementiert werden sollen.
Es gibt weitere Anwendungsgebiete, die interessante ethische Fragen aufwerfen, wie etwa Überwachung, Handhabung von Datenströmen, Marketing und Anzeigengeschäft, die langfristig für die menschliche Zivilisation von genauso großer Bedeutung sind wie die eher unmittelbare Anwendung, mit Drohnen Menschen zu töten oder zu verletzen.
Martin Ford: Glauben Sie, dass bei diesen Technologien Regulierung eine Rolle spielen sollte?
Nick Bostrom: Eine gewisse Regulierung wird es ganz sicher geben. Wenn Killerdrohnen verfügbar sind, wäre irgendein Krimineller sonst problemlos in der Lage, aus fünf Kilometern Entfernung Anschläge auf Amtsträger zu verüben, indem er eine Drohne mit Gesichtserkennungssoftware einsetzt. Ebenso sollten -Hobbypiloten ihre Drohnen nicht über Flughäfen fliegen lassen und dadurch große Verspätungen verursachen. Ich bin mir sicher, dass irgendeine Form militärischer Rahmenbedingungen erforderlich sein wird, wenn es immer mehr Drohnen gibt, die den Luftraum dort passieren, wo Menschen aus anderen Gründen reisen.
Martin Ford: Es ist etwa vier Jahre her, dass Ihr Buch Superintelligence: Paths, Dangers, Strategies veröffentlicht wurde. Haben sich die Dinge mit der Geschwindigkeit weiterentwickelt, die Sie erwartet haben?
Nick Bostrom: Der Fortschritt hat in den letzten Jahren schneller stattgefunden als erwartet, insbesondere beim Deep Learning wurden große Fortschritte erzielt.
Martin Ford: In Ihrem Buch gibt es eine Tabelle, in der Sie vorhersagen, dass es ein Jahrzehnt dauern würde, bis ein Computer den besten Go-Spieler schlägt, das wäre also etwa 2024 gewesen. Wie sich herausstellte, geschah das schon zwei Jahre nach der Veröffentlichung des Buchs.
Nick Bostrom: Ich glaube, die Aussage, die ich da getroffen habe, lautete: Wenn der Fortschritt mit der gleichen Geschwindigkeit wie in den letzten paar Jahren weitergeht, dann ist zu erwarten, dass es etwa ein Jahrzehnt, nachdem das Buch geschrieben wurde, eine Maschine geben wird, die Go-Weltmeister ist. Der Fortschritt hat allerdings schneller stattgefunden, teilweise auch deshalb, weil beim Go besondere Anstrengungen unternommen wurden. DeepMind nahm die Herausforderung an, wies die Aufgabe einigen fähigen Leuten zu und stellte eine Menge Rechenleistung bereit. Dennoch war es zweifelsohne ein Meilenstein und eine Demonstration der beeindruckenden Leistungsfähigkeit dieser Deep-Learning-Systeme.
Martin Ford: Was sind die wichtigsten Meilensteine und Hindernisse, die auf dem Weg zu einer AGI noch vor uns liegen?
Nick Bostrom: Beim Machine Learning gibt es noch immer einige große He-rausforderungen, beispielsweise brauchen wir bessere Verfahren für unüberwachtes Lernen. Wenn Sie darüber nachdenken, wie erwachsene Menschen an all das Wissen gelangt sind, über das sie verfügen, werden Sie feststellen, dass nur ein geringer Bruchteil davon durch explizite Unterweisung entstanden ist. Den größten Teil haben wir gelernt, indem wir einfach nur beobachten, was in unserer Umgebung vor sich geht und diesen Strom sensorischer Eindrücke nutzen, um unser Modell von der Welt zu verbessern. Als Kleinkinder nutzen wir auch das Trial-and-Error-Prinzip und stoßen Dinge zusammen, um zu sehen, was passiert.
Um wirklich hocheffektive Maschinenintelligenzsysteme zu erreichen, brauchen wir auch Algorithmen, die ungekennzeichnete Daten besser nutzen können. Wir Menschen neigen dazu, unser Wissen über die Welt in Form von kausalen Begriffen zu organisieren, und das können die derzeitigen neuronalen Netze kaum. Es geht eher darum, in komplexen Mustern statistische Regelmäßigkeiten aufzuspüren und eigentlich weniger darum, alles als Objekte zu organisieren, die verschiedene kausale Auswirkungen auf andere Objekte haben können. Das wäre ein Aspekt.
Ich denke auch, dass bei der Planung und in einigen anderen Bereichen Fortschritte notwendig sind, und es ist ja nicht so, dass es keine Ideen gäbe, wie man das erreichen könnte. Es sind einige begrenzte Verfahren verfügbar, die manche dieser Aufgaben mehr schlecht als recht erledigen, und ich glaube, dass in diesen Bereichen einfach nur viele Verbesserungen notwendig sind, um eine allgemeine Intelligenz auf menschlichem Niveau zu erreichen.
Martin Ford: DeepMind ist offenbar eines der sehr wenigen Unternehmen, das sich besonders auf eine AGI konzentriert. Gibt es noch andere Akteure, die wichtige Arbeit leisten und mit dem Schritt halten können, was DeepMind tut?
Nick Bostrom: DeepMind ist sicherlich führend, aber andernorts wird auch spannende Arbeit auf dem Gebiet des Deep Learnings geleistet oder Forschung betrieben, die früher oder später zum Erreichen einer AGI beitragen kann. Bei Google selbst gibt es mit Google Brain schon eine weitere Forschungsgruppe von Weltrang. Andere große Technologiekonzerne betreiben inzwischen ihre eigenen KI-Laboratorien: Facebook, Baidu und Microsoft sind in der KI-Forschung ziemlich aktiv. In der Wissenschaft gibt es eine Reihe ausgezeichneter Forschungsstätten. Montreal und Toronto in Kanada sind beim Deep Learning weltweit führende Universitäten, oder denken Sie an Berkeley, Oxford, Stanford und Carnegie Mellon, dort sind auch viele Forscher auf diesem Fachgebiet tätig. Die Forschung -findet aber nicht nur im Westen statt, Länder wie China investieren kräftig, um eigene Kapazitäten aufzubauen.
Martin Ford: Diese konzentrieren sich aber nicht besonders auf eine AGI.
Nick Bostrom: Ja, aber die Grenzen sind hier fließend. Unter den Gruppen, die aktuell offen an einer AGI arbeiten, wäre neben DeepMind wohl auch noch OpenAI zu nennen.
Martin Ford: Halten Sie den Turing-Test für ein geeignetes Verfahren, um festzustellen, ob wir eine AGI erreicht haben, oder brauchen wir einen weiteren Test für Intelligenz?
Nick Bostrom: Er ist gar nicht schlecht, wenn man ein grobes Kriterium braucht, um zu beurteilen, ob man erfolgreich war. Ich meine hier eine umfassende schwierige Version des Turing-Tests, bei der ein Experte das System eine Stunde lang befragt, oder etwas in dieser Art. Man könnte das als »KI-vollständiges« Problem bezeichnen, das nur gelöst werden kann, indem man eine allgemeine Künstliche Intelligenz entwickelt. Wenn man daran interessiert ist, die erreichten Fortschritte zu beurteilen, oder Leistungskennzahlen festlegen möchte, um das nächste Ziel des KI-Forschungsteams abzustecken, dann ist der Turing-Test wohl weniger gut geeignet.
Martin Ford: Weil er zu einer Spielerei wird, wenn man ihn in kleinerem Maßstab anwendet?
Nick Bostrom: Ja. Es ist möglich, das richtig zu machen, aber es ist zu schwierig, und wir wissen überhaupt noch nicht, wie man es richtig macht. Wenn man beim Turing-Test schrittweise Fortschritte erzielen möchte, erhält man Systeme, die jede Menge vorgefertigter Antworten enthalten und mit cleveren Tricks und Spielereien zurechtkommen, aber das bringt uns auf dem Weg zu einer echten AGI keinen Schritt weiter. Wenn man im Labor Fortschritte erzielen oder die Fortschritte in der realen Welt messen möchte, braucht man andere Kennzahlen, die besser berücksichtigen, was uns wirklich voranbringt. und das wird uns letztendlich zu einer echten allgemeinen KI führen.
Martin Ford: Was ist mit dem Bewusstsein? Entwickelt ein intelligentes System womöglich automatisch ein Bewusstsein, oder ist das ein völlig unabhängiges Phänomen?
Nick Bostrom: Das hängt davon ab, was Sie mit Bewusstsein meinen. Eine Bedeutung des Worts beschreibt die Fähigkeit, eine funktionale Form der Eigenwahrnehmung zu besitzen, das heißt, Sie sind in der Lage, sich selbst als Akteur in der Welt zu begreifen und darüber nachzudenken, wie verschiedene Dinge Sie als Agenten verändern können. Sie haben eine Vorstellung davon, dass Sie zeitlich Bestand haben. Diese Dinge sind mehr oder weniger Nebeneffekte der Entwicklung intelligenterer Systeme, die bessere Modelle aller möglichen Aspekte der Realität bilden und sich selbst enthalten.
Eine weitere Bedeutung des Worts »Bewusstsein« ist dieser bemerkenswerte empirische Eindruck, den wir haben, von dem wir glauben, dass er moralische Bedeutung besitzt. Wenn beispielsweise jemand bewusst leidet, ist das moralisch verwerflich. Es bedeutet mehr, als einfach nur einem giftigen Reiz auszuweichen, weil man es tatsächlich in seinem Inneren als ein subjektives Gefühl erlebt. Ob diese bemerkenswerte Erfahrung auch als Nebeneffekt auftritt, wenn man eine Maschine smarter macht, ist schwieriger zu sagen. Es könnte sogar möglich sein, Maschinensysteme ohne Qualia, also ohne phänomenales Bewusstsein, zu entwickeln die trotzdem sehr leistungsfähig sind. In Anbetracht der Tatsache, dass wir gar nicht genau wissen, was die notwendigen und hinreichenden Bedingungen für eine moralisch bedeutsame Form des Bewusstseins sind, müssen wir die Möglichkeit akzeptieren, dass Maschinenintelligenzen ein Bewusstsein erlangen können, vielleicht sogar bevor sie menschliches Niveau erreichen oder superintelligent werden.
Wir glauben, dass viele Tiere diese Art von Erfahrung machen. Denken Sie an etwas so Einfaches wie eine Maus: Wenn Sie medizinische Forschung mit Mäusen betreiben wollen, müssen Sie sich an eine Reihe von Regeln und Vorschriften halten. Beispielsweise müssen Sie eine Maus betäuben, bevor Sie operative Eingriffe vornehmen dürfen, weil wir glauben, dass sie leiden würde, wenn man sie ohne Betäubung aufschneidet. Wenn es Maschinenintelligenzen gibt, die das gleiche Verhaltensrepertoire und die gleichen Wahrnehmungsfähigkeiten wie eine Maus besitzen, dann stellt sich die Frage, ob sie nicht auch ein Bewusstseinsniveau erreicht haben, das ihnen einen gewissen moralischen Status verleiht, der beschränkt, was wir mit ihnen anstellen dürfen. Jedenfalls erscheint es so, dass wir diese Möglichkeit nicht ausschließen können. Allein die Möglichkeit, dass die Maschine ein Bewusstsein haben könnte, ist vielleicht schon Grund genug, bestimmte Verpflichtungen einzugehen, zumindest wenn sie leicht zu erfüllen sind, um der Maschine ein lebenswertes Dasein zu ermöglichen.
Martin Ford: Die Risiken sind in gewissen Sinn also auf beiden Seiten vorhanden? Wir machen uns Sorgen, dass eine KI uns Schaden zufügt, aber es besteht auch die Gefahr, dass wir ein Wesen mit Bewusstsein versklaven und ihm Leid zufügen. Für mich klingt das so, als ob es keine Möglichkeit gibt, eindeutig festzustellen, ob eine Maschine tatsächlich ein Bewusstsein besitzt. Eine Art Turing-Test für das Bewusstsein gibt es nicht. Ich glaube, dass Sie ein Bewusstsein besitzen, weil Sie zur selben Spezies wie ich gehören und weil ich glaube, ein Bewusstsein zu besitzen, aber eine solche Beziehung gibt es bei einer Maschine nicht. Das ist wirklich eine sehr schwierige Frage.
Nick Bostrom: Ja, sie ist schwierig. Ich würde nicht sagen, dass die Zugehörigkeit zu einer Spezies das Hauptkriterium ist, das wir verwenden, um vom Vorhandensein eines Bewusstseins auszugehen, denn es gibt viele Menschen, die nicht bei Bewusstsein sein. Vielleicht liegen sie im Koma oder sind noch Föten. Oder sie könnten hirntot sein oder in Narkose liegen. Die meisten Menschen glauben, dass man auch als nicht menschliches Wesen bis zu einem gewissen Grad in verschieden Formen bewusste Erfahrungen machen kann, wie beispielsweise manche Tiere. Wir können die Vorstellung eines Bewusstseins also auf andere Spezies übertragen, aber ich denke, dass es eine Herausforderung für das menschliche Einfühlungsvermögen darstellen wird, das erforderliche Niveau moralischer Vorstellungen auf einen digitalen Verstand auszuweiten, wenn es ihn erst einmal gibt.
Das ist schon bei Tieren schwierig. Unser Umgang mit Tieren, insbesondere in der Fleischproduktion, lässt viel zu wünschen übrig – und Tiere haben ein Gesicht und können quieken! Bei einem unsichtbaren Prozess in einem Mikroprozessor ist es für einen Menschen ungleich schwieriger, zu erkennen, dass sich dahinter ein empfindungsfähiger Verstand verbergen könnte, der es verdient, dass man ihm Beachtung schenkt. Selbst heutzutage scheint das noch immer eins dieser verrückten Themen zu sein, die man nicht richtig ernst nehmen kann. Es ähnelt eher der Diskussion in einem philosophischen Seminar als einem wirklich vorhandenen Problem, wie Diskriminierung durch Algorithmen oder Killerdrohnen.
Letztendlich muss diese Fragestellung den Themenkreis verlassen, den nur hauptberufliche Philosophen erörtern und zu einem Thema werden, über das man -vernünftig öffentlich debattieren kann. Das muss schrittweise geschehen, aber vielleicht ist es an der Zeit, diese Änderung anzuschieben. Das Thema, was KI für die menschlichen Lebensbedingungen leisten kann, hat in den letzten paar Jahren schließlich auch den Bereich Science Fiction verlassen und wird jetzt ernsthaft diskutiert.
Martin Ford: Was denken Sie über die Auswirkungen, die KI auf den Arbeitsmarkt und die Wirtschaft haben könnte? Wie groß könnten die Umwälzungen sein, und glauben Sie, dass wir dem viel Beachtung schenken müssen?
Nick Bostrom: Ich denke, dass es sehr kurzfristig eine Tendenz geben könnte, die Auswirkungen auf den Arbeitsmarkt übertrieben darzustellen. Es wird Zeit in Anspruch nehmen, so viele Systeme bereitzustellen, dass es zu spürbaren Auswirkungen kommt. Ich glaube allerdings, dass die Fortschritte beim Machine Learning im Lauf der Zeit einen zunehmend wachsenden Einfluss auf den Arbeitsmarkt haben werden, und wenn der KI Erfolg beschert ist, wird sie praktisch alle Aufgaben erledigen können. In gewisser Hinsicht ist also vollständige Arbeitslosigkeit das Ziel. Wir entwickeln Technologie und Automatisierung schließlich, um ein gegebenes Ziel mit geringerem Aufwand zu erreichen. Technologie ermöglicht es, mit weniger Aufwand mehr zu erreichen.
Martin Ford: Das ist die utopische Vorstellung. Würden Sie ein bedingungs-loses Grundeinkommen unterstützen, damit gewährleistet ist, dass alle an den Erfolgen all dieser Fortschritte teilhaben?
Nick Bostrom: Ein solches Vorgehen könnte im Lauf der Zeit zunehmend wünschenswert erscheinen. Wenn KI wirklich Erfolg hat, wir das technische Kontrollproblem lösen und es eine vernünftige Governance gibt, wird es eine wirtschaftliche Blüte mit enormem Wachstum geben. Schon ein kleiner Teil davon würde völlig ausreichen, um allen ein äußerst angenehmes Leben zu ermöglichen, deshalb sollte es zumindest ein bedingungsloses Grundeinkommen geben. Wenn wir eine Super-intelligenz entwickeln, wird jeder von uns einen Teil des damit verbundenen Risikos tragen, ob wir wollen oder nicht. Da scheint es mir nur fair zu sein, dass jeder von den Vorteilen profitiert, wenn alles gut geht.
Ich denke, das sollte zu der Vorstellung gehören, wie Superintelligenz auf der Welt zum Einsatz kommt. Zumindest ein großer Teil sollte dem Gemeinwohl der gesamten Menschheit dienen. Das steht auch im Einklang damit, privaten Entwicklern einen Anreiz zu bieten. Aber wenn wir alles richtig machen, wird der Kuchen so groß sein, dass wir gewährleisten sollten, dass jeder ein sorgenfreies Leben führen kann. Das könnte in Form eines bedingungslosen Grundeinkommens geschehen oder durch andere Verfahren, aber letzten Endes sollte jeder bezüglich der wirtschaftlichen Ressourcen einen großen Gewinn verzeichnen. Eine Superintelligenz wird aber auch noch andere Vorteile mit sich bringen, wie bessere Technologien, ein verbessertes Gesundheitswesen und so weiter.
Martin Ford: Was denken Sie über die Befürchtung, dass China als Erstes oder zeitgleich mit uns eine AGI erreicht? Ich habe den Eindruck, dass die Wertvorstellungen der Kultur, die diese Technologie entwickelt, eine Rolle spielen.
Nick Bostrom: Ich denke, dass es von geringerer Bedeutung ist, welche Kultur die Technologie zuerst entwickelt. Von größerer Bedeutung ist, wie kompetent die einzelnen Menschen oder Gruppen sind, die sie entwickeln und ob sie die Gelegenheit haben, vorsichtig zu sein. Das ist eine der Befürchtungen bei einem Wettlauf, bei dem mehrere Wettbewerber versuchen, als Erster eine Art Ziellinie zu erreichen – in einem engen Rennen ist man gezwungen, jegliche Vorsicht über Bord zu werfen. Das Rennen gewinnt derjenige, der am wenigsten Aufwand in die Sicherheit steckt, und das wäre alles andere als ein wünschenswerter Zustand.
Uns wäre es lieber, wenn diejenigen, die als Erste eine Superintelligenz entwickeln, am Ende des Entwicklungsprozesses die Gelegenheit erhalten, sechs Monate oder vielleicht auch ein paar Jahre zu pausieren, um die Systeme wiederholt zu überprüfen und alle erdenklichen zusätzlichen Sicherheitsmaßnahmen einzurichten. Erst dann würden sie die Fähigkeiten des Systems langsam und vorsichtig auf das übermenschliche Niveau bringen. Sie sollten nicht dadurch unter Druck gesetzt werden, dass ein Wettbewerber ihnen dicht auf den Fersen ist. Wenn man sich damit beschäftigt, welche strategische Situation für dir Menschheit am wünschenswertesten ist, falls in der Zukunft eine Superintelligenz entsteht, scheint eines der wichtigsten Anliegen zu sein, dass der durch die Wettbewerber ausgeübte Druck so weit wie möglich abgeschwächt wird.
Martin Ford: Wenn es zu einem schnellen Takeoff kommt, in dem sich eine Intelligenz rekursiv selbst verbessern kann, wäre es von enormem Vorteil, Erstanbieter zu sein. Wer als Erster dorthin gelangt, könnte praktisch uneinholbar sein, also gibt es einen großen Anreiz für genau die Art von Wettbewerb, von der Sie sagen, er sei alles andere als ein wünschenswerter Zustand.
Nick Bostrom: Ja, in bestimmten Szenarien könnte es dazu kommen, aber ich denke, die zuvor erwähnte Vorstellung ist hier von Bedeutung, dass dieses Ziel mit einer glaubhaften Verpflichtung, dem Gemeinwohl der gesamten Menschheit zu dienen, angestrebt werden sollte, nicht nur aus ethischer Sicht, sondern auch, was den durch die Wettbewerber ausgeübten Druck betrifft. Es wäre gut, wenn alle Wettbewerber das Gefühl haben, dass sie außerordentlich profitieren werden, auch wenn sie das Rennen nicht gewinnen. Das wird es vereinfachen, am Schluss eine Vereinbarung zu treffen, dass der Gewinner die Gelegenheit erhält, ohne weiteren Konkurrenzdruck seine Arbeit fertigzustellen.
Martin Ford: Das würde irgendeine Form internationaler Koordination notwendig machen, und da hat sich die Menschheit in der Vergangenheit nicht gerade mit Ruhm bekleckert. Im Vergleich mit dem Chemiewaffenverbot und dem Atomwaffensperrvertrag scheint mir KI eine noch größere Herausforderung zu sein, was die Überprüfung der Einhaltung eines möglichen Abkommens betrifft.
Nick Bostrom: Bei manchen Fragen wäre es eine noch größere Herausforderung, bei anderen vielleicht auch nicht. Es geht hier um Knappheit – irgendwelche Ressourcen sind nur sehr begrenzt vorhanden, und wenn eine Person oder ein Land diese Ressourcen besitzt, dann fehlen sie jemand anderem. Bei der KI sind in vielen Bereichen Ressourcen im Überfluss verfügbar, und das kann es erleichtern, Abkommen zur Zusammenarbeit zu schließen.
Martin Ford: Glauben Sie, dass wir diese Probleme lösen werden und dass KI unterm Strich etwas Positives bewirkt?
Nick Bostrom: Ich bin von Hoffnungen und Ängsten erfüllt. Ich möchte hier das Positive hervorheben, sowohl kurzfristig als auch langfristig. Wegen meines Berufs und wegen meines Buchs werde ich immer nach den Risiken und den Nachteilen befragt, aber ich kann es kaum erwarten, all die nützlichen Anwendungen zu sehen, die diese Technologie bieten kann, und ich hoffe, dass sie für die Welt ein großer Segen sein wird.