Geoffrey Hinton
Emeritierter Professor für Informatik, University of Toronto
Vizepräsident und Engineering Fellow, Google
Geoffrey Hinton wird mitunter als der »Godfather of Deep Learning« bezeichnet und ist die treibende Kraft hinter einigen Schlüsseltechnologien gewesen, wie etwa Backpropagation, Boltzmann-Maschinen und dem Capsule Neural Network (CapsNet). Neben seinen Tätigkeiten bei Google und an der University of Toronto ist er auch wissenschaftlicher Berater beim Vector Institute for Artificial Intelligence.
![[Bild]](Images/GeoffreyHinton.jpg)
Als KI in der Vergangenheit übermäßig gehypt wurde – auch Backpropagation in den 1980er-Jahren – hatte man erwartet, dass sie Großartiges leistet, tatsächlich blieben die Ergebnisse jedoch hinter den Erwartungen zurück. Heute hat sie bereits Großartiges geleistet, also kann auch nicht alles nur Hype gewesen sein.
Martin Ford: Sie sind besonders für Ihre Arbeiten am Backpropagation-Algorithmus bekannt. Können Sie erklären, was Backpropagation eigentlich ist?
Geoffrey Hinton: Das lässt sich am besten erklären, indem man beschreibt, um was es sich nicht handelt. Die meisten Leute denken bei neuronalen Netzen an einen auf der Hand liegenden Algorithmus, sie zu trainieren: Stellen Sie sich ein Netz aus mehreren Neuronenschichten vor, mit einer Eingabe für die unterste Schicht und einer Ausgabe der obersten Schicht. Allen Verknüpfungen der Neuronen ist ein Gewicht zugeordnet. Nun sieht sich jedes Neuron die Neuronen in der unter ihm befindlichen Schicht an und multipliziert die Aktivität eines jeden Neurons mit dem Gewicht, summiert die Ergebnisse und liefert eine Ausgabe, die eine Funktion dieser Summe ist. Durch die Anpassung der Gewichte der Verknüpfungen erhalten Sie Netze, die alle möglichen Aufgaben erledigen können, wie etwa das Bild einer Katze zu betrachten und es als »Katze« zu kennzeichnen.
Die eigentliche Frage ist: Wie müssen die Gewichte angepasst werden, damit das Netz die ihm zugedachte Aufgabe erledigt? Zu diesem Zweck gibt es einen sehr einfachen Algorithmus, der zwar funktioniert, aber unglaublich langsam ist – ein schlichter Mutationsalgorithmus. Sie weisen den Verknüpfungen zunächst einmal zufällige Gewichte zu, legen dem Netz eine Reihe von Beispielen vor und prüfen, wie gut es funktioniert. Dann verändern Sie eines der Gewichte ein klein wenig, füttern das Netz wieder mit einigen Beispielen und prüfen, ob es besser oder schlechter funktioniert als vorher. Wenn es besser funktioniert als vorher, behalten Sie die vorgenommene Änderung bei. Funktioniert es schlechter, nehmen Sie die Änderung zurück oder ändern das Gewicht in entgegengesetzter Richtung. Dann wenden Sie sich dem nächsten Gewicht zu und führen die gleichen Schritte durch.
Sie müssen sämtliche Gewichte berücksichtigen, und bei jedem einzelnen Gewicht müssen Sie überprüfen, wie gut das Netz mit einer Reihe von Beispielen zurechtkommt, wobei alle Gewichte mehrmals aktualisiert werden müssen. Der Algorithmus ist unglaublich langsam, aber er funktioniert und kann beliebige Aufgaben erledigen.
Der Backpropagation-Algorithmus ist im Wesentlichen eine Möglichkeit, das Gleiche zu erreichen. Das Verfahren verändert die Gewichte derart, dass das Netz die gewünschte Aufgabe erledigt, ist aber sehr viel schneller als der schlichte Muta-tionsalgorithmus. Der Faktor, um den es schneller ist, entspricht der Anzahl der Gewichte im Netz. Wenn ein Netz eine Milliarde Gewichte besitzt, ist die Backpropagation eine Milliarde Mal schneller als der schlichte Mutationsalgorithmus.
Die Funktionsweise des schlichten Mutationsalgorithmus beruht darauf, dass eins der Gewichte leicht verändert und anschließend geprüft wird, wie gut das Netz damit zurechtkommt. Das ist erforderlich, um eine Evolution des Netzes in die gewünschte Richtung voranzutreiben. Der Prozess, der von den Genen zum Endprodukt führt, ist von der Umgebung abhängig. Es gibt keine Möglichkeit, anhand des Genotyps genau vorherzusagen, wie der Phänotyp aussehen oder wie erfolgreich er sein wird, denn das hängt davon ab, was in der Welt um ihn herum vor sich geht.
Bei einem neuronalen Netz zeigt die Verarbeitung der Eingaben und der Gewichte, wie gut es Ihnen gelingt, die erwünschte Ausgabe zu erzielen. Sie können den gesamten Vorgang steuern, weil er vollständig innerhalb des neuronalen Netzes stattfindet; alle beteiligten Gewichte sind Ihnen bekannt. Das macht sich die Backpropagation zunutze, indem Informationen im Netz rückwärts transportiert werden. Aufgrund der Tatsache, dass alle Gewichte bekannt sind, lässt sich für jedes einzelne Gewicht gleichzeitig berechnen, ob es ein wenig vergrößert oder verkleinert werden sollte, um die Ausgabe zu verbessern.
Der Unterschied besteht darin, dass Sie die Auswirkung einer Änderung bei der Evolution messen, bei der Backpropagationen hingegen berechnen, und zwar für alle Gewichte gleichzeitig, ohne dass es zu gegenseitigen Beeinflussungen kommt. Bei der Backpropagation können Sie die Gewichte sehr schnell anpassen, weil Sie das Netz mit einigen Beispielen füttern und anschließend die Abweichungen zwischen tatsächlichen und erwünschten Ergebnissen backpropagieren und so ermitteln, wie sämtliche Gewichte gleichzeitig geändert werden müssen, um sie alle ein wenig zu verbessern. Sie müssen dieses Verfahren zwar auch einige Male wiederholen, es ist jedoch ungleich schneller als der evolutionäre Ansatz.
Martin Ford: Der Backpropagation-Algorithmus wurde ursprünglich von David Rumelhart erfunden, richtig? Und Sie haben auf dieser Arbeit aufgebaut?
Geoffrey Hinton: Vor David Rumelhart hatten schon eine ganze Reihe anderer Leute verschiedene Versionen der Backpropagation erfunden. Dabei handelte es sich meistens um voneinander unabhängige Entwicklungen, und ich habe manchmal den Eindruck, dass meine Beiträge überbewertet werden. Ich habe in der Presse Artikel gelesen, in denen behauptet wird, ich hätte Backpropagation erfunden, aber das ist völlig falsch. Hierbei handelt es sich um einen der seltenen Fälle, dass ein Wissenschaftler der Ansicht ist, dass seine Arbeit zu positiv bewertet wird! Mein wesentlicher Beitrag bestand darin, zu zeigen, wie man Backpro-pagation zum Erlernen verteilter Repräsentationen einsetzen kann, diese Sache möchte ich doch gerne richtigstellen.
1981 war ich als Postdoktorand in San Diego (Kalifornien) tätig, und David Rumelhart hat das grundlegende Konzept der Backpropagation entwickelt, sie ist also seine Erfindung. Ronald Williams und ich arbeiteten zusammen mit ihm an einer passenden Formulierung. Wir schlossen die Arbeit zwar ab, hatten aber nichts wirklich Beeindruckendes vorzuweisen und haben auch nichts veröffentlicht. Danach ging ich zur Carnegie Mellon University und arbeitete an der Boltzmann-Maschine, die ich für ein erheblich interessanteres Konzept hielt, auch wenn sie nicht so gut funktionierte. 1984 schließlich wandte ich mich wieder der Backpropagation zu, um sie mit der Boltzmann-Maschine zu vergleichen. Ich stellte fest, dass sie tatsächlich viel besser funktionierte, also nahm ich wieder Kontakt zu David Rumelhart auf.
Was mich wirklich an der Backpropagation faszinierte, war das, was ich als Stammbaumaufgabe bezeichne, bei der man zeigen kann, dass Backpropagation verteilte Repräsentationen erlernen kann. Seit der Highschool hatte ich mich für verteilte Repräsentationen im Gehirn interessiert, und jetzt hatten wir endlich die Möglichkeit, sie zu erlernen! Wenn Sie eine Aufgabe stellten, wie etwa zwei Wörter als Eingabe entgegenzunehmen und ein drittes Wort als dazugehörige Ausgabe zu erzeugen, erlernte die Backpropagation verteilte Repräsentationen für diese Wörter, und diese Repräsentationen konnten die Bedeutung der Wörter erfassen.
Mitte der 1980er-Jahre, als Computer noch sehr langsam waren, verwendete ich als einfaches Beispiel einen Stammbaum. Ich stellte Informationen über die Verwandtschaftsverhältnisse bereit. Beispielsweise, dass Victoria die Mutter von Charlotte ist. Wenn ich dann Charlotte und Mutter eingab, erhielt ich die richtige Antwort: Victoria. Die richtige Antwort für die Eingabe Charlotte und Vater war James. Nachdem ich diese Eingaben vorgenommen hatte, konnte man, weil es ein ganz normaler Stammbaum ohne Ehescheidungen war, konventionelle KI und das Wissen über familiäre Beziehungen verwenden, um zu schlussfolgern, dass Victoria die Ehefrau von James sein muss, weil Victoria die Mutter und James der Vater von Charlotte ist. Das neuronale Netz konnte dieses Ergebnis ebenfalls liefern, aber nicht durch die Verwendung von Regeln zum Schlussfolgern, sondern indem es eine Reihe von Merkmalen der verschiedenen Personen erlernte. Victoria und Charlotte waren nur ein Haufen verschiedener Merkmale, und der Einsatz von Interaktionen dieser Merkmalsvektoren sorgte dafür, dass die Ausgabe die Merkmale der richtigen Person besaß. Anhand der Merkmale von Charlotte und der Merkmale für Mutter könnte das System die Merkmale von Victoria ableiten, und das erlernte es auch, wenn man es trainierte. Am spannendsten war, dass es die Merkmalsvektoren der drei verschiedenen Wörter und deren verteilte Repräsentationen erlernte.
1986 reichten wir bei Nature einen Artikel ein, der dieses Beispiel für eine Backpropagation enthielt, die verteilte Repräsentationen von Wörtern erlernte. Ich habe mit einem der Gutachter der Arbeit gesprochen und er war besonders davon fasziniert, dass dieses System die verteilten Repräsentationen erlernte. Er war Psychologe, und ihm war klar, dass ein Lernalgorithmus, der Repräsentationen erlernen konnte, ein ziemlich großer Durchbruch war. Mein Beitrag war nicht die Entdeckung der Backpropagation – das hatte im Wesentlichen Rumelhart herausgefunden. Ich konnte zeigen, dass Backpropagation verteilte Repräsentationen erlernen konnte, und das war es, was Psychologen – und später KI-Forscher – interessierte.
Einige Jahre später, Anfang der 1990er-Jahre, entdeckte Yoshua Bengio derartige Netze wieder, aber die Computer waren inzwischen schneller. Yoshua wendete sie auf Sprache an, also auf echte Texte, verwendete ein paar Wörter als Kontext und versuchte, das nächste Wort vorherzusagen. Er zeigte, dass ein neuronales Netz diese Aufgabe ziemlich gut erledigt und dass es die verteilten Repräsentationen der Wörter entdeckt. Das war von großer Bedeutung, weil der Backpropagation-Algorithmus Repräsentationen erlernen konnte und man sie nicht mehr von Hand erstellen musste. Forscher wie Yann LeCun hatten das bei Computer Vision schon seit einiger Zeit so gemacht. Er zeigte, dass Backpropagation gute Filter für die Verarbeitung visueller Eingaben erlernen konnte, um vernünftige Entscheidungen zu treffen, aber das war etwas naheliegender, weil wir wussten, dass unser Gehirn so etwas macht. Dass Backpropagation verteilte Repräsentationen erlernte, die Bedeutung und Syntax von Wörtern erfassten, war ein großer Durchbruch.
Martin Ford: Könnte man sagen, dass die Verwendung neuronaler Netze die KI-Forschung zum damaligen Zeitpunkt noch gar nicht so richtig vorangetrieben hatte? Es ist ja noch nicht lange her, dass sie als Forschungsinteresse so populär geworden ist.
Geoffrey Hinton: Das ist in gewisser Hinsicht richtig, aber man muss hier zwischen KI und Machine Learning einerseits und Psychologie andererseits unterscheiden. Nachdem Backpropagation 1986 bekannt wurde, interessierten sich viele Psychologen dafür und verloren ihr Interesse auch nicht. Sie hielten sie weiter für einen interessanten Algorithmus, der vielleicht nicht wie das Gehirn funktionierte, aber eine interessante Möglichkeit bot, Repräsentationen zu entwickeln. Gelegentlich hört man, dass nur einige wenige Forscher daran arbeiteten, aber das stimmt nicht. In der Psychologie blieben viele Leute interessiert. In der KI geschah Folgendes: Ende der 1980er-Jahre gelang Yann LeCun bei der Erkennung handgeschriebener Ziffern etwas Beeindruckendes, und es gab weitere recht eindrucksvolle Einsatzgebiete der Backpropagation wie Spracherkennung oder die Vorhersage von Kreditkartenbetrug. Die Befürworter der Backpropagation dachten, sie könne Erstaunliches leisten und hatten sie vielleicht ein bisschen zu sehr über den grünen Klee gelobt. Sie blieb tatsächlich hinter unseren Erwartungen zurück. Wir hatten mit etwas Unglaublichem gerechnet, aber es war einfach nur ziemlich gut.
Anfang der 1990er-Jahre zeigte sich, dass andere Machine-Learning-Verfahren für kleine Datenmengen besser funktionierten als Backpropagation und weniger Aufwand erforderten, um sie vernünftig zum Laufen zu bringen. Insbesondere konnte eine sogenannte Support Vector Machine (SVM) handgeschriebene Ziffern besser erkennen als die Backpropagation, obwohl die Erkennung handgeschriebener Ziffern eigentlich ein klassisches Beispiel für eine Aufgabe ist, die Backpropagation richtig gut erledigt. Deshalb verlor die Machine-Learning-Community das Interesse an Backpropagation. Es hieß, sie sei mit zu viel Aufwand verbunden und dass sie nicht gut genug funktioniere, um den Aufwand zu rechtfertigen. Es sei hoffnungslos, zu glauben, dass man nur anhand der Ein- und Ausgaben mehrere Schichten verborgener Repräsentationen erlernen könne. Jede Schicht sei ein ganzer Strauß von Merkmalsdetektoren, die auf bestimmte Weise etwas repräsentieren.
Der Backpropagation lag die Idee zugrunde, viele Schichten zu erlernen, und dann wäre man in der Lage, Unglaubliches zu erreichen. Wir hatten jedoch große Schwierigkeiten, mehr als ein paar Schichten zu erlernen und konnten auch nichts Verblüffendes erreichen. Unter Statistikern und KI-Forschern herrschte die Meinung vor, dass wir einem Wunschdenken erlagen. Wir würden glauben, dass man nur anhand der Ein- und Ausgaben alle Gewichte erlernen könne, und das sei unrealistisch. Man müsse jede Menge Wissen vorgeben, damit irgendetwas funktioniert.
Bis 2012 war das bei den Forschern, die sich mit Computer Vision befassten, die vorherrschende Meinung. Die meisten hielten das Ganze für verrückt, obwohl Yann LeCun es schaffte, dass manche seiner Systeme besser funktionierten als die besten Systeme der Computer Vision. Sie hielten das Ganze noch immer für verrückt, es sei nicht der richtige Weg. Sie lehnten sogar Papers von Yann ab, obwohl seine Systeme bei bestimmten Aufgaben besser funktionierten als die besten Computer-Vision-Systeme, weil die Gutachter der Ansicht waren, dass die Verfahren ungeeignet sind. Hier handelt es sich um ein schönen Beispiel dafür, dass Wissenschaftler sagen: »Wir haben bereits entschieden, wie die Lösung auszusehen hat und alles, was nicht so aussieht, ist nicht von Interesse«.
Letzten Endes behielt die Wissenschaft die Oberhand, und zwei meiner Studenten gewannen einen großen öffentlichen Wettbewerb – und zwar sehr deutlich. Ihre Fehlerquote war nur rund halb so groß wie die der besten Computer-Vision-Systeme, und sie verwendeten hauptsächlich die in Yann LeCuns Labor entwickelten Verfahren, integrierten aber auch einige unser eigenen Methoden.
Martin Ford: War das der ImageNet-Wettbewerb?
Geoffrey Hinton: Ja, und dann geschah das, was in der Wissenschaft geschehen sollte. Eine Methode, die man für kompletten Unsinn gehalten hatte, funktionierte besser als die bislang favorisierten Methoden, und innerhalb von zwei Jahren wurde sie von allen übernommen. Heutzutage würde bei Aufgaben wie Objektklassifizierungen niemand mehr auf den Gedanken kommen, das ohne neuronales Netz zu versuchen.
Martin Ford: Das war glaube ich 2012. War das der Wendepunkt für Deep Learning?
Geoffrey Hinton: Für Computer Vision war das der Wendepunkt. Bei der Spracherkennung liegt er noch ein paar Jahre weiter zurück. Zwei Doktoranden in Toronto zeigten 2009, dass Deep Learning eine bessere Spracherkennung ermöglicht. Sie gingen als Praktikanten zu IBM und Microsoft, und ein dritter Doktorand brachte das System zu Google. Das von ihnen aufgebaute Basissystem wurde weiterentwickelt, und im Laufe der nächsten paar Jahre gingen alle diese Unternehmen dazu über, für die Spracherkennung neuronale Netze zu verwenden. Anfangs wurden neuronale Netze nur für das Frontend verwendet, aber irgendwann wurden sie beim gesamten System eingesetzt. Viele führende Köpfe der Spracherkennung hatten schon vor 2012 an neuronale Netze geglaubt, aber die große öffentliche Wirkung trat erst 2012 ein, als die Community fast über Nacht auf den Kopf gestellt wurde und der verrückte Ansatz sich durchsetzte.
Martin Ford: Wenn man heute davon liest, gewinnt man den Eindruck, dass neuronale Netze und Deep Learning gleichbedeutend mit KI sind – dass sie das gesamte Forschungsfeld darstellen.
Geoffrey Hinton: Während des größten Teils meiner Laufbahn gab es eine KI, die auf dem logischen Konzept beruhte, intelligente Systeme zu entwickeln, indem man Regeln aufstellte, die es ihnen ermöglichten, Symbolketten zu verar-beiten. Man dachte damals, dass Intelligenz so funktioniert und dass eine KI so aufgebaut sein muss. Man glaubte, dass Intelligenz die Verarbeitung von Symbolen anhand von Regeln sei, sie mussten nur herausfinden, wie die Symbole aussehen und wie die Regeln lauten, und schon hätte man eine KI. Und dann gab es noch diese andere Sache, die überhaupt nicht nach KI aussah, nämlich neuronale Netze. Es war ein Versuch, Intelligenz zu schaffen, indem man nachahmt, wie das Gehirn lernt.
Beachten Sie hier, dass die normale KI gar nicht besonders am Lernen interessiert war. In den 1970er-Jahren hätte man gesagt, dass Lernen nicht entscheidend ist. Man muss herausfinden, was die Regeln sind und wie die symbolischen Ausdrücke aussehen, auf die sie angewendet werden. Um das Lernen können wir uns später kümmern. Warum? Weil der wesentliche Punkt im Schlussfolgern liegt. Solange man nicht herausgefunden hat, wie das Schlussfolgern funktioniert, ergibt es keinen Sinn, über das Lernen nachzudenken. Die Logik-Fraktion war an symbolischen Schlussfolgerungen interessiert, und die Neuronale-Netze-Fraktion interessierte sich für Lernen, sinnliche Wahrnehmung und Bewegungssteuerung. Sie versuchten, unterschiedliche Probleme zu lösen, und wir glauben, dass die Evolution dem Menschen die Fähigkeit zum Schlussfolgern erst ganz zum Schluss verliehen hat. Deshalb ist das nicht der richtige Weg, die grundsätzliche Arbeitsweise des Gehirns zu verstehen. Die Fähigkeit zum Schlussfolgern baut auf etwas auf, das für etwas ganz anderes gedacht ist.
Mittlerweile verwenden Wirtschaft und Regierung den Begriff »KI« als Synonym für Deep Learning, und das hat zu einigen wirklich paradoxen Zuständen geführt. In Toronto erhalten wir von der Wirtschaft und vom Staat Fördergelder für den Aufbau des Vector Institutes, das Deep-Learning-Grundlagenforschung betreibt, aber auch die Wirtschaft beim Einsatz von Deep Learning unterstützt und Deep-Learning-Lehrgänge anbietet. Natürlich sind auch andere an diesen Fördergeldern interessiert. Eine andere Universität behauptet, dass bei ihr mehr Leute im Bereich KI tätig sind als in Toronto und legte zum Beweis Zahlen über Zitationen der dort erstellten Arbeiten vor, weil sie dort klassische KI-Forschung betreiben. Sie verwenden also Zitationen von Arbeiten über konventionelle KI, um Fördergelder für Deep Learning zu fordern. Dieses Durcheinander bei der Bedeutung von KI hat also durchaus ernsthafte Folgen. Es wäre besser, den Begriff »KI« nicht zu verwenden.
Martin Ford: Meinen Sie wirklich, dass KI sich ausschließlich auf neuronale Netze konzentrieren sollte und dass alles andere irrelevant ist?
Geoffrey Hinton: Ich denke, wir sollten klarstellen, dass der KI die allgemeine Idee zugrunde liegt, intelligente Systeme zu erschaffen, die nicht biologischen Ursprungs sind – sie sind künstlich, und sie können clevere Dinge tun. Und dann gibt es noch die Bedeutung, die KI lange hatte, die manchmal als die gute altmodische KI bezeichnet wird: die Repräsentation von Dingen durch symbolische Ausdrücke. Für die meisten Wissenschaftler – zumindest für die älteren – hat KI diese Bedeutung: durch Manipulation von symbolischen Ausdrücken Intelligenz zu erzielen.
Ich halte diese altmodische Vorstellung von KI für falsch. Ich glaube, dass ihre Anhänger einen sehr naiven Fehler begehen. Sie glauben, dass sich zwischen eingehenden und ausgehenden Symbolen lauter weitere Symbole befinden. Zwischen ein- und ausgehenden Symbolen befinden sich jedoch keine Symbolketten, sondern große Vektoren neuronaler Aktivität. Ich halte die grundlegende Voraussetzung konventioneller KI schlicht und einfach für falsch.
Martin Ford: Ende 2017 haben Sie ein Interview gegeben, in dem Sie gesagt haben, dass Sie dem Backpropagation-Algorithmus misstrauisch gegenüberstehen, dass er abgeschafft werden sollte und wir bei null anfangen müssen. (Siehe https://www.axios.com/artificial-intelligence-pioneer-says-we-need-to-start-over-1513305524-f619efbd-9db0-4947-a9b2-7a4c310a28fe.html) Das hat für Unruhe gesorgt, und deshalb möchte ich wissen, was Sie damit gemeint haben.
Geoffrey Hinton: Das Problem war, dass der Kontext des Gesprächs nicht eindeutig genannt wurde. Ich sprach darüber, zu versuchen, das Gehirn zu verstehen und brachte den Gedanken vor, dass Backpropagation womöglich nicht der richtige Weg zum Verständnis des Gehirns ist. Wir wissen es nicht genau, aber inzwischen gibt es einige Gründe, zu glauben, dass das Gehirn gar keine Backpropagation nutzt. Wenn das Gehirn keine Backpropagation nutzt, wäre der Mechanismus, den es tatsächlich nutzt, ein interessanter Kandidat für künstliche Systeme. Ich habe nicht gefordert, Backpropagation abzuschaffen. Backpropagation ist die tragende Säule allen Deep Learnings, das funktioniert, und ich denke nicht, dass wir es loswerden sollten.
Martin Ford: Es könnte bei der weiteren Entwicklung vermutlich noch verfeinert werden?
Geoffrey Hinton: Es wird alle möglichen Arten von Verbesserungsmöglichkeiten geben, und es könnte sehr wohl andere Algorithmen als Backpropagation geben, die ebenfalls funktionieren, aber ich denke nicht, dass wir aufhören sollten, Backpropagation zu verwenden. Das wäre verrückt.
Martin Ford: Wie sind Sie dazu gekommen, sich für KI zu interessieren? Wie kam es dazu, dass Sie sich auf neuronale Netze konzentrierten?
Geoffrey Hinton: Meine Geschichte beginnt in der Highschool. Ich hatte einen Freund namens Inman Harvey, ein sehr guter Mathematiker, der sich für die Vorstellung interessierte, dass das Gehirn wie ein Hologramm funktionieren könnte.
Martin Ford: Ein Hologramm als dreidimensionale Repräsentation?
Geoffrey Hinton: Ein Hologramm besitzt bemerkenswerte Eigenschaften. Wenn Sie ein Hologramm in der Mitte durchschneiden, erhalten Sie nicht die Hälfte des Bildes, sondern ein etwas unscharfes Bild der gesamten Szene. Die Informationen über die Szene sind im gesamten Hologramm verteilt, was sich sehr von dem unterscheidet, was wir gewöhnt sind. Es verhält sich völlig anders als bei einem Foto. Wenn Sie von einem Foto ein Stück abschneiden, wird das Bild nicht nur einfach unschärfer, die in diesem Teil des Fotos enthaltenen Informationen gehen verloren.
Inman interessierte sich für die Idee, dass das menschliche Gedächtnis auf diese Weise funktionieren könnte, also dass ein einzelnes Neuron nicht für das Speichern einer bestimmten Erinnerung verantwortlich ist. Er stellte sich vor, dass zum Speichern der Erinnerungen die Stärke der Verknüpfungen zwischen den Neuronen im gesamten Gehirn angepasst wird und dass es sich im Wesentlichen um eine verteilte Repräsentation handelt. Damals waren Hologramme ein auf der Hand liegendes Beispiel für verteilte Repräsentationen.
Die Leute missverstehen, was mit einer verteilten Repräsentation gemeint ist. Ich denke mir, dass man versucht, irgendwelche Dinge – vielleicht Vorstellungen – zu repräsentieren, und jede Vorstellung wird durch die Aktivitäten in einen großen Menge von Neuronen repräsentiert. Jedes einzelne Neuron wiederum ist an der Repräsentation vieler verschiedener Vorstellungen beteiligt. Es unterscheidet sich also sehr von einer Eins-zu-Eins-Zuordnung von Neuronen zu Vorstellungen. All dies weckte mein Interesse am Gehirn. Wir waren auch daran interessiert, wie das Gehirn wohl durch die Anpassung der Verknüpfungsstärken Neues lernen könnte. Dieses Interesse hat nie wieder nachgelassen.
Martin Ford: Als Sie auf der Highschool waren? Wow. Wie hat sich Ihr Denken weiterentwickelt, als Sie die Universität besucht haben?
Geoffrey Hinton: Ich habe auf der Universität unter anderem Physiologie studiert. Ich interessierte mich dafür, weil ich wissen wollte, wie das Gehirn funktioniert. Am Ende der Vorlesungsreihe lernten wir, wie Neuronen Nervenimpulse senden. Es wurden Experimente mit den Riesenaxonen von Tintenfischen durchgeführt, um herauszufinden, wie sich Nervenimpulse entlang des Axons ausbreiten, und wie sich herausstellte, funktionierte das Gehirn auf diese Weise. Es war allerdings ziemlich enttäuschend, feststellen zu müssen, dass es keinerlei Berechnungsmodelle dafür gab, wie Dinge repräsentiert oder erlernt werden.
Danach wechselte ich zur Psychologie, in der Hoffnung, mehr über die Funktionsweise des Gehirns zu erfahren. Aber das war in Cambridge, wo man sich damals noch immer vom Behaviorismus erholte, und in der Psychologie ging es hauptsächlich um Laborratten. Es wurde zwar auch etwas Kognitionspsychologie gelehrt, es gab aber kaum Berechnungsmodelle, und ich hatte nicht gerade das Gefühl, dass sie irgendwann herausfinden würden, wie das Gehirn funktioniert.
Während der Vorlesungsreihe in Psychologie nahm ich an einem Projekt über Kinderpsychologie teil. Es ging dabei um Kinder im Alter zwischen zwei und fünf Jahren und wie sich während ihrer Entwicklung ihre Reaktion auf verschiedene Eigenschaften der sinnlichen Wahrnehmung ändert. Die Vorstellung war, dass sehr junge Kinder sich vor allem für Farben und Texturen interessieren, wenn sie älter werden, interessieren sie sich aber mehr für Formen. Ich führte ein Experiment durch, bei dem ich den Kindern drei Objekte zeigte, von denen eins aus dem Rahmen fiel, beispielsweise zwei gelbe Kreise und ein roter Kreis. Ich brachte den Kindern bei, auf das ungewöhnliche Objekt zu zeigen, was schon sehr junge Kinder erlernen können.
Ich brachte ihnen auch anhand zweier gelber Dreiecke und eines gelben Kreises bei, auf den Kreis zu zeigen, weil dieser eine andere Form besitzt. Nachdem sie mit einfachen Beispielen trainiert hatten, bei denen es immer einen eindeutigen Ausreißer gab, legte ich ihnen Kombinationen wie ein gelbes Dreieck, einen gelben Kreis und einen roten Kreis vor. Dem lag die Idee zugrunde, dass sie auf den roten Kreis zeigen würden, wenn sie sich mehr für die Farbe als für die Form interessieren, aber auf das gelbe Dreieck, wenn ihnen die Form wichtiger als die Farbe ist. Das war alles schön und gut, und einige Kinder zeigten entweder auf das gelbe Dreieck von unterschiedlicher Form oder auf den roten Kreis von unterschiedlicher Farbe. Ich kann mich noch gut daran erinnern, dass ein pfiffiger Fünfjähriger, mit dem ich das Experiment durchführte, auf den roten Kreis zeigte und sagte: »Du hast den hier mit der falschen Farbe angemalt«.
Das Modell, das ich damit stützen wollte, war ein sehr schlichtes, vages Modell, das besagt: »Kleine Kinder reagieren stärker auf die Farbe, und wenn sie größer werden stärker auf die Form«. Es handelt sich um ein äußerst primitives Modell, das nichts darüber aussagt, wie irgendetwas funktioniert, sondern nur feststellt, dass sich die Aufmerksamkeit von der Farbe zur Form verschiebt. Und dann wurde ich mit dem Jungen konfrontiert, der sich die Objekte ansah und sagte: »Du hast den hier mit der falschen Farbe angemalt«. Wir haben hier sozusagen ein System zur Informationsverarbeitung vor uns, das anhand der Trainingsbeispiele erlernt hat, welche Aufgabe gelöst werden soll. Der Junge glaubt, dass es nur einen Ausreißer geben darf, aber da es mehr als einen gibt, muss ich wohl einen Fehler begangen haben, und dieser Fehler war vermutlich, dass ich ein Objekt mit der falschen Farbe angemalt habe.
Das Modell, das ich mit den Kindern getestet habe, sah eine derartige Komplexität überhaupt nicht vor. Was sich hier zeigte, war komplexer als alle psychologischen Modelle: ein System zur Informationsverarbeitung, das so schlau war, dass es he-rausfinden konnte, was vor sich ging. Mit Psychologie war damit für mich Schluss. Die vorhandenen Modelle waren in Anbetracht der Komplexität, die sie handhaben mussten, völlig unzulänglich.
Martin Ford: Wie sind Sie zur KI gekommen, nachdem Sie der Psychologie den Rücken gekehrt hatten?
Geoffrey Hinton: Bevor ich zur KI kam, wurde ich Tischler. Das hat mir zwar Freude bereitet, aber ich war wahrlich kein Meister. Ich lernte damals einen wirklich guten Tischler kennen, und das war so deprimierend, dass ich deswegen zum Wissenschaftsbetrieb zurückkehrte.
Martin Ford: Angesichts der anderen Möglichkeiten, die sich Ihnen eröffnet haben, war es vielleicht gar nicht schlecht, dass Sie kein guter Tischler waren!
Geoffrey Hinton: Nach der Zeit als Tischler war ich als Forschungsassistent bei einem Psychologieprojekt tätig, bei dem es darum ging, die Sprachentwicklung bei sehr jungen Kindern besser zu verstehen und welche Rolle die Gesellschaftsschicht dabei spielt. Ich war für die Entwicklung eines Fragenkatalogs zuständig, mit dem die Einstellung der Mutter zur Sprachentwicklung ihres Kinds beurteilt werden sollte. Ich fuhr also mit dem Fahrrad zu einen sehr armen Vorort von Bristol und klopfte an die Tür der ersten Mutter, die ich befragen sollte. Sie bat mich hinein, servierte mir eine Tasse Tee, und ich stellte die erste Frage, die lautete: »Wie ist Ihre Einstellung zu der Art und Weise, wie Ihr Kind Sprache verwendet?«. Sie muss wohl gedacht haben, dass mit »Sprache« (engl. language) Schimpfwörter gemeint waren, denn sie antwortete: »Wenn er Sprache verwendet, bekommt er was hinter die Ohren«. Damit war meine Karriere als Sozialpsychologe auch schon so gut wie beendet.
Anschließend wandte ich mich der KI zu und wurde Doktorand an der University of Edinburgh. Mein Doktorvater war ein sehr angesehener Wissenschaftler namens Christopher Longuet-Higgins, eine ehemaliger Chemieprofessor in Cambridge, der zur KI gewechselt war. Er war sehr an der Arbeitsweise des Gehirns interessiert – und ganz besonders daran, Dinge wie Hologramme zu untersuchen. Ihm war klar geworden, dass Computermodelle der richtige Weg für das Verständnis des Gehirns waren, und er arbeitete auf diesem Gebiet. Deswegen hatte ich ursprünglich darum gebeten, dass er meine Doktorarbeit betreut. Etwa zum selben Zeitpunkt, als ich mich bei ihm verpflichtete, änderte er zu meinem Leidwesen seine Meinung. Er war zu dem Schluss gekommen, dass neuronale Netze der falsche Weg zum Verständnis von Intelligenz wären, man müsse vielmehr versuchen, Sprache zu verstehen.
Hier ist erwähnenswert, dass es damals einige beeindruckende Modelle von Systemen gab, die Symbole verarbeiteten und in der Lage waren, Anweisungen zur Anordnung von Bauklötzchen zu verstehen. Ein amerikanischer Informatikprofessor namens Terry Winograd hatte eine sehr schöne Arbeit verfasst, die zeigte, wie man einen Computer dazu bringen konnte, Sprache zu verstehen, Fragen zu beantworten und Befehle auszuführen. Man konnte Anweisungen wie »platziere das Bauklötzchen in der blauen Schachtel auf dem roten Würfel« geben, die das System verstand und ausführte. Es handelte sich nur um eine Simulation, aber das System konnte die Sätze verstehen. Das hatte Christopher Longuet-Higgins schwer beeindruckt, und er bat mich, daran zu arbeiten, aber ich wollte mich lieber weiterhin mit neuronalen Netzen beschäftigen.
Christopher war ein ehrenwerter Mensch, aber was meine Tätigkeit betraf, hatten wir völlig gegensätzliche Ansichten. Ich weigerte mich weiterhin, zu tun, was er mir sagte, aber er beschäftigte mich dennoch weiter. Ich setzte meine Arbeit über neuronale Netze fort und verfasste schließlich eine Arbeit über neuronale Netze, obwohl sie zu diesem Zeitpunkt nicht besonders gut funktionierten und sich alle einig waren, dass sie Unsinn sind.
Martin Ford: War das vor oder nach der Veröffentlichung des Perceptron-Buchs von Marvin Minsky und Seymour Papert?
Geoffrey Hinton: Das war Anfang der 1970er-Jahre, und das Buch von Minsky und Papert wurde Ende der 1960er-Jahre veröffentlicht. Fast alle, die in der KI-Forschung tätig waren, dachten, das sei das Ende neuronaler Netze. Sie dachten, der Versuch, Intelligenz durch die Untersuchung neuronaler Netze zu verstehen, sei das Gleiche, wie der Versuch, Intelligenz durch die Untersuchung von Transistoren zu verstehen; es würde einfach nicht funktionieren. Sie dachten, bei der Intelligenz geht es nur um Programme und dass man verstehen müsse, welche Programme das Gehirn verwendet.
Diese beiden Paradigmen waren völlig verschieden, versuchten unterschiedliche Probleme zu lösen und verwendeten komplett verschiedene Methoden und verschiedene Arten von Mathematik. Damals war völlig unklar, welches Paradigma sich durchsetzen würde. Für manche Leute ist es sogar heute noch nicht klar.
Interessant war, dass einige der Forscher, die am engsten mit dem Logik-Paradigma verbunden waren, tatsächlich an das Neuronale-Netz-Paradigma glaubten. Die bekanntesten Beispiele sind John von Neumann und Alan Turing, die beide glaubten, dass große Netze simulierter Neuronen eine gute Methode waren, Intelligenz zu untersuchen und herauszufinden, wie das alles funktioniert. Aber der dominierende Ansatz der KI war die durch Logik inspirierte Symbolverarbeitung. Beim Logik-Paradigma verändert man Symbolketten und erhält so neue Symbolketten. Die Leute glaubten, dass Schlussfolgern so funktionieren müsse.
Sie dachten, dass neuronale Netze viel zu grundlegend seien und lediglich zur Implementierung gehörten, so wie Transistoren die Implementierungsebene eines Computers bilden. Sie glaubten nicht daran, dass man Intelligenz verstehen kann, indem man sich ansieht, wie das Gehirn implementiert ist, sondern dass man sie nur verstehen kann, wenn man die Intelligenz selbst untersucht. Das war der konventionelle KI-Ansatz.
Ich hielt das für katastrophal falsch, und das ist heute erkennbar. Der Erfolg des Deep Learnings zeigt, dass das Neuronale-Netz-Paradigma tatsächlich viel besser funktioniert als das Logik-Paradigma, aber damals, in den 1970er-Jahren, sahen die Leute das anders.
Martin Ford: Ich habe in der Presse viele Artikel gesehen, in denen es heißt, dass Deep Learning übermäßig gehypt wird und dass dieser Hype zu hohe Erwartungen weckt, die dann enttäuscht werden und zu weniger Investitionen führen und so weiter. Dabei kam sogar der Begriff »KI-Winter« vor. Ist das eine ernstzunehmende Befürchtung? Könnten neuronale Netze eine Sackgasse sein, oder sind sie die Zukunft der KI?
Geoffrey Hinton: Als KI in der Vergangenheit übermäßig gehypt wurde – auch Backpropagation in den 1980er-Jahren –, hatte man erwartet, dass sie Großartiges leistet, tatsächlich blieben die Ergebnisse jedoch hinter den Erwartungen zurück. Heute hat sie bereits Großartiges geleistet, also kann auch nicht alles nur Hype gewesen sein. Denken Sie nur daran, wie Ihr Smartphone Sprache erkennt, wie Computer Objekte auf Fotos identifizieren können oder wie gut Googles maschinelle Übersetzung funktioniert. Hype bedeutet, große Versprechungen zu machen, die dann nicht gehalten werden, aber wenn manche der versprochenen Ziele schon erreicht wurden, ist das eindeutig kein Hype.
Ich bin im Internet gelegentlich auf eine Anzeige gestoßen, in der es heißt, KI sei eine 19,9-Billionen-Dollar-Industrie. Die Zahl mag ziemlich groß sein, und das ist vielleicht Hype, aber die Vorstellung, dass es sich um eine Multi-Billionen-Dollar-Industrie handelt, ist eindeutig kein Hype, denn einige Leute haben schon Billionen Dollar investiert, und das hat sich für sie ausgezahlt.
Martin Ford: Glauben Sie, dass bei der Weiterentwicklung die beste Strategie darin besteht, weiterhin ausschließlich in neuronale Netze zu investieren? Manche Leute glauben noch immer an symbolische KI und sehen die Notwendigkeit für einen Hybridansatz, der Deep Learning und eher klassische Ansätze vereint. Sind Sie dafür offen, oder glauben Sie, das Forschungsgebiet sollte sich nur auf neuronale Netze konzentrieren?
Geoffrey Hinton: Ich denke, das Gehirn funktioniert, indem große Vektoren neuronaler Aktivität miteinander interagieren, und so wird auch KI funktionieren. Wir sollten definitiv versuchen herauszufinden, wie das Gehirn schlussfolgert, aber ich glaube, das wird im Vergleich zu anderen Dingen erst ziemlich spät angegangen.
Ich glaube nicht, dass Hybridsysteme die Lösung sind. Betrachten wir als Analogie die Automobilbranche. Benzinmotoren besitzen einige Vorteile, beispielsweise kann man in einem kleinen Tank große Energiemengen befördern. Benzinmotoren haben aber auch große Nachteile. Und dann gibt es Elektromotoren, die gegenüber Benzinnmotoren viele Vorteile aufweisen. Manche Leute in der Automobilbranche haben anerkannt, dass die Elektrotechniker Fortschritte gemacht haben und Hybridsysteme angekündigt. Und dann verwenden sie den Elektromotor, um Treibstoff in den Benzinnmotor einzuspritzen. So denken die Leute in der konventionellen KI. Sie müssen zugeben, dass Deep Learning Unglaubliches leistet und wollen es als eine Art untergeordneten Bediensteten einsetzen, der ihnen das bereitstellt, was sie brauchen, um ihre Symbol-basierte KI zum Laufen zu bringen. Es handelt sich lediglich um einen Versuch, an ihren Ansichten festzuhalten, ohne wirklich zu begreifen, dass sie aus dem Rennen sind.
Martin Ford: Ich möchte auf die Zukunft des Forschungsgebiets zu sprechen kommen. Ihr jüngstes Projekt, das Sie Capsules nennen, ist durch die kortikalen Säulen in der Großhirnrinde inspiriert, soweit ich weiß. Halten Sie es für wichtig, das Gehirn zu untersuchen und die gewonnenen Einsichten in Ihre Arbeit mit neuronalen Netzen einfließen zu lassen?
Geoffrey Hinton: Capsules ist eine Kombination aus einem halben Dutzend verschiedener Ideen. Es ist kompliziert und spekulativ. Bislang konnte es kleine Erfolge verbuchen, aber es ist nicht garantiert, dass es funktionieren wird. Es ist wohl noch zu früh, um über Details zu sprechen, aber ja, es ist durch das Gehirn inspiriert.
Wenn es um die Anwendung der Neurowissenschaft auf neuronale Netze geht, zeigt sich, dass die meisten Menschen eine sehr naive Vorstellung von Wissenschaft haben. Wenn man versucht, das Gehirn zu verstehen, dann wird man auf einige grundlegende Prinzipien stoßen, aber auch auf jede Menge Details. Wir sind an den grundlegenden Prinzipien interessiert, und wir erwarten, dass die Details sehr verschieden sein werden, wenn wir unterschiedliche Hardware verwenden. Die Hardware in Grafikprozessoren (GPUs) unterscheidet sich sehr von der Hardware im Gehirn, und man wird vermutlich viele Unterschiede finden, aber wir können trotzdem nach Prinzipien suchen. Ein Beispiel für ein solches Prinzip ist, dass der größte Teil des Wissens durch Lernen entsteht und nicht dadurch, dass andere Menschen Ihnen Fakten nennen, die dann als solche gespeichert werden.
Bei der konventionellen KI dachte man, dass es eine große Datenbank mit Fakten gibt. Außerdem gibt es einige Regeln zum Schlussfolgern. Wenn ich Ihnen Wissen vermitteln möchte, formuliere ich einen Fakt in einer Sprache, transplantiere ihn in Ihren Kopf, und schon verfügen Sie über das Wissen. Das ist etwas völlig anderes als das, was in einem neuronalen Netz vor sich geht: Sie haben eine Menge Parameter im Kopf, nämlich die Gewichte der Verknüpfungen zwischen Neuronen, und ich verfüge über eine Menge Gewichte der Verknüpfungen zwischen den Neuronen in meinem Kopf, und es gibt keine Möglichkeit, mir die Stärke Ihrer Verknüpfungen zu übermitteln. Sie wären für mich ohnehin nutzlos, weil mein neuronales Netz nicht genau das Gleiche wie Ihres ist. Sie müssen mir jetzt irgendwie Informationen darüber vermitteln, wie Sie funktionieren, damit ich genau so vorgehen kann, und das tun Sie, indem Sie mir Ein- und Ausgabebeispiele bereitstellen.
Wenn Sie beispielsweise einen Tweet von Donald Trump betrachten, wäre es ein großer Fehler zu glauben, dass Trump Fakten vermittelt. Das macht er nicht. Er bietet in Anbetracht einer bestimmten Situation eine Möglichkeit an, darauf zu reagieren. Ein Trump-Follower kann sich die Situation vor Augen führen, er sieht, wie man Trump zufolge darauf reagieren sollte und kann erlernen, auf die gleiche Weise wie Trump zu reagieren. Es ist nicht so, dass Trump dem Follower einen Vorschlag übermittelt hat, er hat vielmehr durch ein Beispiel eine Möglichkeit vorgegeben, auf die Situation zu reagieren. Das unterscheidet sich sehr von einem System, das eine Vielzahl von Fakten bereithält, die Sie von einem System auf ein anderes kopieren können.
Martin Ford: Stimmt es, dass der weitaus größte Teil der Anwendungen von Deep Learning auf mit Labeln gekennzeichneten Datensätzen beruht, also auf dem sogenannten überwachten Lernen, und dass wir für unüberwachtes Lernen noch eine Lösung finden müssen?
Geoffrey Hinton: Das ist nicht ganz richtig. Vieles beruht auf mit Labeln gekennzeichneten Datensätzen, aber bei der Beurteilung, was zu mit Labeln gekennzeichneten Datensätzen zählt, sind ein paar Feinheiten zu beachten. Wenn ich Ihnen beispielsweise einen langen Text bereitstelle und Sie bitte, das jeweils nächste Wort vorherzusagen, dann verwende ich das nächste Wort als Label für die richtige Antwort für die vorgegebenen Wörter. So gesehen sind sie mit einem Label gekennzeichnet, aber ich muss keine zusätzlich mit Labeln gekennzeichneten Datensätze speichern. Wenn ich Ihnen ein Bild bereitstelle, auf dem Sie Katzen erkennen sollen, muss ich auch das Label »Katze« speichern, denn es ist ja kein Bestandteil des Bilds. Diese Labels muss ich zusätzlich erstellen, und das ist viel Arbeit.
Wenn ich lediglich versuche vorherzusagen, was als Nächstes kommt, ist das überwachtes Lernen, weil das nächste Objekt als Kennzeichnung dient, ich muss jedoch keine zusätzlichen Kennzeichnungen speichern. Hierbei handelt es sich um eine Art Mittelding aus mit Labeln gekennzeichneten und ungekennzeichneten Daten, die bereits enthalten, was als Nächstes kommt.
Martin Ford: Wenn man sich allerdings ansieht, wie Kinder lernen, dann besteht es doch hauptsächlich aus dem Herumwandern in der Umgebung, und das Lernen erfolgt unüberwacht.
Geoffrey Hinton: Ich komme auf das eben Gesagte zurück. Das Kind wandert in der Umgebung herum und versucht vorherzusagen, was als Nächstes kommt. Wenn es so weit ist, wird das Ereignis gekennzeichnet, um feststellen zu können, ob die Vorhersage richtig oder falsch war. Entscheidend ist, dass bei den Begriffen »überwacht« und »unüberwacht« unklar bleibt, wie sie auf die Vorhersage, was als Nächstes kommt, anwendbar sind.
Wenn ich Ihnen ein Bild mit dem Label »Katze« gebe und Sie »Katze« antworten müssen, ist das eindeutig überwachtes Lernen. Wenn ich Ihnen sehr viele Bilder gebe und Sie Konzepte erstellen müssen, basierend auf dem, was auf den Bildern zu sehen ist, ist das eindeutig unüberwachtes Lernen. Es gibt aber auch Fälle, die sich nicht eindeutig einer der beiden Kategorien zuordnen lassen, etwa wenn ich Ihnen eine Reihe von Bildern gebe und Sie das nächste Bild vorhersagen müssen. In diesem Fall ist unklar, ob man das als überwachtes oder unüberwachtes Lernen bezeichnen sollte – und das sorgt für viel Verwirrung.
Martin Ford: Für allgemeines unüberwachtes Lernen müssen wir noch eine Lösung finden. Halten Sie das für eines der entscheidenden Hindernisse, die es zu überwinden gilt?
Geoffrey Hinton: Ja. Aber in diesem Sinn ist die Vorhersage, was als Nächstes kommt, eine Form des unüberwachten Lernens, aber man kann hierfür überwachte Lernalgorithmen verwenden.
Martin Ford: Was denken Sie über AGI, und wie würden Sie das definieren? Ich verstehe darunter eine KI auf menschlichem Niveau, also eine KI, die wie ein Mensch nachdenken kann.
Geoffrey Hinton: Gegen diese Definition habe ich nichts einzuwenden, aber ich denke, dass Menschen zahlreiche Annahmen darüber machen, wie die Zukunft aussehen wird. Sie glauben, dass es individuelle KIs geben wird, die immer schlauer werden, aber ich glaube, dass an dieser Vorstellung zwei Dinge falsch sind. Zum einen werden Deep Learning oder neuronale Netze bestimmte Dinge viel besser können als wir, während sie in anderen Bereichen deutlich schlechter sein werden. Sie werden also nicht gleichmäßig in allem besser. Sie werden beispielsweise medizinische Aufnahmen sehr viel besser interpretieren können, schneiden aber beim Nachdenken darüber schlechter ab. In diesem Sinn werden die Veränderungen nicht gleichmäßig sein.
Zum anderen stellen sich Menschen immer individuelle KIs vor und ignorieren den sozialen Aspekt. Schon aus rein rechnerischen Gründen wird eine sehr fortgeschrittene Intelligenz aus einer Gemeinschaft intelligenter Systeme bestehen, weil sie viel mehr Daten erfassen kann als ein einzelnes System. Wenn es vor allem darum geht, möglichst viele Daten zu erfassen, werden wir die Daten auf viele verschiedene intelligente Systeme verteilen müssen, die untereinander kommunizieren, sodass sie als Gemeinschaft aus diesen großen Datenmengen lernen können. Das bedeutet, dass der gemeinschaftliche Aspekt in Zukunft von entscheidender Bedeutung sein wird.
Martin Ford: Stellen Sie sich das wie eine sich allmählich entwickelnde Eigenschaft von über das Internet verbundenen Intelligenzen vor?
Geoffrey Hinton: Nein, bei Menschen ist es das Gleiche. Das meiste Wissen, über das Sie verfügen, besitzen Sie nicht, weil Sie die Informationen selbst aus Daten extrahiert haben, sondern weil andere Menschen im Lauf vieler Jahre Informationen aus Daten extrahiert haben. Dieses Wissen haben sie an Sie weiterge-geben, was es Ihnen ermöglicht, die gleichen Kenntnisse zu besitzen, ohne die Informationen aus den Rohdaten extrahieren zu müssen. Ich denke, bei der KI wird es sich ebenso verhalten.
Martin Ford: Halten Sie eine AGI, entweder als einzelnes System oder als eine Gruppe miteinander interagierender Systeme, überhaupt für machbar?
Geoffrey Hinton: Oh ja. OpenAI hat schon etwas entwickelt, das Computerspiele ziemlich gut als Team spielen kann.
Martin Ford: Wann wird eine KI oder eine gemeinschaftlich handelnde Gruppe von KIs das gleiche Urteilsvermögen, die gleiche Intelligenz und die gleichen Fähigkeiten wie ein Mensch besitzen?
Geoffrey Hinton: Ich glaube, dass das Urteilsvermögen zu den Dingen gehört, die wir später einmal ziemlich gut beherrschen werden, aber es wird noch sehr lange dauern, bis große neuronale Netze so gut schlussfolgern können wie Menschen. Bevor es so weit ist, werden sie allerdings in allen möglichen anderen Bereichen besser sein als wir.
Martin Ford: Wie sieht es mit einer holistischen AGI aus, bei der die Intelligenz eines Computersystems der eines Menschen ebenbürtig ist?
Geoffrey Hinton: Es wird häufig angenommen, dass sich KIs als Individuen entwickeln, so wie die Allzweckroboter, die man aus Star Trek kennt. Wenn Ihre Frage also eigentlich »Wann wird es einen Commander Data geben?« lautet, dann muss ich sagen, dass ich nicht glaube, dass sich die Dinge so entwickeln werden. Ich glaube nicht, dass es solche einzelnen Allzweckroboter geben wird. Außerdem glaube ich, dass wir von der Fähigkeit zu allgemeinen Schlussfolgerungen noch weit entfernt sind.
Martin Ford: Wie sieht es mit dem Bestehen des Turing-Tests aus? Ich meine einen Test, der nicht nur fünf Minuten, sondern zwei Stunden dauert, damit man ein umfassendes Gespräch führen kann, das sich von einem Gespräch mit einem Menschen nicht unterscheiden lässt. Ist das mit einem einzelnen System oder einer Gemeinschaft von Systemen machbar?
Geoffrey Hinton: Ich glaube, dass es eine gewisse Wahrscheinlichkeit gibt, dass der Turing-Test in vielleicht 10 oder 100 Jahren bestanden wird. Die Wahrscheinlichkeit, dass es vor Ende des kommenden Jahrzehnts geschieht, halte ich für sehr gering, und außerdem denke ich, dass mit ziemlich großer Wahrscheinlichkeit die Menschheit in 100 Jahren aus anderen Gründen verschwunden sein wird.
Martin Ford: Sie meinen durch existenzielle Bedrohungen wie einen Atomkrieg oder eine Seuche?
Geoffrey Hinton: Ja, genau. Mit anderen Worten: Ich denke, dass es zwei existenzielle Bedrohungen gibt, die viel gefährlicher sind als KI. Die eine ist ein Atomkrieg und die andere ein verärgerter Doktorand in einem Molekularbiologielabor, der ein extrem ansteckendes und tödliches Virus mit sehr langer Inkubationszeit entwickelt. Darüber sollten die Menschen sich Sorgen machen, nicht um superintelligente Systeme.
Martin Ford: Manche Forscher, wie Demis Hassabis bei DeepMind, sind davon überzeugt, dass sie die Art von Systemen entwickeln können, von denen Sie glauben, dass es sie niemals geben wird. Wie sehen Sie das? Halten Sie das für eine nutzlose Aufgabe?
Geoffrey Hinton: Nein, ich sehe das so, dass Demis und ich verschiedene Vorhersagen für die Zukunft treffen.
Martin Ford: Kommen wir zu den potenziellen Risiken der KI. Eine der He-rausforderungen, über die ich geschrieben habe, sind die potenziellen Auswirkungen auf den Arbeitsmarkt und die Wirtschaft. Glauben Sie, dass all dies eine neue industrielle Revolution auslösen könnte, die den Arbeitsmarkt völlig auf den Kopf stellt? Und wenn ja, müssen wir uns deswegen Sorgen machen, oder wäre das übertrieben?
Geoffrey Hinton: Wenn Sie die Produktivität drastisch erhöhen und mehr Waren herstellen können, sollte das eine gute Sache sein. Ob es sich tatsächlich als gute Sache herausstellt oder nicht, hängt allein vom Sozialsystem ab und überhaupt nicht von der Technologie. Die Menschen betrachten die Technologie, als ob technologische Fortschritte ein Problem darstellen. Das Problem sind die Sozial-systeme, und ob es Schwierigkeiten gibt, liegt daran, ob wir ein Sozialsystem haben, an dem alle fair beteiligt sind oder eins, das alle Verbesserungen nur dem einen Prozent der Bevölkerung zukommen lässt und alle anderen wie Dreck behandelt. Mit Technologie hat das nichts zu tun.
Martin Ford: Ein Problem ergibt sich, weil viele Jobs verschwinden könnten – insbesondere solche, die monoton und leicht automatisierbar sind. Ein bedingungsloses Grundeinkommen wäre eine mögliche Lösung, stimmen Sie dem zu?
Geoffrey Hinton: Ja, ich halte eine bedingungsloses Grundeinkommen für eine sehr vernünftige Idee.
Martin Ford: Sie glauben also, dass politische Maßnahmen erforderlich sind, um diese Probleme in den Griff zu bekommen? Manche Leute vertreten den Standpunkt, dass man den Dingen ihren Lauf lassen sollte, aber das wäre vielleicht unverantwortlich.
Geoffrey Hinton: Ich bin nach Kanada gezogen, weil die Steuersätze dort höher sind, denn ich halte ein vernünftiges Steuerrecht für eine gute Sache. Der Staat sollte eine Art Mechanismus sein, der dafür sorgt, dass es allen hilft, wenn jemand in seinem eigenen Interesse handelt. Höhere Steuern sind ein solcher Mechanismus: Wenn jemand reich wird, haben über die Steuern alle daran teil. Ich stimme natürlich zu, dass noch viel Arbeit erledigt werden muss, um zu gewährleisten, dass KI für alle von Vorteil ist.
Martin Ford: Was ist mit den anderen Risiken, die Sie mit KI verbinden würden, wie die Bewaffnung?
Geoffrey Hinton: Ja, ich bin durch einiges von dem, was Präsident Putin kürzlich gesagt hat, beunruhigt. Ich glaube, dass wir jetzt sehr aktiv werden müssen, damit Waffensysteme, die töten können, ohne dass ein Mensch an der Entscheidung beteiligt ist, politisch genauso behandelt werden wie chemische Kampfmittel oder Massenvernichtungswaffen.
Martin Ford: Würden Sie eine Art Moratorium für diese Art Forschung und Entwicklung befürworten?
Geoffrey Hinton: Ein Moratorium für diese Art Forschung wird sich nicht durchsetzen lassen, ebenso wie es kein Moratorium für die Entwicklung von Nervengiften gab, aber es gibt internationale Mechanismen, die den weitreichenden Einsatz verhindert haben.
Martin Ford: Was ist mit den anderen Risiken jenseits der militärischen Verwendung? Sind noch weitere Punkte zu berücksichtigen, wie Privatsphäre und Transparenz?
Geoffrey Hinton: Ich halte den Einsatz zur Manipulation von Wahlen und Wählern für besorgniserregend. An der Sache mit Cambridge Analytica war Bob Mercer beteiligt, der dem Fachgebiet Machine Learning entstammt. Und Sie haben ja gesehen, wie viel Schaden Cambridge Analytica angerichtet hat. Das müssen wir ernst nehmen.
Martin Ford: Glauben Sie, dass Regulierung erforderlich ist?
Geoffrey Hinton: Ja, jede Menge Regulierung. Das ist ein sehr interessanter Punkt, aber ich bin kein Experte und kann hier nicht viel beitragen.
Martin Ford: Was ist mit dem globalen Rüstungswettlauf bei der allgemeinen KI? Glauben Sie, dass es wichtig ist, dass kein Land einen allzu großen Vorsprung vor den anderen erlangt?
Geoffrey Hinton: Sie sprechen von globaler Politik. Großbritannien war lange eine vorherrschende Nation und hat sich nicht besonders gut verhalten. Dann kamen die Amerikaner, die sich auch nicht besonders gut verhalten haben. Und wenn die Chinesen an der Reihe sind, erwarte ich nicht, dass sie sich besonders gut verhalten werden.
Martin Ford: Brauchen wir eine Art Industriepolitik? Sollten die USA und andere westliche Regierungen sich auf KI konzentrieren und zu einer Sache von hoher nationaler Bedeutung erklären?
Geoffrey Hinton: Es wird gewaltige technologische Entwicklungen geben, und die Länder wären verrückt, wenn sie nicht versuchen würden, damit Schritt zu halten, deshalb denke ich natürlich, dass hier viel investiert werden sollte. Das ist für mich eine Frage des gesunden Menschenverstands.
Martin Ford: Sie sind also insgesamt optimistisch? Glauben Sie, dass die Vorteile der KI die Nachteile aufwiegen werden?
Geoffrey Hinton: Ich hoffe, dass die Vorteile die Nachteile aufwiegen werden, aber ich weiß nicht, ob es so sein wird, allerdings ist das eine Frage der Sozialsysteme, nicht der Technologie.
Martin Ford: Im Bereich der KI gibt es einen enormen Nachwuchsmangel, und alle suchen Mitarbeiter. Was raten Sie einem jungen Menschen, der in diesem Fachgebiet tätig sein möchte? Was könnte mehr Menschen für das Fachgebiet interessieren und ihnen ermöglichen, KI- und Deep-Learning-Experten zu werden?
Geoffrey Hinton: Ich mache mir Sorgen, dass es nicht genug Menschen gibt, die den Grundlagen kritisch gegenüberstehen. Capsule liegt die Idee zugrunde, dass manche der grundlegenden Verfahren, die wir einsetzen, womöglich nicht die besten sind und dass wir uns nach weiteren Möglichkeiten umsehen sollten. Wir sollten über Alternativen zu einigen der grundlegenden Annahmen nachdenken, die wir machen. Ich rate den Menschen Folgendes: Wenn man das Gefühl hat, dass etwas falsch gemacht wird und dass es bessere Möglichkeiten gibt, dann sollte man seiner Intuition folgen.
Man liegt vielleicht falsch, aber wenn Menschen ihrer Intuition, wie sich die Dinge radikal verändern lassen, nicht folgen, dann werden wir nicht vorankommen. Ich denke, dass Doktoranden, die an einer Universität gut beraten werden, eine der fruchtbarsten Quellen wirklich neuer Ideen sind. Sie haben die Freiheit, wirklich neue Ideen einzubringen und lernen genug, um nicht einfach nur die Geschichte zu wiederholen, und das müssen wir bewahren. Die Leute, die nach ihrem Abschluss sofort in die Industrie wechseln, werden keine radikal neuen Ideen entwickeln. Man sollte sich ein paar Jahre Zeit nehmen, um in Ruhe über alles nachzudenken.
Martin Ford: Kanada scheint zu einem Zentrum für Deep Learning zu werden. Ist das Zufall, oder gibt es in Kanada besondere Umstände, die dem zuträglich sind?
Geoffrey Hinton: Das Canadian Institute for Advanced Research (CIFAR) hat Fördergelder für Grundlagenforschung in risikoreichen Bereichen bereitgestellt, und das war von großer Bedeutung. Und dann ist da noch der glückliche Umstand, dass sowohl Yann LeCun, der kurzzeitig Postdoc bei mir war, als auch Yoshua Bengio in Kanada tätig waren. Wir drei haben zu einer sehr fruchtbaren Zusammenarbeit zusammengefunden, die vom CIFAR gefördert wurde. Das war zu einem Zeitpunkt, zu dem wir alle etwas isoliert in einer Umgebung tätig waren, die uns nicht gerade wohlgesonnen war – die Umgebung für Deep Learning war bis vor Kurzem ziemlich feindselig –, deshalb waren die Fördermittel sehr hilfreich, die es uns ermöglichten, viel Zeit miteinander in kleinen Treffen zu verbringen, in denen wir noch unveröffentlichte Ideen austauschten.
Martin Ford: Das war also eine strategische Investition seitens der kanadischen Regierung, um Deep Learning am Leben zu erhalten?
Geoffrey Hinton: Ja, die kanadische Regierung investiert jedes Jahr eine halbe Millionen Dollar in Deep Learning, was sich sehr bezahlt machen wird, wenn es sich erst einmal zu einer Multi-Milliarden-Dollar-Industrie entwickelt hat.
Martin Ford: Apropos Kanadier, haben Sie noch Kontakt zu Ihrem Fakultätskollegen Jordan Peterson? An der University of Toronto scheint es ja die eine oder andere Umwälzung zu geben ...
Geoffrey Hinton: Ha! Dazu kann ich nur sagen, dass er jemand ist, der nicht weiß, wann man den Mund halten sollte.