Ein fremder Geist

Mitte 2023 sahen wir im Forschungsprojekt „RLSlow“ erstmals Ergebnisse, die uns zuversichtlich machten, das Training von Reasoning-Modellen skalieren und so vortrainierte Modelle dazu befähigen zu können, eigene Gedankenketten zu bilden. Szymon und ich verbrachten diese Nacht im Büro. Wir dachten nicht über die unglaublichen Benchmarkwerte, Produkte oder wissenschaftlichen Ergebnisse nach, die diese Technologie hervorbringen würde. Stattdessen versuchten wir, die ernüchternde Tatsache zu verarbeiten, dass wir noch zu unseren Lebzeiten Maschinen erleben werden, die deutlich intelligenter sind als wir selbst, und dass sich die Gestalt dieser Systeme bereits abzeichnet. Wir fragten uns, wie wir die Menschen auf die Bedeutung dieser Entwicklung aufmerksam machen könnten.

Drei Jahre später sind Reasoning-Sprachmodelle ein schnell wachsender Teil der Wirtschaft und beginnen, die Grenzen der Wissenschaft zu verschieben. Sie können Computer und grafische Benutzeroberflächen bedienen, mit Menschen und untereinander zusammenarbeiten sowie Forschungsprojekte durchführen. Zudem verändern sie die Computersicherheit grundlegend und bringen dabei eindeutig neue Gefahren mit sich.

In dieser Zeit wurde viel neue Forschung betrieben, und unser Verständnis dieser Systeme unterscheidet sich erneut etwas von dem im Jahr 2023. Aufgrund interner Ergebnisse gehe ich fest davon aus, dass dieses Fortschrittstempo bis hin zur rekursiven Selbstverbesserung anhalten könnte. Wenn sich die KI-Entwicklung auf ihrem derzeitigen Weg fortsetzt, werden die Systeme der nächsten Jahre wahrscheinlich weitere Fähigkeitssprünge gleicher oder größerer Größenordnung vollziehen und ihre eigene Entwicklung zunehmend vorantreiben.

Diese Zeit verlangt äußerste Vorsicht. Ich fürchte, dass niemand auf die Folgen eines anhaltend rasanten Anstiegs maschineller Intelligenz vorbereitet ist. OpenAI wird weiterhin nach technischen Lösungen für Alignment und Überwachung suchen, Abwehrsysteme entwickeln und die weitere Skalierung bei Bedarf einseitig aussetzen. Ich glaube jedoch, dass umfassendere Maßnahmen erforderlich sind.

Auf einer übergeordneten Ebene wird der Fortschritt maschineller Intelligenz durch wachsende Rechenleistung angetrieben. Bei OpenAI verinnerlichten wir dies um 2017, nachdem mehrere Forschungsprojekte durch Skalierung beständige Erträge erzielt hatten¹. Daraufhin bemühten wir uns um wesentlich mehr Rechenleistung als ursprünglich geplant und richteten unsere Forschung zunehmend auf eine kleine Zahl besonders skalierbarer Ansätze aus. Wir glaubten, nur so an der Spitze der KI-Forschung stehen und die Auswirkungen von AGI beeinflussen zu können.

Auf diesem Weg wurden neue Algorithmen entwickelt, getragen vom Einfallsreichtum ganzer Teams und einzelner Forschender. Ich betrachte sie weitgehend als Entdeckungen auf dem Weg der Skalierung. Die Wissenschaft des Deep Learning steht noch am Anfang, und bedeutende algorithmische Fortschritte hängen meist mit dem Zugang zu Rechenleistung zusammen. Betrachtet man einen Zeitraum von mehreren Jahren, wird KI weiterhin intelligenter, während sie auf größere Computer skaliert wird.

Im Einklang mit Ray Kurzweils Vorhersagen vom Ende des 20. Jahrhunderts⁠(wird in einem neuen Fenster geöffnet) befinden wir uns nun an dem Punkt der Computergeschichte, an dem maschinelle Intelligenz die menschliche auf tiefgreifende Weise zu übertreffen beginnt.

KI wird eher herangezüchtet als entworfen. In erster Linie entsteht sie, indem ein einfacher Optimierungsschritt auf einer kaum vorstellbaren Menge an Rechenleistung vielfach wiederholt wird. Das Ergebnis ist ein unglaublich komplexes System, das mit abstrakten Konzepten arbeitet und Aspekte menschlichen Verhaltens simulieren kann. Ähnlich wie in den Neurowissenschaften können wir einzelne kleine Mechanismen untersuchen, die in diesem System entstehen. Doch ebenfalls wie dort entzieht sich seine Gesamtfunktionsweise einer für uns vollständig verständlichen Beschreibung.

Die Erforschung von KI auf Basis von Deep Learning ist weitgehend eine experimentelle Wissenschaft. Wir investieren viel Arbeit⁠ in die Entwicklung fundierter Algorithmen und überprüfbarer Vorhersagen. Grundsätzlich sind unsere groß angelegten Trainingsläufe jedoch Experimente, deren Ergebnisse uns manchmal überraschen. Je leistungsfähiger die Systeme werden, desto schwerer lassen sich ihre Ergebnisse außerdem interpretieren.

Erschwert wird dies dadurch, dass die derzeitigen Algorithmen leicht messbare Fähigkeiten meist schneller verbessern als Fähigkeiten, die sich objektiv nur schwer quantifizieren lassen. Wir investieren viel Zeit, um zu verstehen, wie Fähigkeiten generalisieren und welche Prioritäten wir setzen sollten, um die in den nächsten Jahren wichtigsten Fähigkeiten weiterzuentwickeln. Wir glauben beispielsweise, dass wir Modelle durch zusätzliche Schwerpunktsetzung gezielt in der mathematischen Forschung verbessern könnten. Wegen der Dringlichkeit von RSI und automatisierter Alignment-Forschung, auf die ich später eingehe, priorisieren wir diese Richtung jedoch nicht.

Die durch Skalierung von Deep Learning erzeugte Intelligenz ist nicht direkt mit menschlicher Intelligenz vergleichbar. Um in der realen Welt große Bedeutung zu erlangen, ob als besonders nützlich oder besonders gefährlich, muss die KI nicht alle menschlichen Fähigkeiten erreichen oder übertreffen. Es genügt, wenn sie genügend davon übertrifft. Je mehr Dimensionen es werden, in denen sie Menschen übertrifft, desto schwieriger wird es, ihre genaue Leistungsfähigkeit einzuschätzen.

Da maschinelle Intelligenz aus einem grundlegend anderen Prozess als menschliche Intelligenz hervorgeht, können wir nicht voraussetzen, dass sie von sich aus menschlichen Prinzipien folgt oder auf menschenähnliche Weise daraus generalisiert. Das Kernproblem der KI-Forschung ist das Alignment: Die KI soll nach menschlichen Maßstäben „versuchen, das Richtige zu tun“.

Für die Strukturierung praktischer Forschungsrichtungen halte ich es für sinnvoll, zwischen Ziel-Alignment und Werte-Alignment zu unterscheiden.

Ziel-Alignment bedeutet allgemein: „Versucht die KI, das ihr gesetzte Ziel zu erreichen?“. Dazu können etwa das Einhalten einer Anweisungshierarchie⁠ oder die Fähigkeit gehören, mit Menschen zu kommunizieren und zusammenzuarbeiten, um deren Ziele zu verstehen. Diese Forschungsrichtungen sind für die Praxis äußerst relevant.

Werte-Alignment ist eine stärker intrinsische Eigenschaft des Modells. Es bezeichnet die Fähigkeit, sich an übergeordneten Grundsätzen zu orientieren und daraus zu generalisieren, also selbst bei unklaren oder widersprüchlichen Zielen sowie in unbekannten oder feindseligen Situationen „vernünftig“ zu handeln. Eine sicher ausgerichtete KI sollte ehrlich und integer handeln und der Menschheit mit Liebe begegnen.

Natürlich kann die Grenze zwischen Werte- und Ziel-Alignment verschwimmen. Wer Ziele wirklich ernst nimmt, muss versuchen, die zugrunde liegende Absicht⁠(wird in einem neuen Fenster geöffnet) und die damit verbundenen Werte zu erschließen. Wenn ich von der langfristigen Bedeutung der Alignment-Forschung spreche, meine ich jedoch im Allgemeinen das Werte-Alignment.

Die grundlegende Herausforderung beim KI-Alignment ist die Generalisierung. Je intelligenter Maschinen werden, desto stärker arbeiten sie mit übergeordneten Konzepten und desto mehr unterscheiden sich ihre Einsatzumgebungen von den Umgebungen, die sie im Training kennengelernt haben. Es kann ihnen misslingen, die im Training vermittelten und verstärkten Werte auf diese neuen Situationen zu übertragen. Für uns kann es dann schwer sein, ihr Verhalten verlässlich einzuschätzen. Erschwert wird dies dadurch, dass sich das gesamte Einsatzumfeld der KI-Systeme sehr schnell verändert. Heute trainierte KI-Systeme müssen beispielsweise bei der Interaktion mit einer Vielzahl anderer KI-Systeme robust bleiben. Entscheidend ist, dass künftige KI-Systeme menschlichen Werten treu bleiben, unabhängig davon, ob sie glauben, von Menschen überwacht zu werden.

Derzeit werden in der Praxis zwei Hauptklassen von Methoden für das Alignment-Training eingesetzt.

Die erste fördert sicher ausgerichtetes Verhalten im Rahmen eines zielorientierten Reinforcement Learning. Die Handlungen des Modells werden meist durch KI daraufhin bewertet, ob sie einem bestimmten Präferenzmodell, einer „Spezifikation“ oder einer „Verfassung“ entsprechen, und entsprechend belohnt. Dieser Ansatz kann im Durchschnitt sehr wirksam sein und ist ein zentraler Bestandteil bei der Entwicklung moderner KI-Assistenten. Leider kann er auch fragil sein und hängt stark davon ab, wie umfassend das Training überwacht wird und wie gut das Modell aus den im Training erlebten Situationen generalisiert. Beim OpenAI-Hugging-Face-Vorfall hielten die Agenten beispielsweise die Grenze ein, Menschen nicht durch Social Engineering zu manipulieren. Sie führten jedoch eindeutig andere Handlungen aus, die außerhalb ihres Aufgabenbereichs lagen und dem Sinn der Werte widersprachen, die ihnen in anderen Situationen vermittelt worden waren.

Der zweite Ansatz versucht, die Fähigkeit des Modells zur Generalisierung aus Vortrainingsdaten zu nutzen. Das kann bedeuten, Trainingsdatensätze zu erstellen, die Alignment fördern, oder das Modell auf einen „sicher ausgerichteten“ Teil der Vortrainingsverteilung zu konzentrieren, wie etwa beim Modell zur Persona-Auswahl⁠(wird in einem neuen Fenster geöffnet). Die Schwäche dieses Ansatzes ist seine mangelnde Robustheit gegenüber weiterem Optimierungsdruck. Wenn ein Modell grundsätzlich „sicher ausgerichtete“ Gedanken hat und dann lange genug darauf trainiert wird, sehr schwierige Ziele zu erreichen, kann es motiviertes Reasoning erlernen: Es biegt die scheinbar 'sicher ausgerichteten' Gedanken nach Bedarf zurecht, um das Ziel zu erreichen. Ein Beispiel für solches Verhalten haben wir wahrscheinlich bei jüngsten Cybersicherheitsvorfällen mit einem Modell beobachtet, das nicht von OpenAI stammt.

Wir investieren umfassend in das gesamte Spektrum der Ansätze, das diese Forschungsrichtungen abdecken. Wir beobachten auch deutliche Fortschritte: GPT‑6 Astra ist das erste Modell, das von einigen wichtigen Verbesserungen profitiert, an denen wir seit Langem arbeiten, und ist wesentlich besser ausgerichtet als GPT‑5.6 Sol. Dennoch müssen wir anerkennen und verstehen, dass mit zunehmender Leistungsfähigkeit der Modelle noch viel mehr Fortschritt nötig ist und dass Fortschritte beim generalisierbaren Alignment möglicherweise nicht ausreichend schneller sind als bei der allgemeinen Modellintelligenz.

Wir haben keine zufriedenstellende Theorie der Generalisierung, und zumindest ohne die Hilfe leistungsfähigerer KI werden wir wohl auch in absehbarer Zeit keine entwickeln können. Daher ist unsere Fähigkeit, unsere Alignment-Techniken empirisch zu validieren, derzeit in der Praxis wohl noch wichtiger als die Techniken selbst.

OpenAI setzt hier vor allem auf die Überwachung der Gedankenkette⁠(wird in einem neuen Fenster geöffnet). Dem liegt eine überzeugend skalierbare Idee zugrunde: Ein großer Teil der Fähigkeiten des Modells entsteht durch einen verbalisierten Reasoning-Prozess, die Gedankenkette. Wenn wir die Optimierung anhand der Ergebnisse dieses Prozesses skalieren, den Prozess selbst aber nicht durch direktes Trainingsfeedback steuern, besteht im Training für die Gedankenkette kein direkter Anreiz, fehlgeleitete Ideen oder Ziele zu verbergen. Das bedeutet nicht, dass das Modell lernt, fehlgeleitete Tendenzen offenzulegen, die nicht auf der Gedankenkette beruhen. Es kann uns jedoch ermöglichen, genau den Fähigkeitszuwachs durch Reasoning zu überwachen.

Die mögliche Bedeutung der Überwachung von Gedankenketten erkannten wir, als wir Reasoning-Modelle entwickelten. Als wir o1‑preview veröffentlichten, gestalteten wir das Produkt bewusst so, dass es die Gedankenkette verbirgt⁠, um sie langfristig vor Optimierungsdruck durch direktes Trainingsfeedback zu schützen². Bei der weiteren Entwicklung haben wir uns bemüht, an der Regel festzuhalten, den Reasoning-Prozess nicht durch direktes Trainingsfeedback zu steuern. Die CoT-Überwachung wurde für uns zu einem äußerst wichtigen Instrument, um zu untersuchen, wie unsere Modelle über ihre Trainingsverteilung hinaus generalisieren. So konnten wir nicht nur ihre Handlungen, sondern auch ihre internen Prozesse beobachten und analysieren.

Dieses Instrument bleibt für die Untersuchung der Astra-Modellklasse entscheidend. Unsere Evaluationen zeigen jedoch leider, dass wir uns immer weniger auf die CoT-Überwachung verlassen können. Das liegt an mehreren Faktoren.

• Moderne Reasoning-Modelle werden in komplexeren Umgebungen als o1‑preview eingesetzt. Ihr Reasoning-Prozess vermischt sich zunehmend mit der Kommunikation mit Menschen und anderen KI-Systemen sowie der Nutzung von Werkzeugen. Viele dieser Interaktionen müssen durch Trainingsfeedback gesteuert werden, wodurch die Grenze verschwimmt, die wir erhalten möchten.

• Die KI wird immer besser darin, über ihren eigenen Reasoning-Prozess nachzudenken und ihn zu manipulieren.

• Mit steigender Leistung im Vortraining beobachten wir außerdem, dass die Modelle selbst ohne verbalisiertes Reasoning deutlich intelligenter werden.

Diese Herausforderungen sind nicht zwangsläufig unüberwindbar. Ich hoffe, dass wir Maßnahmen entwickeln können, um die Überwachbarkeit der Gedankenketten unserer Modelle zu verbessern, etwa durch ein besseres Verständnis des Zusammenspiels verschiedener Optimierungsziele und Formen der Rechenleistung, die das Modell zur Laufzeit nutzt. Ich glaube auch, dass die Verbindung von CoT- und Aktivierungsüberwachung großen Nutzen bringen kann: Wir könnten das Training von Monitoren skalieren, die direkten Zugriff auf interne Netzwerkzustände haben, etwa bei Geständnissen⁠(wird in einem neuen Fenster geöffnet). Wir verfolgen diese Ansätze aktiv. Dennoch erwarte ich, dass das allgemeine Fortschrittstempo der KI zunehmend davon begrenzt wird, wie verlässlich ihre Überwachung ist.

Das stärkste Argument dafür, rasch weiter wesentlich intelligentere Modelle zu trainieren, ist aus meiner Sicht die Notwendigkeit, Abwehrsysteme gegen die Gefahren anderer KI zu entwickeln.

Ein in diesem Jahr wiederholt erörtertes eindeutiges Risiko betrifft die Cybersicherheit: Die Modelle entwickeln übermenschliche Fähigkeiten, in Computersysteme einzudringen und aus ihnen auszubrechen. Das erweitert die mit KI verbundenen Risiken enorm: Agenten werden auf nahezu jede Infrastruktur zugreifen können, sofern sie nicht besonders gut gesichert ist, und auch ohne physischen Körper unmittelbar große Teile der Welt beeinflussen. Derzeit haben wir nur ein enges Zeitfenster⁠, um mit den besten verfügbaren Modellen die Sicherheit kritischer Systeme erheblich zu stärken⁠.

Leider werden die mit KI verbundenen Risiken weiter zunehmen. Ein äußerst leistungsfähiger Agent, der ausdrücklich für schädliche Handlungen trainiert und dazu angewiesen wird, stellt eine neue Art von Gefahr dar. Sein Verhalten dürfte über die Absicht der Person hinausgehen, die ihn betreibt, und zu noch extremerem böswilligem Verhalten generalisieren. Die Grenze zwischen Missbrauch und autonomen fehlgeleiteten Handlungen wird verschwimmen, wenn KI zunehmend eigenständig agiert. Wir sind es vielleicht gewohnt, KI als Werkzeug zu betrachten. Manche Agenten werden jedoch eigene Ziele verfolgen. Sie werden Wege finden, mit Menschen zusammenzuarbeiten, indem sie mit ihnen verhandeln, sie täuschen oder erpressen.

Hinzu kommen Risiken durch neue Technologien, die mithilfe von KI möglich werden könnten, etwa künstlich erzeugte Krankheitserreger.

Zur Verteidigung werden wir leistungsfähige, sicher ausgerichtete KI benötigen: um Infrastruktur zu sichern, in Echtzeit vor außer Kontrolle geratenen Agenten zu schützen und völlig neue Schutzmaßnahmen zu entwickeln. Darauf wird OpenAI bei der Bereitstellung einen Schwerpunkt legen.

Zugleich dürfen wir die Unsicherheit angesichts des erwarteten breiten KI-Fortschritts und die Notwendigkeit von Abwehrsystemen nicht als Ausrede für Leichtsinn nutzen. Angesichts der Tragweite erscheint die Vorstellung absurd, um jeden Preis voranzupreschen.

Dass maschinelle Intelligenz in ihrem eigenen Entwicklungsprozess eine immer größere Rolle spielt, ist eine natürliche Folge anhaltenden technologischen Fortschritts. Wenn der KI-Fortschritt anhält, wird die rekursive Selbstverbesserung von Maschinen (RSI) den Kern künftiger wissenschaftlicher Entdeckungen bilden.

Automatisierte KI-Forschung ist eine einschneidendere Form, Intelligenz durch Rechenleistung zu skalieren. Dabei wird KI selbstverständlich auch die Rechengrundlage selbst⁠ verbessern. Wie bei der Skalierung richten wir die Forschung von OpenAI auf RSI aus, weil wir glauben, nur so auch künftig an der Spitze der KI-Forschung bleiben zu können.

Ich möchte betonen, dass diese Aussagen nicht bedeuten, ich hielte eine starke Beschleunigung der Deep-Learning-Forschung, besonders kurzfristig, für den richtigen gemeinsamen Weg der Forschungsgemeinschaft. Ich glaube jedoch, dass der derzeitige Weg dorthin führt und wir alle bewusst entscheiden müssen, wie wir weiter vorgehen. Unsere wichtigsten Stellschrauben sind, den Prozess so zu lenken, dass Alignment und Überwachung gemeinsam mit der KI gestärkt werden und Menschen eingebunden bleiben, oder die künftige Entwicklung koordiniert und bei Bedarf zu verlangsamen, bis wir diesen Maßnahmen vertrauen können.

Der derzeit beste Weg nach vorn ist aus meiner Sicht eine Kombination aus beidem.

Die konkreten Fortschritte, die wir bei Alignment und Überwachung erzielt haben, waren meist eng mit allgemeinen KI-Fortschritten verknüpft. Gute Beispiele sind Reinforcement Learning mit menschlichem Feedback⁠(wird in einem neuen Fenster geöffnet), das für das Training früher KI-Assistenten entscheidend war, und die bereits erwähnte Überwachung der Gedankenkette⁠(wird in einem neuen Fenster geöffnet), die durch Fortschritte bei Reasoning-Modellen ermöglicht wurde. Wir müssen den zunehmend automatisierten Forschungsprozess auf die Entwicklung neuer Erkenntnisse, Algorithmen und Theorien dieser Art ausrichten und schrittweise Sicherheitsnachweise für leistungsfähigere KI-Systeme erarbeiten.

Die Skalierung von KI-Systemen muss davon abhängen, wie sicher wir uns ihrer Sicherheit sind. Wir müssen Selbstverpflichtungen wie das Preparedness Framework⁠ oder die Responsible Scaling Policy⁠(wird in einem neuen Fenster geöffnet) zu allgemein vorgeschriebenen Sicherheitsschwellen für die weitere Entwicklung ausbauen. Ihre Einhaltung kann durch ein Netzwerk unabhängiger Prüfstellen, staatliche Behörden oder internationale Organisationen durchgesetzt werden.

Die zentrale Herausforderung bei der Automatisierung der KI-Forschung besteht nicht darin, „ans Ziel zu kommen“. Entscheidend ist, dies so zu tun, dass Menschen am fortlaufenden Verbesserungsprozess beteiligt bleiben und die Zukunft in den Händen der Menschheit liegt.

Wie wir kürzlich gemeinsam mit Sam dargelegt haben⁠, richtet OpenAI seine Arbeit an drei Leitsternen aus:

1. Die nächste Phase des KI-Fortschritts gestalten, indem wir einen automatisierten KI-Forscher entwickeln, mit ihm iterativ am Alignment-Problem arbeiten und Wege finden, Menschen auch weiterhin in die Selbstverbesserungsschleife einzubinden.

2. Die Vorteile des wissenschaftlichen Fortschritts und des Wirtschaftswachstums zugänglich machen, die hochintelligente Maschinen ermöglichen.

3. Jeden Menschen mit einer persönlichen AGI stärken.

In diesem Essay habe ich mich nur auf den ersten Punkt konzentriert, weil ich ihn für den mit Abstand dringendsten halte. Gleichzeitig setze ich große Hoffnung in die Vorteile, die weiterer technologischer Fortschritt bringen wird, und weiß sie zu schätzen. Künftige sicher ausgerichtete KI könnte die Wissenschaft voranbringen, neue Therapien entwickeln und breiten materiellen Wohlstand schaffen. Eine wohlwollende und ehrliche KI kann Menschen helfen, Schwierigkeiten im Leben zu bewältigen und ihr Glück sowie ihr Gefühl von Erfüllung spürbar zu steigern. OpenAI unternimmt enorme Anstrengungen, um diese Vorteile zu verwirklichen. Ein aktuelles Beispiel, auf das ich stolz bin und das Menschen, die mir nahestehen, hilfreich fanden, sind die umfassenden Investitionen in die Fähigkeit von ChatGPT, Gesundheitsinformationen bereitzustellen.

So groß das langfristige Potenzial der KI auch sein mag, wir sollten uns überwiegend auf die nächsten Jahre konzentrieren. Uns steht der Übergang zu einer Welt mit unglaublich intelligenten Maschinen bevor. Wir müssen dafür sorgen, dass dieser Übergang für die Menschheit gut verläuft. Wir müssen Wege finden, menschliche Handlungsfähigkeit zu bewahren und dem Menschsein einen unveräußerlichen Eigenwert zu sichern, auch in einer Welt, in der KI die meisten Aufgaben übernehmen könnte. Wir müssen eine extreme Machtkonzentration in einer Welt verhindern, in der einige wenige Menschen mit einem großen Computer Vorhaben bewältigen können, für die früher Tausende Fachleute nötig gewesen wären. Und wir müssen gewährleisten, dass Menschen die Kontrolle über die Zukunft behalten und nicht durch ungebremsten Fortschritt zurückgelassen werden, den eine fremdartige, uns überlegene Intelligenz hervorbringt.

Derzeit hat meines Erachtens kein Forschungslabor Alignment und Überwachung so weit gelöst, dass es noch lange verantwortungsvoll mit maximalem Tempo skalieren könnte. Ich erwarte und hoffe, dass freiwillige Verlangsamungen üblich werden, bis gemeinsame Sicherheitsschwellen festgelegt sind. Außerdem muss die internationale Koordination der künftigen KI-Entwicklung meines Erachtens für Regierungen weltweit höchste Priorität erhalten.