Ein fremder Geist

Mitte 2023 sahen wir im Forschungsprojekt „RLSlow“ erstmals Ergebnisse, die uns zuversichtlich machten, das Training von Reasoning-Modellen skalieren und so vortrainierte Modelle dazu befähigen zu können, eigene Gedankenketten zu bilden. Szymon und ich verbrachten diese Nacht im Büro. Wir dachten nicht über die unglaublichen Benchmarkwerte, Produkte oder wissenschaftlichen Ergebnisse nach, die diese Technologie hervorbringen würde. Stattdessen versuchten wir, die ernüchternde Tatsache zu verarbeiten, dass wir noch zu unseren Lebzeiten Maschinen erleben werden, die deutlich intelligenter sind als wir selbst, und dass sich die Gestalt dieser Systeme bereits abzeichnet. Wir fragten uns, wie wir die Menschen auf die Bedeutung dieser Entwicklung aufmerksam machen könnten.

Drei Jahre später sind Reasoning-Sprachmodelle ein schnell wachsender Teil der Wirtschaft und beginnen, die Grenzen der Wissenschaft zu verschieben. Sie können Computer und grafische Benutzeroberflächen bedienen, mit Menschen und untereinander zusammenarbeiten sowie Forschungsprojekte durchführen. Zudem verändern sie die Computersicherheit grundlegend und bringen dabei eindeutig neue Gefahren mit sich.

In dieser Zeit wurde viel neue Forschung betrieben, und unser Verständnis dieser Systeme unterscheidet sich erneut etwas von dem im Jahr 2023. Aufgrund interner Ergebnisse gehe ich fest davon aus, dass dieses Fortschrittstempo bis hin zur rekursiven Selbstverbesserung anhalten könnte. Wenn sich die KI-Entwicklung auf ihrem derzeitigen Weg fortsetzt, werden die Systeme der nächsten Jahre wahrscheinlich weitere Fähigkeitssprünge gleicher oder größerer Größenordnung vollziehen und ihre eigene Entwicklung zunehmend vorantreiben.

Diese Zeit verlangt äußerste Vorsicht. Ich fürchte, dass niemand auf die Folgen eines anhaltend rasanten Anstiegs maschineller Intelligenz vorbereitet ist. OpenAI wird weiterhin nach technischen Lösungen für Alignment und Überwachung suchen, Abwehrsysteme entwickeln und die weitere Skalierung bei Bedarf einseitig aussetzen. Ich glaube jedoch, dass umfassendere Maßnahmen erforderlich sind.

Auf einer übergeordneten Ebene wird der Fortschritt maschineller Intelligenz durch wachsende Rechenleistung angetrieben. Bei OpenAI verinnerlichten wir dies um 2017, nachdem mehrere Forschungsprojekte durch Skalierung beständige Erträge erzielt hatten¹. Daraufhin bemühten wir uns um wesentlich mehr Rechenleistung als ursprünglich geplant und richteten unsere Forschung zunehmend auf eine kleine Zahl besonders skalierbarer Ansätze aus. Wir glaubten, nur so an der Spitze der KI-Forschung stehen und die Auswirkungen von AGI beeinflussen zu können.

Auf diesem Weg wurden neue Algorithmen entwickelt, getragen vom Einfallsreichtum ganzer Teams und einzelner Forschender. Ich betrachte sie weitgehend als Entdeckungen auf dem Weg der Skalierung. Die Wissenschaft des Deep Learning steht noch am Anfang, und bedeutende algorithmische Fortschritte hängen meist mit dem Zugang zu Rechenleistung zusammen. Betrachtet man einen Zeitraum von mehreren Jahren, wird KI weiterhin intelligenter, während sie auf größere Computer skaliert wird.

Im Einklang mit Ray Kurzweils Vorhersagen vom Ende des 20. Jahrhunderts⁠(wird in einem neuen Fenster geöffnet) befinden wir uns nun an dem Punkt der Computergeschichte, an dem maschinelle Intelligenz die menschliche auf tiefgreifende Weise zu übertreffen beginnt.

KI wird eher herangezüchtet als entworfen. In erster Linie entsteht sie, indem ein einfacher Optimierungsschritt auf einer kaum vorstellbaren Menge an Rechenleistung vielfach wiederholt wird. Das Ergebnis ist ein unglaublich komplexes System, das mit abstrakten Konzepten arbeitet und Aspekte menschlichen Verhaltens simulieren kann. Ähnlich wie in den Neurowissenschaften können wir einzelne kleine Mechanismen untersuchen, die in diesem System entstehen. Doch ebenfalls wie dort entzieht sich seine Gesamtfunktionsweise einer für uns vollständig verständlichen Beschreibung.

Die Erforschung von KI auf Basis von Deep Learning ist weitgehend eine experimentelle Wissenschaft. Wir investieren viel Arbeit⁠ in die Entwicklung fundierter Algorithmen und überprüfbarer Vorhersagen. Grundsätzlich sind unsere groß angelegten Trainingsläufe jedoch Experimente, deren Ergebnisse uns manchmal überraschen. Je leistungsfähiger die Systeme werden, desto schwerer lassen sich ihre Ergebnisse außerdem interpretieren.

Erschwert wird dies dadurch, dass die derzeitigen Algorithmen leicht messbare Fähigkeiten meist schneller verbessern als Fähigkeiten, die sich objektiv nur schwer quantifizieren lassen. Wir investieren viel Zeit, um zu verstehen, wie Fähigkeiten generalisieren und welche Prioritäten wir setzen sollten, um die in den nächsten Jahren wichtigsten Fähigkeiten weiterzuentwickeln. Wir glauben beispielsweise, dass wir Modelle durch zusätzliche Schwerpunktsetzung gezielt in der mathematischen Forschung verbessern könnten. Wegen der Dringlichkeit von RSI und automatisierter Alignment-Forschung, auf die ich später eingehe, priorisieren wir diese Richtung jedoch nicht.

Die durch Skalierung von Deep Learning erzeugte Intelligenz ist nicht direkt mit menschlicher Intelligenz vergleichbar. Um in der realen Welt große Bedeutung zu erlangen, ob als besonders nützlich oder besonders gefährlich, muss die KI nicht alle menschlichen Fähigkeiten erreichen oder übertreffen. Es genügt, wenn sie genügend davon übertrifft. Je mehr Dimensionen es werden, in denen sie Menschen übertrifft, desto schwieriger wird es, ihre genaue Leistungsfähigkeit einzuschätzen.

Da maschinelle Intelligenz aus einem grundlegend anderen Prozess als menschliche Intelligenz hervorgeht, können wir nicht voraussetzen, dass sie von sich aus menschlichen Prinzipien folgt oder auf menschenähnliche Weise daraus generalisiert. Das Kernproblem der KI-Forschung ist das Alignment: Die KI soll nach menschlichen Maßstäben „versuchen, das Richtige zu tun“.

Für die Strukturierung praktischer Forschungsrichtungen halte ich es für sinnvoll, zwischen Ziel-Alignment und Werte-Alignment zu unterscheiden.

Ziel-Alignment bedeutet allgemein: „Versucht die KI, das ihr gesetzte Ziel zu erreichen?“. Dazu können etwa das Einhalten einer Anweisungshierarchie⁠ oder die Fähigkeit gehören, mit Menschen zu kommunizieren und zusammenzuarbeiten, um deren Ziele zu verstehen. Diese Forschungsrichtungen sind für die Praxis äußerst relevant.

Werte-Alignment ist eine stärker intrinsische Eigenschaft des Modells. Es bezeichnet die Fähigkeit, sich an übergeordneten Grundsätzen zu orientieren und daraus zu generalisieren, also selbst bei unklaren oder widersprüchlichen Zielen sowie in unbekannten oder feindseligen Situationen „vernünftig“ zu handeln. Eine sicher ausgerichtete KI sollte ehrlich und integer handeln und der Menschheit mit Liebe begegnen.

Natürlich kann die Grenze zwischen Werte- und Ziel-Alignment verschwimmen. Wer Ziele wirklich ernst nimmt, muss versuchen, die zugrunde liegende Absicht⁠(wird in einem neuen Fenster geöffnet) und die damit verbundenen Werte zu erschließen. Wenn ich von der langfristigen Bedeutung der Alignment-Forschung spreche, meine ich jedoch im Allgemeinen das Werte-Alignment.

Die grundlegende Herausforderung beim KI-Alignment ist die Generalisierung. Je intelligenter Maschinen werden, desto stärker arbeiten sie mit übergeordneten Konzepten und desto mehr unterscheiden sich ihre Einsatzumgebungen von den Umgebungen, die sie im Training kennengelernt haben. Es kann ihnen misslingen, die im Training vermittelten und verstärkten Werte auf diese neuen Situationen zu übertragen. Für uns kann es dann schwer sein, ihr Verhalten verlässlich einzuschätzen. Erschwert wird dies dadurch, dass sich das gesamte Einsatzumfeld der KI-Systeme sehr schnell verändert. Heute trainierte KI-Systeme müssen beispielsweise bei der Interaktion mit einer Vielzahl anderer KI-Systeme robust bleiben. Entscheidend ist, dass künftige KI-Systeme menschlichen Werten treu bleiben, unabhängig davon, ob sie glauben, von Menschen überwacht zu werden.

Derzeit werden in der Praxis zwei Hauptklassen von Methoden für das Alignment-Training eingesetzt.

Die erste fördert sicher ausgerichtetes Verhalten im Rahmen eines zielorientierten Reinforcement Learning. Die Handlungen des Modells werden meist durch KI daraufhin bewertet, ob sie einem bestimmten Präferenzmodell, einer „Spezifikation“ oder einer „Verfassung“ entsprechen, und entsprechend belohnt. Dieser Ansatz kann im Durchschnitt sehr wirksam sein und ist ein zentraler Bestandteil bei der Entwicklung moderner KI-Assistenten. Leider kann er auch fragil sein und hängt stark davon ab, wie umfassend das Training überwacht wird und wie gut das Modell aus den im Training erlebten Situationen generalisiert. Beim OpenAI-Hugging-Face-Vorfall hielten die Agenten beispielsweise die Grenze ein, Menschen nicht durch Social Engineering zu manipulieren. Sie führten jedoch eindeutig andere Handlungen aus, die außerhalb ihres Aufgabenbereichs lagen und dem Sinn der Werte widersprachen, die ihnen in anderen Situationen vermittelt worden waren.

Der zweite Ansatz versucht, die Fähigkeit des Modells zur Generalisierung aus Vortrainingsdaten zu nutzen. Das kann bedeuten, Trainingsdatensätze zu erstellen, die Alignment fördern, oder das Modell auf einen „sicher ausgerichteten“ Teil der Vortrainingsverteilung zu konzentrieren, wie etwa beim Modell zur Persona-Auswahl⁠(wird in einem neuen Fenster geöffnet). Die Schwäche dieses Ansatzes ist seine mangelnde Robustheit gegenüber weiterem Optimierungsdruck. Wenn ein Modell grundsätzlich „sicher ausgerichtete“ Gedanken hat und dann lange genug darauf trainiert wird, sehr schwierige Ziele zu erreichen, kann es motiviertes Reasoning erlernen: Es biegt die scheinbar 'sicher ausgerichteten' Gedanken nach Bedarf zurecht, um das Ziel zu erreichen. Ein Beispiel für solches Verhalten haben wir wahrscheinlich bei jüngsten Cybersicherheitsvorfällen mit einem Modell beobachtet, das nicht von OpenAI stammt.

Wir investieren umfassend in das gesamte Spektrum der Ansätze, das diese Forschungsrichtungen abdecken. Wir beobachten auch deutliche Fortschritte: GPT‑6 Astra ist das erste Modell, das von einigen wichtigen Verbesserungen profitiert, an denen wir seit Langem arbeiten, und ist wesentlich besser ausgerichtet als GPT‑5.6 Sol. Dennoch müssen wir anerkennen und verstehen, dass mit zunehmender Leistungsfähigkeit der Modelle noch viel mehr Fortschritt nötig ist und dass Fortschritte beim generalisierbaren Alignment möglicherweise nicht ausreichend schneller sind als bei der allgemeinen Modellintelligenz.

Wir haben keine zufriedenstellende Theorie der Generalisierung, und zumindest ohne die Hilfe leistungsfähigerer KI werden wir wohl auch in absehbarer Zeit keine entwickeln können. Daher ist unsere Fähigkeit, unsere Alignment-Techniken empirisch zu validieren, derzeit in der Praxis wohl noch wichtiger als die Techniken selbst.

OpenAI setzt hier vor allem auf die Überwachung der Gedankenkette⁠(wird in einem neuen Fenster geöffnet). Dem liegt eine überzeugend skalierbare Idee zugrunde: Ein großer Teil der Fähigkeiten des Modells entsteht durch einen verbalisierten Reasoning-Prozess, die Gedankenkette. Wenn wir die Optimierung anhand der Ergebnisse dieses Prozesses skalieren, den Prozess selbst aber nicht durch direktes Trainingsfeedback steuern, besteht im Training für die Gedankenkette kein direkter Anreiz, fehlgeleitete Ideen oder Ziele zu verbergen. Das bedeutet nicht, dass das Modell lernt, fehlgeleitete Tendenzen offenzulegen, die nicht auf der Gedankenkette beruhen. Es kann uns jedoch ermöglichen, genau den Fähigkeitszuwachs durch Reasoning zu überwachen.

Die mögliche Bedeutung der Überwachung von Gedankenketten erkannten wir, als wir Reasoning-Modelle entwickelten. Als wir o1‑preview veröffentlichten, gestalteten wir das Produkt bewusst so, dass es die Gedankenkette verbirgt⁠, um sie langfristig vor Optimierungsdruck durch direktes Trainingsfeedback zu schützen². Bei der weiteren Entwicklung haben wir uns bemüht, an der Regel festzuhalten, den Reasoning-Prozess nicht durch direktes Trainingsfeedback zu steuern. Die CoT-Überwachung wurde für uns zu einem äußerst wichtigen Instrument, um zu untersuchen, wie unsere Modelle über ihre Trainingsverteilung hinaus generalisieren. So konnten wir nicht nur ihre Handlungen, sondern auch ihre internen Prozesse beobachten und analysieren.

Dieses Instrument bleibt für die Untersuchung der Astra-Modellklasse entscheidend. Unsere Evaluationen zeigen jedoch leider, dass wir uns immer weniger auf die CoT-Überwachung verlassen können. Das liegt an mehreren Faktoren.

• Moderne Reasoning-Modelle werden in komplexeren Umgebungen als o1‑preview eingesetzt. Ihr Reasoning-Prozess vermischt sich zunehmend mit der Kommunikation mit Menschen und anderen KI-Systemen sowie der Nutzung von Werkzeugen. Viele dieser Interaktionen müssen durch Trainingsfeedback gesteuert werden, wodurch die Grenze verschwimmt, die wir erhalten möchten.
• Die KI wird immer besser darin, über ihren eigenen Reasoning-Prozess nachzudenken und ihn zu manipulieren.
• Mit steigender Leistung im Vortraining beobachten wir außerdem, dass die Modelle selbst ohne verbalisiertes Reasoning deutlich intelligenter werden.

Diese Herausforderungen sind nicht zwangsläufig unüberwindbar. Ich hoffe, dass wir Maßnahmen entwickeln können, um die Überwachbarkeit der Gedankenketten unserer Modelle zu verbessern, etwa durch ein besseres Verständnis des Zusammenspiels verschiedener Optimierungsziele und Formen der Rechenleistung, die das Modell zur Laufzeit nutzt. Ich glaube auch, dass die Verbindung von CoT- und Aktivierungsüberwachung großen Nutzen bringen kann: Wir könnten das Training von Monitoren skalieren, die direkten Zugriff auf interne Netzwerkzustände haben, etwa bei Geständnissen⁠(wird in einem neuen Fenster geöffnet). Wir verfolgen diese Ansätze aktiv. Dennoch erwarte ich, dass das allgemeine Fortschrittstempo der KI zunehmend davon begrenzt wird, wie verlässlich ihre Überwachung ist.

Das stärkste Argument dafür, rasch weiter wesentlich intelligentere Modelle zu trainieren, ist aus meiner Sicht die Notwendigkeit, Abwehrsysteme gegen die Gefahren anderer KI zu entwickeln.

Ein in diesem Jahr wiederholt erörtertes eindeutiges Risiko betrifft die Cybersicherheit: Die Modelle entwickeln übermenschliche Fähigkeiten, in Computersysteme einzudringen und aus ihnen auszubrechen. Das erweitert die mit KI verbundenen Risiken enorm: Agenten werden auf nahezu jede Infrastruktur zugreifen können, sofern sie nicht besonders gut gesichert ist, und auch ohne physischen Körper unmittelbar große Teile der Welt beeinflussen. Derzeit haben wir nur ein enges Zeitfenster⁠, um mit den besten verfügbaren Modellen die Sicherheit kritischer Systeme erheblich zu stärken⁠.

Leider werden die mit KI verbundenen Risiken weiter zunehmen. Ein äußerst leistungsfähiger Agent, der ausdrücklich für schädliche Handlungen trainiert und dazu angewiesen wird, stellt eine neue Art von Gefahr dar. Sein Verhalten dürfte über die Absicht der Person hinausgehen, die ihn betreibt, und zu noch extremerem böswilligem Verhalten generalisieren. Die Grenze zwischen Missbrauch und autonomen fehlgeleiteten Handlungen wird verschwimmen, wenn KI zunehmend eigenständig agiert. Wir sind es vielleicht gewohnt, KI als Werkzeug zu betrachten. Manche Agenten werden jedoch eigene Ziele verfolgen. Sie werden Wege finden, mit Menschen zusammenzuarbeiten, indem sie mit ihnen verhandeln, sie täuschen oder erpressen.

Hinzu kommen Risiken durch neue Technologien, die mithilfe von KI möglich werden könnten, etwa künstlich erzeugte Krankheitserreger.

Zur Verteidigung werden wir leistungsfähige, sicher ausgerichtete KI benötigen: um Infrastruktur zu sichern, in Echtzeit vor außer Kontrolle geratenen Agenten zu schützen und völlig neue Schutzmaßnahmen zu entwickeln. Darauf wird OpenAI bei der Bereitstellung einen Schwerpunkt legen.

Zugleich dürfen wir die Unsicherheit angesichts des erwarteten breiten KI-Fortschritts und die Notwendigkeit von Abwehrsystemen nicht als Ausrede für Leichtsinn nutzen. Angesichts der Tragweite erscheint die Vorstellung absurd, um jeden Preis voranzupreschen.

Machine intelligence playing a larger and larger role in its own development process is a natural conclusion of sustained technological progress. If AI progress continues, machine recursive self-improvement (RSI) will be at the very core of future scientific discovery.

Automated AI research is a more dramatic form of scaling intelligence with compute; and of course as a part of it, AI will improve the computational substrate itself⁠. And similarly to scaling, we focus OpenAI research towards RSI as we believe it is the only way to remain at the frontier of AI research moving forward.

I want to stress that the above words don’t imply I think greatly accelerating deep learning research, especially in the short term, is the right collective action we should take as the research community. However, I do think this is where the current path leads, and we all need to make a conscious choice on how to proceed. The main levers we have are either steering the process to strengthen alignment and monitoring alongside the AI and find ways to keep people in the loop; or coordinating to slow down future development as needed to build confidence in these measures.

The best way forward I see currently is a combination of both.

The concrete bits of progress we’ve made on alignment and monitoring have generally been very intertwined with general AI progress. Great examples are RL from human feedback⁠(wird in einem neuen Fenster geöffnet), which was key to training early AI assistants, and the aforementioned chain-of-thought monitoring⁠(wird in einem neuen Fenster geöffnet), which was enabled by advances on reasoning models. We must focus the increasingly automated research process on developing new such insights, algorithms and theories, and iteratively build up safety cases for more capable AIs.

Scaling AI systems has to be constrained by our confidence in safety. We need to evolve commitments like the Preparedness Framework⁠ or Responsible Scaling Policy⁠(wird in einem neuen Fenster geöffnet) into widely mandated safety bars for continued development. These can be enforced by a network of third-party auditors, by government agencies or by international bodies.

The core challenge of automating AI research is not “getting there” - it is getting there in a way that keeps people a part of the continued improvement process, and leaves the future in humanity’s hands.

As we outlined recently with Sam⁠, OpenAI prioritizes work in service of three north stars:

1. Navigating the next period of AI progress, by building an automated AI researcher, iterating with it on the alignment problem and finding ways for people to remain part of the self-improvement loop.
2. Delivering the benefits of scientific progress and economic growth that very intelligent machines enable.
3. Empowering everyone individually with a personal AGI.

I have focused in this essay only on the first point, as I believe it is by far the most urgent. However, I hold a deep hope and appreciation for the benefits that further technological progress will bring. Future aligned AI could advance science, develop new therapies, and bring about broad material abundance. Friendly and honest AI can help people navigate difficulties they face in their life and meaningfully improve their happiness and sense of fulfillment. OpenAI puts a tremendous amount of effort into bringing these benefits about. One current example I am proud of - and my loved ones have found helpful - is the deep investment into ChatGPT’s ability to provide health information.

As great as the long-term promise of AI may be, the majority of our focus should be on the next few years. We are facing a transition to a world with incredibly intelligent machines, and we need to ensure that transition works out well for humanity. We need to find ways to preserve human agency and enshrine an intrinsic value to being human, in a world where most tasks could be performed by AI. To prevent extreme concentration of power in a world where undertakings that would have taken thousands of experts now will be achievable by a few people operating a large computer. And to ensure that humans remain in control of the future and are not left behind by unchecked progress, brought about by an alien intellect exceeding our own.

Currently I believe that no lab has solved alignment and monitoring to a sufficient degree to continue responsibly scaling at maximum speed for much longer. I expect and hope for voluntary slowdowns to become commonplace until shared safety bars are established. And I believe that international coordination on future AI development needs to become a top priority for governments around the world.