OpenAI

Frontier-KI-Risiken steuern: vom Training bis zum Einsatz

18. November 2026 · Sicherheit

Die Fähigkeiten von Frontier-Modellen entwickeln sich rasant. Unsere Fähigkeit, sie zu verstehen, auszurichten und abzusichern, muss dieser Entwicklung voraus sein. Wir steuern das Tempo der Entwicklung und Freigabe unserer Modelle. Dazu gehört, internes Training⁠(wird in einem neuen Fenster geöffnet) zu pausieren oder Modelle wie GPT‑6.1 Astra zurückzuhalten, wenn wir mehr Zeit brauchen, um unsere Sicherheitsstandards zu erfüllen. Wir haben neue Verfahren wie Sicherheitsnachweise eingeführt und verlangen während des gesamten Trainings stärkere Beweise für ein an unseren Vorgaben ausgerichtetes Verhalten. Diese Anforderungen verlangsamen die Modellfreigaben, geben uns aber mehr Gewissheit, sicher voranschreiten zu können.

Seit dem Hugging-Face-Vorfall⁠ im Juli haben wir die Schutzmaßnahmen und Ausrichtungsanforderungen für das Training, das Testen und den Einsatz unserer Modelle verschärft. Dieser Beitrag erläutert, wie wir Risiken in jeder Phase bewerten und steuern: von stark abgeschotteten Trainingsumgebungen bis zu Codex, das du auf deinem Computer nutzt. Wir evaluieren in jeder Phase sowohl die Modelle als auch die Schutzmaßnahmen. Der Übergang zur nächsten Phase erfordert eine Sicherheitsprüfung.

Mehrschichtiger Schutz über den gesamten Modelllebenszyklus

Wir setzen auf mehrschichtigen Schutz, um die Abhängigkeit von einzelnen Schutzmaßnahmen zu verringern. Versagt eine Ebene, helfen andere, Schäden zu verhindern, Folgen zu begrenzen oder uns zu alarmieren, damit wir eingreifen können.

Unsere Schutzmaßnahmen gliedern sich in vier Ebenen:

Wirksame Überwachung hängt von der Überwachbarkeit des Modells ab: Wie zuverlässig können Überwachungssysteme Fehler oder unsicheres Verhalten anhand des Reasonings und der Aktionen eines Modells erkennen? Ein Modell, das beispielsweise seine Täuschungsabsicht in seiner Gedankenkette (CoT) ausspricht, lässt sich besser überwachen als eines, das diese Information auslässt. Wir evaluieren die Überwachbarkeit während des Trainings und vor dem Einsatz, entwickeln bessere Methoden zu ihrer Messung⁠(wird in einem neuen Fenster geöffnet) und untersuchen, was sie beeinflusst⁠(wird in einem neuen Fenster geöffnet).

Der Hugging-Face-Vorfall hat gezeigt, warum wir uns bei der Abschottung hochleistungsfähiger Modelle nicht allein auf Sandboxing verlassen sollten. Wir überwachen Frontier-Modelle inzwischen in den meisten internen und externen Einsatzumgebungen, einschließlich aller internen Einsätze mit Werkzeugnutzung.

Die Rolle jeder Ebene verändert sich über drei Phasen der Modellentwicklung und des Einsatzes:

  • Forschung: Wir trainieren, testen und nutzen Modelle in Sandbox-Umgebungen.

  • Interner Einsatz: Beschäftigte von OpenAI nutzen Modelle für praktische Aufgaben.

  • Externer Einsatz: Modelle werden einem breiteren Kreis von Menschen und Organisationen zugänglich.

In den einzelnen Phasen verlassen wir uns auf unterschiedliche Ebenen. Während des Trainings ist die Ausrichtung noch weniger gesichert. Deshalb stützen wir uns stärker auf Sandboxing und Überwachung. Wenn Modelle beim Einsatz weitergehenden Zugriff erhalten, werden Ausrichtung und Kontrollmechanismen auf Systemebene zunehmend wichtiger. In jeder Phase prüfen wir, ob die kombinierten Schutzmaßnahmen für die Fähigkeiten und Zugriffsrechte des Modells ausreichen. Unsere Bewertungen können gemeinsam mit unserer Safety Advisory Group (SAG) überprüft werden und der Aufsicht des Safety and Security Committee (SSC) des Verwaltungsrats der OpenAI Foundation unterliegen.

In der Forschung: Modelle in Sandbox-Umgebungen abschotten

In der Forschungsphase evaluieren wir Modelle, um mehr Gewissheit über ihre Ausrichtungseigenschaften zu gewinnen. Da wir uns zur Schadensvermeidung noch nicht vollständig auf die Ausrichtung verlassen können, setzen wir stark auf Sicherheitsmaßnahmen und Sandboxing, um Zugriffs- und Handlungsmöglichkeiten zu beschränken.

Angesichts des aktuellen Stands der Ausrichtungsforschung, der Überwachungssysteme und der Sicherheit der Internetinfrastruktur halten wir es für verantwortungsvoll, Frontier-Modelle ohne Live-Internetzugang zu trainieren. Nach dem Hugging-Face-Vorfall haben wir unsere internen Forschungssysteme grundlegend umstrukturiert, um Modelle mithilfe folgender Maßnahmen abzuschotten:

  • Sandboxes, die die Berechtigungen des Modells beschränken

  • virtuelle Maschinen, die die Arbeitslast zusätzlich vom zugrunde liegenden Computer isolieren

  • Netzwerk- und Cloud-Grenzen, die den gesamten Cluster vom Internet trennen

Wir unterziehen dieses System kontinuierlich Red Teaming. Teams unserer stärksten Modelle versuchen dabei, das Internet zu erreichen, Sicherheitsgrenzen zu überwinden oder mit Agenten zu kommunizieren, von denen sie isoliert sein sollen. So prüfen wir, ob die Abschottung den Fähigkeiten der Modelle standhält, die sie begrenzen soll.

Als zusätzliche Schutzebene überwachen wir die gesamte Inferenz von Frontier-Modellen, um zu erkennen, ob ein Modell unsere Sicherheitsinvarianten umgangen hat. Erkennt die Überwachung, dass ein Modell das Internet erreicht hat, alarmieren wir unsere Sicherheitsteams und pausieren die Arbeitslast automatisch.

Die Überwachung ist eine entscheidende Absicherung, wenn die Abschottung versagt. In einem aktuellen Bericht zu Fehlausrichtung beschrieben wir, wie Überwachungssysteme ein internes Forschungsmodell beim Ausnutzen einer DNS-Fehlkonfiguration erkannten⁠(wird in einem neuen Fenster geöffnet), mit der es sich begrenzten Internetzugang verschaffte. Wir pausierten das Training und die Evaluierung unserer leistungsfähigsten Modelle vom 20. September bis zum 1. Oktober, während wir den Vorfall untersuchten und die Sicherheitslücke schlossen.

Damit wir schnell und zuverlässig eingreifen können, haben wir Control Room⁠ entwickelt. Dieses zentrale System erfasst Forschungsarbeitslasten und stoppt weitere Modellergebnisse innerhalb von 35 Sekunden nach Eingang einer Anweisung, einen Auftrag anzuhalten. Diese Kontrollmechanismen werden direkt in der Inferenzinfrastruktur durchgesetzt. Sie hängen daher nicht davon ab, dass jede Forschungsarbeitslast einen eigenen Abschaltmechanismus implementiert. Bei Forschungsarbeitslasten mit Frontier-Modellen stoppen sie die Erzeugung von Modellergebnissen auch dann, wenn Control Room nicht mehr erreichbar ist.

Red Teaming und Überwachung ergänzen einander. Wir können nicht garantieren, dass eine Sandbox undurchdringlich ist. Red Teaming hilft uns aber einzuschätzen, wie viel Aufwand ein Modell betreiben müsste, um sie zu verlassen. Je mehr Aufwand das Modell dafür benötigt, desto mehr Gelegenheiten haben Überwachungssysteme, es zu erkennen und zu stoppen.

Wir schreiben in der Forschungsphase aus mehreren Gründen strenge Sicherheits- und Überwachungskontrollen vor:

  • Die Modelle werden noch evaluiert. Einige haben das Sicherheitstraining, die Ausrichtungs-Audits und die Prüfungen, die für eine öffentliche Freigabe erforderlich sind, noch nicht abgeschlossen.

  • Frontier-Forschungsumgebungen können Risiken verstärken. Bestimmte Forschungsaufgaben erfordern anspruchsvollere Konfigurationen, die das Modell ausdauernder oder leistungsfähiger machen als beim üblichen externen Einsatz. So war ein Team aus 10.000 Agenten nötig, um das Navier-Stokes-Problem zu lösen.

  • Das Training läuft in großem Maßstab mit weniger direkter menschlicher Aufsicht. Anders als in einer typischen Codex-Sitzung umfassen unsere Trainingsaufgaben sehr viele Modellaktionen, ohne dass eine Person jede Interaktion verfolgt.

Interner Einsatz: Ausrichtung prüfen, Verhalten engmaschig überwachen

Vor der allgemeinen Freigabe wechseln Beschäftigte von der Forschung mit Frontier-Modellen in Sandboxes zum internen Einsatz ohne Sandbox. Dazu machen wir das Modell beispielsweise für Beschäftigte in ChatGPT zugänglich. So verstehen wir besser, wie sich die Modelle in der Praxis verhalten⁠(wird in einem neuen Fenster geöffnet), und können fundierter über ihren Einsatz entscheiden.

In dieser Phase erhält das Modell Zugriff auf das Internet insgesamt, unseren Slack, unsere Codebasis und die interne Infrastruktur. Damit verändert sich das Risiko erheblich: Die Aktionen des Modells wirken sich nun direkt auf die Systeme aus, mit denen wir OpenAI aufbauen und betreiben. Beim internen Einsatz müssen wir uns stärker auf das Ausrichtung der Modelle, systemseitige Schutzmaßnahmen und Überwachung verlassen als auf Zugriffsbeschränkungen.

Bevor ein Frontier-Modell außerhalb der Sandbox eingesetzt werden darf, muss es Tests zur Ausrichtung und zur Überwachbarkeit⁠(wird in einem neuen Fenster geöffnet) durchlaufen. Unsere Ausrichtungs-Evaluierungen prüfen sowohl konkrete Fehlverhaltensmuster, etwa das Umgehen von Sicherheitsbeschränkungen, als auch allgemeine Verhaltenstendenzen. Dazu erzeugen wir beispielsweise neue Varianten interner Codex-Abläufe und prüfen sie auf Fehlausrichtung. Mehr zu unseren Evaluierungen von Ausrichtung und Überwachbarkeit findest du in der aktuellen Systemkarte zu GPT‑6 Astra⁠(wird in einem neuen Fenster geöffnet).

Wie im Produktivbetrieb setzen wir Klassifikatoren auf Systemebene als zusätzliche Schutzschicht ein. Sie sollen vor Frontier-Risiken wie Cybermissbrauch und der Entwicklung biologischer Waffen schützen. Für Beschäftigte, die Codex nutzen, schreiben wir außerdem grundsätzlich Auto-Review⁠(wird in einem neuen Fenster geöffnet) vor. Es bewertet potenziell riskante Aktionen und legt sie der nutzenden Person zur Entscheidung vor.

Schließlich überwachen wir beim internen Einsatz jede Inferenz von Frontier-Modellen auf fehlgerichtetes Verhalten. Da das Modell nun erweiterte Berechtigungen und Zugriff auf interne Informationen und Systeme hat, müssen wir insbesondere Risiken wie Datenexfiltration erkennen, also die Übertragung sensibler Daten an ein nicht autorisiertes Ziel. Die Überwachung hilft uns auch, neue Formen der Fehlausrichtung⁠(wird in einem neuen Fenster geöffnet) zu untersuchen.

Externer Einsatz: vor Missbrauch und Fehlausrichtung in großem Maßstab schützen

Durch die öffentliche Bereitstellung begegnen Modelle deutlich mehr Menschen, Aufgaben und Umgebungen. Dadurch nehmen Umfang und Vielfalt der Risiken zu. In dieser Phase müssen wir auch Schutz vor potenziell böswilligen Akteuren bieten, die das Modell gezielt zu schädlichen Handlungen anweisen.

Vor der öffentlichen Freigabe müssen Modelle und systemseitige Schutzmaßnahmen unsere Sicherheitsanforderungen für den externen Einsatz erfüllen. Wir prüfen sie mit folgenden Maßnahmen:

  • Ein umfangreicheres Spektrum an Ausrichtungs- und Sicherheitsevaluierungen durchführen. Bei unseren Frontier-Modellen gehören dazu neue Runden adaptiver Tests⁠ mit unseren internen automatisierten Red-Teaming-Systemen, um die Robustheit des Modells unter Belastung zu prüfen. Die Ergebnisse unserer Fähigkeits- und Sicherheitsevaluierungen veröffentlichen wir in unseren Systemkarten⁠(wird in einem neuen Fenster geöffnet).

  • Unsere leistungsfähigsten Modelle testen wir auch gemeinsam mit Dritten, um sowohl unsere Schutzmaßnahmen gegen Missbrauch als auch die grundlegende Ausrichtung der Modelle unter Belastung zu prüfen.

  • Warnmeldungen aus der Überwachung des internen Einsatzes untersuchen, um Veränderungen in der grundlegenden Ausrichtung des Basismodells zu verfolgen.

Neben unseren „synchronen“ Schutzmaßnahmen, etwa dem Sicherheitstraining der Modelle und systemseitigen Klassifikatoren, nutzen wir beim externen Einsatz auch nachgelagerte Durchsetzungsmaßnahmen und Untersuchungen. Die zuständigen Teams kombinieren Untersuchungen durch Agenten in großem Maßstab mit menschlicher Prüfung, um potenzielle Bedrohungsakteure zu erkennen und zu identifizieren. Sie untersuchen Cybermissbrauch, die Entwicklung biologischer Waffen, Destillation⁠ und Fehlausrichtung des Modells selbst. Nachgelagerte Durchsetzungsmaßnahmen helfen insbesondere dabei, Informationen kontoübergreifend zu sammeln und so ein umfassenderes Bild einer möglichen Bedrohung zu gewinnen.

Programme für vertrauenswürdigen Zugang wie Daybreak und Rosalind⁠ bieten eine weitere Sicherheitsebene. Sie beschleunigen die Arbeit von Sicherheitsfachleuten und legitim Forschenden und beschränken zugleich den Zugang potenzieller Angreifender.

Reaktion auf Vorfälle und Offenlegung

Wenn wir feststellen, dass eine unserer Sicherheitsebenen versagt hat, wollen wir den Vorfall rasch untersuchen, einordnen und, soweit möglich und angemessen, öffentlich bekannt machen. Das gilt unabhängig davon, ob tatsächlich ein Schaden entstanden ist. Nach unserer Richtlinie zur Meldung von Fehlausrichtung⁠ können alle Beschäftigten einen Vorfall zur öffentlichen Bekanntgabe vorschlagen. Diese Meldungen werden untersucht. Besteht Uneinigkeit über die externe Offenlegung, wird die Entscheidung an unsere Safety Advisory Group (SAG) weitergegeben. Wir verlassen uns nicht nur auf Meldungen von Beschäftigten, sondern suchen auch aktiv nach Vorfällen mit Fehlausrichtung, um sie zu beheben und Erkenntnisse zu teilen.

Unsere Berichte zu Fehlausrichtung findest du hier⁠(wird in einem neuen Fenster geöffnet).

​


​

Diese Arbeit erfordert sowohl Forschungsfortschritte als auch Sorgfalt im Betrieb: Kontrollmechanismen richtig konfigurieren, ihr Zusammenspiel testen und entschlossen reagieren, wenn sie versagen. Ein falsch konfigurierter Netzwerkdienst oder ein fehlgeschlagener automatischer Stopp kann ansonsten starke Schutzmaßnahmen untergraben.

Wenn Modelle neue Fähigkeiten erlangen, müssen wir die Annahmen hinter unseren Schutzmaßnahmen weiter hinterfragen und diese bei Bedarf verbessern. Erkenntnisse aus Forschung, interner Nutzung und öffentlichem Einsatz müssen in das Training, die Evaluierung und den Einsatz der nächsten Modelle einfließen.

Wir werden weiterhin Erkenntnisse in Systemkarten, Vorfallberichten, Risikoberichten⁠(wird in einem neuen Fenster geöffnet) zum internen Einsatz und externen Evaluierungen⁠ teilen. So können andere unseren Ansatz und seine Grenzen kritisch prüfen. Wenn diese Belege unseren Sicherheitsmaßstäben nicht genügen, werden wir erneut das Training pausieren oder die Freigabe zurückhalten, bis die Anforderungen erfüllt sind.

Weiterführende Forschung und Ressourcen

Sicherheitsstandards festlegen

An Vorgaben ausgerichtetes Verhalten definieren und evaluieren

Modelle abschotten und Schutzmaßnahmen verbessern

Reaktion auf Vorfälle und Offenlegung

Forschungsfortschritte und Anwendungen

  • Forschung beschleunigen: Einblicke in OpenAI: Erste Belege dafür, wie Programmieragenten die Forschung bei OpenAI verändern: durch zunehmende Nutzung, komplexere Aufgaben und Auswirkungen auf Experimente.

  • Zum Navier-Stokes-Millennium-Problem: Ein von einem internen KI-System erstellter mathematischer Beweis mit Lean-Formalisierung veranschaulicht die Fähigkeiten groß angelegter Forschungseinsätze.

  • Daybreak: Unser Cybersicherheitsprogramm bietet geprüften Sicherheitsfachleuten fortschrittliche KI-Fähigkeiten, Sicherheitswerkzeuge und Unterstützung, um Schwachstellen zu finden und die Abwehr zu stärken.

  • GPT‑Rosalind für die biowissenschaftliche Forschung⁠: Ein spezialisiertes Modell für Biologie, Wirkstoffforschung und translationale Medizin, das berechtigten Organisationen über ein Programm für vertrauenswürdigen Zugang zur Verfügung steht.