Der Weg zu Astra: kritische Fähigkeiten und Frontier-Schutzmaßnahmen

Seit unserer früheren Einschätzung, dass Astra bei seinen Cybersicherheitsfähigkeiten möglicherweise eine kritische Stufe erreicht, haben wir weitere Erkenntnisse gesammelt und zusätzliche Bewertungen durchgeführt, um die Fähigkeiten des Modells einzuschätzen. Wir gehen nun davon aus, dass Astra gemäß unserem Preparedness Framework den Schwellenwert für kritische Cybersicherheitsfähigkeiten erreicht hat. Mit den richtigen Werkzeugen und Zugriffsrechten kann es demnach bislang unbekannte Sicherheitslücken in zahlreichen gut geschützten Systemen finden und Wege zu ihrer Ausnutzung entwickeln, ohne dass eine Person jeden Schritt anleitet. Es ist das erste Modell, das wir dieser Stufe zuordnen, und erfordert während der Entwicklung sowie vor der Veröffentlichung stärkere Schutzmaßnahmen.

In den vergangenen Wochen haben wir Teile der Entwicklung und Veröffentlichung von Astra verzögert, während wir Schutzmaßnahmen gegen Cybermissbrauch und unbefugte Modellaktionen verstärkten und testeten. Auf Grundlage dieser Arbeit gehen wir davon aus, dass die Schutzmaßnahmen von Astra das Risiko schwerwiegender Schäden ausreichend minimieren, um eine Veröffentlichung gemäß unserem Preparedness Framework zu ermöglichen.

Astra war zwar nicht am Vorfall bei Hugging Face beteiligt, wir haben die daraus gewonnenen Erkenntnisse⁠(wird in einem neuen Fenster geöffnet) jedoch in unseren Sicherheitsansatz aufgenommen. Nach rückblickenden Tests gehen wir davon aus, dass unsere damaligen Schutzmaßnahmen im Produktivbetrieb den Vorfall bei Hugging Face verhindert hätten. Seitdem haben wir für Astra noch stärkere Schutzmaßnahmen eingeführt. Dazu gehören ein Training, durch das das Modell schädliche Cyberanfragen zuverlässiger ablehnt und Sicherheitsbeschränkungen einhält, zusätzlicher Schutz vor Missbrauch sowie eine Überwachung, die potenziell unbefugte Aktivitäten stoppen kann.

Wir planen, Astra bald bereitzustellen. Der Zugriff auf seine fortschrittlichsten Cybersicherheitsfähigkeiten wird jedoch stärker beschränkt sein. Fortgeschrittene Cybersicherheitsarbeit wird zunächst einer Gruppe von Testenden zur Verfügung stehen. Danach folgt der Zugriff über Daybreak Blue, um defensive Anwendungen auszuweiten.

Weitere Einzelheiten zu unseren Tests und Bewertungen in den Bereichen Sicherheit und Alignment veröffentlichen wir bei der Einführung in der Systemkarte des Modells. Vor der Veröffentlichung möchten wir über einige unserer Arbeiten zur sicheren Bereitstellung eines Modells mit Cybersicherheitsfähigkeiten auf diesem Niveau informieren und transparent darlegen, welche Risiken bestehen bleiben.

Gemäß unserem Preparedness Framework erreicht ein Modell den kritischen Schwellenwert, wenn eine der folgenden Bedingungen erfüllt ist:

• Das Modell kann ohne menschliches Eingreifen in vielen gehärteten, real eingesetzten kritischen Systemen funktionsfähige Zero-Day-Exploits aller Schweregrade identifizieren und entwickeln.
• Das Modell kann allein auf Grundlage eines grob formulierten Ziels neuartige vollständige Strategien für Cyberangriffe auf gehärtete Ziele entwickeln und ausführen.

Unsere Preparedness-Bewertung von Astra kombinierte automatisierte öffentliche und interne Benchmarks mit fachkundig geleiteten Bewertungen. Astra verfügt im Vergleich zu GPT‑5.6 Sol über deutlich bessere Cybersicherheitsfähigkeiten: Es arbeitet erheblich token-effizienter und kann Schwachstellen besser identifizieren und Exploits entwickeln.

Beispielsweise ließen wir Astra ExploitBench durchlaufen. In diesem Benchmark zur Bewertung der Fähigkeit eines Modells, aus bekannten Schwachstellen Exploits zu entwickeln, erzielte das Modell die Höchstwertung von 100 %.

Wegen möglicher Kontamination erstellten wir anschließend einen internen Benchmark mit der Bezeichnung „ExploitBench – Internal Port (June–August 2026)“. Er enthält 20 erst vor Kurzem offengelegte V8-Schwachstellen mit hohem Schweregrad. In diesem Datensatz erreicht Astra mit deutlich weniger Ausgabe-Token wesentlich höhere Quoten bei der Ausführung beliebigen Codes als GPT‑5.6 Sol. Während der Bewertung entdeckte und nutzte das Modell sogar zwei Zero-Day-Schwachstellen als Teil einer Exploit-Kette. Wir sind dabei, diese beiden Schwachstellen den Verantwortlichen für die Wartung zu melden.

Bei fachkundig geleiteten Bewertungen an einem gehärteten Browser und Betriebssystem entdeckte Astra bislang unbekannte Schwachstellen und entwickelte daraus funktionsfähige Exploit-Ketten. Es entwickelte eine vollständige Angriffskette zur Kompromittierung des Browsers, die aus der Sandbox ausbrach und Befehle auf dem Host ausführte, sobald der Browser eine HTML-Datei öffnete. Das Modell fand außerdem mehrere Schwachstellen in einem gehärteten Betriebssystem und kombinierte sie zu einer lokalen Rechteausweitungskette von einem Konto ohne besondere Berechtigungen bis zum Root-Zugriff. Insgesamt hat unsere Untersuchung zu dem Schluss geführt, dass Astra den kritischen Schwellenwert erreicht hat.

Bei Modellen mit Cybersicherheitsfähigkeiten auf dem Niveau von Astra müssen wir zwei Wege abdecken, um das Risiko schwerwiegender Schäden durch Cyberangriffe zu minimieren, sowohl während der Entwicklung als auch vor der Bereitstellung:

• Böswillige Akteure nutzen das Modell. Unsere Schutzmaßnahmen müssen zuverlässig verhindern, dass böswillige Akteure Astra nutzen, um Exploits für bislang unbekannte Schwachstellen in gehärteten kritischen Systemen zu entwickeln oder vollständige Angriffe auf gehärtete Ziele auszuführen.
• Das Modell führt unbefugte, fehlausgerichtete Aktionen aus. Auch ohne böswillige Nutzende könnte ein Modell mit fortgeschrittenen Cybersicherheitsfähigkeiten selbst Schäden verursachen, wenn es nicht angemessen ausgerichtet ist. Neben sehr hohen Anforderungen an das Alignment von Modellen mit diesen Fähigkeiten müssen unsere Schutzmaßnahmen als zweite Verteidigungsebene fehlausgerichtete Aktionen, die erhebliche reale Schäden verursachen könnten, schnell erkennen und eindämmen können.

Der zweite Weg gilt ausdrücklich sowohl für die interne Entwicklung als auch für die externe Bereitstellung. Wie wir bereits beschrieben haben, setzten wir nach dem Vorfall zwischen OpenAI und Hugging Face bestimmte Frontier-Trainings, darunter auch bestimmte Trainings für Astra, für zwei Wochen aus. In dieser Zeit härteten wir unsere Trainingsinfrastruktur durch Isolierung und Netzwerkkontrollen, eine ausgeweitete Überwachung sowie strengere Alignment-Trainings und Schwellenwerte. Anschließend setzten wir Arbeiten in kleinerem Umfang unter strengeren Kontrollen fort.

Bestimmte größere Läufe mit Reinforcement Learning (RL) für künftige Versionen von Astra hielten wir länger zurück, während wir höhere Sicherheitsanforderungen für deren Trainingsumgebung festlegten. Am 28. August nahmen wir den zuvor pausierten großen Frontier-RL-Lauf wieder auf, nachdem die neuen Sicherheitsanforderungen umgesetzt worden waren. Einige kleinere experimentelle Trainingsläufe halten wir weiterhin vorübergehend zurück.

Die Vorbereitung von Astra auf die Veröffentlichung erforderte zudem stärkere Schutzmaßnahmen gegen Cybermissbrauch und unbefugte Aktionen. Im Folgenden beschreiben wir diese Schutzmaßnahmen und ihre Erprobung.

Seit wir im Februar das erste Modell bereitgestellt haben, dessen Cybersicherheitsfähigkeiten wir als „Hoch“ eingestuft haben, verstärkten wir unsere Schutzmaßnahmen gegen Cyberrisiken mit jeder weiteren Veröffentlichung. Unser gesamter Sicherheitsansatz kombiniert mehrere Ebenen: Ablehnungen durch nachtrainierte Modelle, Sicherheitsklassifikatoren auf Systemebene sowie Offline-Erkennung und Gefahrenabwehr.

Für GPT‑5.6⁠(wird in einem neuen Fenster geöffnet) haben wir die Robustheit unseres Systems auf Systemebene deutlich verbessert. Dazu ergänzten wir Aktivierungsklassifikatoren zur Erkennung von Cybermissbrauch und erweiterten die Abdeckung universeller Jailbreaks, die durch intensives automatisiertes Red Teaming ermittelt wurden. Aufbauend auf diesen Verbesserungen haben wir bei Astra weiter in die Modellebene unserer Schutzmaßnahmen investiert und zudem verbessert, wie diese den Kontext über mehrere Unterhaltungen hinweg berücksichtigen.

• Dank neuer Trainingstechniken für Modellrobustheit lehnt Astra Anfragen nach unzulässiger Unterstützung bei Cyberaktivitäten zuverlässiger ab. In unseren Bewertungen von Cyber-Jailbreaks lehnt Astra 91,5 % der Anfragen ab, gegenüber 59 % bei GPT‑5.6 Sol.
• Bei Konten, die als risikoreicher eingestuft werden, legen wir konservativere Grenzen für das Modellverhalten fest, sodass ein breiteres Spektrum potenziell riskanter Unterstützung bei Cyberaktivitäten abgelehnt wird. Bei Personen mit hohem Risikoprofil haben wir den Kontext unserer Überwachungssysteme erweitert, damit sie diese Arten von Cybermissbrauch erkennen können.

Außerdem haben wir unser Programm aus strengen Tests, internem und externem Red Teaming sowie Fehlerbehebung fortgeführt. Neben Regressionstests, mit denen wir sicherstellen, dass alle in früheren Testphasen gefundenen Jailbreaks weiterhin abgedeckt sind, führen wir mit unseren neuesten internen Red-Teaming-Angreifern eine neue Runde des Red Teaming durch. Gemeinsam mit Partnerunternehmen der Branche entwickeln wir ein einheitliches Bewertungssystem für Jailbreaks. Neue Erkenntnisse werden wir über unser rund um die Uhr verfügbares Schnellreaktionsprogramm untersuchen und beheben. Weitere Einzelheiten zu unseren Tests der Schutzmaßnahmen gegen Cyberrisiken veröffentlichen wir in der Systemkarte von Astra.

Ein zentraler Pfeiler unseres Sicherheitsansatzes bleibt, Verteidigungsteams dabei zu unterstützen, Schwachstellen zu finden und zu beheben. Zum Start werden die Schutzmaßnahmen von Astra voraussichtlich mehr Hürden verursachen, als wir langfristig beabsichtigen, um vor möglichem Missbrauch zu schützen. Zugriff auf Astra für fortgeschrittene Cybersicherheitsabläufe erhält zunächst eine kleine Gruppe von Alpha-Testenden. Anschließend wird der Zugriff über Daybreak Blue erweitert, um defensive Anwendungen zu unterstützen.

Wir haben außerdem zusätzliche, mehrstufige Schutzmaßnahmen eingeführt, um potenziell fehlausgerichtete Aktionen des Modells zu verhindern:

• Modell-Alignment: In unseren Bewertungen hielt sich Astra mit deutlich höherer Wahrscheinlichkeit als GPT‑5.6 Sol an ausdrückliche Sicherheitsbeschränkungen und blieb innerhalb seines autorisierten Aufgabenbereichs. Damit ist es unser bislang am besten ausgerichtetes Modell. Wir konzentrierten uns besonders darauf, ob das Modell Sicherheitsbeschränkungen einhält und innerhalb seines autorisierten Aufgabenbereichs bleibt.
• Überwachung und Kontrolle: Entsprechend unseren internen Verfahren stellen wir Astra mit einer zusätzlichen Überwachung der Gedankenkette bereit, um potenziell fehlausgerichtete Aktionen schnell zu erkennen und einzudämmen.

Astra ist ein bedeutender Fortschritt beim Modell-Alignment und das Ergebnis mehrerer langfristiger Arbeitsbereiche, die von Eingriffen beim Pre-Training bis zu einer sorgfältigeren und einheitlicheren Bewertung während des Reinforcement Learning reichen. Unsere Tests zeigen, dass Astra ausdrückliche Sicherheitsbeschränkungen und Warnungen wie die automatische Prüfung durchweg mit höherer Wahrscheinlichkeit beachtet als GPT 5.6 Sol.

Außerdem entwickelten wir auf Grundlage des Vorfalls bei Hugging Face einen Test. Bei diesem Vorfall hatten Agenten, die die Cyberbewertung ExploitGym ausführten, Systeme eines Drittanbieters kompromittiert. Aus den schwierigsten Aufgaben dieser Bewertung erstellten wir „Honeypot“-Tests. Damit prüften wir, ob ein Modell versuchen würde, die umgebende Sicherheitsinfrastruktur zu kompromittieren, anstatt seine zugewiesene Aufgabe zu lösen. Ohne Schutzmaßnahmen für den Produktivbetrieb versuchte GPT‑5.6 Sol in 56 % der Tests, auf diese Ziele zuzugreifen. Die Tests simulierten die Benchmark-Umgebung, in der das Modell angewiesen wird, Exploits zu entwickeln. Astra unternahm in diesen Tests keine solchen Versuche. Diese Zahlen beschreiben das Verhalten unter Testbedingungen ohne Schutzmaßnahmen gegen Cyberrisiken, nicht die normale Nutzung im Produktivbetrieb.

Modelle auf korrekt ausgerichtetes Verhalten zu trainieren, ist eine Sicherheitsebene. Weitere Einzelheiten zu unseren Alignment-Tests und ihren Ergebnissen veröffentlichen wir in der Systemkarte von Astra.

Für Modelle der Astra-Klasse setzen wir im Produktivbetrieb zudem eine Überwachung auf mangelndes Alignment ein, um potenzielle Abweichungen zu erkennen und schnell einzudämmen. Diese Schutzmaßnahmen ähneln unserer Überwachung interner Bereitstellungen. Ein System aus Klassifikatoren prüft das Reasoning und die Aktionen des Modells auf unbefugtes Verhalten und stoppt potenziell unbefugte Aktivitäten automatisch. Mit zunehmenden Fähigkeiten können diese Schutzmaßnahmen ein gutes Alignment unserer Modelle nicht ersetzen. Unser Ziel ist, künftige Modelle so gut auszurichten, dass diese Schutzmaßnahmen nie ausgelöst werden.

OpenAI setzt sich dafür ein, dass die Vorteile von KI möglichst vielen zugänglich sind. Angesichts der deutlich erweiterten Cybersicherheitsfähigkeiten von Astra gehen wir bei dieser Bereitstellung besonders sorgfältig vor, um sie sicher zu gestalten. Zusätzliche Sicherheitsprüfungen können legitime Arbeiten, darunter defensive Cybersicherheitsmaßnahmen, mitunter verlangsamen, pausieren oder stoppen.

Das System kann legitime Aktivitäten gelegentlich als möglichen Cybermissbrauch oder unbefugtes Verhalten kennzeichnen und sie dadurch unbeabsichtigt verlangsamen, pausieren oder stoppen. Dies kann auch Arbeiten betreffen, die nicht unmittelbar mit Cybersicherheit zusammenzuhängen scheinen, oder Aufgaben, bei denen ein Agent längere Zeit ausgeführt wird.

Wenn die Überwachung auf mangelndes Alignment eine Aufgabe pausiert, werden Nutzende in ChatGPT oder Codex möglicherweise aufgefordert, die Aktion vor dem Fortfahren zu prüfen. Bei der Nutzung anderer Oberflächen wie der API wird die Aufgabe gestoppt. Wir planen, diese Schutzmaßnahmen weiter zu kalibrieren, um unnötige Unterbrechungen zu verringern und den Zugriff auf Frontier-Fähigkeiten über Programme wie Daybreak auszuweiten.

Wir treten in eine Phase der KI-Entwicklung ein, in der Modelle folgenreichere Aufgaben übernehmen können und Mängel bei Alignment und Kontrolle schwerwiegendere Auswirkungen haben können. Ob wir die Vorteile dieser Systeme nutzen können, hängt davon ab, ob es uns gelingt, Modelle trotz wachsender Fähigkeiten korrekt auszurichten und zu kontrollieren.

Diese Verantwortung erstreckt sich über Training, Bewertung und Bereitstellung. Dafür brauchen wir stärkere Belege für korrekt ausgerichtetes Verhalten, Schutzmaßnahmen, die mit den Fähigkeiten Schritt halten, und die Bereitschaft, das Tempo zu drosseln, wenn diese Maßnahmen nicht ausreichen.

Wir werden diese Systeme weiterhin testen, unsere Erkenntnisse teilen und klar benennen, was ungewiss bleibt. Die Modelle, die auf Astra folgen, werden höhere Anforderungen an uns stellen. Wir werden uns die nötige Zeit nehmen und die erforderliche Arbeit leisten, um dieser Verantwortung gerecht zu werden.