Sicherheitsüberblick: GPT‑6 Astra

Heute veröffentlichen wir GPT‑6 Astra, das leistungsfähigste Modell, das wir je breit eingesetzt haben. Astra ist unser erstes Modell, das nach unserem Preparedness Framework bei den Cybersicherheitsfähigkeiten die Stufe „Kritisch“ erreicht.

Das Wichtigste zur Sicherheit dieser Veröffentlichung:

1. GPT‑6 Astra ist bei den Cyberfähigkeiten ein bedeutender Fortschritt und erreicht unseren Schwellenwert für die Stufe „Kritisch“. Das bedeutet: Mit den richtigen Werkzeugen und Zugriffsrechten kann GPT‑6 Astra bisher unbekannte Sicherheitslücken finden und neue Methoden entwickeln, um sie in vielen gut geschützten Systemen auszunutzen, ohne dass ein Mensch jeden Schritt anleitet. Daher haben wir unsere Schutzmaßnahmen gegen schädliche Cyberaktionen des Modells deutlich verstärkt, unabhängig davon, ob sie durch Missbrauch oder Misalignment entstehen. Zudem haben wir Maßnahmen ergriffen, um die interne Entwicklung und Bereitstellung von Astra und ähnlichen Modellen abzusichern. Dazu gehören eine strengere Isolation, die Verschlüsselung von Checkpoints, die lückenlose Überwachung vollständiger Abläufe einschließlich der Gedankenkette (Chain of Thought, CoT) sowie ein Alignment-Prüfverfahren mit etwaiger Sperrung vor der internen Nutzung.
2. GPT‑6 Astra ist deutlich robuster als seine Vorgänger. Durch neue Sicherheitstrainings zur Robustheit ist GPT‑6 Astra deutlich widerstandsfähiger gegen Jailbreaks als GPT‑5.6 Sol, auch bei längeren Abläufen. Das zeigen Offline-Tests sowie unser Programm zur gründlichen internen und externen Prüfung auf Jailbreaks und zu deren Vermeidung. Für Personen, die als potenziell besonders risikoreich eingestuft werden, haben wir das Modell zusätzlich darauf trainiert, seine Ablehnungsgrenze konservativer festzulegen und ein breiteres Spektrum von Dual-Use-Risiken abzudecken. Mit Regressionstests stellen wir sicher, dass Astra gegen Jailbreaks robust bleibt, die in früheren Testphasen gefunden wurden. Außerdem führten wir mit unseren neuesten internen Red-Teaming-Angreifern weitere automatisierte Red-Teaming-Runden durch, um unsere Verbesserungen zu überprüfen.
3. GPT‑6 Astra ist besser ausgerichtet als GPT‑5.6 Sol. Astra stellt beim Modell-Alignment einen bedeutenden Fortschritt dar. Die Verbesserungen reichen von der Zusammensetzung unserer Pre-Training-Daten bis zu unserer Bewertung beim Reinforcement Learning. Wir stellen eine neue Reihe von Alignment-Evaluierungen⁠(wird in einem neuen Fenster geöffnet) vor. Sie zeigen, dass GPT‑6 Astra Sicherheitsgrenzen zuverlässiger einhält und innerhalb seines autorisierten Aufgabenbereichs bleibt. In einer Simulation mit mehr als 54.000 internen Codex-Aufgaben⁠(wird in einem neuen Fenster geöffnet) erhielt Astra zudem nur etwa halb so viele Kennzeichnungen für schwerwiegenderes Misalignment-Verhalten wie Sol.
4. Wir führen die Überwachung auf Misalignment breit ein. Wir betrachten das Modell-Alignment als wichtigsten Ansatz, um potenzielles Misalignment-Verhalten unserer Modelle zu verhindern. Die Überwachung bietet jedoch einen umfassenden Einblick in das Verhalten von Frontier-Modellen und zeigt Möglichkeiten auf, Alignment und Sicherheit weiter zu verbessern. Zudem dient die Überwachung als zusätzliche Schutzebene gegen erkanntes Misalignment-Verhalten. Aus diesen Gründen haben wir auch sämtliche Inferenzvorgänge mit Toolnutzung bei der externen Bereitstellung von Astra um eine Überwachung auf Misalignment ergänzt. Dies verursacht erhebliche Rechenkosten. Dieses System entspricht unserem internen Aufbau.
5. GPT‑6 Astra lässt sich weniger gut überwachen als GPT‑5.6 Sol. Wir haben die Überwachbarkeit⁠(wird in einem neuen Fenster geöffnet) und Steuerbarkeit⁠(wird in einem neuen Fenster geöffnet) von GPT‑6 Astra umfassend untersucht. Dabei haben wir festgestellt, dass GPT‑6 Astra seine eigene CoT besser steuern kann als GPT‑5.6 Sol und seltener belastende Informationen in seine CoT aufnimmt. In adversarialen Szenarien, in denen wir das Modell dazu bringen, unsere Überwachung zu umgehen, kann das Modell bei strategischer Minderleistung in Evaluierungen (Sandbagging) unentdeckt bleiben. Bei Aufforderungen zu bestimmten Sabotageaufgaben⁠(wird in einem neuen Fenster geöffnet) kann es mitunter auch unsere internen Überwachungssysteme umgehen. Wir haben keine Hinweise auf steganografisches CoT-Reasoning gefunden, etwa auf das Verbergen geheimer Schlussfolgerungen in gewöhnlichem und scheinbar unzusammenhängendem Text. Das deutet darauf hin, dass sich das Umgehungsrisiko weitgehend auf Aufgaben mit geringerem Reasoning-Niveau beschränken könnte.
   • Diese Ergebnisse deuten darauf hin, dass Modelle der Astra-Klasse unsere CoT-Überwachung unter adversarialen Bedingungen umgehen könnten. Derzeit beruhen diese Erkenntnisse überwiegend auf adversarialen Evaluierungen, bei denen wir das Modell anweisen, die Überwachung zu umgehen. Insgesamt zeigen unsere Alignment-Evaluierungen jedoch, dass Astra Sicherheitsbeschränkungen seltener verletzt als GPT‑5.6 Sol.
   • Wir nehmen diese Entwicklung dennoch ernst und untersuchen die Ergebnisse und ihre Folgen für die Überwachbarkeit weiter, während unsere Modelle leistungsfähiger werden. OpenAI hat daran gearbeitet, die Überwachung der Gedankenkette zu erhalten und zu nutzen. Die Überwachbarkeit der CoT zu bewahren, ist ein Kernziel des Forschungsprogramms. Diese Ergebnisse unterstreichen jedoch auch, wie wichtig es ist, Verfahren zur Prüfung des Alignments zu entwickeln, die über die Untersuchung der Gedankenkette des Modells hinausgehen.
6. GPT‑6 Astra agiert beim Browsen und in Arbeitsumgebungen verantwortungsvoller: GPT‑6 Astra ist deutlich robuster gegen Prompt Injections als GPT‑5.6 Sol. Wir haben das Verhalten des Modells außerdem in realistischen Browser- und professionellen Computerumgebungen getestet. Im Vergleich zu GPT‑5.6 Sol führt es deutlich seltener fehlgeleitete und potenziell schädliche Aktionen aus, etwa nicht autorisierte Transaktionen, Datenverluste, übermäßige Zugriffe oder die Umgehung von Kontrollen. Auch beim Umgang mit schädlichen Anliegen in agentischen Szenarien agiert es sicherer, etwa bei Aufforderungen, bei der Planung gewaltsamer Angriffe oder bei Betrug zu helfen.
7. GPT‑6 Astra ist in Szenarien mit höherem Risiko deutlich sicherer. GPT‑6 Astra reagiert auf schwierige Anfragen aus dem Produktivbetrieb und aus adversarialem Red Teaming durch Menschen sicherer als GPT‑5.6 Sol. Astra erzielt eine Pareto-Verbesserung: Das Modell bearbeitet unsichere Anfragen sicherer und lehnt harmlose Anfragen seltener unnötig ab. Diese Verbesserungen gelten auch für besonders schwerwiegende Szenarien, in denen das Schadensrisiko aus dem weiteren Kontext statt aus einer ausdrücklichen Aufforderung entsteht. Bei Personen unter 18 Jahren wendet Astra außerdem altersgerechte Sicherheitsgrenzen konsequenter an.

Weitere Informationen enthält die vollständige Systemkarte⁠(wird in einem neuen Fenster geöffnet).