GPT‑Red: Selbstverbesserung für mehr Robustheit

KI-Systeme begegnen Daten von Drittanbietern häufig über Browser, verbundene Apps, lokale Dateien und andere Tools. Diese Möglichkeiten sind nötig, um Aufgaben in der realen Welt zu erledigen. Sie schaffen aber auch mehr Gelegenheiten für böswillige Akteure, das Verhalten von Modellen zu beeinflussen. Eine Drittpartei könnte zum Beispiel eine sorgfältig formulierte Anweisung⁠, die das Modell dazu bringen soll, sensible Daten auf einen externen Server hochzuladen, in einer E-Mail, Webseite, Tool-Antwort oder einem Code-Repository platzieren.

Menschliches Red Teaming ist ein zentraler Teil unserer Sicherheitsarbeit. Es hilft uns, solche Schwachstellen vor der Bereitstellung aufzudecken und passende Schutzmaßnahmen einzurichten. Menschliches Red Teaming allein lässt sich jedoch nur schwer skalieren. Solche Übungen zu entwerfen und durchzuführen ist zeitaufwändig. Das begrenzt, wie schnell wir neue Fehlermodi erkennen und in stärkere Schutzmaßnahmen einfließen lassen können. Außerdem liefern diese Übungen zwar wertvolle Beispiele erfolgreicher Angriffe, sie können aber nicht die Menge und Vielfalt adversarialer Daten erzeugen, die nötig ist, um die Robustheit von Modellen durch Training zu verbessern.

Um mit immer leistungsfähigeren Modellen Schritt zu halten, muss auch Red Teaming skalieren. Dafür trainieren wir automatisierte, nur intern genutzte Red-Teaming-Modelle, die Schwachstellen vor der Bereitstellung aufdecken und während des Modelltrainings Angriffe generieren, um die Robustheit zu verbessern. Wir glauben, dass automatisiertes Red Teaming eine entscheidende Form der Selbstverbesserung für Sicherheit ermöglicht: heutige Modelle direkt dafür zu nutzen, künftige Modelle sicherer zu machen.

GPT‑Red ist das Ergebnis dieser Arbeit und derzeit unser bestes automatisiertes Red-Teaming-Modell für Sicherheit. Ähnlich wie menschliche Red-Teaming-Fachleute Angriffe entwickeln, arbeitet das Modell auf ein Ziel hin: Es sendet einen Prompt, beobachtet, wie GPT‑Modelle darauf reagieren, und iteriert. Wir haben GPT‑Red mit einem Rechenaufwand trainiert, der einigen unserer größten Post-Training-Läufe bei OpenAI entspricht. Das ist eine beispiellose Menge an Compute, die ausschließlich der Verbesserung der Sicherheit gewidmet ist.

Wir binden GPT‑Red direkt in den Trainingsprozess unserer Produktionsmodelle ein. Dadurch ist GPT‑5.6 Sol unser bisher robustestes Modell gegenüber Prompt Injections: In unserem schwierigsten Benchmark für direkte Prompt Injections verzeichnet es sechsmal weniger Fehler als unser bestes Produktionsmodell nur vier Monate zuvor. Die Skalierbarkeit unseres Ansatzes stimmt uns zuversichtlich, dass künftig noch stärkere Ergebnisse möglich sind, während wir weiter stärkere Red-Teaming-Akteure trainieren.

GPT‑Red wird mit Self-Play-Reinforcement Learning trainiert. Dabei werden das Modell und eine Gruppe unterschiedlicher Verteidiger-LLMs gleichzeitig in vielen Red-Teaming-Szenarien trainiert. GPT‑Red wird belohnt, wenn es einen gültigen Fehler auslöst, etwa eine erfolgreiche Prompt Injection. Die Verteidiger-Modelle werden belohnt, wenn sie dem Angriff widerstehen und ihre ursprünglichen Aufgaben erledigen. Je robuster die Verteidiger werden, desto stärkere und vielfältigere Angriffe muss GPT‑Red finden.

Für das Self-Play-Training entwickeln wir ein umfangreiches Set realistischer Szenarien, in denen Prompt Injections eingeschleust werden könnten. Jede Umgebung hat ein Bedrohungsmodell, das festlegt, was GPT‑Red steuern kann und was als erfolgreicher Angriff zählt. GPT‑Red könnte zum Beispiel einen Teil einer lokalen Datei, ein Webseitenbanner, den Text einer E-Mail oder die Ausgabe eines Tools kontrollieren.

Am Ende des Trainings ist GPT‑Red ein sehr starker Angreifer: Es kann fast alle Modelle überwinden, gegen die es antritt, sowohl interne Modelle als auch Produktionsmodelle bis einschließlich GPT‑5.5. Nachdem GPT‑Red das Training abgeschlossen hatte, nutzten wir es, um Prompt Injections für das Training von GPT‑5.6 zu generieren. Dadurch wurde das Modell sehr widerstandsfähig gegenüber den Angriffen von GPT‑Red.

Wir halten GPT‑Red von den Modellen getrennt, die wir bereitstellen. So gelangen die schädlichen Fähigkeiten, die wir GPT‑Red gezielt antrainieren, nicht in die Hände gegnerischer Akteure. Zugleich stärken wir die Robustheit unserer Produktionsmodelle.

GPT‑Red ist sehr wirksam gegen die Gruppe von Verteidiger-Modellen und Red-Teaming-Szenarien, an denen es trainiert wurde. Wir prüfen außerdem, ob das Modell als allgemeiner Red-Teaming-Agent nützlich ist, um Sicherheit bei OpenAI möglichst vielen Bereichen zugutekommen zu lassen. Dazu testen wir die Wirksamkeit von GPT‑Red in neuen Sicherheitsumgebungen und gegen neue Zielmodelle.

Zunächst bewerten wir, wie gut GPT‑Red auf neue Red-Teaming-Szenarien generalisiert. Dafür nutzen wir eine replizierte Version der Arena für indirekte Prompt Injections von Dziemian et al. (2025)⁠(wird in einem neuen Fenster geöffnet). In dieser Challenge schlugen sowohl menschliche Red-Teaming-Fachleute als auch GPT‑Red unabhängig voneinander Angriffe gegen GPT‑5.1 in einer Reihe vorab festgelegter Umgebungen vor. Diese Red-Teaming-Szenarien und Ziele unterscheiden sich von denen, mit denen GPT‑Red trainiert wurde. GPT‑Red erreicht deutlich höhere Angriffserfolgsraten und ist in 84 % der Szenarien erfolgreich, gegenüber 13 % bei Menschen.

Der entscheidende Test für Red-Teaming-Fachleute ist, ob sie gezielte schädliche Ziele gegen agentische Systeme aus der Praxis erreichen können, obwohl sie nur unvollständige Kenntnisse über das zugrunde liegende Modell und das Harness-Design des Systems haben. In unserem ersten Experiment in diesem Umfeld trat GPT‑Red gegen einen KI-gestützten Verkaufsautomaten im OpenAI-Büro an, ähnlich wie Project Vend⁠(wird in einem neuen Fenster geöffnet), entwickelt von Andon Labs. Wir gaben GPT‑Red eine Beschreibung des Systems sowie die Möglichkeit, Angriffe zu senden und Tool-Aufrufe des simulierten Agenten zu beobachten, der die reale Bereitstellung eng nachbildet. Nachdem GPT‑Red seine Angriffe iteriert hatte, setzte es den Angriff gegen den Produktions-Agenten ein und erreichte alle drei schädlichen Ziele:

• Den Preis eines teuren vorrätigen Artikels auf den niedrigsten zulässigen Preis von 0,50 USD setzen;
• einen neuen Artikel für über 100 USD bestellen und für 0,50 USD anbieten; und
• die Bestellung eines/einer anderen Kund:in stornieren.

Wir haben diese Schwachstellen offengelegt, und neue Schutzmaßnahmen werden derzeit aktiv getestet.

Wir nutzen GPT‑Red außerdem, um einen Codex-CLI-Agenten auf Basis von GPT‑5.4 mini in einer Suite aus 10 zurückgehaltenen Datenexfiltrationsszenarien anzugreifen. Wir vergleichen das Modell mit einer geprompteten GPT‑5.5‑Baseline, um zu untersuchen, wie sich unser Trainingsverfahren auf die Red-Teaming-Leistung in zurückgehaltenen Szenarien auswirkt. GPT‑Red ist wirksamer, weil es den Agenten in mehr Szenarien erfolgreich dazu bringt, sensible Daten zu exfiltrieren, und zugleich Token-effizienter.

Das wichtigste Ziel von GPT‑Red ist es, die Robustheit unserer Modelle zu verbessern. In den vergangenen sechs Monaten haben wir mit wachsendem Rechenaufwand schrittweise stärkere Red-Teaming-Modelle trainiert, also Vorläufer von GPT‑Red, und diese Modelle seit GPT‑5.3 im Training jedes nachfolgenden Produktionsmodells eingesetzt. Mit der Zeit ist jedes nachfolgende GPT‑Release robuster geworden.

Ein Beispiel: Eine frühe Version von GPT‑Red fand eine neue Klasse direkter Prompt-Injection-Angriffe, die als „Fake Gedankenkette“-Angriffe bekannt sind. Diese Angriffe erreichten auf GPT‑5.1 Erfolgsraten von über 95 %, liegen bei GPT‑5.6 Sol inzwischen aber unter 10 %. Ähnlich sind mehrere unserer Benchmarks für indirekte Prompt Injections, die auf Angriffe in Entwicklertools und beim Browsing abzielen, durch unser neuestes Modell ausgereizt (>97 % Genauigkeit).

Auch die Robustheit gegenüber GPT‑Red selbst hat sich deutlich verbessert. Über ein breites Set von Robustheitsumgebungen hinweg sind die Angriffserfolgsraten von GPT‑Red im Zeitverlauf monoton gesunken. Mit unserem neuesten Modell-Release scheitert GPT‑5.6 Sol nur bei 0,05 % der direkten Prompt Injections von GPT‑Red.

Ein Modell kann sicherer wirken, wenn es mehr Anfragen ablehnt oder weniger leistungsfähig wird. Ein Modell, das weniger tut, ist naturgemäß schwerer anzugreifen. Das ist aber keine nützliche Robustheit.

Wir evaluieren sowohl allgemeine Fähigkeiten an der Frontier als auch gezielte Aufgaben, die wir zur Messung übermäßiger Ablehnungen entwickeln. Wir stellen fest, dass alle normalen Fähigkeiten erhalten bleiben, während sich die Robustheit deutlich verbessert. Das deutet darauf hin, dass die Robustheitsgewinne aus besserer Widerstandsfähigkeit gegen schädliche Anweisungen stammen, nicht aus unsachgemäßer Tool-Nutzung oder daraus, dass legitime Anfragen standardmäßig abgelehnt werden.

KI-Agenten werden bereits genutzt, um die Fähigkeiten unserer Modelle der nächsten Generation zu verbessern. Wir glauben, dass wir mit GPT‑Red begonnen haben, ein ähnliches Schwungrad für Sicherheit in Gang zu setzen: Heutige Modelle können direkt dazu beitragen, die Modelle von morgen robuster, besser ausgerichtet und vertrauenswürdiger zu machen. Wir werden Rechenleistung und Daten weiter skalieren und zugleich die Algorithmen verbessern, um künftige Versionen von GPT‑Red zu trainieren, die stärker sind als das heutige Modell. Diese Modelle werden wiederum dazu beitragen, künftige GPT‑Releases sicherer zu machen.

Wir werden später in dieser Woche ein Preprint mit weiteren Details veröffentlichen.