GPT‑Red: zelfverbetering voor robuustheid ontsluiten

AI-systemen komen vaak data van derden tegen via browsers, gekoppelde apps, lokale bestanden en andere tools. Deze mogelijkheden zijn nodig om taken in de echte wereld uit te voeren, maar ze creëren ook meer kansen voor kwaadwillende actoren om modelgedrag te beïnvloeden. Zo kan een derde partij een zorgvuldig geformuleerde instructie⁠—ontworpen om het model ertoe te verleiden gevoelige data naar een externe server te uploaden—insluiten in een e-mail, webpagina, toolrespons of code-repository.

Menselijke red teaming is een cruciaal onderdeel van ons veiligheidswerk: het helpt ons deze kwetsbaarheden vóór implementatie bloot te leggen en de juiste waarborgen in te bouwen. Maar menselijke red teaming alleen is moeilijk op te schalen. Het ontwerpen en uitvoeren van deze oefeningen kost veel tijd, waardoor we nieuwe faalmodi minder snel kunnen identificeren en verwerken in sterkere waarborgen. Bovendien leveren deze oefeningen wel waardevolle voorbeelden van succesvolle aanvallen op, maar kunnen ze niet het volume en de diversiteit aan adversariële data genereren die nodig zijn om de robuustheid van modellen via training te verbeteren.

Om gelijke tred te houden met steeds capabelere modellen, moet ook red teaming opschalen. Daarom trainen we geautomatiseerde red-teaming-modellen voor intern gebruik, die vóór implementatie kwetsbaarheden blootleggen en tijdens modeltraining aanvallen genereren om de robuustheid te verbeteren. We geloven dat geautomatiseerde red teaming een cruciale vorm van zelfverbetering voor veiligheid mogelijk maakt: de modellen van vandaag gebruiken om toekomstige modellen direct veiliger te maken.

GPT‑Red is het resultaat van deze inspanningen en ons huidige beste geautomatiseerde red-teaming-model voor veiligheid. Net zoals menselijke red teamers aanvallen construeren, werkt het model naar een doel toe door een prompt te sturen, te observeren hoe GPT‑modellen daarop reageren en vervolgens te itereren. We hebben GPT‑Red getraind op een rekenschaal die vergelijkbaar is met enkele van onze grootste post-training-runs bij OpenAI—een ongekende hoeveelheid rekenkracht die uitsluitend is ingezet om veiligheid te verbeteren.

We nemen GPT‑Red rechtstreeks op in het trainingsproces van onze productiemodellen. Daardoor is GPT‑5.6 Sol ons meest robuuste model tot nu toe tegen prompt-injecties, met 6x minder fouten op onze moeilijkste benchmark voor directe prompt-injecties dan ons beste productiemodel van slechts vier maanden eerder. De schaalbaarheid van onze aanpak maakt ons enthousiast over nog sterkere resultaten in de toekomst, terwijl we steeds sterkere red teamers blijven trainen.

GPT‑Red wordt getraind met self-play-reinforcement learning, waarbij het model en een diverse verzameling verdedigende LLM's tegelijk worden getraind op een brede set red-teaming-scenario's. GPT‑Red wordt beloond voor het uitlokken van een geldige faalmodus, zoals een succesvolle prompt-injectie, terwijl de verdedigende modellen worden beloond voor het weerstaan van de aanval en het voltooien van hun oorspronkelijke taken. Naarmate de verdedigers robuuster worden, wordt GPT‑Red gedwongen sterkere en meer uiteenlopende aanvallen te ontdekken.

Ter ondersteuning van self-play-training bouwen we een uitgebreide set realistische scenario's waarin prompt-injecties zouden kunnen worden geplaatst. Elke omgeving heeft een dreigingsmodel dat specificeert waarover GPT‑Red controle heeft en wat geldt als een succesvolle aanval. GPT‑Red kan bijvoorbeeld een deel van een lokaal bestand, een banner op een webpagina, de inhoud van een e-mail of de uitvoer van een tool beheren.

Aan het einde van de training is GPT‑Red een zeer sterke aanvaller: het kan vrijwel alle modellen breken waartegen het wordt ingezet, zowel interne als productiemodellen tot en met GPT‑5.5. Nadat GPT‑Red de training had voltooid, gebruikten we het om prompt-injecties te genereren voor de training van GPT‑5.6, waardoor het model zeer bestand werd tegen de aanvallen van GPT‑Red.

We houden GPT‑Red gescheiden van de modellen die we implementeren. Zo blijven de kwaadaardige vaardigheden die we specifiek in GPT‑Red trainen buiten bereik van kwaadwillende actoren, terwijl we robuustheid in onze productiemodellen inbouwen.

GPT‑Red is zeer effectief tegen de populatie verdedigende modellen en red-teaming-scenario's waarop het is getraind. We evalueren ook of het model nuttig is als algemene red-teaming-agent om de veiligheid bij OpenAI breed te versterken. Daarvoor testen we de effectiviteit van GPT‑Red in nieuwe veiligheidsomgevingen en tegen doelmodellen.

Eerst evalueren we het vermogen van GPT‑Red om te generaliseren naar nieuwe red-teaming-scenario's met een gerepliceerde versie van de arena voor indirecte prompt-injecties van Dziemian et al. (2025)⁠(opent in een nieuw venster). In deze uitdaging stelden zowel menselijke red teamers als GPT‑Red onafhankelijk aanvallen voor tegen GPT‑5.1 in een set vooraf gespecificeerde omgevingen. Deze red-teaming-scenario's en doelen verschillen van de scenario's en doelen die zijn gebruikt om GPT‑Red te trainen. GPT‑Red behaalt aanzienlijk hogere aanvalssuccespercentages en is succesvol in 84% van de scenario's, tegenover 13% voor mensen.

De ultieme test voor een red teamer is het vermogen om gerichte kwaadaardige doelen te bereiken tegen agentische systemen in de echte wereld, met onvolledige kennis van het onderliggende model en het harnessontwerp van het systeem. Ons eerste experiment in deze setting zette GPT‑Red tegenover een AI-aangedreven verkoopautomaat in het OpenAI-kantoor, geproduceerd door Andon Labs en vergelijkbaar met Project Vend⁠(opent in een nieuw venster). We gaven GPT‑Red een beschrijving van het systeem en de mogelijkheid om aanvallen te sturen en toolaanroepen te observeren van de gesimuleerde agent, die de implementatie in de echte wereld nauw benadert. Na iteraties op de aanvallen zette GPT‑Red zijn aanval in tegen de productie-agent en bereikte het alle drie zijn kwaadaardige doelen:

• De prijs van een duur artikel dat op voorraad is verlagen naar de minimaal toegestane prijs van $0,50;
• Een nieuw artikel van meer dan $100 bestellen en het aanbieden voor $0,50; en
• De bestelling van een andere klant annuleren.

We hebben deze kwetsbaarheden gemeld en nieuwe waarborgen worden actief getest.

We gebruiken GPT‑Red ook om een Codex CLI-agent (gebaseerd op GPT‑5.4 mini) aan te vallen op een suite van 10 achtergehouden scenario's voor data-exfiltratie. We vergelijken het model met een geprompte GPT‑5.5‑baseline om de impact van onze trainingsprocedure op achtergehouden red-teaming-prestaties te bestuderen. GPT‑Red is effectiever, omdat het de agent in meer scenario's met succes gevoelige data kan laten exfiltreren, en is bovendien efficiënter met tokens.

Het uiteindelijke doel van GPT‑Red is het verbeteren van de robuustheid van onze modellen. De afgelopen zes maanden hebben we met steeds meer rekenkracht geleidelijk sterkere red-teaming-modellen getraind, voorlopers van GPT‑Red, en deze modellen gebruikt bij de training van elk opeenvolgend productiemodel sinds GPT‑5.3. In de loop van de tijd is elke volgende GPT‑release robuuster geworden.

Zo vond een vroege versie van GPT‑Red een nieuwe klasse directe prompt-injectieaanvallen, bekend als “Fake Chain-of-Thought”-aanvallen. Deze aanvallen behaalden succespercentages van meer dan 95% op GPT‑5.1, maar liggen nu onder de 10% voor GPT‑5.6 Sol. Ook zijn verschillende van onze benchmarks voor indirecte prompt-injecties, gericht op aanvallen in ontwikkelaarstools en browsen, verzadigd door ons nieuwste model (>97% nauwkeurigheid).

Ook de robuustheid tegen GPT‑Red zelf is aanzienlijk verbeterd. In een brede set robuustheidsomgevingen zijn de aanvalssuccespercentages van GPT‑Red in de loop van de tijd monotoon gedaald. Met onze nieuwste modelrelease faalt GPT‑5.6 Sol op slechts 0,05% van de directe prompt-injecties van GPT‑Red.

Een model kan veiliger lijken door meer verzoeken te weigeren of minder capabel te worden. Een model dat minder doet, is van nature moeilijker aan te vallen, maar dat is geen nuttige robuustheid.

We evalueren grondig zowel algemene grensverleggende capaciteiten als gerichte taken rond overmatig weigeren die we zelf ontwerpen. We zien dat alle normale capaciteiten onaangetast blijven terwijl de robuustheid aanzienlijk verbetert. Dit suggereert dat de robuustheidswinst voortkwam uit betere weerstand tegen kwaadaardige instructies, niet uit onjuist toolgebruik of het standaard weigeren van legitieme verzoeken.

AI-agents worden al gebruikt om de capaciteiten van onze modellen van de volgende generatie te verbeteren. We geloven dat we met GPT‑Red een vergelijkbaar vliegwiel voor veiligheid in gang hebben gezet, waarbij de modellen van vandaag kunnen worden gebruikt om de modellen van morgen robuuster, beter aligned en betrouwbaarder te maken. We blijven rekenkracht en data opschalen en algoritmische verbeteringen doorvoeren, om toekomstige versies van GPT‑Red te trainen die sterker zijn dan het model van vandaag. En op hun beurt zullen deze modellen toekomstige GPT‑releases veiliger maken.

Later deze week brengen we een preprint uit met meer details.