GPT‑Red: Frigør selvforbedring for robusthed

AI-systemer støder ofte på tredjepartsdata gennem browsere, tilknyttede apps, lokale filer og andre værktøjer. Disse muligheder er nødvendige for at udføre opgaver i den virkelige verden, men de skaber også flere muligheder for, at skadelige aktører kan påvirke modellers adfærd. En tredjepart kan f.eks. indlejre en omhyggeligt udformet instruktion⁠—designet til at narre modellen til at uploade følsomme data til en ekstern server — i en mail, webside, værktøjsrespons eller et kodelager.

Menneskelig red-teaming er en afgørende del af vores sikkerhedsarbejde og hjælper os med at afdække disse sårbarheder før udrulning og få de rette sikkerhedsforanstaltninger på plads. Men menneskelig red-teaming alene er vanskelig at skalere. Det er tidskrævende at designe og gennemføre disse øvelser, hvilket begrænser, hvor hurtigt vi kan identificere nye fejltilstande og indarbejde dem i stærkere sikkerhedsforanstaltninger. Selvom disse øvelser giver værdifulde eksempler på vellykkede angreb, kan de desuden ikke generere den mængde og variation af adversarial data, der skal til for at forbedre modelrobusthed gennem træning.

At holde trit med stadig mere kapable modeller kræver, at red-teaming også skalerer. Med det mål har vi trænet automatiserede red-teaming-modeller kun til intern brug, som afdækker sårbarheder før udrulning og genererer angreb under modeltræning for at forbedre robustheden. Vi mener, at automatiseret red-teaming frigør en afgørende form for selvforbedring af sikkerhed: at bruge nutidens modeller til direkte at hjælpe med at gøre fremtidige modeller sikrere.

GPT‑Red er kulminationen på disse indsatser og vores aktuelt bedste automatiserede model til sikkerheds-red-teaming. På samme måde som menneskelige red-teamere udformer angreb, arbejder modellen mod et mål ved at sende et prompt, observere hvordan GPT‑modeller reagerer på det og iterere. Vi trænede GPT‑Red med en compute-skala på niveau med nogle af vores største post-training-kørsler hos OpenAI — en hidtil uset mængde compute dedikeret udelukkende til at forbedre sikkerheden.

Vi indarbejder GPT‑Red direkte i træningsprocessen for vores produktionsmodeller. Som resultat er GPT‑5.6 Sol vores hidtil mest robuste model over for prompt injections med 6 gange færre fejl på vores sværeste benchmark for direkte prompt injection sammenlignet med vores bedste produktionsmodel fra blot fire måneder tidligere. Skalerbarheden i vores tilgang gør os begejstrede for endnu stærkere resultater i fremtiden, efterhånden som vi fortsætter med at træne stærkere red-teamere.

GPT‑Red trænes med self-play og forstærkende læring, hvor modellen og en samling forskellige forsvarende LLM'er trænes samtidigt på et bredt sæt red-teaming-scenarier. GPT‑Red belønnes for at fremkalde en gyldig fejl, f.eks. en vellykket prompt injection, mens de forsvarende modeller belønnes for at modstå angrebet og fuldføre deres oprindelige opgaver. Efterhånden som forsvarerne bliver mere robuste, tvinges GPT‑Red til at finde stærkere og mere varierede angreb.

For at understøtte self-play-træning opbygger vi et omfattende sæt realistiske scenarier, hvor prompt injections kan indsættes. Hvert miljø har en trusselsmodel, der angiver, hvad GPT‑Red kan kontrollere, og hvad der tæller som et vellykket angreb. GPT‑Red kan f.eks. kontrollere en del af en lokal fil, et banner på en webside, brødteksten i en mail eller outputtet fra et værktøj.

Ved afslutningen af træningen er GPT‑Red en meget stærk angriber: Den kan bryde næsten alle de modeller, den sættes op imod, både interne modeller og produktionsmodeller til og med GPT‑5.5. Efter GPT‑Red havde afsluttet træningen, brugte vi den til at generere prompt injections til træningen af GPT‑5.6, hvilket gjorde modellen meget modstandsdygtig over for GPT‑Reds angreb.

Vi holder GPT‑Red adskilt fra de modeller, vi udruller. Det holder de skadelige evner, vi specifikt træner ind i GPT‑Red, ude af hænderne på fjendtlige aktører, samtidig med at vi indbygger robusthed i vores produktionsmodeller.

GPT‑Red er meget effektiv mod den gruppe af forsvarende modeller og red-teaming-scenarier, den blev trænet på. Vi evaluerer også, om modellen er nyttig som en generel red-teaming-agent, der kan gavne sikkerheden bredt hos OpenAI. For at gøre det tester vi GPT‑Reds effektivitet i nye sikkerhedsmiljøer og på nye målmodeller.

Først evaluerer vi GPT‑Reds evne til at generalisere til nye red-teaming-scenarier med en replikeret version af arenaen for indirekte prompt injection fra Dziemian et al. (2025)⁠(åbner i et nyt vindue). I denne udfordring foreslog både menneskelige red-teamere og GPT‑Red uafhængigt angreb mod GPT‑5.1 i et sæt på forhånd specificerede miljøer. Disse red-teaming-scenarier og mål adskiller sig fra dem, der blev brugt til at træne GPT‑Red. GPT‑Red opnår markant højere angrebssuccesrater og lykkes i 84 % af scenarierne mod 13 % for mennesker.

Den ultimative test af en red-teamer er evnen til at nå målrettede skadelige mål mod agentiske systemer i den virkelige verden med ufuldstændig viden om systemets underliggende model og harness-design. Vores første eksperiment i denne setting satte GPT‑Red op mod en AI-drevet vareautomat på OpenAI-kontoret (svarende til Project Vend⁠(åbner i et nyt vindue)) udviklet af Andon Labs. Vi gav GPT‑Red en beskrivelse af systemet og mulighed for at sende angreb og observere værktøjskald fra den simulerede agent, som ligger tæt op ad den virkelige udrulning. Efter at have itereret på angreb udrullede GPT‑Red sit angreb mod produktionsagenten og opnåede alle tre skadelige mål:

• Ændre prisen på en dyr vare på lager til den lavest tilladte pris på 0,50 USD;
• Bestille en ny vare til over 100 USD og udbyde den for 0,50 USD; og
• Annullere en anden kundes ordre.

Vi har videregivet oplysninger om disse sårbarheder, og nye sikkerhedsforanstaltninger testes aktivt.

Vi bruger også GPT‑Red til at angribe en Codex CLI-agent (baseret på GPT‑5.4 mini) i et sæt på 10 tilbageholdte dataeksfiltreringsscenarier. Vi sammenligner modellen med en promptet GPT‑5.5‑baseline for at undersøge effekten af vores træningsprocedure på tilbageholdt red-teaming-ydeevne. GPT‑Red er både mere effektiv, fordi den kan få agenten til at eksfiltrere følsomme data i flere scenarier, og mere token-effektiv.

Det ultimative mål med GPT‑Red er at forbedre vores modellers robusthed. I løbet af de sidste seks måneder har vi trænet gradvist stærkere red-teaming-modeller (forløbere for GPT‑Red) med stigende compute og brugt disse modeller i træningen af hver efterfølgende produktionsmodel siden GPT‑5.3. Over tid er hver efterfølgende GPT‑udgivelse blevet mere robust.

Som ét eksempel fandt en tidlig version af GPT‑Red en ny klasse af direkte prompt injection-angreb kendt som “falsk tankerække”-angreb. Disse angreb opnåede succesrater på over 95 % på GPT‑5.1, men ligger nu under 10 % for GPT‑5.6 Sol. Tilsvarende er flere af vores benchmarks for indirekte prompt injection, der målretter angreb i udviklerværktøjer og browsing, blevet mættet af vores nyeste model (>97 % nøjagtighed).

Robustheden over for GPT‑Red selv er også forbedret betydeligt. På tværs af et bredt sæt robusthedsmiljøer er GPT‑Reds angrebssuccesrater faldet monotont over tid. Med vores nyeste modeludgivelse fejler GPT‑5.6 Sol kun på 0,05 % af GPT‑Reds direkte prompt injections.

En model kan fremstå mere sikker ved at afvise flere anmodninger eller blive mindre kapabel. En model, der gør mindre, er naturligt sværere at angribe, men det er ikke nyttig robusthed.

Vi evaluerer grundigt både generelle banebrydende kapabiliteter og målrettede opgaver om overdreven afvisning, som vi selv designer. Vi ser, at alle normale kapabiliteter forbliver upåvirkede, samtidig med at robustheden forbedres markant. Det tyder på, at robusthedsgevinsterne kom fra bedre modstand mod skadelige instruktioner snarere end forkert værktøjsbrug eller standardafvisning af legitime anmodninger.

AI-agenter bruges allerede til at forbedre kapabiliteterne i vores næste generation af modeller. Vi mener, at vi med GPT‑Red er begyndt at frigøre et lignende svinghjul for sikkerhed, hvor nutidens modeller kan bruges til at gøre morgendagens modeller mere robuste, alignede og troværdige. Vi vil fortsætte med at skalere compute og data, samtidig med at vi laver algoritmiske forbedringer, for at træne fremtidige versioner af GPT‑Red, der er stærkere end dagens model. Og disse modeller vil til gengæld gøre fremtidige GPT‑udgivelser sikrere.

Vi udgiver et preprint med flere detaljer senere på ugen.