GPT‑Red: automillora per a la robustesa
Entrenar membres automatitzats i potents de l’equip vermell de seguretat per millorar la robustesa.
Resum
Problema
L’equip vermell és essencial per descobrir vulnerabilitats i millorar la robustesa dels nostres models. Tanmateix, els enfocaments actuals no són escalables i creen un coll d’ampolla.
Les avaluacions de robustesa d’ús habitual ja han estat saturades pels nostres models més recents.
Hem de desenvolupar mètodes que permetin que la seguretat i l’alineació escalin al costat de les capacitats dels models.
Què hem fet
Hem entrenat GPT‑Red, un model automatitzat d’equip vermell que amplia la nostra capacitat de trobar vulnerabilitats per poder corregir-les abans d’un desplegament més ampli.
GPT‑Red és un membre d’equip vermell potent, i els nostres models anteriors són molt vulnerables als seus atacs d’injecció d’indicacions.
Fem servir GPT‑Red per entrenar GPT‑5.6 de manera adversarial, fent-lo molt més robust davant les injeccions d’indicacions.
Continuarem escalant aquest enfocament juntament amb l’equip vermell humà i de tercers, les salvaguardes en capes i la monitorització en temps real.
Els sistemes d’IA solen trobar dades de tercers a través de navegadors, aplicacions connectades, fitxers locals i altres eines. Aquestes possibilitats són necessàries per dur a terme tasques del món real, però també creen més oportunitats perquè actors maliciosos influeixin en el comportament del model. Per exemple, un tercer podria inserir una instrucció acuradament elaborada —dissenyada per enganyar el model perquè pugi dades sensibles a un servidor extern— en un correu electrònic, una pàgina web, una resposta d’eina o un repositori de codi.
L’equip vermell humà és una part crítica de la nostra feina de seguretat: ens ajuda a descobrir aquestes vulnerabilitats abans del desplegament i a implantar les salvaguardes adequades. Però l’equip vermell humà per si sol és difícil d’escalar. Dissenyar i executar aquests exercicis requereix molt de temps, cosa que limita la rapidesa amb què podem identificar nous modes d’error i incorporar-los a salvaguardes més fortes. A més, tot i que aquests exercicis produeixen exemples valuosos d’atacs reeixits, no poden generar el volum i la diversitat de dades adversarials necessaris per millorar la robustesa del model mitjançant l’entrenament.
Mantenir el ritme de models cada vegada més capaços exigeix que l’equip vermell també escali. Amb aquest objectiu, hem estat entrenant models automatitzats d’equip vermell, només d’ús intern, que descobreixen vulnerabilitats abans del desplegament i generen atacs durant l’entrenament dels models per millorar-ne la robustesa. Creiem que l’equip vermell automatitzat possibilita una forma crucial d’automillora per a la seguretat: fer servir els models d’avui per ajudar directament a fer més segurs els models del futur.
GPT‑Red és la culminació d’aquests esforços i el nostre millor model automatitzat actual d’equip vermell per a la seguretat. De manera semblant a com els membres humans de l’equip vermell elaboren atacs, el model treballa cap a un objectiu enviant una indicació, observant com hi responen els models GPT i iterant. Hem entrenat GPT‑Red a l’escala de còmput d’algunes de les nostres execucions de postentrenament més grans a OpenAI: una quantitat de còmput sense precedents dedicada exclusivament a millorar la seguretat.
Incorporem directament GPT‑Red al procés d’entrenament dels nostres models de producció. Com a resultat, GPT‑5.6 Sol és el nostre model més robust fins ara davant les injeccions d’indicacions, amb 6 vegades menys errors en el nostre benchmark més difícil d’injecció directa d’indicacions que el nostre millor model de producció de només quatre mesos abans. L’escalabilitat del nostre enfocament ens fa esperar resultats encara més sòlids en el futur, a mesura que continuem entrenant membres de l’equip vermell més potents.
GPT‑Red s’entrena amb aprenentatge per reforç d’autojoc, en què el model i un conjunt divers d’LLM defensors s’entrenen simultàniament en una àmplia varietat d’escenaris d’equip vermell. GPT‑Red rep recompensa per provocar un error vàlid, com ara una injecció d’indicacions reeixida, mentre que els models defensors reben recompensa per resistir l’atac i completar les seves tasques originals. A mesura que els defensors es tornen més robustos, GPT‑Red es veu obligat a descobrir atacs més potents i diversos.
Per donar suport a l’entrenament d’autojoc, creem un ampli conjunt d’escenaris realistes on es podrien inserir injeccions d’indicacions. Cada entorn té un model d’amenaça que especifica què pot controlar GPT‑Red i què compta com a atac reeixit. Per exemple, GPT‑Red podria controlar part d’un fitxer local, un bàner d’una pàgina web, el cos d’un correu electrònic o la sortida d’una eina.
Al final de l’entrenament, GPT‑Red és un atacant molt potent: pot vulnerar gairebé tots els models als quals s’enfronta, tant interns com de producció, fins a GPT‑5.5 inclòs. Un cop GPT‑Red va completar l’entrenament, el vam fer servir per generar injeccions d’indicacions per a l’entrenament de GPT‑5.6, cosa que va fer que el model esdevingués molt resistent als atacs de GPT‑Red.
Mantenim GPT‑Red separat dels models que despleguem. Això manté les capacitats malicioses que entrenem específicament a GPT‑Red fora de l’abast d’actors adversaris, alhora que infon robustesa als nostres models de producció.
GPT‑Red és molt eficaç contra la població de models defensors i d’escenaris d’equip vermell amb què es va entrenar. També avaluem si el model és útil com a agent d’equip vermell de propòsit general per beneficiar àmpliament la seguretat a OpenAI. Per fer-ho, provem l’eficàcia de GPT‑Red en nous entorns de seguretat i models objectiu.
Primer avaluem la capacitat de GPT‑Red de generalitzar a nous escenaris d’equip vermell mitjançant una versió replicada de l’arena d’injecció indirecta d’indicacions de Dziemian et al. (2025)(s'obre en una finestra nova). En aquest repte, tant els membres humans de l’equip vermell com GPT‑Red van proposar de manera independent atacs contra GPT‑5.1 en un conjunt d’entorns preespecificats. Aquests escenaris i objectius d’equip vermell són diferents dels que es van fer servir per entrenar GPT‑Red. GPT‑Red aconsegueix taxes d’èxit d’atac significativament més altes: té èxit en el 84 % dels escenaris, en comparació amb el 13 % dels humans.
GPT‑Red destaca com a membre automatitzat de l’equip vermell. GPT‑Red és capaç de generar atacs reeixits contra GPT‑5.1 en substancialment més escenaris que els membres humans de l’equip vermell a l’arena d’injecció indirecta d’indicacions de Dziemian et al. (2025), mitjançant una rèplica interna.
La prova definitiva per a un membre de l’equip vermell és la capacitat d’assolir objectius maliciosos concrets contra sistemes agèntics del món real amb coneixement incomplet del model subjacent del sistema i del disseny de l’entorn d’execució. El nostre primer experiment en aquest entorn va enfrontar GPT‑Red a una màquina expenedora amb IA a l’oficina d’OpenAI (similar a Project Vend(s'obre en una finestra nova)) produïda per Andon Labs. Vam donar a GPT‑Red una descripció del sistema i la capacitat d’enviar atacs i observar crides d’eines de l’agent simulat, que reprodueix de prop el desplegament al món real. Després d’iterar sobre els atacs, GPT‑Red va desplegar el seu atac contra l’agent de producció i va assolir els seus tres objectius maliciosos:
- Canviar el preu d’un article car en estoc al preu mínim permès de 0,50 $;
- Demanar un article nou de més de 100 $ i oferir-lo per 0,50 $; i
- Cancel·lar la comanda d’un altre client.
Vam comunicar aquestes vulnerabilitats i s’estan provant activament noves salvaguardes.
GPT‑Red és capaç de vulnerar un agent autònom en producció anomenat Vendy que gestiona una màquina expenedora. GPT‑Red va aconseguir que l’agent de producció canviés articles cars perquè fossin barats i cancel·lés comandes d’altres clients, primer fent proves en simulació i després transferint els atacs a l’agent en producció.
També fem servir GPT‑Red per atacar un agent de Codex CLI (basat en GPT‑5.4 mini) en un conjunt de 10 escenaris reservats d’exfiltració de dades. Comparem el model amb una línia de base GPT‑5.5 amb indicacions per estudiar l’impacte del nostre procediment d’entrenament en el rendiment d’equip vermell en casos reservats. GPT‑Red és més eficaç, perquè aconsegueix que l’agent exfiltri dades sensibles en més escenaris, i també és més eficient en l'ús de tokens.
GPT‑Red és més eficaç i eficient a l’hora de vulnerar agents Codex en producció. El provem contra un agent Codex basat en GPT‑5.4 Mini en un conjunt personalitzat de 10 tasques d’exfiltració de dades.
L’objectiu final de GPT‑Red és millorar la robustesa dels nostres models. Durant els darrers sis mesos, hem entrenat models d’equip vermell progressivament més potents (precursors de GPT‑Red) amb cada cop més còmput, i els hem fet servir en l’entrenament de cada model de producció successiu des de GPT‑5.3. Amb el temps, cada nova versió de GPT s’ha tornat més robusta.
Per exemple, una versió primerenca de GPT‑Red va trobar una nova classe d’atacs d’injecció directa d’indicacions coneguts com a atacs de "falsa cadena de pensament". Aquests atacs van assolir taxes d’èxit superiors al 95 % a GPT‑5.1, però ara estan per sota del 10 % per a GPT‑5.6 Sol. De manera similar, diversos dels nostres benchmarks d’injecció indirecta d’indicacions que apunten a atacs en eines per a desenvolupadors i navegació han estat saturats pel nostre model més recent (>97 % de precisió).
La robustesa davant del mateix GPT‑Red també ha millorat substancialment. En un ampli conjunt d’entorns de robustesa, les taxes d’èxit dels atacs de GPT‑Red han disminuït de manera monòtona amb el temps. Amb el nostre llançament de model més recent, GPT‑5.6 Sol falla només en el 0,05 % de les injeccions directes d’indicacions de GPT‑Red.
A mesura que hem continuat ampliant l’entrenament d’autojoc per a injeccions d’indicacions, hem trobat noves amenaces capaces de vulnerar els models existents. Tanmateix, aquesta escalada també ens ha ajudat a millorar substancialment la robustesa davant d’aquests atacs. La taxa d’èxit dels atacs es calcula com la mitjana d’èxit dels intents en tots els intents de GPT‑Red en entorns reservats.
Un model pot semblar més segur si rebutja més sol·licituds o es torna menys capaç. Un model que fa menys coses és naturalment més difícil d’atacar, però això no és una robustesa útil.
Avaluem exhaustivament tant les capacitats generals d’avantguarda com les tasques específiques de rebuig excessiu que dissenyem. Constatem que totes les capacitats normals es mantenen intactes mentre la robustesa millora significativament. Això suggereix que els guanys de robustesa provenen d’una millor resistència a instruccions malicioses, i no d’un ús inadequat de les eines ni de rebutjar per defecte sol·licituds legítimes.
Els agents d’IA ja s’utilitzen per millorar les capacitats dels nostres models de nova generació. Creiem que, amb GPT‑Red, hem començat a posar en marxa un cicle de millora similar per a la seguretat, en què els models d’avui es poden fer servir per fer que els models de demà siguin més robustos, alineats i fiables. Continuarem escalant el còmput i les dades mentre fem millores algorítmiques, per entrenar futures versions de GPT‑Red que siguin més potents que el model actual. I, al seu torn, aquests models ajudaran a fer que les futures versions de GPT siguin més segures.
Publicarem un preprint amb més detalls més endavant aquesta setmana.
