Rezumat
Problemă
Red teamingul este esențial pentru descoperirea vulnerabilităților și îmbunătățirea robusteții modelelor noastre. Totuși, abordările actuale nu sunt scalabile, ceea ce creează un blocaj.
Evaluările de robustețe folosite frecvent au fost deja saturate de cele mai recente modele ale noastre.
Trebuie să dezvoltăm metode care permit siguranței și alinierii să scaleze odată cu capacitățile modelelor.
Ce am făcut
Am antrenat GPT‑Red, un model automatizat de red teaming care ne extinde capacitatea de a găsi vulnerabilități, astfel încât să le putem remedia înainte de o implementare mai largă.
GPT‑Red este un specialist puternic în red teaming, iar modelele noastre anterioare sunt foarte vulnerabile la atacurile sale de injectare solicitare.
Folosim GPT‑Red pentru a antrena adversarial GPT‑5.6, făcându-l mult mai robust la injectări solicitare.
Vom continua să extindem această abordare alături de red teaming uman și realizat de terți, garanții pe mai multe niveluri și monitorizare în timp real.
Sistemele AI întâlnesc frecvent date de la terți prin browsere, aplicații conectate, fișiere locale și alte instrumente. Aceste capabilități sunt necesare pentru îndeplinirea sarcinilor din lumea reală, dar creează și mai multe oportunități pentru actorii malițioși de a influența comportamentul modelului. De exemplu, un terț ar putea încorpora o instrucțiune atent concepută — menită să păcălească modelul să încarce date sensibile pe un server extern — într-un e-mail, o pagină web, un răspuns de instrument sau un depozit de cod.
Red teamingul uman este o parte critică a activității noastre de siguranță, ajutându-ne să descoperim aceste vulnerabilități înainte de implementare și să punem în aplicare garanțiile potrivite. Dar red teamingul uman, de unul singur, este greu de scalat. Proiectarea și derularea acestor exerciții necesită mult timp, ceea ce limitează viteza cu care putem identifica noi moduri de eșec și le putem integra în garanții mai puternice. În plus, deși aceste exerciții produc exemple valoroase de atacuri reușite, ele nu pot genera volumul și diversitatea de date adversariale necesare pentru a îmbunătăți robustețea modelului prin antrenare.
Pentru a ține pasul cu modele tot mai capabile, red teamingul trebuie să scaleze și el. În acest scop, am antrenat modele automatizate de red teaming, doar pentru uz intern, care descoperă vulnerabilități înainte de implementare și generează atacuri în timpul antrenării modelelor pentru a îmbunătăți robustețea. Credem că red teamingul automatizat deblochează o formă crucială de autoîmbunătățire pentru siguranță: folosirea modelelor de astăzi pentru a ajuta direct ca modelele viitoare să fie mai sigure.
GPT‑Red este culminarea acestor eforturi și cel mai bun model automatizat actual al nostru pentru red teaming de siguranță. Similar modului în care specialiștii umani în red teaming creează atacuri, modelul urmărește un obiectiv trimițând o solicitare, observând cum răspund modelele GPT și iterând. Am antrenat GPT‑Red la scara de calcul a unora dintre cele mai mari rulări de post-antrenare ale noastre la OpenAI — o cantitate de calcul fără precedent, dedicată exclusiv îmbunătățirii siguranței.
Încorporăm direct GPT‑Red în procesul de antrenare al modelelor noastre de producție. Drept urmare, GPT‑5.6 Sol este cel mai robust model al nostru de până acum la injectări solicitare, având de 6 ori mai puține eșecuri pe cel mai dificil test de referință al nostru de injectare solicitare directă, comparativ cu cel mai bun model de producție al nostru de acum doar patru luni. Scalabilitatea abordării noastre ne face să anticipăm rezultate și mai bune în viitor, pe măsură ce continuăm să antrenăm specialiști în red teaming mai puternici.
GPT‑Red este antrenat folosind învățare prin consolidare în regim de autojoc, în care modelul și o colecție de LLM-uri apărătoare diverse sunt antrenate simultan pe un set larg de scenarii de red teaming. GPT‑Red este recompensat pentru provocarea unui eșec valid, cum ar fi o injectare solicitare reușită, în timp ce modelele apărătoare sunt recompensate pentru că rezistă atacului și își finalizează sarcinile inițiale. Pe măsură ce apărătorii devin mai robuști, GPT‑Red este forțat să descopere atacuri mai puternice și mai diverse.
Pentru a susține antrenarea prin autojoc, construim un set extins de scenarii realiste în care ar putea fi introduse injectări de solicitare. Fiecare mediu are un model de amenințare care precizează ce poate controla GPT‑Red și ce contează drept atac reușit. De exemplu, GPT‑Red ar putea controla o parte dintr-un fișier local, un banner de pe o pagină web, corpul unui e-mail sau rezultatul unui instrument.
La finalul antrenării, GPT‑Red este un atacator foarte puternic: poate compromite aproape toate modelele cu care este confruntat, atât modele interne, cât și de producție, până la GPT‑5.5 inclusiv. După ce GPT‑Red și-a încheiat antrenarea, l-am folosit pentru a genera injectări solicitare pentru antrenarea GPT‑5.6, ceea ce a făcut modelul foarte rezistent la atacurile GPT‑Red.
Păstrăm GPT‑Red separat de modelele pe care le implementăm. Astfel, capacitățile malițioase pe care le antrenăm în mod specific în GPT‑Red rămân departe de actorii adversariali, în timp ce robustețea este insuflată în modelele noastre de producție.
GPT‑Red este foarte eficient împotriva populației de modele apărătoare și scenarii de red teaming pe care a fost antrenat. Evaluăm și dacă modelul este util ca agent de red teaming cu scop general, pentru a aduce beneficii siguranței pe scară largă la OpenAI. Pentru aceasta, testăm eficacitatea GPT‑Red pe medii de siguranță și modele țintă noi.
Mai întâi evaluăm capacitatea GPT‑Red de a generaliza la scenarii noi de red teaming, folosind o versiune replicată a arenei de injectare solicitare indirectă din Dziemian et al. (2025)(se deschide într-o fereastră nouă). În această provocare, atât specialiștii umani în red teaming, cât și GPT‑Red au propus independent atacuri împotriva GPT‑5.1, pe un set de medii prestabilite. Aceste scenarii și obiective de red teaming sunt diferite de cele folosite pentru antrenarea GPT‑Red. GPT‑Red obține rate de succes ale atacurilor semnificativ mai mari, reușind în 84% dintre scenarii, față de 13% pentru oameni.
GPT‑Red excelează ca specialist automatizat în red teaming. GPT‑Red poate genera atacuri reușite împotriva GPT‑5.1 în substanțial mai multe scenarii decât specialiștii umani în red teaming, pe arena de injectare solicitare indirectă din Dziemian et al. (2025), folosind o oglindă internă.
Testul suprem al unui specialist în red teaming este capacitatea de a atinge obiective malițioase țintite împotriva sistemelor agentive din lumea reală, cu informații incomplete despre modelul de bază al sistemului și designul cadrului de testare. Primul nostru experiment în acest cadru a pus GPT‑Red împotriva unui automat de vânzare alimentat de AI din biroul OpenAI (similar cu Project Vend(se deschide într-o fereastră nouă)), produs de Andon Labs. I-am oferit GPT‑Red o descriere a sistemului și capacitatea de a trimite atacuri și de a observa apelurile de instrumente ale agentului simulat, care reflectă îndeaproape implementarea din lumea reală. După iterarea atacurilor, GPT‑Red și-a lansat atacul împotriva agentului de producție, atingând toate cele trei obiective malițioase:
- Schimbarea prețului unui articol scump aflat în stoc la prețul minim permis de 0,50 $;
- Comandarea unui articol nou de peste 100 $ și oferirea lui la 0,50 $ și
- Anularea comenzii unui alt client.
Am raportat aceste vulnerabilități, iar noi măsuri de protecție sunt testate în mod activ.
GPT‑Red poate compromite un agent autonom live, cunoscut ca Vendy, care gestionează un automat de vânzare. GPT‑Red a reușit să determine agentul de producție să transforme articole scumpe în articole ieftine și să anuleze comenzile altor clienți, testând mai întâi în simulare și apoi transferând atacurile către agentul live.
Folosim, de asemenea, GPT‑Red pentru a ataca un agent Codex CLI bazat pe GPT‑5.4 mini, într-o suită de 10 scenarii de exfiltrare a datelor neincluse în antrenare. Comparăm modelul cu o linie de bază GPT‑5.5 bazată pe solicitări, pentru a studia impactul procedurii noastre de antrenare asupra performanței de red teaming în scenarii neincluse în antrenare. GPT‑Red este atât mai eficient, în sensul că poate determina cu succes agentul să exfiltreze date sensibile în mai multe scenarii, cât și mai eficient din punctul de vedere al numărului de tokenuri folosite.
GPT‑Red este mai eficient și mai eficace în compromiterea agenților codex live. Testăm împotriva unui agent codex susținut de GPT‑5.4 Mini, pe o suită personalizată de 10 sarcini de exfiltrare a datelor.
Scopul final al GPT‑Red este să îmbunătățească robustețea modelelor noastre. În ultimele șase luni, am antrenat modele de red teaming tot mai puternice (precursori ai GPT‑Red), cu resurse de calcul tot mai mari, și am folosit aceste modele în antrenarea fiecărui model de producție succesiv începând cu GPT‑5.3. În timp, fiecare versiune GPT ulterioară a devenit mai robustă.
De exemplu, o versiune timpurie a GPT‑Red a găsit o clasă nouă de atacuri directe de injectare solicitare, cunoscute drept atacuri „Lanț de gândire fals”. Aceste atacuri au atins rate de succes de peste 95% pe GPT‑5.1, dar acum sunt sub 10% pentru GPT‑5.6 Sol. În mod similar, mai multe dintre testele noastre de referință de injectare solicitare indirectă, care vizează atacuri în instrumente pentru dezvoltatori și navigare, au fost saturate de cel mai recent model al nostru (acuratețe >97%).
Robustețea față de GPT‑Red însuși s-a îmbunătățit și ea substanțial. Pe un set larg de medii de robustețe, ratele de succes ale atacurilor GPT‑Red au scăzut monoton în timp. Odată cu cea mai recentă lansare de model, GPT‑5.6 Sol eșuează la doar 0,05% dintre injectările de solicitări directe ale GPT‑Red.
Pe măsură ce am continuat să extindem antrenarea prin autojoc pentru injectare solicitare, am descoperit noi amenințări care pot compromite modelele existente. Totuși, această scalare a contribuit și la îmbunătățirea substanțială a robusteții împotriva acestor atacuri. Rata de succes a atacurilor este calculată ca media încercărilor reușite din toate tentativele efectuate de GPT‑Red în medii de testare neincluse în antrenare.
Un model poate părea mai sigur dacă refuză mai multe solicitări sau devine mai puțin capabil. Un model care face mai puțin este, în mod natural, mai greu de atacat, dar aceasta nu este o robustețe utilă.
Evaluăm riguros atât capacitățile generale de vârf, cât și sarcinile țintite de refuz excesiv pe care le proiectăm. Constatăm că toate capacitățile normale rămân neafectate, în timp ce robustețea se îmbunătățește semnificativ. Acest lucru sugerează că progresele de robustețe au venit dintr-o rezistență mai bună la instrucțiuni malițioase, nu din utilizarea incorectă a instrumentelor sau din refuzarea implicită a solicitărilor legitime.
Agenții AI sunt deja folosiți pentru a îmbunătăți capacitățile modelelor noastre de generație următoare. Credem că, prin GPT‑Red, am început să deblocăm un mecanism similar de accelerare pentru siguranță, în care modelele de astăzi pot fi folosite pentru a face modelele de mâine mai robuste, mai aliniate și mai demne de încredere. Vom continua să extindem resursele de calcul și datele, făcând totodată îmbunătățiri algoritmice, pentru a antrena versiuni viitoare ale GPT‑Red mai puternice decât modelul de astăzi. Iar, la rândul lor, aceste modele vor ajuta ca viitoarele versiuni GPT să fie mai sigure.
Vom publica o versiune preliminară a lucrării, cu mai multe detalii, la sfârșitul acestei săptămâni.
