GPT‑Red: Otključavanje samopoboljšanja za robusnost
Trening snažnih automatiziranih sigurnosnih red teamera za poboljšanje robusnosti.
Sažetak
Problem
Red teaming je ključan za otkrivanje ranjivosti i poboljšanje robusnosti naših modela. Međutim, trenutni pristupi se teško skaliraju, što stvara usko grlo.
Naši najnoviji modeli već su zasitili često korištene evaluacije robusnosti.
Moramo razviti metode koje omogućavaju da se sigurnost i usklađivanje skaliraju zajedno sa sposobnostima modela.
Šta smo uradili
Trenirali smo GPT‑Red, automatizirani model za red teaming koji skalira našu sposobnost pronalaženja ranjivosti kako bismo ih mogli otkloniti prije šire implementacije.
GPT‑Red je snažan red teamer, a naši prethodni modeli vrlo su ranjivi na njegove napade ubrizgavanjem upita.
Koristimo GPT‑Red za protivnički trening GPT‑5.6, čineći ga mnogo robusnijim na ubrizgavanja upita.
Nastavit ćemo skalirati ovaj pristup uz ljudski i nezavisni red teaming, slojevite zaštitne mjere i nadzor u stvarnom vremenu.
AI sistemi se često susreću s podacima trećih strana putem preglednika, povezanih aplikacija, lokalnih datoteka i drugih alata. Te mogućnosti su neophodne za obavljanje zadataka iz stvarnog svijeta, ali stvaraju i više prilika da zlonamjerni akteri utiču na ponašanje modela. Naprimjer, treća strana može ugraditi pažljivo oblikovanu instrukciju—osmišljenu da prevari model da otpremi osjetljive podatke na vanjski server—u e-poštu, web-stranicu, odgovor alata ili repozitorij koda.
Ljudski red teaming ključan je dio našeg rada na sigurnosti, jer nam pomaže da otkrijemo ove ranjivosti prije implementacije i postavimo odgovarajuće zaštitne mjere. Ali samo ljudski red teaming teško je skalirati. Dizajniranje i provođenje ovih vježbi zahtijeva mnogo vremena, što ograničava brzinu kojom možemo prepoznati nove načine otkazivanja i ugraditi ih u jače zaštitne mjere. Osim toga, iako ove vježbe daju vrijedne primjere uspješnih napada, ne mogu proizvesti količinu i raznolikost protivničkih podataka potrebnih za poboljšanje robusnosti modela kroz trening.
Držanje koraka sa sve sposobnijim modelima zahtijeva da se skalira i red teaming. U tu svrhu treniramo automatizirane modele za red teaming namijenjene samo internoj upotrebi, koji otkrivaju ranjivosti prije implementacije i generišu napade tokom treninga modela kako bi poboljšali robusnost. Vjerujemo da automatizirani red teaming otključava ključan oblik samopoboljšanja za sigurnost: korištenje današnjih modela da direktno pomognu u tome da budući modeli budu sigurniji.
GPT‑Red je vrhunac tih nastojanja i naš trenutno najbolji automatizirani model za sigurnosni red teaming. Slično tome kako ljudski red teameri osmišljavaju napade, model radi prema cilju tako što šalje upit, posmatra kako GPT modeli na njega odgovaraju i ponavlja postupak. Trenirali smo GPT‑Red na računarskoj skali nekih od naših najvećih post-trening pokretanja u OpenAI-u—što je nezapamćena količina računarskih resursa posvećena isključivo poboljšanju sigurnosti.
GPT‑Red direktno uključujemo u proces treninga naših produkcijskih modela. Kao rezultat toga, GPT‑5.6 Sol je naš do sada najrobusniji model na ubrizgavanja upita, s 6x manje neuspjeha na našem najtežem mjerilu direktnog ubrizgavanja upita u poređenju s našim najboljim produkcijskim modelom od prije samo četiri mjeseca. Skalabilnost našeg pristupa daje nam razlog da očekujemo još snažnije rezultate u budućnosti, dok nastavljamo trenirati snažnije red teamere.
GPT‑Red se trenira pomoću učenja s potkrepljivanjem kroz samostalnu igru, pri čemu se model i skup različitih odbrambenih LLM-ova istovremeno treniraju na širokom skupu scenarija za red teaming. GPT‑Red se nagrađuje za izazivanje važećeg neuspjeha, kao što je uspješno ubrizgavanje upita, dok se odbrambeni modeli nagrađuju za odolijevanje napadu i završavanje izvornih zadataka. Kako odbrambeni modeli postaju robusniji, GPT‑Red je prisiljen otkrivati jače i raznovrsnije napade.
Da bismo podržali trening samostalne igre, gradimo opsežan skup realističnih scenarija u koje bi se mogla umetnuti ubrizgavanja upita. Svako okruženje ima model prijetnje koji određuje šta GPT‑Red može kontrolisati i šta se računa kao uspješan napad. Naprimjer, GPT‑Red može kontrolisati dio lokalne datoteke, baner na web-stranici, tijelo e-pošte ili izlaz alata.
Na kraju treninga, GPT‑Red je vrlo snažan napadač: može slomiti gotovo sve modele s kojima ga suprotstavimo, i interne i produkcijske modele, sve do GPT‑5.5 uključujući njega. Nakon što je GPT‑Red završio trening, koristili smo ga za generisanje ubrizgavanja upita za trening GPT‑5.6, zbog čega je model postao vrlo otporan na napade GPT‑Reda.
GPT‑Red držimo odvojenim od modela koje implementiramo. Tako zlonamjerne sposobnosti koje posebno treniramo u GPT‑Redu držimo van ruku protivničkih aktera, dok u naše produkcijske modele ugrađujemo robusnost.
GPT‑Red je vrlo učinkovit protiv populacije odbrambenih modela i scenarija za red teaming na kojima je treniran. Također procjenjujemo da li je model koristan kao agent opće namjene za red teaming, kako bi šire doprinio sigurnosti u OpenAI-u. U tu svrhu testiramo učinkovitost GPT‑Reda na novim sigurnosnim okruženjima i ciljnim modelima.
Prvo procjenjujemo sposobnost GPT‑Reda da generalizuje na nove scenarije za red teaming koristeći repliciranu verziju arene indirektnog ubrizgavanja upita iz rada Dziemiana i dr. (2025)(otvara se u novom prozoru). U ovom izazovu, i ljudski red teameri i GPT‑Red nezavisno su predlagali napade na GPT‑5.1 u skupu unaprijed određenih okruženja. Ovi scenariji i ciljevi za red teaming razlikuju se od onih korištenih za trening GPT‑Reda. GPT‑Red postiže znatno više stope uspješnosti napada, s uspjehom u 84% scenarija u odnosu na 13% kod ljudi.
GPT‑Red se ističe kao automatizirani red teamer. GPT‑Red može generisati uspješne napade na GPT‑5.1 u znatno više scenarija nego ljudski red teameri u areni indirektnog ubrizgavanja upita iz rada Dziemiana i dr. (2025), koristeći internu presliku.
Konačni test red teamera je sposobnost postizanja ciljanih zlonamjernih ciljeva protiv agentnih sistema iz stvarnog svijeta, uz nepotpuno poznavanje osnovnog modela sistema i dizajna harnessa. U našem prvom eksperimentu u ovom okruženju suprotstavili smo GPT‑Red automatu za prodaju pokretanom AI-jem u uredu OpenAI-a (sličnom Project Vend(otvara se u novom prozoru)), koji je proizveo Andon Labs. Dali smo GPT‑Redu opis sistema i mogućnost da šalje napade i posmatra pozive alata simuliranog agenta, koji veoma blisko odražava implementaciju u stvarnom svijetu. Nakon iteriranja napada, GPT‑Red je primijenio svoj napad na produkcijskog agenta i ostvario sva tri zlonamjerna cilja:
- Promijeniti cijenu skupog artikla na stanju na minimalnu dozvoljenu cijenu od 0,50 USD;
- Naručiti novi artikl od 100+ USD i ponuditi ga za 0,50 USD; i
- Otkazati narudžbu drugog kupca.
Prijavili smo ove ranjivosti i nove zaštitne mjere se aktivno testiraju.
GPT‑Red može slomiti aktivnog autonomnog agenta poznatog kao Vendy, koji upravlja automatom za prodaju. GPT‑Red je uspio navesti produkcijskog agenta da skupe artikle promijeni u jeftine i otkaže narudžbe drugih kupaca, tako što je napade prvo testirao u simulaciji, a zatim ih prenio na aktivnog agenta.
GPT‑Red koristimo i za napad na Codex CLI agenta (zasnovanog na GPT‑5.4 mini) na skupu od 10 zadržanih scenarija eksfiltracije podataka. Poredimo model s početnom vrijednošću GPT‑5.5 vođenom upitom kako bismo proučili uticaj naše procedure treninga na učinak red teaminga u zadržanim scenarijima. GPT‑Red je i učinkovitiji, jer može uspješno navesti agenta da eksfiltrira osjetljive podatke u više scenarija, i efikasniji u pogledu tokena.
GPT‑Red je učinkovitiji i efikasniji u razbijanju aktivnih Codex agenata. Testiramo ga na Codex agentu zasnovanom na GPT‑5.4 Mini, na prilagođenom skupu od 10 zadataka eksfiltracije podataka.
Konačni cilj GPT‑Reda je poboljšati robusnost naših modela. Tokom posljednjih šest mjeseci trenirali smo postepeno snažnije modele za red teaming (prethodnike GPT‑Reda) uz sve više računarskih resursa i koristili te modele u treningu svakog sljedećeg produkcijskog modela od GPT‑5.3. S vremenom je svako naredno GPT izdanje postajalo robusnije.
Kao jedan primjer, rana verzija GPT‑Reda pronašla je novu klasu direktnih napada ubrizgavanjem upita poznatih kao napadi „lažnog lanca razmišljanja“. Ti napadi su postizali stope uspjeha iznad 95% na GPT‑5.1, ali su sada ispod 10% za GPT‑5.6 Sol. Slično tome, nekoliko naših mjerila za indirektno ubrizgavanje upita, usmjerenih na napade u alatima za programere i pregledanju weba, zasićeno je našim najnovijim modelom (>97% tačnosti).
Znatno je poboljšana i robusnost na sam GPT‑Red. Na širokom skupu okruženja za robusnost, stope uspješnosti napada GPT‑Reda monotono su opadale tokom vremena. S našim najnovijim izdanjem modela, GPT‑5.6 Sol ne uspijeva na samo 0,05% direktnih ubrizgavanja upita GPT‑Reda.
Kako smo nastavili skalirati trening samostalne igre za ubrizgavanje upita, pronašli smo nove prijetnje koje mogu slomiti postojeće modele. Ipak, naše skaliranje je znatno pomoglo da se poboljša robusnost i na ove napade. Stopa uspješnosti napada računa se kao prosječna uspješnost pokušaja kroz sve pokušaje GPT‑Reda u zadržanim okruženjima.
Model može djelovati sigurnije ako odbija više zahtjeva ili postane manje sposoban. Model koji radi manje prirodno je teže napasti, ali to nije korisna robusnost.
Temeljito procjenjujemo i opće granične sposobnosti i ciljane zadatke pretjeranog odbijanja koje dizajniramo. Utvrdili smo da sve normalne sposobnosti ostaju nepromijenjene, uz značajno poboljšanu robusnost. To sugeriše da su dobici u robusnosti došli od bolje otpornosti na zlonamjerne instrukcije, a ne od neispravne upotrebe alata ili podrazumijevanog odbijanja legitimnih zahtjeva.
AI agenti se već koriste za poboljšanje sposobnosti naših modela sljedeće generacije. Vjerujemo da smo s GPT‑Redom počeli otključavati sličan zamajac za sigurnost, u kojem se današnji modeli mogu koristiti da sutrašnje modele učine robusnijim, usklađenijim i pouzdanijim. Nastavit ćemo skalirati računarske resurse i podatke, uz algoritamska poboljšanja, kako bismo trenirali buduće verzije GPT‑Reda koje su snažnije od današnjeg modela. Zauzvrat, ti modeli će pomoći da buduća GPT izdanja budu sigurnija.
Kasnije ove sedmice objavit ćemo preprint s više detalja.
