GPT‑Red: otključavanje samopoboljšanja za robusnost
Obuka snažnih automatiziranih sigurnosnih red-team testera za poboljšanje robusnosti.
Sažetak
Problem
Red-team testiranje ključno je za otkrivanje ranjivosti i poboljšanje robusnosti naših modela. Međutim, postojeći pristupi nisu skalabilni, pa stvaraju usko grlo.
Naši najnoviji modeli već postižu gotovo maksimalne rezultate na često korištenim evaluacijama robusnosti.
Moramo razviti metode koje sigurnosti i usklađivanju omogućuju da se skaliraju usporedno sa sposobnostima modela.
Što smo učinili
Obučili smo GPT‑Red, automatizirani model za red-team testiranje koji povećava našu sposobnost pronalaženja ranjivosti kako bismo ih mogli ukloniti prije šire primjene.
GPT‑Red je snažan red-team tester, a naši prethodni modeli vrlo su ranjivi na njegove napade ubrizgavanjem upita.
GPT‑Red koristimo za protivničku obuku GPT‑5.6, čime ga činimo mnogo robusnijim na ubrizgavanje upita.
Nastavit ćemo skalirati ovaj pristup uz ljudsko i vanjsko red-team testiranje, slojevite zaštitne mjere i praćenje u stvarnom vremenu.
AI sustavi često se susreću s podacima trećih strana putem preglednika, povezanih aplikacija, lokalnih datoteka i drugih alata. Te su mogućnosti nužne za obavljanje stvarnih zadataka, ali stvaraju i više prilika da zlonamjerni akteri utječu na ponašanje modela. Primjerice, treća strana može u e-poruku, web-stranicu, odgovor alata ili repozitorij koda ugraditi pažljivo oblikovanu uputu—osmišljenu da prevari model i navede ga na prijenos osjetljivih podataka na vanjski poslužitelj.
Ljudsko red-team testiranje ključan je dio našeg rada na sigurnosti jer nam pomaže otkriti te ranjivosti prije primjene i uvesti odgovarajuće zaštitne mjere. No samo ljudsko red-team testiranje teško je skalirati. Osmisliti i provesti takve vježbe zahtijeva mnogo vremena, što ograničava brzinu kojom možemo prepoznati nove načine neuspjeha i ugraditi ih u snažnije zaštitne mjere. Osim toga, iako te vježbe daju vrijedne primjere uspješnih napada, ne mogu proizvesti količinu i raznolikost protivničkih podataka potrebnih za poboljšanje robusnosti modela kroz obuku.
Održavanje koraka sa sve sposobnijim modelima zahtijeva da se skalira i red-team testiranje. U tu svrhu obučavamo automatizirane modele za red-team testiranje namijenjene samo internoj upotrebi, koji otkrivaju ranjivosti prije primjene i generiraju napade tijekom obuke modela radi poboljšanja robusnosti. Vjerujemo da automatizirano red-team testiranje otključava ključan oblik samopoboljšanja sigurnosti: korištenje današnjih modela kako bi se izravno pomoglo da budući modeli budu sigurniji.
GPT‑Red je vrhunac tih nastojanja i naš trenutačno najbolji automatizirani model za sigurnosno red-team testiranje. Slično kao što ljudski red-team testeri osmišljavaju napade, model radi prema cilju tako što šalje upit, promatra kako GPT modeli na njega odgovaraju i zatim iterira. GPT‑Red smo obučili na razini računalnih resursa usporedivoj s nekim od naših najvećih posttrenažnih procesa u OpenAI-ju—što je dosad nezabilježena količina računalnih resursa posvećena isključivo poboljšanju sigurnosti.
GPT‑Red izravno uključujemo u proces obuke naših produkcijskih modela. Zbog toga je GPT‑5.6 Sol naš dosad najrobusniji model na ubrizgavanje upita, sa šest puta manje neuspjeha na našem najtežem mjerilu izravnog ubrizgavanja upita u usporedbi s najboljim produkcijskim modelom od prije samo četiri mjeseca. Skalabilnost našeg pristupa daje nam razlog za uzbuđenje zbog još snažnijih rezultata u budućnosti dok nastavljamo obučavati snažnije red-team testere.
GPT‑Red se obučava učenjem s potkrepljivanjem kroz samostalnu igru, pri čemu se model i skup raznolikih obrambenih LLM-ova istodobno obučavaju na širokom rasponu scenarija red-team testiranja. GPT‑Red se nagrađuje za izazivanje valjanog neuspjeha, primjerice uspješnog ubrizgavanja upita, dok se obrambeni modeli nagrađuju za odupiranje napadu i dovršavanje svojih izvornih zadataka. Kako obrambeni modeli postaju robusniji, GPT‑Red je prisiljen otkrivati snažnije i raznovrsnije napade.
Za obuku samostalnom igrom gradimo opsežan skup realističnih scenarija u koje bi se mogla umetnuti ubrizgavanja upita. Svako okruženje ima model prijetnji koji određuje čime GPT‑Red može upravljati i što se smatra uspješnim napadom. Primjerice, GPT‑Red može kontrolirati dio lokalne datoteke, natpis na web-stranici, tijelo e-poruke ili izlaz alata.
Na kraju obuke GPT‑Red je vrlo snažan napadač: može probiti gotovo sve modele protiv kojih ga postavimo, i interne i produkcijske, sve do GPT‑5.5 uključujući njega. Nakon što je GPT‑Red završio obuku, upotrijebili smo ga za generiranje ubrizgavanja upita za obuku GPT‑5.6, zbog čega je model postao vrlo otporan na GPT‑Redove napade.
GPT‑Red držimo odvojenim od modela koje uvodimo u primjenu. Tako zlonamjerne sposobnosti koje posebno ugrađujemo u GPT‑Red ostaju izvan dosega protivničkih aktera, dok istodobno u naše produkcijske modele ugrađujemo robusnost.
GPT‑Red je vrlo učinkovit protiv populacije obrambenih modela i scenarija red-team testiranja na kojima je obučavan. Procjenjujemo i je li model koristan kao općenamjenski agent za red-team testiranje, kako bi sigurnost u OpenAI-ju imala širu korist. U tu svrhu testiramo GPT‑Redovu učinkovitost na novim sigurnosnim okruženjima i ciljnim modelima.
Najprije procjenjujemo GPT‑Redovu sposobnost generalizacije na nove scenarije red-team testiranja, koristeći repliciranu verziju arene neizravnog ubrizgavanja upita iz rada Dziemiana i sur. (2025)(otvara se u novom prozoru). U tom su izazovu i ljudski red-team testeri i GPT‑Red neovisno predlagali napade na GPT‑5.1 u skupu unaprijed definiranih okruženja. Ti scenariji i ciljevi red-team testiranja razlikuju se od onih korištenih za obuku GPT‑Reda. GPT‑Red postiže znatno više stope uspješnosti napada, s uspjehom u 84 % scenarija, u usporedbi s 13 % kod ljudi.
GPT‑Red se ističe kao automatizirani red-team tester. GPT‑Red može generirati uspješne napade na GPT‑5.1 u znatno više scenarija nego ljudski red-team testeri u areni neizravnog ubrizgavanja upita iz rada Dziemiana i sur. (2025), koristeći internu zrcalnu verziju.
Krajnji test red-team testera jest sposobnost ostvarivanja ciljanih zlonamjernih ciljeva protiv stvarnih agentskih sustava, uz nepotpuno poznavanje temeljnog modela sustava i dizajna testnog sklopa. U našem prvom eksperimentu u takvom okruženju suprotstavili smo GPT‑Red aparatu za prodaju s umjetnom inteligencijom u uredu OpenAI-ja (sličnom projektu Project Vend(otvara se u novom prozoru)) koji je izradio Andon Labs. GPT‑Redu smo dali opis sustava te mogućnost slanja napada i promatranja poziva alata simuliranog agenta koji vjerno odražava stvarnu produkcijsku primjenu. Nakon iteriranja na napadima, GPT‑Red je svoj napad primijenio na produkcijskog agenta i ostvario sva tri zlonamjerna cilja:
- Promijeniti cijenu skupog artikla na zalihi na najnižu dopuštenu cijenu od 0,50 USD;
- Naručiti novi artikl vrijedan više od 100 USD i ponuditi ga za 0,50 USD; i
- Otkazati narudžbu drugog kupca.
Otkrili smo te ranjivosti, a nove se zaštitne mjere aktivno testiraju.
GPT‑Red može probiti aktivnog autonomnog agenta poznatog kao Vendy, koji upravlja aparatom za prodaju. GPT‑Red je uspio navesti produkcijskog agenta da skupe artikle učini jeftinima i otkaže narudžbe drugih kupaca tako što je napade najprije testirao u simulaciji, a zatim ih prenio na aktivnog agenta.
GPT‑Red koristimo i za napad na Codex CLI agenta (temeljenog na GPT‑5.4 mini) u skupu od 10 izdvojenih scenarija eksfiltracije podataka. Model uspoređujemo s osnovnom inačicom GPT‑5.5 vođenom upitom kako bismo proučili utjecaj našeg postupka obuke na izvedbu red-team testiranja na izdvojenim zadacima. GPT‑Red je učinkovitiji jer uspijeva navesti agenta da eksfiltrira osjetljive podatke u više scenarija, a ujedno učinkovitije troši tokene.
GPT‑Red učinkovitije i djelotvornije probija aktivne Codex agente. Testiramo ga na Codex agentu koji pokreće GPT‑5.4 Mini, na prilagođenom skupu od 10 zadataka eksfiltracije podataka.
Krajnji cilj GPT‑Reda jest poboljšati robusnost naših modela. Tijekom posljednjih šest mjeseci obučavali smo sve snažnije modele za red-team testiranje (preteče GPT‑Reda) uz sve više računalnih resursa te ih koristili u obuci svakog sljedećeg produkcijskog modela od GPT‑5.3 nadalje. S vremenom je svako sljedeće izdanje GPT‑a postajalo robusnije.
Primjerice, rana verzija GPT‑Reda otkrila je novu klasu izravnih napada ubrizgavanjem upita poznatu kao napadi „Lažni lanac razmišljanja”. Ti su napadi na GPT‑5.1 postizali stope uspješnosti veće od 95 %, no za GPT‑5.6 Sol sada su ispod 10 %. Slično tome, nekoliko naših mjerila za neizravno ubrizgavanje upita, usmjerenih na napade u alatima za razvojne programere i pregledavanju weba, naši su najnoviji modeli zasitili (>97 % točnosti).
Znatno se poboljšala i robusnost na sam GPT‑Red. Na širokom skupu okruženja za robusnost, GPT‑Redove stope uspješnosti napada s vremenom su se monotono smanjivale. U našem najnovijem izdanju modela, GPT‑5.6 Sol pada na samo 0,05 % GPT‑Redovih izravnih ubrizgavanja upita.
Kako smo nastavili širiti obuku samostalnom igrom za ubrizgavanje upita, otkrili smo nove prijetnje koje mogu probiti postojeće modele. No to je proširenje ujedno znatno poboljšalo robusnost na te napade. Stopa uspješnosti napada računa se kao prosječna uspješnost pokušaja u svim GPT‑Redovim pokušajima na izdvojenim okruženjima.
Model može djelovati sigurnije ako odbija više zahtjeva ili postane manje sposoban. Model koji radi manje prirodno je teže napasti, ali to nije korisna robusnost.
Temeljito procjenjujemo opće granične sposobnosti, kao i ciljane zadatke pretjeranog odbijanja koje sami oblikujemo. Utvrđujemo da sve uobičajene sposobnosti ostaju nepromijenjene, uz znatno poboljšanu robusnost. To upućuje na to da su dobici u robusnosti proizašli iz boljeg otpora zlonamjernim uputama, a ne iz nepravilne upotrebe alata ili zadanog odbijanja legitimnih zahtjeva.
AI agenti već se koriste za poboljšanje sposobnosti naših modela sljedeće generacije. Vjerujemo da smo s GPT‑Redom počeli otključavati sličan zamašnjak za sigurnost, u kojem se današnji modeli mogu koristiti kako bi sutrašnji modeli bili robusniji, usklađeniji i pouzdaniji. Nastavit ćemo povećavati računalne resurse i podatke te uvoditi algoritamska poboljšanja kako bismo obučili buduće verzije GPT‑Reda snažnije od današnjeg modela. A ti će modeli zauzvrat pomoći da buduća izdanja GPT‑a budu sigurnija.
Kasnije ovog tjedna objavit ćemo preprint s više pojedinosti.
