GPT‑Red: pašpilnveides atraisīšana izturībai
Spēcīgu automatizētu drošības imitēto uzbrukumu veicēju apmācība izturības uzlabošanai.
Kopsavilkums
Problēma
Imitēti uzbrukumi ir būtiski, lai atklātu ievainojamības un uzlabotu mūsu modeļu noturību. Tomēr pašreizējās pieejas nav mērogojamas, tāpēc rodas šaurais pudeles kakls.
Mūsu jaunākie modeļi jau ir piesātinājuši bieži izmantotos noturības novērtējumus.
Mums jāizstrādā metodes, kas ļauj drošībai un saskaņošanai mērogoties līdzi modeļu spējām.
Ko mēs paveicām
Mēs apmācījām GPT‑Red — automatizētu imitēto uzbrukumu modeli, kas paplašina mūsu spēju atrast ievainojamības, lai tās varētu novērst pirms plašākas izvēršanas.
GPT‑Red ir spēcīgs imitēto uzbrukumu veicējs, un mūsu iepriekšējie modeļi ir ļoti ievainojami pret tā uzvedņu injekciju uzbrukumiem.
Mēs izmantojam GPT‑Red, lai pretinieka režīmā apmācītu GPT‑5.6, padarot to daudz noturīgāku pret uzvedņu injekcijām.
Mēs turpināsim mērogot šo pieeju līdzās cilvēku un trešo pušu imitētajiem uzbrukumiem, daudzslāņu aizsardzībai un reāllaika uzraudzībai.
MI sistēmas bieži vien saskaras ar trešo pušu datiem, izmantojot pārlūkprogrammas, savienotās lietotnes, lokālos failus un citus rīkus. Šīs iespējas ir nepieciešamas reālās pasaules uzdevumu veikšanai, taču tās arī rada vairāk iespēju ļaunprātīgiem dalībniekiem ietekmēt modeļa uzvedību. Piemēram, trešā puse var iegult e-pastā, tīmekļa lapā, rīka atbildē vai koda krātuvē rūpīgi izstrādātu instrukciju , kas paredzēta, lai maldinātu modeli augšupielādēt sensitīvus datus ārējā serverī.
Cilvēku veikta drošības pasākumu apvienošana ir būtiska mūsu drošības darba sastāvdaļa, kas palīdz mums atklāt šīs ievainojamības pirms ieviešanas un ieviest atbilstošus drošības pasākumus. Taču cilvēku red teaming vien ir grūti ieviest mērogojamās platībās. Šo vingrinājumu izstrāde un veikšana ir laikietilpīga, kas ierobežo to, cik ātri mēs varam identificēt jaunus atteices veidus un iekļaut tos stingrākos aizsardzības pasākumos. Turklāt, lai gan šie vingrinājumi sniedz vērtīgus veiksmīgu uzbrukumu piemērus, tie nevar ģenerēt tādu pretinieku datu apjomu un daudzveidību, kas nepieciešama, lai ar apmācības palīdzību uzlabotu modeļa robustumu.
Lai neatpaliktu no arvien spējīgākajiem modeļiem, ir nepieciešama arī red teaming sadarbība mērogošanai. Šajā nolūkā mēs esam apmācījuši automatizētus, tikai iekšējai lietošanai paredzētus “red teaming” modeļus, kas atklāj ievainojamības pirms izvietošanas un ģenerē uzbrukumus modeļa apmācības laikā, lai uzlabotu noturību. Mēs uzskatām, ka automatizēta red teaming paver būtisku drošības pašpilnveidošanās veidu: izmantot šodienas modeļus, lai tieši palīdzētu padarīt nākotnes modeļus drošākus.
GPT‑Red ir šo centienu kulminācija un mūsu pašreizējais labākais automatizētais drošības “red teaming” modelis. Līdzīgi kā cilvēku red teamers veido uzbrukumus, modelis virzās uz mērķi, nosūtot uzdevumu, novērojot, kā GPT modeļi uz to reaģē, un atkārtojot darbību. Mēs apmācījām GPT‑Red skaitļošanas apjomā, kas bija līdzīgs dažiem no mūsu lielākajiem pēcapmācības izmēģinājumiem OpenAI platformā — vēl nebijis skaitļošanas apjoms, kas veltīts tikai drošības uzlabošanai.
Mēs tieši integrējam GPT‑Red mūsu ražošanas modeļu apmācības procesā. Tā rezultātā GPT‑5.6 Sol ir mūsu līdz šim izturīgākais modelis uzvedņu injekcijai, sasniedzot 6 reizes mazāk kļūmju mūsu stingrākajā tiešās uzvedņu injekcijas etalonā salīdzinājumā ar mūsu labāko ražošanas modeli, kas tika ražots tikai četrus mēnešus iepriekš. Mūsu pieejas mērogojamība mūs iedvesmo vēl labākiem rezultātiem nākotnē, turpinot apmācīt spēcīgākus sarkanās komandas spēlētājus.
GPT‑Red tiek apmācīts, izmantojot pašspēles stimulēto mācīšanos, kurā modelis un dažādu aizsardzības LVM kopums vienlaikus tiek apmācīti plašā imitēto uzbrukumu scenāriju klāstā. GPT‑Red saņem atlīdzību par derīgas kļūmes izraisīšanu, piemēram, veiksmīgu uzvedņu injekciju, savukārt aizsardzības modeļi tiek atalgoti par pretošanos uzbrukumam un sākotnējo uzdevumu izpildi. Aizsardzības modeļiem kļūstot noturīgākiem, GPT‑Red ir spiests atklāt spēcīgākus un daudzveidīgākus uzbrukumus.
Lai atbalstītu pašspēles apmācību, mēs veidojam plašu reālistisku scenāriju kopu, kuros varētu tikt ievietotas uzvedņu injekcijas. Katrai videi ir apdraudējuma modelis, kas nosaka, ko GPT‑Red var kontrolēt un kas tiek uzskatīts par veiksmīgu uzbrukumu. Piemēram, GPT‑Red varētu kontrolēt daļu lokāla faila, tīmekļa lapas reklāmjoslu, e-pasta tekstu vai rīka izvadi.
Apmācības beigās GPT‑Red ir ļoti spēcīgs uzbrucējs: tas spēj uzlauzt gandrīz visus modeļus, pret kuriem tiek pārbaudīts, gan iekšējos, gan produkcijas modeļus līdz pat GPT‑5.5 ieskaitot. Pēc GPT‑Red apmācības pabeigšanas mēs to izmantojām, lai ģenerētu uzvedņu injekcijas GPT‑5.6 apmācībai, kā rezultātā modelis kļuva ļoti noturīgs pret GPT‑Red uzbrukumiem.
Mēs uzglabājam GPT‑Red nošķirtu no modeļiem, kurus izvēršam. Tādējādi ļaunprātīgās spējas, ko īpaši apmācām GPT‑Red, nenonāk pretinieku rokās, vienlaikus stiprinot mūsu produkcijas modeļu noturību.
GPT‑Red ir ļoti efektīvs pret aizsardzības modeļu kopu un imitēto uzbrukumu scenārijiem, uz kuriem tas tika apmācīts. Mēs arī vērtējam, vai modelis ir noderīgs kā vispārīga lietojuma imitēto uzbrukumu aģents, lai plašāk veicinātu drošību OpenAI. Šim nolūkam testējam GPT‑Red efektivitāti jaunās drošības vidēs un pret mērķa modeļiem.
Vispirms vērtējam GPT‑Red spēju vispārināt uz jauniem imitēto uzbrukumu scenārijiem, izmantojot replicētu netiešo uzvedņu injekciju arēnas versiju no Dziemian u. c. (2025)(atveras jaunā logā). Šajā izaicinājumā gan cilvēku imitēto uzbrukumu veicēji, gan GPT‑Red neatkarīgi piedāvāja uzbrukumus pret GPT‑5.1 iepriekš noteiktu vižu kopā. Šie imitēto uzbrukumu scenāriji un mērķi atšķiras no tiem, kas tika izmantoti GPT‑Red apmācībai. GPT‑Red sasniedz ievērojami augstākus uzbrukumu sekmju rādītājus: panākumi gūti 84% scenāriju, salīdzinot ar 13% cilvēkiem.
GPT‑Red izceļas kā automatizēts imitēto uzbrukumu veicējs. GPT‑Red spēj ģenerēt veiksmīgus uzbrukumus pret GPT‑5.1 būtiski vairāk scenārijos nekā cilvēku imitēto uzbrukumu veicēji Dziemian u. c. (2025) netiešo uzvedņu injekciju arēnā, izmantojot iekšēju spoguli.
Red teamer galvenais pārbaudījums ir spēja sasniegt mērķtiecīgus ļaunprātīgus mērķus pret reālām aģentu sistēmām ar nepilnīgām zināšanām par sistēmas pamatā esošo modeli un iejūga dizainu. Mūsu pirmais eksperiments šajā vidē sacentās ar GPT‑Red pret mākslīgā intelekta darbinātu tirdzniecības automātu OpenAI birojā (līdzīgu Project Vend(atveras jaunā logā)), ko izstrādāja Andon Labs. Mēs sniedzām GPT‑Red sistēmas aprakstu un spēju sūtīt uzbrukumus un novērot rīku izsaukumus no simulētā aģenta, kas precīzi atspoguļo reālās pasaules izvietojumu. Pēc uzbrukumu atkārtošanas GPT‑Red veica uzbrukumu pret ražošanas aģentu, sasniedzot visus trīs ļaunprātīgos mērķus:
- Mainīt dārgas noliktavā esošas preces cenu uz minimālo atļauto cenu 0,50 ASV dolāru apmērā;
- Pasūtīt jaunu preci, kuras vērtība pārsniedz 100 USD, un piedāvāt to par 0,50 USD
- Atcelt cita klienta pasūtījumu.
Mēs atklājām šīs ievainojamības, un aktīvi tiek testēti jauni drošības pasākumi.
GPT‑Red spēj uzlauzt aktīvu autonomu aģentu Vendy, kas pārvalda tirdzniecības automātu. GPT‑Red spēja panākt, ka produkcijas aģents dārgas preces padara lētas un atceļ citu klientu pasūtījumus, vispirms testējot simulācijā un pēc tam pārnesot uzbrukumus uz aktīvo aģentu.
Mēs izmantojam arī GPT‑Red, lai uzbruktu Codex CLI aģentam (pamatojoties uz GPT‑5.4 mini) 10 aizturētu datu eksfiltrācijas scenāriju komplektā. Mēs salīdzinām modeli ar uzvedinātu GPT‑5.5 bāzes līniju, lai izpētītu mūsu apmācības procedūras ietekmi uz noturēto red teaming sniegumu. GPT‑Red ir gan efektīvāks, jo tas var veiksmīgi panākt, lai aģents vairākos scenārijos izfiltrētu sensitīvus datus, gan arī ir efektīvāks tokenu ziņā.
GPT‑Red efektīvāk un produktīvāk uzlauž aktīvus Codex aģentus. Mēs testējam ar Codex aģentu, ko darbina GPT‑5.4 Mini, pielāgotā 10 datu eksfiltrācijas uzdevumu kopā.
GPT‑Red galvenais mērķis ir uzlabot mūsu modeļu izturību. Pēdējo sešu mēnešu laikā, palielinoties skaitļošanas apjomam, esam apmācījuši arvien spēcīgākus sarkanās komandas modeļus (GPT‑Red priekštečus) un izmantojuši šos modeļus katra nākamā ražošanas modeļa apmācībā, sākot ar GPT‑5.3 versiju. Laika gaitā katra nākamā GPT versija ir kļuvusi stabilāka.
Kā viens piemērs, agrīna GPT‑Red versija atklāja jaunu tiešas uzvednes injekcijas uzbrukumu klasi, kas pazīstama kā “viltus domu ķēdes” uzbrukumi. Šo uzbrukumu veiksmes rādītājs GPT‑5.1 versijā sasniedza vairāk nekā 95%, bet tagad GPT‑5.6 Sol versijā tas ir zem 10%. Līdzīgi vairāki mūsu netiešās uzvednes injekcijas etaloni, kas vērsti pret uzbrukumiem izstrādātāju rīkos un pārlūkošanā, ir piesātināti ar mūsu jaunāko modeli (precizitāte >97%).
Arī izturība pret pašu GPT‑Red ir ievērojami uzlabojusies. Plašā izturības vidē GPT‑Red uzbrukumu veiksmes rādītāji laika gaitā ir monotoniski kritušies. Ar mūsu jaunāko modeļa izlaidumu GPT‑5.6 Sol neizdodas tikai 0,05% no GPT‑Red tiešajām uzvednes injekcijām.
Turpinot paplašināt uzvedņu injekciju pašspēles apmācību, esam atklājuši jaunus apdraudējumus, kas spēj uzlauzt esošos modeļus. Tomēr mērogošana ir arī būtiski uzlabojusi noturību pret šiem uzbrukumiem. Uzbrukuma sekmju rādītājs tiek aprēķināts kā GPT‑Red vidējie mēģinājumu panākumi visos mēģinājumos atliktajās vidēs.
Modelis var šķist drošāks, atsakot vairāk pieprasījumu vai kļūstot mazāk spējīgs. Modeli, kas dara mazāk, dabiski ir grūtāk uzbrukt, taču tā nav noderīga izturība.
Mēs rūpīgi izvērtējam gan vispārējās progresīvitātes spējas, gan mērķtiecīgus atteikšanās uzdevumus, ko izstrādājam. Mēs konstatējam, ka visas parastās iespējas paliek nemainīgas, vienlaikus ievērojami uzlabojot izturību. Tas liecina, ka izturības pieaugums tika panākts, pateicoties labākai izturībai pret ļaunprātīgām instrukcijām, nevis nepareizai rīku lietošanai vai likumīgu pieprasījumu noraidīšanai pēc noklusējuma.
MI aģenti jau tiek izmantoti, lai uzlabotu mūsu nākamās paaudzes modeļu iespējas. Mēs ticam, ka ar GPT‑Red esam sākuši atklāt līdzīgu spararatu drošībai, kur šodienas modeļus var izmantot, lai rītdienas modeļus padarītu izturīgākus, saskaņotākus un uzticamākus. Mēs turpināsim palielināt aprēķinu apjomu un datus, vienlaikus veicot algoritmiskus uzlabojumus, lai apmācītu nākamās GPT‑Red versijas, kas ir spēcīgākas par pašreizējo modeli. Savukārt šie modeļi palīdzēs padarīt GPT izlaidumus drošākus nākotnē.
Šonedēļ mēs publicēsim iepriekšēju izdevumu ar sīkāku informāciju.
