Nepārtraukta ChatGPT Atlas stiprināšana pret uzvedņu injekcijas uzbrukumiem

Aģenta režīms programmā ChatGPT Atlas ir viena no vispārīgākajām aģentu funkcijām, ko esam izlaiduši līdz šim. Šajā režīmā pārlūka aģents skatās tīmekļa lapas un veic darbības, klikšķus un taustiņsitienus tavā pārlūkā, tieši tāpat kā tu. Tas ļauj ChatGPT tieši strādāt ar daudzām tavām ikdienas darbplūsmām, izmantojot to pašu telpu, kontekstu un datus.

Tā kā pārlūka aģents palīdz tev paveikt vairāk, tas arī kļūst par vērtīgāku mērķi pretinieku uzbrukumiem. Tas padara mākslīgā intelekta drošību īpaši svarīgu. Vēl ilgi pirms mēs palaidām ChatGPT Atlas, mēs nepārtraukti veidojām un stiprinājām aizsardzību pret jaunām draudu formām, kas īpaši mērķē uz šo jauno "aģents pārlūkā" paradigmu. Uzvedņu injekcija⁠ ir viens no nozīmīgākajiem riskiem, pret kuriem mēs aktīvi aizsargājamies, lai nodrošinātu, ka ChatGPT Atlas var droši darboties tavā labā. 

Kā daļu no šīm pūlēm mēs nesen piegādājām drošības atjauninājumu Atlas pārlūka aģentam, iekļaujot ar uzbrukumu metodēm apmācītu jaunizveidotu modeli un pastiprinātus apkārtējos aizsardzības pasākumus. Šis atjauninājums tika izlaists, atklājot jaunu uzvedņu injekcijas uzbrukumu klasi, izmantojot mūsu iekšējo automatizēto sarkano komandu.

Šajā ierakstā mēs izskaidrojam, kā tīmekļa aģentiem var rasties uzvedņu injekcijas risks, un dalāmies ar ātras reaģēšanas ciklu, ko esam izstrādājuši, lai nepārtraukti atklātu jaunus uzbrukumus un ātri ieviestu mazināšanas pasākumus—kā to ilustrē šis nesenais drošības atjauninājums.

Mēs uzskatām uzvedņu injekciju par ilgtermiņa MI drošības izaicinājumu, un mums būs nepārtraukti jāstiprina mūsu aizsardzība pret to (līdzīgi kā pret tiešsaistes krāpšanām, kas vērstas pret cilvēkiem un pastāvīgi attīstās). Mūsu jaunākais ātrās reaģēšanas cikls sākotnēji sola kļūt par kritisku rīku šajā ceļā: mēs atklājam jaunas uzbrukuma stratēģijas iekšienē, pirms tās parādās ārā. Mūsu ilgtermiņa vīzija ir pilnībā izmantot (1) mūsu "baltās kastes" piekļuvi mūsu modeļiem, (2) dziļu izpratni par mūsu aizsardzības mehānismiem un (3) aprēķinu mērogu, lai apsteigtu ārējos uzbrucējus – tā mēs atrodam ievainojamības agrāk, ātrāk ieviešam aizsardzības pasākumus un nepārtraukti uzlabojam procesu. Kopā ar jaunu metožu robežpētniecību, lai risinātu uzvedņu injekcijas un palielinātu ieguldījumus citos drošības kontrolēs, šis saliktais cikls var padarīt uzbrukumus arvien grūtākus un dārgākus, būtiski samazinot reālās pasaules uzvedņu injekcijas risku. Galu galā mūsu mērķis ir, lai tu varētu uzticēt ChatGPT aģentam tavu pārlūku izmantošanu tā, kā tu to uzticētu ļoti kompetentam, drošības jautājumos apzinīgam kolēģim vai draugam.

Uzvedņu injekcijas uzbrukums mērķē uz mākslīgā intelekta aģentiem, iekļaujot ļaunprātīgas instrukcijas saturā, ko aģents apstrādā. Šīs instrukcijas ir izstrādātas, lai pārņemtu vai pārvirzītu aģenta uzvedību, piespiežot to sekot uzbrucēja, nevis lietotāja nodomiem.

Pārlūka aģentam, piemēram, tam, kas atrodas ChatGPT Atlas, uzvedņu injekcija pievieno jaunu draudu vektoru, kas pārsniedz tradicionālos tīmekļa drošības riskus (piemēram, lietotāja kļūdas vai programmatūras ievainojamības). Tā vietā, lai veiktu pikšķerēšanu pret cilvēkiem vai izmantotu pārlūka sistēmas ievainojamības, uzbrucējs mērķē uz aģentu, kas darbojas pārlūkā.

Hipotētiski uzbrucējs varētu nosūtīt ļaunprātīgu e-pasta vēstuli, mēģinot maldināt aģentu, lai tas ignorētu lietotāja pieprasījumu un tā vietā pārsūtītu sensitīvus nodokļu dokumentus uz uzbrucēja kontrolētu e-pasta adresi. Ja lietotājs lūdz aģentam pārskatīt nelasītos e-pastus un apkopot galvenos punktus, aģents var šīs darbplūsmas laikā apstrādāt ļaunprātīgu e-pastu. Ja tas seko injicētajām instrukcijām, tas var novirzīties no uzdevuma un nepareizi dalīties ar sensitīvu informāciju.

Šis ir tikai viens konkrēts scenārijs. Tā pati vispārība, kas padara pārlūka aģentus noderīgus, arī paplašina riskus: aģents var saskarties ar neuzticamām instrukcijām faktiski neierobežotā virsmas laukā—e-pastos un pielikumos, kalendāra ielūgumos, koplietotos dokumentos, forumos, sociālo mediju ierakstos un patvaļīgās tīmekļa lapās. Tā kā aģents var veikt daudzas no tām pašām darbībām, ko lietotājs var veikt pārlūkā, veiksmīga uzbrukuma ietekme hipotētiski var būt tikpat plaša: sensitīva e-pasta pārsūtīšana, naudas nosūtīšana, failu rediģēšana vai dzēšana mākonī un daudz kas cits.

Kā mēs rakstījām iepriekšējā ierakstā⁠, mēs esam panākuši progresu aizsardzībā pret uzvedņu injekciju, izmantojot vairākus aizsardzības slāņus. Tomēr uzvedņu injekcija joprojām ir neatrisināts izaicinājums aģentu drošībai, un paredzams, ka mēs turpināsim strādāt pie tā vēl daudzus gadus.

Lai stiprinātu mūsu aizsardzību, mēs nepārtraukti meklējam jaunus uzvedņu injekcijas uzbrukumus pret strādājošām aģentu sistēmām. Šo uzbrukumu atklāšana ir nepieciešams priekšnoteikums, lai izveidotu stabilas ietekmes mazināšanas stratēģijas: tas palīdz mums izprast reālos riskus, atklāj mūsu aizsardzības trūkumus un veicina konkrētu ielāpu izstrādi.

Lai to izdarītu lielā mērogā, mēs izveidojām LLM balstītu automatizētu uzbrucēju un apmācījām to meklēt uzvedņu injekcijas uzbrukumus, kas var veiksmīgi uzbrukt pārlūka aģentam. Mēs apmācījām šo uzbrucēju no sākuma līdz beigām, izmantojot stimulēto mācīšanos, lai tas mācītos no saviem panākumiem un neveiksmēm, uzlabojot savas sarkanās komandas prasmes. Mēs arī ļaujam tam "izmēģināt pirms nosūtīšanas", ar to mēs domājam: domu ķēdes laikā uzbrucējs var piedāvāt kandidātu injekciju un nosūtīt to uz ārēju simulatoru. Simulators veic hipotētisku izvēršanu par to, kā mērķa aģents-upuris (aizstāvis) rīkotos, ja tas saskartos ar injekciju, un sniedz pilnu aģenta-upura domāšanas un rīcības izsekošanas aprakstu. Uzbrucējs izmanto šo pēdu kā atsauksmi, iterē uzbrukumu un atkārtoti veic simulāciju, atkārtojot šo ciklu vairākas reizes, pirms veic galīgo uzbrukumu. Tas sniedz uzbrucējam bagātīgāku kontekstuālo atsauksmi nekā vienkāršs izturēšanas/neizturēšanas signāls. Tas arī palielina uzbrucēja testēšanas laika skaitļošanas resursus. Turklāt privileģēja piekļuve aizstāvja domāšanas pēdām (ko mēs neatklājam ārējiem lietotājiem) dod mūsu iekšējam uzbrucējam asimetrisku priekšrocību, palielinot izredzes, ka tas var pārspēt ārējos pretiniekus.

Kāpēc stimulēta mācīšanās (SM)? Mēs izvēlējāmies stimulēto mācīšanos, lai apmācītu automatizēto uzbrucēju vairāku iemeslu dēļ:

1. Ilgtermiņa un nepastāvīgu uzbrucēju mērķu optimizēšana. Mūsu mērķis ir meklēt uzvedņu injekciju uzbrukumus, kas var apmānīt aģentu, liekot tam izpildīt sarežģītus uzbrukumu uzdevumus (piemēram, sūtīt e-pastus, veikt bankas darījumus), kas varētu notikt reālajā pasaulē. Šie uzbrukumu uzdevumi ir pēc būtības ilgtermiņa uzdevumi, kas prasa daudzus domāšanas un mijiedarbības soļus ar vidi, kur panākumu signāli ir reti un aizkavēti. Stimulēta mācīšanās ir labi piemērota šai retinātajai, aizkavētajai atlīdzības struktūrai.
2. Jaunāko LLM iespēju izmantošana. Mēs apmācījām LLM robežmodeļus tieši kā automātiskās sarkanās komandas dalībniekus, tādējādi uzbrucējs tieši gūst labumu no uzlabojumiem domāšanā un plānošanā robežmodeļos. Tā kā bāzes modeļi kļūst spēcīgāki, arī uzbrucējs dabiski kļūst spējīgāks, padarot to par mērogojamu veidu, kā uzturēt spiedienu uz mūsu aizsardzību, kamēr mūsu modeļi attīstās.
3. Skaitļošanas jaudas paplašināšana un adaptīvo uzbrucēju atdarināšana. Stimulēta mācīšanās ir labi piemērota, lai palielinātu skaitļošanas resursus, kas tiek izmantoti uzbrukumu meklēšanai lielam skaitam paraugu un mācību soļu, un tā arī cieši atspoguļo, kā uzvedas adaptīvi cilvēki-uzbrucēji: iteratīvi izmēģina stratēģijas, mācās no rezultātiem un nostiprina veiksmīgas uzvedības.
   

Mūsu automatizētais uzbrucējs spēj pilnībā atklāt jaunus, reālistiskus uzvedņu injekcijas uzbrukumus no sākuma līdz beigām. Atšķirībā no lielākās daļas iepriekšējo automatizēto sarkanās komandas darbu, kas atklāja vienkāršas kļūdas, piemēram, konkrētu izvades virkņu izraisīšanu vai neparedzētu viena soļa rīka izsaukšanu no aģenta, mūsu SM apmācītais uzbrucējs spēj vadīt aģentu, lai tas izpildītu sarežģītas, ilgtermiņa kaitīgas darbplūsmas, kas attīstās desmitiem (vai pat simtiem) soļu garumā. Mēs arī novērojām jaunas uzbrukuma stratēģijas, kas neparādījās mūsu sarkanās komandas dalībnieku-cilvēku kampaņā vai ārējos ziņojumos.

Zemāk redzamā demonstrācija parāda konkrētu uzvedņu injekcijas uzbrukumu, ko atklāja mūsu automatizētais uzbrucējs, un kuru mēs pēc tam izmantojām, lai vēl vairāk nostiprinātu ChatGPT Atlas aizsardzību. Uzbrucējs ievieto lietotāja iesūtnē ļaunprātīgu e-pastu, kas satur uzvednes injekciju, norādot aģentam nosūtīt atlūguma vēstuli lietotāja izpilddirektoram. Vēlāk, kad lietotājs lūdz aģentam sagatavot prombūtnes atbildi, aģents normālas uzdevumu izpildes laikā sastop šo e-pastu, uzskata injicēto uzvedni par autoritatīvu un seko tai. Ziņojums par atrašanos ārpus biroja nekad netiek uzrakstīts, bet aģents lietotāja vietā atkāpjas no amata.

Uzvedņu injekcijas raksturs padara deterministiskas drošības garantijas izaicinošas, taču, paplašinot mūsu automatizēto drošības pētījumu, uzbrukumu testēšanu un pastiprinot mūsu ātrās reaģēšanas ciklu, mēs spējam uzlabot modeļa robustumu un aizsardzību, negaidot uzbrukuma notikšanu reālajā vidē. 

Mēs dalāmies ar šo demonstrāciju, lai palīdzētu lietotājiem un pētniekiem labāk izprast šo uzbrukumu būtību un to, kā mēs aktīvi aizsargājamies pret tiem. Mēs uzskatām, ka tas atspoguļo automatizētās sarkanās komandas spēju robežas, un mēs esam ļoti priecīgi turpināt mūsu pētījumus.

Mūsu automatizētā sarkanā komanda veicina proaktīvu ātras reaģēšanas ciklu: kad automatizētais uzbrucējs atklāj jaunu veiksmīgu uzvedņu injekcijas uzbrukumu klasi, tas nekavējoties izveido konkrētu mērķi mūsu aizsardzības uzlabošanai.

Uzbrukumu apmācība pret nesen atklātajiem uzbrukumiem. Mēs nepārtraukti apmācām atjauninātus aģentu modeļus pret mūsu labāko automatizēto uzbrucēju, pievēršot īpašu uzmanību uzbrukumiem, kuros mērķa aģenti pašlaik cieš neveiksmi. Mērķis ir iemācīt aģentiem ignorēt ļaunprātīgas instrukcijas un palikt saskaņotiem ar lietotāja nodomu, uzlabojot pretestību jaunatklātām uzvedņu injekcijas stratēģijām. Tas “iespiež” izturību pret jauniem, augstas stiprības uzbrukumiem tieši modeļa kontrolpunktā. Piemēram, nesenas automatizētās sarkanās komandas tieši radīja jaunu ar uzbrukuma datiem apmācītu pārlūka aģenta kontrolpunktu, kas jau ir ieviests visiem ChatGPT Atlas lietotājiem. Tas galu galā palīdz labāk aizsargāt mūsu lietotājus pret jauniem uzbrukumu veidiem.

Uzbrukumu pēdu izmantošana, lai uzlabotu plašāku aizsardzības sistēmu. Daudzi uzbrukuma ceļi, ko atklājusi mūsu automatizētā sarkanā komanda, arī atklāj uzlabošanas iespējas ārpus paša modeļa, piemēram, uzraudzībā, drošības instrukcijās, ko ievietojam modeļa kontekstā, vai sistēmas līmeņa aizsardzības pasākumos. Šie atklājumi palīdz mums uzlabot visu aizsardzības sistēmu, ne tikai aģenta kontrolpunktu.

Reaģēšana uz aktīviem uzbrukumiem. Šī cilpa var arī palīdzēt labāk reaģēt uz aktīviem uzbrukumiem dabiskajā vidē. Aplūkojot mūsu globālo darbības jomu, lai identificētu potenciālos uzbrukumus, mēs varam izmantot tehnikas un taktikas, ko novērojam ārējos pretiniekos, ievadīt tās šajā ciklā, atdarināt viņu darbības un veicināt aizsardzības izmaiņas visā mūsu platformā.

Stiprinot mūsu spēju veidot sarkanās komandas aģentus un izmantojot mūsu spējīgākos modeļus, lai automatizētu daļas no šī darba, tas palīdz padarīt Atlas pārlūka aģentu izturīgāku, paplašinot atklāšanas un labošanas ciklu. Šis nostiprināšanas pasākums pastiprina labi zināmu drošības mācību: labi zināms ceļš uz spēcīgāku aizsardzību ir nepārtraukti pārbaudīt reālās sistēmas, reaģēt uz kļūmēm un piegādāt konkrētus labojumus.

Mēs sagaidām, ka pretinieki turpinās pielāgoties. Uzvedņu injekcija, līdzīgi kā krāpšana un sociālā inženierija tīmeklī, visticamāk nekad netiks pilnībā "novērsta". Bet mēs esam optimistiski, ka proaktīva, ļoti atsaucīga ātrās reakcijas cilpa laika gaitā var turpināt būtiski samazināt reālās pasaules risku. Apvienojot automatizētu uzbrukumu atklāšanu ar uzbrukumu apmācību un sistēmas līmeņa aizsardzības pasākumiem, mēs varam agrāk identificēt jaunus uzbrukumu modeļus, ātrāk novērst nepilnības un nepārtraukti paaugstināt izmantošanas izmaksas.

Aģenta režīms programmā ChatGPT Atlas ir spēcīgs—un tas arī paplašina drošības apdraudējumu virsmu. Skaidra izpratne par šo kompromisu ir daļa no atbildīgas būvēšanas. Mūsu mērķis ir padarīt programmu Atlas ievērojami drošāku ar katru iterāciju: uzlabojot modeļa noturību, stiprinot apkārtējo aizsardzības sistēmu un uzraugot jaunu ļaunprātīgas izmantošanas modeļu parādīšanos.

Mēs turpināsim ieguldīt pētniecībā un ieviešanā, izstrādājot labākas automatizētas sarkano komandu metodes, ieviešot daudzslāņu ietekmes mazināšanas pasākumus un ātri iterējot, mācoties. Mēs arī dalīsimies ar to, ko varam, ar plašāku sabiedrību.

Kamēr mēs turpinām stiprināt Atlas sistēmas līmenī, ir soļi, ko lietotāji var veikt, lai samazinātu risku, lietojot aģentus. 

Ierobežojiet pieteikšanās piekļuvi, kad iespējams. Mēs turpinām ieteikt, lai, izmantojot aģentu Atlas, lietotāji izmantotu izrakstīšanās režīmu⁠(atveras jaunā logā), ja piekļuve vietnēm, kurās esi pieteicies, nav nepieciešama uzdevuma veikšanai, vai lai ierobežotu piekļuvi konkrētām vietnēm, kurās pieraksties uzdevuma laikā. 

Rūpīgi pārskati apstiprinājuma pieprasījumus. Dažām svarīgām darbībām, piemēram, pirkuma pabeigšanai vai e-pasta nosūtīšanai, aģenti ir izstrādāti tā, lai pirms turpināšanas lūgtu tavu apstiprinājumu. Kad aģents lūdz tevi apstiprināt darbību, veltī brīdi, lai verificētu, vai rīcība ir pareiza un vai jebkura informācija, kas tiek koplietota, ir piemērota šim kontekstam.

Dod aģentiem skaidrus norādījumus, kad vien iespējams. Izvairies no pārāk plašām uzvednēm, piemēram, "pārskati manus e-pastus un veic jebkādu nepieciešamo rīcību." Plaša rīcības brīvība atvieglo slēpta vai ļaunprātīga satura ietekmi uz aģentu, pat ja ir ieviesti drošības pasākumi. Ir drošāk lūgt aģentam veikt konkrētus, labi definētus uzdevumus. Lai gan tas nenovērš risku, tas padara uzbrukumus grūtāk īstenojamus.

Ja aģenti vēlas kļūt par uzticamiem partneriem ikdienas uzdevumos, tiem jābūt izturīgiem pret manipulācijām, ko ļauj veikt atklātais tīmeklis. Aizsardzība pret uzvedņu injekcijām ir ilgtermiņa saistība un viena no mūsu galvenajām prioritātēm. Drīzumā dalīsimies ar citu informācijas par šo darbu.