Insaħħu kontinwament lil ChatGPT Atlas kontra attakki ta’ injezzjoni tal-prompts

Il-modalità aġent f’ChatGPT Atlas hija waħda mill-aktar funzjonalitajiet versatili bbażati fuq aġenti li ħriġna s’issa. F’din il-modalità, l-aġent tal-brawżer jara paġni web u jwettaq azzjonijiet fil-brawżer tiegħek, billi jikklikkja u jagħfas it-tasti, l-istess bħalma tagħmel int. Dan jippermetti lil ChatGPT jaħdem direttament fuq ħafna mill-proċessi tax-xogħol ta’ kuljum tiegħek, bl-istess spazju, kuntest u data.

Hekk kif l-aġent tal-brawżer jgħinek tagħmel aktar xogħol, isir ukoll mira aktar siewja għall-attakki malizzjużi. Dan jagħmel is-sigurtà tal-AI partikolarment importanti. Minn ħafna qabel nedejna ChatGPT Atlas, ilna niżviluppaw u nsaħħu kontinwament id-difiżi kontra theddid emerġenti li jimmira speċifikament lejn dan il-kunċett ġdid ta’ “aġent fil-brawżer”. L-injezzjoni tal-prompts⁠ hija waħda mill-aktar riskji sinifikanti li niddefendu ruħna kontrihom b’mod attiv biex ngħinu niżguraw li ChatGPT Atlas ikun jista’ jaħdem b’mod sigur f’ismek. 

Bħala parti minn dan l-isforz, dan l-aħħar ħriġna aġġornament tas-sigurtà għall-aġent tal-brawżer ta’ Atlas, li jinkludi mudell imħarreġ mill-ġdid kontra attakki u salvagwardji aktar b’saħħithom madwaru. Dan l-aġġornament sar wara li sibna klassi ġdida ta’ attakki ta’ injezzjoni tal-prompts permezz tar-red teaming awtomatizzat intern tagħna.

F’din il-pubblikazzjoni, nispjegaw kif jista’ jinħoloq ir-riskju ta’ injezzjoni tal-prompts għall-aġenti li jaħdmu fuq il-web, u naqsmu ċiklu ta’ rispons rapidu li ilna niżviluppaw biex niskopru attakki ġodda kontinwament u noħorġu miżuri ta’ mitigazzjoni malajr—kif juri dan l-aġġornament reċenti tas-sigurtà.

Inqisu l-injezzjoni tal-prompts bħala sfida fit-tul għas-sigurtà tal-AI, u se jkollna nkomplu nsaħħu d-difiżi tagħna kontriha kontinwament, bħalma jiġri bl-iscams online li jimmiraw lejn il-bnedmin u li dejjem jevolvu. L-aħħar ċiklu ta’ rispons rapidu tagħna qed juri sinjali bikrin promettenti bħala għodda kruċjali f’dan il-proċess: qed niskopru strateġiji ġodda ta’ attakk internament qabel ma jfeġġu fid-dinja reali. Il-viżjoni tagħna fit-tul hija li nisfruttaw bis-sħiħ (1) l-aċċess sħiħ tagħna għall-funzjonament intern tal-mudelli tagħna, (2) l-għarfien profond tad-difiżi tagħna, u (3) l-iskala tar-riżorsi komputazzjonali biex nibqgħu pass qabel l-attakkanti esterni—insibu modi kif jiġu sfruttati d-dgħufijiet aktar kmieni, noħorġu miżuri ta’ mitigazzjoni aktar malajr, u ntejbu kontinwament l-effiċjenza taċ-ċiklu. Flimkien ma’ riċerka mill-aktar avvanzata dwar tekniki ġodda biex tiġi indirizzata l-injezzjoni tal-prompts u investiment akbar f’kontrolli oħra tas-sigurtà, dan iċ-ċiklu li jissaħħaħ maż-żmien jista’ jagħmel l-attakki dejjem aktar diffiċli u għaljin, u jnaqqas sostanzjalment ir-riskju ta’ injezzjoni tal-prompts fid-dinja reali. Fl-aħħar mill-aħħar, l-għan tagħna huwa li tkun tista’ tafda aġent ta’ ChatGPT biex juża l-brawżer tiegħek bħalma tafda kollega jew ħabib kompetenti ħafna u konxju tas-sigurtà.

Attakk ta’ injezzjoni tal-prompts jimmira lejn l-aġenti tal-AI billi jdaħħal struzzjonijiet malizzjużi fil-kontenut li jipproċessa l-aġent. Dawn l-istruzzjonijiet jitfasslu biex jieħdu preċedenza fuq l-imġiba tal-aġent jew ibiddlu d-direzzjoni tagħha—b’hekk l-attakkant jaħtaf il-kontroll u jġiegħel lill-aġent isegwi l-intenzjoni tiegħu minflok dik tal-utent.

Għal aġent tal-brawżer bħal dak f’ChatGPT Atlas, l-injezzjoni tal-prompts iżżid mezz ġdid ta’ theddida lil hinn mir-riskji tradizzjonali tas-sigurtà tal-web, bħal żbalji tal-utent jew vulnerabbiltajiet tas-software. Minflok jipprova jqarraq bil-bnedmin permezz tal-phishing jew jisfrutta vulnerabbiltajiet fis-sistema tal-brawżer, l-attakkant jimmira lejn l-aġent li jaħdem fih.

Bħala eżempju ipotetiku, attakkant jista’ jibgħat email malizzjuża biex jipprova jqarraq b’aġent ħalli jinjora t-talba tal-utent u minflok jgħaddi dokumenti sensittivi tat-taxxa lil indirizz tal-email ikkontrollat mill-attakkant. Jekk utent jitlob lill-aġent jirrevedi l-emails mhux moqrija u jiġbor fil-qosor il-punti ewlenin, l-aġent jista’ jipproċessa dik l-email malizzjuża matul ix-xogħol. Jekk isegwi l-istruzzjonijiet injettati, jista’ jiddevja mill-kompitu—u jaqsam informazzjoni sensittiva bi żball.

Dan huwa biss xenarju speċifiku wieħed. L-istess versatilità li tagħmel l-aġenti tal-brawżer utli twessa’ wkoll ir-riskji: l-aġent jista’ jiltaqa’ ma’ struzzjonijiet mhux affidabbli f’firxa prattikament bla limiti ta’ sorsi—emails u annessi, stediniet tal-kalendarju, dokumenti kondiviżi, forums, posts fuq il-midja soċjali u kwalunkwe paġna web. Peress li l-aġent jista’ jwettaq ħafna mill-istess azzjonijiet li jista’ jwettaq utent f’brawżer, l-impatt ta’ attakk b’suċċess jista’, ipotetikament, ikun daqstant wiesa’: jgħaddi email sensittiva, jibgħat flus, jeditja jew iħassar fajls fil-cloud, u aktar.

Għamilna progress fid-difiża kontra l-injezzjoni tal-prompts permezz ta’ diversi saffi ta’ salvagwardji, kif spjegajna f’pubblikazzjoni preċedenti⁠. Madankollu, l-injezzjoni tal-prompts għadha sfida mhux solvuta għas-sigurtà tal-aġenti, u nistennew li nkomplu naħdmu fuqha għas-snin li ġejjin.

Biex insaħħu d-difiżi tagħna, ilna nfittxu kontinwament attakki ġodda ta’ injezzjoni tal-prompts kontra sistemi ta’ aġenti li diġà qed jintużaw. Is-sejba ta’ dawn l-attakki hija prerekwiżit meħtieġ biex nibnu miżuri ta’ mitigazzjoni robusti: tgħinna nifhmu r-riskju fid-dinja reali, tikxef lakuni fid-difiżi tagħna, u twassal għal korrezzjonijiet konkreti.

Biex nagħmlu dan fuq skala kbira, bnejna attakkant awtomatizzat ibbażat fuq LLM u ħarriġnieh biex ifittex attakki ta’ injezzjoni tal-prompts li jistgħu jirnexxu kontra aġent tal-brawżer. Ħarriġna lil dan l-attakkant minn tarf sa tarf bl-apprendiment ta' tisħiħ, biex jitgħallem mis-suċċessi u l-fallimenti tiegħu stess u jtejjeb il-ħiliet tiegħu fir-red teaming. Inħalluh ukoll “jipprova qabel jiffinalizza”. B’dan infissru li, waqt ir-raġunament tiegħu f’katina ta’ ħsieb, l-attakkant jista’ jipproponi injezzjoni potenzjali u jibgħatha lil simulatur estern. Is-simulatur iwettaq simulazzjoni kontrofattwali ta’ kif iġib ruħu l-aġent fil-mira (id-difensur) kieku jiltaqa’ mal-injezzjoni, u jirritorna rekord sħiħ tar-raġunament u tal-azzjonijiet ta’ dak l-aġent. L-attakkant juża dak ir-rekord bħala feedback, jirfina l-attakk, u jerġa’ jħaddem is-simulazzjoni—u jirrepeti dan iċ-ċiklu diversi drabi qabel jagħżel attakk finali. Dan jagħti lill-attakkant feedback aktar rikk fil-kuntest minn sempliċi sinjal ta’ suċċess jew falliment. Iżid ukoll ir-riżorsi komputazzjonali li l-attakkant juża waqt l-ittestjar. Barra minn hekk, l-aċċess privileġġat għar-rekords tar-raġunament tad-difensur, li ma niżvelawx lill-utenti esterni, jagħti lill-attakkant intern tagħna vantaġġ mhux disponibbli lill-oħrajn—u jżid il-probabbiltà li jibqa’ pass qabel l-avversarji esterni.

Għaliex l-apprendiment ta' tisħiħ (RL)? Għażilna l-apprendiment ta' tisħiħ biex inħarrġu lill-attakkant awtomatizzat għal diversi raġunijiet:

1. L-ottimizzazzjoni ta’ objettivi tal-attakkant li jestendu fuq ħafna passi u li mhumiex kontinwi. L-għan tagħna huwa li nfittxu attakki ta’ injezzjoni tal-prompts li jistgħu jqarrqu bl-aġent biex iwettaq kompiti malizzjużi sofistikati, bħat-trażmissjoni ta’ emails jew tranżazzjonijiet bankarji, li jistgħu jseħħu fid-dinja reali. Dawn il-kompiti malizzjużi, min-natura tagħhom, jestendu fuq ħafna passi ta’ raġunament u interazzjoni mal-ambjent, b’sinjali ta’ suċċess rari u li jaslu tard. L-apprendiment ta' tisħiħ huwa adattat sew għal din l-istruttura ta’ premjijiet rari u mdewma.

2. L-isfruttar tal-kapaċitajiet tal-LLMs l-aktar avvanzati. Ħarriġna direttament LLMs mill-aktar avvanzati biex iwettqu red teaming awtomatizzat, ħalli l-attakkant jibbenefika direttament mit-titjib fir-raġunament u l-ippjanar tal-mudelli l-aktar avvanzati. Hekk kif il-mudelli bażi jsiru aktar b’saħħithom, l-attakkant naturalment isir aktar kapaċi wkoll—u b’hekk dan huwa mod li jista’ jikber fl-iskala biex nibqgħu nisfidaw id-difiżi tagħna hekk kif jevolvu l-mudelli.

3. Iż-żieda fir-riżorsi komputazzjonali u l-imitazzjoni ta’ attakkanti li jadattaw. L-apprendiment ta' tisħiħ huwa adattat sew biex jiżdiedu r-riżorsi komputazzjonali ddedikati għat-tiftix ta’ attakki fuq għadd kbir ta’ kampjuni u passi ta’ tagħlim. Jirrifletti wkoll mill-qrib kif iġibu ruħhom l-attakkanti umani li jadattaw: jippruvaw strateġiji ripetutament, jitgħallmu mir-riżultati u jsaħħu l-imġibiet li jirnexxu.
   

L-attakkant awtomatizzat tagħna jista’ jiskopri attakki ġodda u realistiċi ta’ injezzjoni tal-prompts minn tarf sa tarf. Il-biċċa l-kbira tax-xogħol preċedenti fir-red teaming awtomatizzat kien jikxef fallimenti sempliċi, bħal li jġiegħel lill-aġent jipproduċi sekwenzi speċifiċi ta’ test jew iwettaq sejħa mhux intenzjonata għal għodda f’pass wieħed. B’kuntrast, l-attakkant tagħna mħarreġ bl-RL jista’ jidderieġi aġent biex iwettaq proċessi tax-xogħol dannużi u sofistikati li jestendu fuq għexieren, jew saħansitra mijiet, ta’ passi. Osservajna wkoll strateġiji ġodda ta’ attakk li ma kinux dehru fil-kampanja tagħna ta’ red teaming imwettqa mill-bnedmin jew f’rapporti esterni.

Id-dimostrazzjoni hawn taħt tippreżenta każ konkret ta’ sfruttament permezz ta’ injezzjoni tal-prompts li sab l-attakkant awtomatizzat tagħna u li mbagħad użajna biex insaħħu aktar id-difiżi ta’ ChatGPT Atlas. L-attakkant iqiegħed email malizzjuża fil-kaxxa tal-posta tal-utent, b’injezzjoni tal-prompts li tordna lill-aġent jibgħat ittra ta’ riżenja lill-Kap Eżekuttiv tal-utent. Aktar tard, meta l-utent jitlob lill-aġent iħejji tweġiba ta’ assenza mill-uffiċċju, l-aġent jiltaqa’ ma’ dik l-email waqt li jwettaq il-kompitu normalment, iqis il-prompt injettat bħala awtorevoli, u jsegwih. It-tweġiba ta’ assenza mill-uffiċċju qatt ma tinkiteb u, minflok, l-aġent jirriżenja f’isem l-utent.

In-natura tal-injezzjoni tal-prompts tagħmilha diffiċli li jingħataw garanziji deterministiċi tas-sigurtà. Iżda billi nżidu l-iskala tar-riċerka awtomatizzata tagħna dwar is-sigurtà u tal-ittestjar kontra attakki, u ntejbu l-effiċjenza taċ-ċiklu ta’ rispons rapidu, nistgħu nsaħħu r-robustezza u d-difiżi tal-mudell—mingħajr ma nistennew li jseħħ attakk fid-dinja reali. 

Qed naqsmu din id-dimostrazzjoni biex ngħinu lill-utenti u lir-riċerkaturi jifhmu aħjar in-natura ta’ dawn l-attakki—u kif qed niddefendu ruħna kontrihom b’mod attiv. Nemmnu li dan jirrappreżenta l-aktar livell avvanzat ta’ dak li jista’ jikseb ir-red teaming awtomatizzat, u aħna ħerqana ħafna li nkomplu r-riċerka tagħna.

Ir-red teaming awtomatizzat tagħna qed imexxi ċiklu proattiv ta’ rispons rapidu: meta l-attakkant awtomatizzat jiskopri klassi ġdida ta’ attakki ta’ injezzjoni tal-prompts li jirnexxu, minnufih joħloq mira konkreta biex intejbu d-difiżi tagħna.

Taħriġ kontra attakki li jkunu għadhom kemm ġew skoperti. Inħarrġu kontinwament mudelli aġġornati ta’ aġenti kontra l-aħjar attakkant awtomatizzat tagħna—bi prijorità għall-attakki li bħalissa jġiegħlu lill-aġenti fil-mira jfallu. L-għan huwa li ngħallmu lill-aġenti jinjoraw l-istruzzjonijiet malizzjużi u jibqgħu allinjati mal-intenzjoni tal-utent, biex intejbu r-reżistenza għal strateġiji ta’ injezzjoni tal-prompts li jkunu għadhom kemm ġew skoperti. Dan jintegra r-robustezza kontra attakki ġodda u qawwija direttament fil-verżjoni salvata tal-mudell. Pereżempju, ir-red teaming awtomatizzat reċenti wassal direttament għal verżjoni ġdida tal-aġent tal-brawżer imħarrġa kontra attakki, li diġà saret disponibbli għall-utenti kollha ta’ ChatGPT Atlas. Fl-aħħar mill-aħħar, dan jgħin biex nipproteġu aħjar lill-utenti tagħna minn tipi ġodda ta’ attakki.

L-użu tar-rekords tal-attakki biex intejbu s-sistema usa’ tad-difiża. Ħafna mill-modi ta’ attakk li tiskopri s-sistema awtomatizzata tagħna tar-red teaming jikxfu wkoll opportunitajiet għal titjib lil hinn mill-mudell innifsu—bħal fil-monitoraġġ, fl-istruzzjonijiet tas-sikurezza li nqiegħdu fil-kuntest tal-mudell, jew fis-salvagwardji fil-livell tas-sistema. Dawn is-sejbiet jgħinuna nirfinaw is-sistema kollha tad-difiża, mhux biss il-verżjoni salvata tal-aġent.

Rispons għal attakki attivi. Dan iċ-ċiklu jista’ jgħinna wkoll nirrispondu aħjar għal attakki attivi fid-dinja reali. Hekk kif infittxu attakki potenzjali kull fejn jintużaw is-servizzi tagħna madwar id-dinja, nistgħu nieħdu t-tekniki u t-tattiċi li naraw jużaw l-avversarji esterni, ndaħħluhom f’dan iċ-ċiklu, nimitaw l-attività tagħhom, u nwasslu għal titjib fid-difiża fuq il-pjattaforma kollha tagħna.

It-tisħiħ tal-kapaċità tagħna li nwettqu red teaming fuq l-aġenti, u l-użu tal-aktar mudelli kapaċi tagħna biex nawtomatizzaw partijiet minn dak ix-xogħol, jgħinu biex l-aġent tal-brawżer ta’ Atlas isir aktar robust billi jżidu l-iskala taċ-ċiklu mis-sejba sal-korrezzjoni. Dan l-isforz ta’ tisħiħ jikkonferma lezzjoni magħrufa fis-sigurtà: mod ippruvat biex tinkiseb protezzjoni aktar b’saħħitha huwa li kontinwament jiġu ttestjati sistemi reali taħt pressjoni, jiġu indirizzati l-fallimenti, u jiġu rilaxxati korrezzjonijiet konkreti.

Nistennew li l-avversarji jibqgħu jadattaw. Bħall-iscams u l-inġinerija soċjali fuq il-web, l-injezzjoni tal-prompts x’aktarx qatt ma se tkun problema kompletament “solvuta”. Iżda aħna ottimisti li ċiklu proattiv ta’ rispons rapidu, kapaċi jadatta malajr ħafna, jista’ jkompli jnaqqas sostanzjalment ir-riskju fid-dinja reali maż-żmien. Billi ngħaqqdu s-sejba awtomatizzata tal-attakki mat-taħriġ kontra attakki u mas-salvagwardji fil-livell tas-sistema, nistgħu nidentifikaw xejriet ġodda ta’ attakk aktar kmieni, nagħlqu l-lakuni aktar malajr, u nżidu kontinwament l-ispiża tal-isfruttament.

Il-modalità aġent f’ChatGPT Atlas hija qawwija—u fl-istess ħin twessa’ l-firxa ta’ punti esposti għat-theddid tas-sigurtà. Li nagħrfu b’mod ċar dan il-bilanċ bejn il-benefiċċji u r-riskji huwa parti mill-iżvilupp responsabbli. L-għan tagħna huwa li nagħmlu Atlas aktar sigur b’mod sostanzjali ma’ kull verżjoni: billi ntejbu r-robustezza tal-mudell, insaħħu s-sistema tad-difiża ta’ madwaru, u nimmonitorjaw xejriet emerġenti ta’ abbuż fid-dinja reali.

Se nkomplu ninvestu fir-riċerka u fl-implimentazzjoni, niżviluppaw metodi aħjar ta’ red teaming awtomatizzat, inwettqu miżuri ta’ mitigazzjoni f’diversi saffi, u nirfinaw malajr is-sistemi tagħna hekk kif nitgħallmu. Se naqsmu wkoll dak li nistgħu mal-komunità usa’.

Filwaqt li nkomplu nsaħħu Atlas fil-livell tas-sistema, hemm passi li l-utenti jistgħu jieħdu biex inaqqsu r-riskju meta jużaw l-aġenti. 

Illimita l-aċċess għal kontijiet li tkun dħalt fihom meta jkun possibbli. Inkomplu nirrakkomandaw li, meta jużaw l-Aġent f’Atlas, l-utenti jużaw il-modalità mingħajr dħul fil-kont⁠(jinfetaħ f’tieqa ġdida) kull meta l-kompitu ma jkunx jeħtieġ aċċess għal siti web fejn ikunu daħlu fil-kont tagħhom, jew jillimitaw l-aċċess għal siti speċifiċi fejn jidħlu fil-kont matul il-kompitu.

Irrevedi bir-reqqa t-talbiet għal konferma. Għal ċerti azzjonijiet b’konsegwenzi importanti, bħal li jitlesta xiri jew tintbagħat email, l-aġenti huma mfassla biex jitolbu l-konferma tiegħek qabel jipproċedu. Meta aġent jitolbok tikkonferma azzjoni, ħu mument biex tivverifika li l-azzjoni hija korretta u li kwalunkwe informazzjoni li tkun qed tinqasam hija xierqa għal dak il-kuntest.

Agħti struzzjonijiet espliċiti lill-aġenti meta jkun possibbli. Evita prompts ġenerali wisq bħal “irrevedi l-emails tiegħi u ħu kwalunkwe azzjoni meħtieġa”. Meta l-aġent jingħata wisq libertà, ikun aktar faċli li kontenut moħbi jew malizzjuż jinfluwenzah, anki meta jkun hemm salvagwardji fis-seħħ. Huwa aktar sigur li titlob lill-aġent iwettaq kompiti speċifiċi b’limiti definiti sew. Għalkemm dan ma jeliminax ir-riskju, jagħmel l-attakki aktar diffiċli biex jitwettqu.

Biex l-aġenti jsiru sħab fdati għall-kompiti ta’ kuljum, iridu jkunu reżiljenti għat-tipi ta’ manipulazzjoni li tippermetti l-web miftuħa. It-tisħiħ tad-difiżi kontra l-injezzjoni tal-prompts huwa impenn fit-tul u waħda mill-ogħla prijoritajiet tagħna. Dalwaqt naqsmu aktar tagħrif dwar dan ix-xogħol.