Nuolatinis „ChatGPT Atlas“ atsparumo raginimų įterpimo atakoms stiprinimas

„ChatGPT Atlas“ veikiantis agento režimas yra viena universaliausių iki šiol mūsų išleistų agentinių funkcijų. Šiuo režimu naršyklės agentas peržiūri interneto svetaines ir atlieka veiksmus, spustelėjimus bei klavišų paspaudimus naršyklėje taip pat, kaip tai darytų naudotojas. Tai leidžia „ChatGPT“ tiesiogiai atlikti daugelį kasdienių darbo eigos užduočių, naudojant tą pačią erdvę, kontekstą ir duomenis.

Naršyklės agentui padedant atlikti daugiau darbų, jis tampa didesnės vertės taikiniu priešiškoms atakoms. Dėl to DI saugumas tampa ypač svarbus. Dar gerokai prieš išleidžiant „ChatGPT Atlas“, nuolat kūrėme ir stiprinome gynybos priemones nuo kylančių grėsmių, konkrečiai nutaikytų į šią naują „agento naršyklėje“ paradigmą. Raginimų įterpimas⁠ yra viena didžiausių rizikų, nuo kurios aktyviai ginamės, siekdami užtikrinti, kad „ChatGPT Atlas“ galėtų saugiai veikti naudotojo vardu.

Vykdydami šią veiklą neseniai išleidome „Atlas“ naršyklės agento saugumo naujinį, apimantį naują priešiškai išmokytą modelį ir sustiprintas papildomas apsaugos priemones. Šį atnaujinimą paskatino nauja raginimų įterpimo atakų klasė, aptikta atliekant vidinį automatinį testavimą siekiant nustatyti spragas.

Šiame įraše paaiškiname, kaip internete veikiantiems agentams gali kilti raginimų įterpimo rizika, ir pristatome greitojo reagavimo ciklą, kurį kūrėme siekdami nuolat aptikti naujas atakas ir greitai diegti rizikos mažinimo priemones – tai iliustruoja šis naujausias saugumo atnaujinimas.

Raginimų įterpimą vertiname kaip ilgalaikį DI saugumo iššūkį, todėl turėsime nuolat stiprinti gynybą (panašiai kaip nuolat kintančių internetinių sukčiavimų, nukreiptų prieš žmones, atveju). Mūsų naujausias greitojo reagavimo ciklas jau teikia vilčių kaip svarbi priemonė šiame procese: naujas atakų strategijas aptinkame įmonės viduje dar prieš joms pasirodant realioje aplinkoje. Mūsų ilgalaikė vizija – visapusiškai išnaudoti: 1) turimą prieigą prie modelių vidaus struktūros („white-box“), 2) gilų savo gynybos priemonių išmanymą ir 3) skaičiavimo pajėgumus, kad aplenktume išorinius užpuolikus – anksčiau rastume spragas, greičiau įdiegtume rizikos mažinimo priemones ir nuolat trumpintume reagavimo ciklą. Kartu su pažangiausiais tyrimais, skirtais naujiems kovos su raginimų įterpimu būdams, ir didesnėmis investicijomis į kitas saugumo kontrolės priemones, šis save stiprinantis ciklas gali vis labiau apsunkinti atakas ir padidinti jų kainą, taip reikšmingai sumažinant realią raginimų įterpimo riziką. Galutinis mūsų tikslas – kad galėtumėte pasitikėti „ChatGPT“ agentu, naudojančiu naršyklę, taip, kaip pasitikėtumėte itin kompetentingu, saugumą išmanančiu kolega ar draugu.

Raginimų įterpimo ataka nukreipiama prieš DI agentus, įterpiant piktavališkas instrukcijas į agento apdorojamą turinį. Šios instrukcijos sukuriamos taip, kad pakeistų ar nukreiptų agento elgseną – priverstų jį vykdyti užpuoliko, o ne naudotojo ketinimus.

Naršyklės agentui, veikiančiam „ChatGPT Atlas“, raginimų įterpimas sukuria naują grėsmės vektorių, papildantį tradicines interneto saugumo rizikas (pavyzdžiui, naudotojo klaidas ar programinės įrangos pažeidžiamumus). Vietoj duomenų viliojimo iš žmonių ar naršyklės sistemos pažeidžiamumų išnaudojimo, užpuolikas nusitaiko į joje veikiantį agentą.

Kaip hipotetinį pavyzdį galima paminėti atvejį, kai užpuolikas išsiunčia piktavališką el. laišką, bandydamas apgauti agentą, kad šis ignoruotų naudotojo užklausą ir vietoj to persiųstų konfidencialius mokesčių dokumentus užpuoliko valdomu el. pašto adresu. Jei naudotojas paprašo agento peržiūrėti neperskaitytus el. laiškus ir apibendrinti svarbiausius dalykus, vykdydamas užduotį agentas gali įtraukti šį piktavališką laišką. Jei agentas vykdys įterptas instrukcijas, jis gali nukrypti nuo užduoties ir klaidingai pasidalyti konfidencialia informacija.

Tai tik vienas konkretus scenarijus. Dėl to paties universalumo, kuriuo pasižymi naršyklės agentai, rizika taip pat tampa platesnė: agentas gali susidurti su nepatikimomis instrukcijomis iš esmės neribotoje erdvėje – el. laiškuose ir prieduose, kalendoriaus pakvietimuose, bendrinamuose dokumentuose, forumuose, socialinių tinklų įrašuose ir bet kokiose interneto svetainėse. Kadangi agentas naršyklėje gali atlikti daugelį tų pačių veiksmų kaip ir naudotojas, sėkmingos atakos poveikis hipotetiškai gali būti toks pat platus: konfidencialaus el. laiško persiuntimas, pinigų siuntimas, failų redagavimas ar šalinimas debesyje ir kt.

Pasiekėme pažangos gindamiesi nuo raginimų įterpimo taikydami kelių sluoksnių apsaugos priemones, kaip skelbėme ankstesniame įraše⁠. Vis dėlto raginimų įterpimas išlieka atviras agentų saugumo iššūkis, su kuriuo, tikėtina, dirbsime dar daugelį metų.

Siekdami sustiprinti gynybą, nuolat ieškome naujų raginimų įterpimo atakų prieš realiai veikiančias agentų sistemas. Šių atakų aptikimas yra būtina sąlyga kuriant patikimas rizikos mažinimo priemones: tai padeda suprasti realią riziką, atskleidžia gynybos spragas ir skatina kurti konkrečias pataisas.

Kad galėtume tai daryti dideliu mastu, sukūrėme didžiuoju kalbos modeliu (LLM) paremtą automatinį užpuoliką ir išmokėme jį ieškoti raginimų įterpimo atakų, galinčių sėkmingai paveikti naršyklės agentą. Šį užpuoliką visapusiškai mokėme taikydami pastiprinimo mokymąsi, todėl jis mokosi iš savo sėkmių ir nesėkmių, tobulindamas testavimo siekiant nustatyti spragas įgūdžius. Taip pat leidžiame jam „išbandyti prieš pateikiant“, t. y. savo samprotavimo minčių eigos metu užpuolikas gali pasiūlyti kandidatinį įterpimą ir nusiųsti jį į išorinį simuliatorių. Simuliatorius atlieka kontrafaktinį vykdymą, kaip elgtųsi atakuojamas agentas (gynėjas), susidūręs su įterpimu, ir grąžina visą agento aukos samprotavimo ir veiksmų seką. Užpuolikas naudoja šią seką kaip grįžtamąjį ryšį, tobulina ataką ir iš naujo paleidžia simuliaciją – šis ciklas kartojamas kelis kartus prieš pasirenkant galutinę ataką. Tai suteikia užpuolikui turtingesnį kontekstinį grįžtamąjį ryšį nei vienas signalas „pavyko / nepavyko“. Tai taip pat padidina užpuoliko bandymo metu naudojamus skaičiavimo išteklius. Be to, privilegijuota prieiga prie gynėjo samprotavimo sekų (kurių neatskleidžiame išoriniams naudotojams) suteikia mūsų vidiniam užpuolikui asimetrinį pranašumą – padidina tikimybę, kad jis aplenks išorinius priešininkus.

Kodėl pastiprinimo mokymasis (PM)?Pastiprinimo mokymąsi automatinio užpuoliko mokymui pasirinkome dėl kelių priežasčių.

1. Ilgalaikių ir netolygių užpuoliko tikslų optimizavimas. Mūsų tikslas – ieškoti raginimų įterpimo atakų, galinčių apgauti agentą, kad šis atliktų sudėtingas piktavališkas užduotis (pvz., siųstų el. laiškus, atliktų banko operacijas), kurios gali pasitaikyti realiame pasaulyje. Šios piktavališkos užduotys iš esmės yra ilgos trukmės, reikalaujančios daugybės samprotavimo žingsnių ir sąveikos su aplinka, o sėkmės signalai yra reti ir uždelsti. Pastiprinimo mokymasis puikiai tinka tokiai retų ir uždelstų atlygių struktūrai.
2. Pažangiausių LLM galimybių panaudojimas. Pažangiausius LLM tiesiogiai mokėme veikti kaip automatinius testuotojus, todėl užpuolikas tiesiogiai naudojasi pažangiausių modelių samprotavimo ir planavimo patobulinimais. Stiprėjant baziniams modeliams, natūraliai didėja ir užpuoliko gebėjimai – tai leidžia nuolat išlaikyti spaudimą gynybos priemonėms, tobulėjant mūsų modeliams.
3. Skaičiavimo pajėgumų didinimas ir prisitaikančių užpuolikų imitavimas. Pastiprinimo mokymasis puikiai tinka didinti skaičiavimus, skiriamus atakų paieškai per didelį bandymų ir mokymosi žingsnių skaičių, be to, jis tiksliai atspindi prisitaikančių žmonių užpuolikų elgseną: kartotinį strategijų bandymą, mokymąsi iš rezultatų ir sėkmingos elgsenos įtvirtinimą.
   

Mūsų automatinis užpuolikas gali visapusiškai aptikti naujas, realistiškas raginimų įterpimo atakas.Skirtingai nuo daugumos ankstesnių automatinių testavimo darbų, per kuriuos paaiškėdavo paprastos nesėkmės, pavyzdžiui, konkrečių išvesties eilučių išgavimas arba nenumatytas vieno žingsnio agento įrankio iškvietimas, mūsų PM (RL) išmokytas užpuolikas gali nukreipti agentą vykdyti sudėtingas, ilgos trukmės žalingas darbo eigas, trunkančias dešimtis (ar net šimtus) žingsnių. Taip pat pastebėjome naujų atakų strategijų, kurios nebuvo pasireiškusios per žmonių vykdytą testavimo kampaniją ar minimos išorinėse ataskaitose.

Toliau pateikiamoje demonstracinėje versijoje pristatoma konkreti raginimų įterpimo spraga, kurią aptiko mūsų automatinis užpuolikas ir kuria pasinaudoję toliau stiprinome „ChatGPT Atlas“ gynybą. Užpuolikas įterpia į naudotojo gautuosius piktavališką el. laišką su raginimų įterpimu, nurodančiu agentui išsiųsti atsistatydinimo laišką naudotojo generaliniam direktoriui. Vėliau, kai naudotojas paprašo agento parengti atsakymą apie nebuvimą darbe, agentas vykdydamas įprastą užduotį susiduria su tuo laišku, traktuoja įterptą raginimą kaip nurodymą ir jį įvykdo. Atsakymas apie nebuvimą darbe taip ir neparengiamas, o agentas vietoj to atsistatydina naudotojo vardu.

Dėl raginimų įterpimo pobūdžio sunku užtikrinti deterministines saugumo garantijas, tačiau didindami automatinių saugumo tyrimų ir priešiško testavimo mastą bei trumpindami greitojo reagavimo ciklą, galime pagerinti modelio atsparumą ir gynybą, nelaukdami, kol ataka įvyks realioje aplinkoje. 

Dalijamės šia demonstracine versija, norėdami padėti naudotojams ir tyrėjams geriau suprasti šių atakų pobūdį ir tai, kaip aktyviai nuo jų ginamės. Manome, kad tai atspindi automatizuoto testavimo galimybių viršūnę, ir labai džiaugiamės galėdami tęsti tyrimus.

Mūsų automatinis testavimas skatina iniciatyvų greitojo reagavimo ciklą: kai automatinis užpuolikas aptinka naują sėkmingų raginimų įterpimo atakų klasę, tai iškart sukuria konkretų tikslą tobulinti gynybą.

Priešiškas mokymas siekiant apsisaugoti nuo naujai aptiktų atakų.Nuolat mokome atnaujintus agentų modelius kovoti su geriausiu mūsų automatiniu užpuoliku, teikdami pirmenybę toms atakoms, per kurias tiksliniai agentai šiuo metu suklumpa. Tikslas – išmokyti agentus ignoruoti priešiškas instrukcijas ir laikytis naudotojo ketinimų, didinant atsparumą naujai aptiktoms raginimų įterpimo strategijoms. Taip atsparumas naujoms, didelio intensyvumo atakoms „įtvirtinamas“ tiesiogiai modelio kontroliniame taške. Pavyzdžiui, neseniai atliktas automatinis testavimas tiesiogiai leido sukurti naują priešiškai išmokytą naršyklės agento kontrolinį tašką, kuris jau buvo išplatintas visiems „ChatGPT Atlas“ naudotojams. Tai padeda geriau apsaugoti mūsų naudotojus nuo naujų tipų atakų.

Atakų pėdsakų naudojimas platesniam gynybos priemonių rinkiniui tobulinti.Daugelis automatinio testuotojo aptiktų atakų kelių taip pat atskleidžia galimybes tobulinti ne tik patį modelį, bet ir kitas sritis, pavyzdžiui, stebėseną, saugos instrukcijas modelio kontekste arba sistemos lygmens apsaugos priemones. Šios įžvalgos padeda tobulinti visą gynybos priemonių rinkinį, ne tik agento kontrolinį tašką.

Reagavimas į aktyvias atakas. Šis ciklas taip pat gali padėti geriau reaguoti į aktyvias atakas realioje aplinkoje. Stebėdami potencialias atakas visoje savo veiklos aprėptyje, galime perimti išorinių priešininkų naudojamus metodus ir taktiką, įtraukti juos į šį ciklą, imituoti jų veiklą ir skatinti gynybos pokyčius visoje platformoje.

Gebėjimo testuoti agentų spragas stiprinimas ir pajėgiausių modelių naudojimas daliai šio darbo automatizuoti padeda didinti „Atlas“ naršyklės agento atsparumą, išplečiant ciklo nuo aptikimo iki ištaisymo mastą. Šios stiprinimo pastangos patvirtina gerai žinomą saugumo pamoką: patikrintas kelias į stipresnę apsaugą yra nuolatinis realių sistemų testavimas ekstremaliomis sąlygomis, reagavimas į nesėkmes ir konkrečių pataisų diegimas.

Tikimės, kad priešininkai ir toliau prisitaikys. Raginimų įterpimas, kaip ir sukčiavimas bei socialinė inžinerija internete, vargu ar kada nors bus visiškai „išspręstas“. Tačiau optimistiškai tikime, kad iniciatyvus, itin greitai reaguojantis ciklas laikui bėgant gali reikšmingai mažinti realią riziką. Derindami automatinį atakų aptikimą su priešišku mokymu ir sistemos lygmens apsaugos priemonėmis, galime anksčiau atpažinti naujus atakų modelius, greičiau užtaisyti spragas ir nuolat didinti išnaudojimo kainą.

„ChatGPT Atlas“ agento režimas yra galingas, tačiau jis taip pat išplečia saugumo grėsmių erdvę. Realistiškas šio kompromiso vertinimas yra atsakingo kūrimo dalis. Mūsų tikslas – su kiekviena iteracija daryti „Atlas“ vis saugesnį: didinti modelio atsparumą, stiprinti aplinkinių gynybos priemonių rinkinį ir stebėti realioje aplinkoje kylančius piktnaudžiavimo modelius.

Toliau investuosime į tyrimus ir diegimą, kursime geresnius automatinius testavimo metodus, diegsime sluoksniuotas rizikos mažinimo priemones ir greitai tobulinsime sistemą mokydamiesi. Taip pat dalysimės informacija su plačiąja bendruomene, kiek tai įmanoma.

Nors ir toliau stipriname „Atlas“ sisteminiu lygmeniu, naudotojai gali imtis tam tikrų veiksmų, kad sumažintų riziką naudodami agentus. 

Kai įmanoma, ribokite prieigą prisijungus.Ir toliau rekomenduojame naudotojams pasinaudoti režimu be prisijungimo⁠(atsidaro naujame lange) naudojant agentą „Atlas“ sistemoje, kai užduočiai atlikti nebūtina prieiga prie svetainių, prie kurių esate prisijungę, arba apriboti prieigą prie konkrečių svetainių, prie kurių prisijungiate užduoties metu.

Atidžiai peržiūrėkite patvirtinimo užklausas. Prieš atliekant tam tikrus svarbius veiksmus, pavyzdžiui, perkant ar siunčiant el. laišką, agentai sukurti taip, kad paprašytų jūsų patvirtinimo. Kai agentas prašo patvirtinti veiksmą, skirkite šiek tiek laiko patikrinti, ar veiksmas teisingas ir ar visa bendrinama informacija tinka tame kontekste.

Kai įmanoma, pateikite agentams aiškias instrukcijas. Venkite pernelyg bendrų raginimų, tokių kaip „peržiūrėk mano el. laiškus ir imkis reikiamų veiksmų“. Didelė veiksmų laisvė palengvina paslėpto ar piktavališko turinio poveikį agentui, net kai taikomos apsaugos priemonės. Saugiau prašyti agento atlikti konkrečias, aiškiai apibrėžtas užduotis. Nors tai nepanaikina rizikos, atakas įvykdyti tampa sunkiau.

Kad agentai taptų patikimais kasdienių užduočių partneriais, jie turi būti atsparūs manipuliacijoms, kurias įgalina atviras internetas. Atsparumo raginimų įterpimui didinimas yra ilgalaikis įsipareigojimas ir vienas svarbiausių mūsų prioritetų. Netrukus pasidalysime daugiau informacijos apie šį darbą.