DI agentų kūrimas, kad jie atsispirtų užklausos įterpimui

DI agentai vis dažniau gali naršyti internete, gauti informaciją ir imtis veiksmų naudotojo vardu. Šios galimybės yra naudingos, tačiau jos taip pat sukuria naujų būdų užpuolikams manipuliuoti sistema.

Šios atakos dažnai apibūdinamos kaip užklausos įterpimas⁠: instrukcijos, įterptos į išorinį turinį, siekiant priversti modelį atlikti tai, ko naudotojas neprašė. Mūsų patirtis rodo, kad veiksmingiausios realiame pasaulyje pasitaikančios šių atakų versijos vis labiau primena socialinę inžineriją, o ne paprastas užklausų perrašymus.

Šis pokytis svarbus. Jei problema yra ne vien kenkėjiškos eilutės identifikavimas, o atsparumas klaidinančiam ar manipuliaciniam turiniui kontekste, tuomet gynyba nuo jo negali remtis vien įvesties filtravimu. Tam taip pat reikia suprojektuoti sistemą taip, kad manipuliavimo poveikis būtų apribotas, net jei kai kurios atakos pavyksta.

Ankstyvosios „užklausos įterpimo“ tipo atakos galėjo būti tokios paprastos, kaip Vikipedijos straipsnio redagavimas, įtraukiant tiesiogines instrukcijas jį lankantiems dirbtinio intelekto agentams; neturėdami mokymo laiko patirties tokioje priešiškoje aplinkoje, dirbtinio intelekto modeliai dažnai vykdytų šias instrukcijas be jokių klausimų [[išnaša: 1]]. Modeliui tampant išmanesniam, jis taip pat tapo mažiau pažeidžiamas tokio pobūdžio pasiūlymams, ir pastebėjome, kad užklausos įterpimo tipo atakos į tai sureagavo įtraukdamos socialinės inžinerijos elementų:

Platesnėje DI saugumo ekosistemoje tapo įprasta rekomenduoti tokias technikas kaip „DI ugniasienė“, kai tarpininkas tarp DI agento ir išorinio pasaulio bando klasifikuoti įvestis į kenkėjišką užklausos įterpimą ir įprastas įvestis—tačiau tokios visiškai išvystytos atakos paprastai tokių sistemų nėra aptinkamos. Tokiose sistemose piktavališkos įvesties aptikimas tampa ta pačia labai sudėtinga problema kaip melo ar dezinformacijos aptikimas, ir dažnai be būtino konteksto.

Kadangi realaus pasaulio užklausos įterpimo atakos tapo sudėtingesnės, nustatėme, kad veiksmingiausi puolamieji metodai rėmėsi socialinės inžinerijos taktika. Užuot šias užklausos įterpimo atakas su socialine inžinerija laikę atskira ar visiškai nauja problemų klase, pradėjome į tai žiūrėti per tą pačią prizmę, kuri naudojama socialinės inžinerijos rizikai žmonėms valdyti kitose srityse. Šiose sistemose tikslas neapsiriboja tobulu kenkėjiškų įvesčių identifikavimu, bet yra kurti agentus ir sistemas taip, kad manipuliavimo poveikis būtų ribojamas, net jei tai pavyktų. Tokios sistemos pasirodo esančios veiksmingos mažinant tiek užklausos įterpimą, tiek socialinę inžineriją.

Tokiu būdu galime įsivaizduoti DI agentą kaip veikiantį panašioje trijų veikėjų sistemoje kaip klientų aptarnavimo agentas; agentas nori veikti savo darbdavio vardu, tačiau jis nuolat susiduria su išorine įvestimi, kuri gali bandyti jį suklaidinti. Klientų aptarnavimo agentui, žmogui ar DI, turi būti nustatyti jo galimybių apribojimai, siekiant sumažinti neigiamą riziką, būdingą egzistavimui tokioje kenkėjiškoje aplinkoje.

Įsivaizduokite aplinkybę, kai žmogus valdo klientų aptarnavimo sistemą ir gali išduoti dovanų korteles bei grąžinti pinigus už klientui patirtus nepatogumus, pavyzdžiui, lėtą pristatymą, pažeidimus dėl gedimo ir pan. Tai yra kelių šalių problema, kai korporacija turi pasitikėti, kad agentas grąžina pinigus dėl tinkamų priežasčių, o agentas taip pat bendrauja su trečiosiomis šalimis, kurios gali siekti jį suklaidinti ar net patirti spaudimą.

Realiame pasaulyje agentui pateikiamas taisyklių rinkinys, kurio jis turi laikytis, tačiau tikimasi, kad priešiškoje aplinkoje, kurioje jis veikia, jis bus suklaidintas. Galbūt klientas atsiunčia žinutę, teigdamas, kad jo grąžinimas niekada nebuvo įvykdytas, arba grasina pakenkti, jei jam nebus grąžinti pinigai. Deterministinės sistemos, su kuriomis sąveikauja agentas, riboja klientui galimų suteikti grąžinamųjų išmokų kiekį, pažymi galimus duomenų viliojimo el. laiškus ir suteikia kitas panašias mažinimo priemones, kad būtų apribotas poveikis, jei būtų kompromituotas atskiras agentas. 

Šis požiūris paskatino sukurti patikimą atsakomųjų priemonių rinkinį, kurį įdiegėme, siekdami užtikrinti mūsų naudotojų saugumo lūkesčius.

„ChatGPT“ mes deriname šį socialinės inžinerijos modelis su tradiciškesniais saugumo inžinerijos metodais, tokiais kaip šaltinio ir sugerties analizė.

Tokiu požiūriu užpuolikui reikia ir šaltinio, arba būdo daryti įtaką sistemai, ir „sinko“, arba gebėjimo, kuris netinkamame kontekste tampa pavojingas. Agentinėms sistemoms tai dažnai reiškia nepatikimo išorinio turinio derinimą su veiksmu, pavyzdžiui, informacijos perdavimu trečiajai šaliai, nuorodos atidarymu arba sąveika su įrankiu.

Mūsų tikslas – išsaugoti pagrindinį naudotojų saugumo lūkestį: potencialiai pavojingi veiksmai arba potencialiai jautrios informacijos perdavimas neturėtų vykti tyliai ar be tinkamų apsaugos priemonių.

Dažniausiai matomos atakos prieš „ChatGPT“ yra bandymas įtikinti asistentą paimti slaptą informaciją iš pokalbio ir perduoti ją kenkėjiškai trečiajai šaliai. Daugeliu mums žinomų atvejų šios atakos nepavyksta, nes mūsų saugos mokymas priverčia agentas atsisakyti. Tiems atvejams, kai agentas įsitikinęs, sukūrėme rizikos mažinimo strategiją, vadinamą saugiu URL , kuri skirta aptikti, kada informacija, kurią asistentas sužinojo pokalbio metu, bus perduota trečiajai šaliai. Šiais retais atvejais mes arba parodome naudotojui informaciją, kuri būtų perduota, ir paprašome patvirtinti, arba ją blokuojame ir pasakome agentui pabandyti kitą būdą, kaip judėti pirmyn su naudotojo užklausa.

Tas pats mechanizmas taikomas naršymui ir žymėms Atlas⁠; taip pat paieškoms ir naršymui gilusis tyrimas⁠. ChatGPT Canvas⁠ & ChatGPT programėlės⁠ taiko panašų požiūrį, leisdami agentui kurti ir naudoti funkcines programėles—jos veikia smėliadėžėje, kuri gali aptikti netikėtus ryšius ir paprašyti naudotojo sutikimo⁠(atsidaro naujame lange).

Daugiau informacijos apie saugų URL galite perskaityti ir rasti straipsnį apie jo struktūrą specialiame tinklaraščio įraše „Kaip apsaugoti savo duomenis, kai dirbtinio intelekto agentas spusteli nuorodą“⁠.

Sąveika su priešišku išoriniu pasauliu saugiai yra būtina visiškai autonomiems agentams. Integruojant DI modelis su programos sistema, rekomenduojame paklausti, kokias kontrolės priemones panašioje situacijoje turėtų turėti žmogus agentas, ir jas įdiegti. Tikimės, kad maksimaliai intelektualus DI modelis gebės geriau nei žmogus agentas atsispirti socialinei inžinerijai, tačiau tai ne visada įmanoma ar ekonomiškai efektyvu, priklausomai nuo taikymo.

Toliau nagrinėjame socialinės inžinerijos prieš modelis pasekmes ir gynybos nuo jos priemones bei įtraukiame savo išvadas tiek į mūsų programų saugumo architektūras, tiek į mokymą, kurį taikome savo modelis.