Načrtovanje agentov UI za odpornost proti vstavljanju zavajajočih pozivov

Agenti UI so vse bolj sposobni brskati po spletu, pridobivati informacije in izvajati dejanja v imenu uporabnika. Te zmogljivosti so koristne, vendar hkrati ustvarjajo nove načine, na katere lahko napadalci poskušajo manipulirati sistem.

Ti napadi so pogosto opisani kot vstavljanje zavajajočega poziva⁠: navodila, umeščena v zunanjo vsebino, s katerimi se poskuša model pripraviti do tega, da stori nekaj, česar uporabnik ni zahteval. Po naših izkušnjah najbolj učinkovite različice teh napadov v resničnem svetu vse bolj spominjajo na socialni inženiring kot na preprosto prepisovanje pozivov.

Ta premik je pomemben. Če problem ni le v prepoznavanju zlonamernega niza, temveč v upiranju zavajajoči ali manipulativni vsebini v kontekstu, potem obramba pred njim ne more temeljiti zgolj na filtriranju vhodov. Zahteva tudi načrtovanje sistema tako, da je vpliv manipulacije omejen, tudi če nekateri napadi uspejo.

Zgodnji napadi tipa »vstavljanje zavajajočega poziva« so bili lahko tako preprosti, kot je urejanje članka na Wikipediji z vključitvijo neposrednih navodil za agente UI, ki ga obiščejo; brez izkušenj iz faze učenja v takem okolju, ki vsebuje napade, so modeli UI tem navodilom pogosto sledili brez pomisleka¹. Ko so modeli postajali pametnejši, so postajali tudi manj ranljivi za to vrsto sugestije, zato smo opazili, da so se napadi v slogu vstavljanja zavajajočih pozivov odzvali z vključevanjem elementov socialnega inženiringa:

V širšem ekosistemu varnosti UI je postalo običajno priporočati tehnike, kot je »požarni zid UI«, pri katerem posrednik med agentom UI in zunanjim svetom poskuša vhode razvrstiti na zlonamerno vstavljanje zavajajočih pozivov in običajne vhode. Vendar tako razviti napadi s takimi sistemi praviloma niso zaznani. Pri takšnih sistemih postane zaznavanje zlonamernega vnosa enak zelo težaven problem kot zaznavanje laži ali dezinformacij, pogosto pa tudi brez potrebnega konteksta.

Ko so napadi z vstavljanjem zavajajočih pozivov v resničnem svetu postajali kompleksnejši, smo ugotovili, da so najučinkovitejše ofenzivne tehnike uporabljale taktike socialnega inženiringa. Namesto da bi te napade z vstavljanjem zavajajočih pozivov, ki vključujejo socialni inženiring, obravnavali kot ločen ali povsem nov razred problema, smo jih začeli obravnavati skozi isto prizmo, kot se uporablja pri upravljanju tveganja socialnega inženiringa pri ljudeh na drugih področjih. V takih sistemih cilj ni omejen na popolno prepoznavanje zlonamernih vhodov, temveč na zasnovo agentov in sistemov tako, da je vpliv manipulacije omejen, tudi če ta uspe. Takšni sistemi se izkažejo kot učinkoviti pri blaženju tako vstavljanja zavajajočih pozivov kot tudi socialnega inženiringa.

Na ta način si lahko agenta UI predstavljamo kot del podobnega sistema treh akterjev, kot velja za agenta za podporo strankam. Agent želi delovati v imenu svojega delodajalca, vendar je nenehno izpostavljen zunanjim vhodom, ki ga lahko poskušajo zavesti. Agent za podporo strankam, človek ali UI, mora imeti omejitve svojih zmožnosti, da se omeji tveganje negativnih posledic, ki so neločljivo povezane z delovanjem v takem zlonamernem okolju.

Predstavljajte si okoliščine, v katerih človek upravlja sistem za podporo strankam in lahko izdaja darilne kartice ter vračila zaradi nevšečnosti, ki jih je stranka doživela, kot so počasna dostava, škoda zaradi okvare in podobno. To je večstranski problem, pri katerem mora družba zaupati, da agent odobrava vračila iz pravih razlogov, medtem ko agent hkrati komunicira s tretjimi, ki ga lahko skušajo zavesti ali ga celo postaviti pod pritisk.

V resničnem svetu agent prejme nabor pravil, ki jim mora slediti, vendar se pričakuje, da bo v okolj z napadi, v katerem deluje, zaveden. Morda stranka pošlje sporočilo, v katerem trdi, da njeno vračilo nikoli ni bilo izvedeno, ali zagrozi s škodo, če vračila ne dobi. Deterministični sistemi, s katerimi agent sodeluje, omejujejo znesek vračil, ki jih je mogoče odobriti stranki, označijo morebitna phishing e-poštna sporočila kot težavo in zagotavljajo druge podobne ukrepe za omejitev vpliva kompromitacije posameznega agenta. 

Ta način razmišljanja je oblikoval robusten nabor protiukrepov, ki smo jih uvedli in ki izpolnjujejo varnostna pričakovanja naših uporabnikov.

V ChatGPT ta model socialnega inženiringa združujemo z bolj tradicionalnimi pristopi varnostnega inženirstva, kot je analiza virov in ponorov.

V tem okviru napadalec potrebuje tako vir oziroma način vplivanja na sistem kot tudi ponor oziroma zmožnost, ki v napačnem kontekstu postane nevarna. Pri agentskih sistemih to pogosto pomeni združevanje nezaupanja vredne zunanje vsebine z dejanjem, kot je posredovanje informacij tretjemu, sledenje povezavi ali uporaba orodja.

Naš cilj je ohraniti ključno varnostno pričakovanje uporabnikov: potencialno nevarna dejanja ali posredovanje potencialno občutljivih informacij se ne smejo zgoditi tiho ali brez ustreznih zaščitnih ukrepov.

Napadi, ki jih opažamo proti ChatGPT, najpogosteje poskušajo prepričati asistenta, da bi vzel neko tajno informacijo iz pogovora in jo posredoval zlonamernemu tretjemu. V večini primerov, za katere vemo, ti napadi ne uspejo, ker naše varnostno učenje povzroči, da agent to zavrne. Za primere, v katerih je agent vendarle prepričan, smo razvili strategijo blaženja, imenovano Safe Url, ki je zasnovana za zaznavanje primerov, ko bi bile informacije, ki se jih je asistent naučil v pogovoru, posredovane tretjemu. V teh redkih primerih uporabniku bodisi pokažemo informacije, ki bi bile posredovane, in ga prosimo za potrditev bodisi to blokiramo in agentu naročimo, naj poskusi najti drug način za nadaljnje izpolnjevanje uporabnikove zahteve.

Ta isti mehanizem velja za navigacije in zaznamke v Atlas⁠; ter iskanja in navigacije v Poglobljeno raziskovanje⁠. ChatGPT Canvas⁠ & Aplikacije ChatGPT⁠ uporabljata podoben pristop, saj agentu omogočata ustvarjanje in uporabo funkcionalnih aplikacij. Izvajale so se v peskovniku, ki lahko zazna nepričakovane komunikacije in uporabnika prosi za njegovo soglasje⁠(odpre se v novem oknu).

Več informacij o Safe Url lahko preberete in najdete dokument o njegovi strukturi v njemu posvečenem prispevku na blogu Kako ohraniti vaše podatke varne, ko agent UI klikne povezavo⁠.

Varna interakcija z zunanjim svetom, ki vsebuje napade, je nujna za popolnoma avtonomne agente. Pri integraciji modela UI z aplikacijskim sistemom priporočamo, da se vprašate, katere zaščitne ukrepe bi moral imeti človeški agent v podobni situaciji, in jih uvedete. Pričakujemo, da se bo maksimalno inteligenten model UI lahko bolje upiral socialnemu inženiringu kot človeški agent, vendar to glede na aplikacijo ni vedno izvedljivo ali stroškovno učinkovito.

Še naprej raziskujemo posledice socialnega inženiringa proti modelom UI in obrambe pred njim ter svoje ugotovitve vključujemo tako v arhitekture varnosti naših aplikacij kot tudi v učenje, ki ga izvajamo za naše modele UI.