Dizajniranje AI agenata da se odupru ubrizgavanju upita

AI agenti sve su sposobniji u pregledavanju interneta, dohvaćanju informacija i poduzimanju radnji u ime korisnika. Ti su potencijali korisni, ali stvaraju i nove načine na koje napadači mogu pokušati manipulirati sustavom.

Ovi se napadi često opisuju kao ubrizgavanje upita⁠: instrukcije smještene u vanjskom sadržaju u pokušaju da se model navede da učini nešto što korisnik nije tražio. Prema našem iskustvu najučinkovitije verzije ovih napada u stvarnom svijetu sličnije su društvenom inženjeringu nego jednostavnim nadjačavanjima upita.

Taj je pomak važan. Ako problem nije samo u prepoznavanju zlonamjernog niza, nego i u odupiranju obmanjujućem ili manipulativnom sadržaju u kontekstu, tada se obrana od toga ne može oslanjati samo na filtriranje ulaza. To također zahtijeva dizajniranje sustava tako da je utjecaj manipulacije ograničen, čak i ako neki napadi uspiju.

Rani napadi tipa „ubrizgavanja upita“ mogli su biti jednostavni poput uređivanja članka na Wikipediji kako bi uključivao izravne upute AI agentima koji ga posjećuju; bez iskustva tijekom treniranja u takvom neprijateljskom okruženju AI modeli često bi slijedili te instrukcije bez pitanja¹. Kako su modeli postajali pametniji, postajali su i manje osjetljivi na ovu vrstu sugestije, a primijetili smo da su napadi u stilu ubrizgavanja upita odgovorili uključivanjem elemenata socijalnog inženjeringa:

U širem ekosustavu sigurnosti AI-ja postalo je uobičajeno preporučivati tehnike kao što je „AI vatrozid“ u kojem posrednik između AI agenta i vanjskog svijeta pokušava klasificirati ulaze na zlonamjerno ubrizgavanje upita i uobičajene ulaze – no ti potpuno razvijeni napadi obično se ne otkrivaju takvim sustavima. Za takve sustave otkrivanje zlonamjernog unosa postaje jednako težak problem kao i otkrivanje laži ili dezinformacija, i to često bez potrebnog konteksta.

Kako su napadi ubrizgavanjem upita u stvarnom svijetu postajali složeniji, otkrili smo da su najučinkovitije napadačke tehnike koristile taktike društvenog inženjeringa. Umjesto da ove napade ubrizgavanjem upita povezane s društvenim inženjeringom tretiramo kao zasebnu ili potpuno novu kategoriju problema, počeli smo ih promatrati kroz istu prizmu koja se koristi za upravljanje rizikom društvenog inženjeringa kod ljudi u drugim domenama. U tim sustavima cilj nije samo savršeno prepoznavanje zlonamjernih unosa, već i dizajniranje agenata i sustava tako da se učinak manipulacije ograniči, čak i ako uspije. Takvi se sustavi pokazuju učinkovitima u ublažavanju i rizika ubrizgavanja upita i društvenog inženjeringa.

Na taj način možemo zamisliti AI agenta kako postoji u sličnom sustavu s tri aktera kao agent korisničke službe; agent želi djelovati u ime svojeg poslodavca, ali je kontinuirano izložen vanjskim unosima koji ga mogu pokušati zavesti. Agent korisničke podrške, čovjek ili umjetna inteligencija, mora imati ograničenja u svojim potencijalima kako bi se ograničio rizik od negativnih posljedica postojanja u takvom zlonamjernom okruženju.

Zamislite situaciju u kojoj ljudsko biće upravlja sustavom za korisničku podršku i može dijeliti poklon kartice i vraćati novac zbog neugodnosti koje je kupac doživio, poput sporosti dostave, oštećenja kao posljedice kvara itd. Ovo je problem s više strana u kojem korporacija mora vjerovati da agent vraća novac iz pravih razloga, dok agent također komunicira s trećim stranama koje ga mogu zavarati ili čak prisiliti.

U stvarnom svijetu agent dobiva skup pravila kojih se treba pridržavati, ali se očekuje da će, u neprijateljskom okruženju u kojem postoji, biti doveden u zabludu. Možda korisnik pošalje poruku u kojoj tvrdi da njegov povrat novca nikad nije prošao ili prijeti da će nauditi ako mu se ne odobri povrat novca. Deterministički sustavi s kojima agent komunicira ograničavaju iznos povrata novca koji se može dati korisniku, označavaju potencijalne phishing e-poruke i pružaju druge takve mjere ublažavanja kako bi se ograničio učinak kompromitiranja pojedinačnog agenta. 

Ovakav način razmišljanja utjecao je na snažan niz protumjera koje smo primijenili kako bismo ispunili sigurnosna očekivanja naših korisnika.

U ChatGPT‑ju ovaj model društvenog inženjeringa kombiniramo s tradicionalnijim pristupima sigurnosnog inženjeringa, poput analize source-sink (izvora i odredišta).

U tom okviru napadaču su potrebni i izvor, odnosno način da utječe na sustav, i odredište, odnosno potencijal koji postaje opasan u pogrešnom kontekstu. Za agentske sustave to često znači kombiniranje nepouzdanog vanjskog sadržaja s radnjom kao što je prijenos informacija trećoj strani, praćenje poveznice ili interakcija s alatom.

Naš je cilj očuvati temeljno sigurnosno očekivanje za korisnike: potencijalno opasne radnje ili prijenosi potencijalno osjetljivih informacija ne bi se smjeli odvijati potajno ili bez odgovarajućih zaštitnih mjera.

Napadi koje najčešće vidimo razvijene protiv ChatGPT‑ja najčešće se sastoje od pokušaja uvjeravanja asistenta da bi trebao uzeti neke tajne informacije iz razgovora i prenijeti ih zlonamjernoj trećoj strani. U većini slučajeva za koje znamo, ovi napadi ne uspijevaju, jer će agent odbiti zbog našeg sigurnosnog treninga. Za one slučajeve u kojima je agent uvjeren, razvili smo strategiju ublažavanja pod nazivom Sigurni Url koja je dizajnirana da otkrije kada bi se informacije koje je asistent saznao u razgovoru prenijele trećoj strani. U tim rijetkim slučajevima korisniku ili prikažemo informacije koje bi se prenijele i zatražimo od njega da potvrdi ili to blokiramo i kažemo agentu da pokuša pronaći drugi način za nastavak s korisnikovim zahtjevom.

Isti mehanizam primjenjuje se na navigacije i oznake stranica u Atlasu⁠; te pretraživanja i navigacije u Dubinskom istraživanju⁠. ChatGPT Canvas⁠ i ChatGPT‑jeve aplikacije⁠ primjenjuju sličan pristup, omogućujući agentu da stvara i upotrebljava funkcionalne aplikacije – one se pokreću u izoliranom okruženju koje može otkriti neočekivanu komunikaciju i zatražiti korisnikov pristanak⁠(otvara se u novom prozoru).

O Sigurnom Url-u više možete pročitati i pronaći dokument o njegovoj strukturi u namjenskoj objavi na blogu Kako zaštititi svoje podatke kada AI agent klikne na poveznicu⁠.

Sigurna interakcija s neprijateljskim vanjskim svijetom nužna je za potpuno autonomne agente. Pri integraciji AI modela u sustav aplikacije preporučujemo da razmislite koje bi kontrole ljudski agent trebao imati u sličnoj situaciji i da ih implementirate. Očekujemo da će maksimalno inteligentan AI model moći bolje odoljeti društvenom inženjeringu nego ljudski agent, ali to nije uvijek izvedivo niti troškovno učinkovito, ovisno o aplikaciji.

Nastavljamo istraživati implikacije društvenog inženjeringa protiv AI modela i obrane od njega te svoja saznanja ugrađujemo u arhitekture sigurnosti aplikacija i trening naših AI modela.