AI-agentide loomine viipade süstimise rünnakute tõrjumiseks

AI-agendid suudavad üha enam veebis sirvida, teavet hankida ja tegutseda kasutaja nimel. Need võimekused on küll kasulikud, kuid loovad ründajatele ka uusi viise süsteemiga manipuleerimiseks.

Neid rünnakuid kirjeldatakse sageli kui viipade süstimist⁠ - välisesse sisusse paigutatakse juhised, mille eesmärk on panna mudel tegema midagi sellist, mida kasutaja ei ole palunud. Meie kogemuse põhjal sarnanevad nende rünnakute kõige tõhusamad reaalelulised versioonid üha enam sotsiaalsele manipuleerimisele, mitte lihtsale juhiste ülekirjutamisele.

See muutus on oluline. Kui probleem ei ole ainult pahatahtliku sõne tuvastamine, vaid vastupanu osutamine eksitavale või manipuleerivale sisule vastavas kontekstis, siis ei saa kaitse tugineda ainult sisendi filtreerimisele. See nõuab süsteemi kavandamist nii, et manipuleerimise mõju oleks piiratud isegi siis, kui mõni rünnak õnnestub.

Varased „viipade süstimise“ tüüpi rünnakud võisid olla nii lihtsad kui Wikipedia artikli muutmine, et lisada sinna otseseid juhiseid seda külastavatele AI-agentidele; ilma treeningu ajal saadud kogemuseta sellises vastandlikus keskkonnas järgiksid AI-mudelid sageli neid juhiseid küsimusteta¹. Kuna mudelid on muutunud nutikamaks, on need muutunud ka vähem haavatavaks sellistele otsestele sisendustele. Oleme täheldanud, et viipade süstimise stiilis rünnakud on vastanud sellele, kaasates sotsiaalse manipuleerimise elemente:

Laialdasemas AI-turbe ökosüsteemis on muutunud tavaliseks soovitada selliseid tehnikaid nagu „AI-tulemüürimine”, kus vahendaja AI-agendi ja välismaailma vahel püüab klassifitseerida sisendeid pahatahtlikeks viipade süstimisteks ja tavalisteks sisenditeks—kuid need täielikult väljaarendatud rünnakud ei jää tavaliselt sellistesse süsteemidesse kinni. Selliste süsteemide puhul muutub pahatahtliku sisendi tuvastamine samaks väga keeruliseks probleemiks nagu vale või väärinfo tuvastamine, ja sageli ilma vajaliku kontekstita.

Kuna reaalmaailma viipade süstimise rünnakud muutusid keerukamaks, leidsime, et kõige tõhusamad ründetehnikad kasutasid sotsiaalse manipulatsiooni taktikaid. Selle asemel, et käsitleda neid viipade süstimise rünnakuid koos sotsiaalse manipulatsiooniga eraldi või täiesti uue probleemi klassina, hakkasime seda vaatlema läbi sama prisma, mida kasutatakse sotsiaalse manipulatsiooni riski juhtimiseks inimeste puhul teistes valdkondades. Sellistes süsteemides ei piirdu eesmärk ainult pahatahtlike sisendite täiusliku tuvastamisega, vaid agentide ja süsteemide kavandamisega nii, et manipuleerimise mõju oleks piiratud, isegi kui see õnnestub. Sellised süsteemid osutuvad tõhusaks nii viipade süstimise kui ka sotsiaalse manipulatsiooni leevendamisel.

Sel viisil võime kujutada AI-agenti sarnases kolme osapoolega süsteemis nagu klienditeenindaja; agent tahab tegutseda oma tööandja nimel, kuid on pidevalt avatud välisele sisendile, mis võib üritada teda eksitada. Klienditeenindajale, olgu ta inimene või tehisintellekt, peavad olema seatud piirangud tema võimekusele, et piirata kaasnevat negatiivset riski, mis tekib sellises vaenulikus keskkonnas viibimisest.

Kujuta ette olukorda, kus inimene haldab klienditoe süsteemi ja on volitatud väljastama kinkekaarte ning hüvitisi klientide kogetud ebamugavuste eest, nagu tarne viibimine, seadme rikkest tingitud kahjustused jne. See on mitme osapoolega probleem, kus ettevõte peab usaldama, et agent jagab hüvitisi õiglastel põhjustel, samal ajal kui agent suhtleb kolmandate osapooltega, kes võivad üritada teda eksitada või isegi surve alla panna.

Reaalses maailmas antakse agendile järgimiseks reeglistik, kuid eeldatakse, et vaenulikus keskkonnas, kus nad tegutsevad, neid eksitatakse. Võib-olla saadab klient sõnumi väitega, et tema tagasimakse ei jõudnud kunagi kohale, või ähvardab kahju tekitamisega, kui talle tagasimakset ei tehta. Deterministlikud süsteemid, millega agent kokku puutub, piiravad kliendile antavate tagasimaksete summat, märgistavad potentsiaalsed õngitsuskirjad ja pakuvad muid sarnaseid leevendusmeetmeid, et piirata üksiku agendi kompromiteerimise mõju. 

See suhtumine on kujundanud kindla valiku vastumeetmeid, mida oleme rakendanud kasutajate turvavajaduste tagamiseks.

ChatGPT‑s ühendame selle sotsiaalse manipuleerimise mudeli traditsioonilisemate turvatehnika lähenemisviisidega, nagu allika-sihtkoha analüüs.

Selles raamistikus vajab ründaja nii allikat ehk viisi süsteemi mõjutamiseks kui ka sihtkohta ehk võimekust, mis muutub vales kontekstis ohtlikuks. Agentsete süsteemide puhul tähendab see sageli ebausaldusväärse välise sisu kombineerimist tegevusega, näiteks teabe edastamisega kolmandale osapoolele, lingi järgimisega või tööriistaga suhtlemisega.

Meie eesmärk on säilitada kasutajate jaoks peamine turvaootus: potentsiaalselt ohtlikud tegevused või potentsiaalselt tundliku teabe edastamine ei tohi toimuda märkamatult või ilma asjakohaste kaitsemeetmeteta.

Rünnakud, mida me ChatGPT vastu kõige sagedamini näeme, seisnevad enamasti katses veenda assistenti, et see peaks vestlusest võtma mingit salajast teavet ja edastama selle pahatahtlikule kolmandale osapoolele. Enamikul meile teadaolevatest juhtudest need rünnakud ebaõnnestuvad, sest meie ohutuskoolitus paneb agendi keelduma. Nendel juhtudel, kui agent on veendunud, oleme välja töötanud leevendusstrateegia nimega Safe Url, mis on loodud tuvastama, millal assistent vestluse käigus õpitud teave edastataks kolmandale osapoolele. Nendel harvadel juhtudel me kas näitame kasutajale edastatavat teavet ja palume neil seda kinnitada või blokeerime selle ning palume agendil leida teine viis kasutaja soovi täitmisega edasi minemiseks.

See sama mehhanism laieneb navigeerimisele ja järjehoidjatele Atlases⁠; ning otsingutele ja navigeerimisele süvauuringus⁠. ChatGPT Canvas⁠ ja ChatGPT rakendused⁠ kasutavad sarnast lähenemist, võimaldades agendil luua ja kasutada funktsionaalseid rakendusi—need töötavad liivakastis, mis suudab tuvastada ootamatuid sidepidamisi ja küsida kasutajalt nõusolekut⁠(avaneb uues aknas).

Lisateavet Safe Url-i kohta ja selle ülesehitust käsitleva dokumendi leiate vastavast ajaveebipostitusest Andmete turvalisus, kui AI-agent lingile klõpsab⁠.

Turvaline suhtlus vaenuliku välismaailmaga on täielikult autonoomsete agentide jaoks vajalik. AI-mudeli integreerimisel rakendussüsteemiga on soovitatav kaaluda, millised kontrollmehhanismid peaksid olema sarnases rollis oleval inimesel, ning need ka juurutada. Usume, et tipptasemel intelligentne AI-mudel suudab sotsiaalset manipulatsiooni paremini tõrjuda kui inimagent, ent olenevalt kasutusvaldkonnast ei pruugi see alati olla teostatav või kulusäästlik.

Jätkame sotsiaalse manipuleerimise mõjude ja selle tõrjevõimaluste uurimist AI-mudelite puhul ning rakendame oma tulemusi nii meie rakenduste turvaarhitektuuris kui ka AI-mudelite treenimisele.