Navrhovanie AI agentov tak, aby odolávali vkladaniu falošných príkazov

AI Agenti sú čoraz viac schopní prehliadať web, získavať informácie a vykonávať akcie v mene používateľa. Tieto schopnosti sú užitočné, ale zároveň vytvárajú nové spôsoby, ako sa útočníci môžu pokúsiť manipulovať systém.

Tieto útoky sa často opisujú ako vkladanie falošných príkazov⁠: inštrukcie umiestnené v externom obsahu v snahe prinútiť model urobiť niečo, o čo používateľ nepožiadal. Podľa našich skúseností sa najúčinnejšie reálne verzie týchto útokov čoraz viac podobajú na sociálne inžinierstvo než na jednoduché prepísanie príkazov.

Tento posun je dôležitý. Ak problémom nie je len identifikácia škodlivého reťazca, ale aj odolanie zavádzajúcemu alebo manipulatívnemu obsahu v kontexte, potom sa obrana proti nemu nemôže spoliehať len na filtrovanie vstupov. Vyžaduje si to tiež navrhnúť systém tak, aby bol vplyv manipulácie obmedzený, a to aj v prípade, že niektoré útoky uspejú.

Prvé útoky typu „vkladanie falošných príkazov“ mohli byť také jednoduché ako úprava článku na Wikipédii, aby obsahoval priame inštrukcie pre AI agentov, ktorí ho navštívia. Bez skúseností s takýmto nepriateľským prostredím počas tréningu by modely umelej inteligencie často tieto inštrukcie bez otázok nasledovali¹. Ako sa modely stali inteligentnejšími, stali sa aj menej zraniteľnými voči tomuto druhu návrhov a pozorovali sme, že útoky v štýle vkladania falošných príkazov reagovali zahrnutím prvkov sociálneho inžinierstva:

V rámci širšieho ekosystému bezpečnosti umelej inteligencie sa stalo bežným odporúčanie techník ako „AI firewalling“, pri ktorom sa sprostredkovateľ medzi AI agentom a vonkajším svetom pokúša klasifikovať vstupy na škodlivé vkladanie falošných príkazov a bežné vstupy – tieto plne rozvinuté útoky však takéto systémy zvyčajne nezachytia. V prípade takýchto systémov sa odhaľovanie škodlivého vstupu stáva rovnakým veľmi náročným problémom ako odhaľovanie klamstva alebo dezinformácií, a často bez potrebného kontextu.

Keď sa útoky vkladania falošných príkazov v reálnom svete stávali zložitejšími, zistili sme, že najúčinnejšie útočné techniky využívali taktiky sociálneho inžinierstva. Namiesto toho, aby sme tieto útoky vkladania falošných príkazov so sociálnym inžinierstvom považovali za samostatnú alebo úplne novú triedu problému, začali sme sa na ne pozerať cez rovnakú optiku, aká sa používa na riadenie rizika sociálneho inžinierstva u ľudí v iných oblastiach. V týchto systémoch sa cieľ neobmedzuje len na dokonalú identifikáciu škodlivých vstupov, ale na navrhovanie agentov a systémov tak, aby bol vplyv manipulácie obmedzený, aj keď sa podarí. Takéto systémy sa ukazujú ako účinné pri zmierňovaní vkladania falošných príkazov aj sociálneho inžinierstva.

Týmto spôsobom si môžeme predstaviť AI agenta ako súčasť podobného systému troch aktérov, ako je agent zákazníckej podpory. Agent chce konať v mene svojho zamestnávateľa, ale je neustále vystavený externým vstupom, ktoré ho môžu zavádzať. Agent zákazníckej podpory, či už človek alebo AI, musí mať obmedzené možnosti, aby sa minimalizovalo riziko negatívnych dôsledkov v takomto škodlivom prostredí.

Predstavte si situáciu, v ktorej človek obsluhuje systém zákazníckej podpory a môže poskytovať darčekové karty a vrátenie peňazí za nepríjemnosti, ako je pomalosť doručenia alebo poškodenia spôsobené poruchou. Ide o problém s viacerými stranami, kde korporácia musí dôverovať, že agent poskytuje refundácie zo správnych dôvodov, pričom agent komunikuje s tretími stranami, ktoré ho môžu zavádzať alebo dokonca vystaviť nátlaku.

V reálnom svete dostane agent súbor pravidiel, ktoré má dodržiavať, no očakáva sa, že v nepriateľskom prostredí, v ktorom existuje, bude zavádzaný. Možno zákazník pošle správu, v ktorej tvrdí, že jeho refundácia nikdy neprešla, alebo sa vyhráža ujmou, ak nedostane refundáciu. Deterministické systémy, s ktorými agent interaguje, obmedzujú množstvo refundácií, ktoré možno poskytnúť zákazníkovi, upozorňujú na potenciálne phishingové e-maily a poskytujú ďalšie podobné zmierňujúce opatrenia na obmedzenie dopadu kompromitovania jednotlivého agenta.

Toto zmýšľanie ovplyvnilo rozsiahlu sadu protiopatrení, ktoré sme nasadili na splnenie bezpečnostných očakávaní našich používateľov.

V ChatGPT kombinujeme tento model sociálneho inžinierstva s tradičnejšími prístupmi bezpečnostného inžinierstva, ako je analýza zdrojov a cieľov.

V tomto rámci útočník potrebuje aj zdroj alebo spôsob, ako ovplyvniť systém, aj zásobník alebo schopnosť, ktorá sa v nesprávnom kontexte stáva nebezpečnou. V prípade agentických systémov to často znamená kombinovanie nedôveryhodného externého obsahu s akciou, ako je odosielanie informácií tretej strane, nasledovanie odkazu alebo interakcia s nástrojom.

Naším cieľom je zachovať základné bezpečnostné očakávanie používateľov: potenciálne nebezpečné akcie alebo prenosy potenciálne citlivých informácií by sa nemali diať potichu ani bez primeraných ochranných opatrení.

Útoky, ktoré vidíme vyvíjané proti ChatGPT, najčastejšie spočívajú v pokuse presvedčiť asistenta, že by mal z konverzácie získať nejaké tajné informácie a odovzdať ich škodlivej tretej strane. Vo väčšine prípadov, o ktorých vieme, tieto útoky zlyhajú, pretože náš bezpečnostný tréning spôsobí, že agent ich odmietne. V prípadoch, keď je agent presvedčený, sme vyvinuli stratégiu zmierňovania rizík s názvom Safe Url, ktorá je navrhnutá tak, aby zistila, kedy by sa informácie, ktoré sa asistent naučil v konverzácii, prenášali tretej strane. V týchto zriedkavých prípadoch buď používateľovi zobrazíme informácie, ktoré by sa preniesli, a požiadame ho o potvrdenie, alebo to zablokujeme a agentovi povieme, aby skúsil iný spôsob, ako pokračovať v riešení požiadavky používateľa.

Tento istý mechanizmus sa vzťahuje na navigácie a záložky v Atlase⁠; a vyhľadávania a navigácie v hlbokom výskume⁠. ChatGPT Canvas⁠ a Aplikácie ChatGPT⁠ používajú podobný prístup, ktorý agentovi umožňuje vytvárať a používať funkčné aplikácie—tie bežia v testovacom prostredí, ktorý dokáže zistiť neočakávanú komunikáciu a požiadať používateľa o jeho súhlas⁠(otvorí sa v novom okne).

Viac informácií o Safe URL a článok o jej štruktúre nájdete v blogovom príspevku s názvom Udržiavanie bezpečnosti vašich údajov, keď AI agent klikne na odkaz⁠.

Bezpečná interakcia s nepriateľským vonkajším svetom je nevyhnutná pre plne autonómnych agentov. Pri integrácii AI modelu s aplikačným systémom odporúčame opýtať sa, aké kontrolné mechanizmy by mal mať v podobnej situácii ľudský agent, a tieto implementovať. Očakávame, že maximálne inteligentný AI model bude schopný odolávať sociálnemu inžinierstvu lepšie ako ľudský agent, ale to nie je vždy uskutočniteľné alebo nákladovo efektívne v závislosti od aplikácie.

Naďalej skúmame dôsledky sociálneho inžinierstva proti AI modelom a obrany proti nemu a naše zistenia zapracúvame do našich architektúr aplikačnej bezpečnosti aj do tréningu, ktorým naše AI modely prechádzajú.