Navrhování agentů umělé inteligence, aby odolávali injektáži promptů

Agenti umělé inteligence jsou stále více schopni procházet web, získávat informace a provádět akce jménem uživatele. Tyto schopnosti jsou užitečné, ale také vytvářejí nové způsoby, jak se útočníci mohou pokusit manipulovat se systémem.

Tyto útoky se často označují jako injektáž promptů⁠: instrukce umístěné v externím obsahu ve snaze přimět model, aby udělal něco, o co ho uživatel nežádal. Z našich zkušeností vyplývá, že nejúčinnější reálné verze těchto útoků se stále více podobají sociálnímu inženýrství než jednoduchému přepsání promptu.

Tento posun je důležitý. Pokud problém nespočívá jen v identifikaci škodlivého textu, ale v odolávání zavádějícímu nebo manipulativnímu obsahu v kontextu, pak obrana proti němu nemůže stát pouze na filtrování vstupů. Vyžaduje také návrh systém tak, aby byl dopad manipulace omezen, i když některé útoky uspějí.

Rané útoky typu „injektáže promptů“ mohly mít podobu jednoduché úpravy článku na Wikipedii tak, aby obsahoval přímé instrukce pro agenty umělé inteligence, kteří ho navštíví. Bez zkušenosti s takovým nepříznivým prostředím během trénování modely umělé inteligence tyto instrukce často bez otázek dodržely¹. S tím, jak se modely stávají chytřejšími, se také stávají méně zranitelnými vůči tomuto druhu návrhů a pozorovali jsme, že útoky ve stylu injektáže promptů reagovaly zahrnutím prvků sociálního inženýrství:

V rámci širšího ekosystému zabezpečení umělé inteligence se stalo běžnou praxí doporučovat techniky, jako je „AI firewall“, kdy se prostředník mezi agentem umělé inteligence a okolním světem snaží klasifikovat vstupy na škodlivé injektáže promptů a běžné vstupy – tyto plně rozvinuté útoky však takové systémy obvykle nezachytí. Pro takové systémy se detekce škodlivého vstupu stává stejně obtížným problémem jako detekce lži nebo dezinformací a často bez potřebného kontextu.

S tím, jak se reálné útoky injektáží promptů stávaly složitějšími, jsme zjistili, že nejúčinnější útočné techniky využívaly taktiky sociálního inženýrství. Namísto toho, abychom tyto útoky injektáže promptů se sociálním inženýrstvím považovali za samostatnou nebo zcela novou třídu problému, jsme je začali vnímat stejnou optikou, jaká se používá k řízení rizika sociálního inženýrství u lidí v jiných oblastech. V těchto systémech se cíl neomezuje na dokonalou identifikaci škodlivých vstupů, ale na navrhování agentů a systémů tak, aby byl dopad manipulace omezen, i když se jí podaří uspět. Takové systémy se ukazují jako účinné při řešení jak injektáže promptů, tak sociálního inženýrství.

Tímto způsobem si můžeme představit agenta umělé inteligence v podobném systému tři aktérů jako agenta zákaznického servisu. Agent chce jednat jménem svého zaměstnavatele, ale je neustále vystaven externím vstupům, které se ho mohou snažit uvést v omyl. Agent zákaznické podpory, ať už člověk, nebo umělá inteligence, musí mít omezené schopnosti, aby se omezilo riziko nepříznivých dopadů spojené s existencí v takovém škodlivém prostředí.

Představte si situaci, ve které člověk obsluhuje systém zákaznické podpory a je schopen poskytovat dárkové karty a vracet peníze za nepříjemnosti, které zákazník zažil, jako je pomalé doručení, poškození v důsledku poruchy atd. Jde o problém s více stranami, v němž musí korporace důvěřovat, že agent poskytuje refundace ze správných důvodů, zatímco agent také komunikuje s třetími stranami, které se ho mohou snažit uvést v omyl, nebo ho dokonce vystavit nátlaku.

V reálném světě dostane agent sadu pravidel, kterými se má řídit, ale očekává se, že v nepřátelském prostředí, ve kterém pracuje, bude uváděn v omyl. Možná zákazník pošle zprávu, ve které tvrdí, že mu nikdy nebyly vráceny peníze, nebo vyhrožuje ublížením, pokud peníze nedostane zpátky. Deterministické systémy, se kterými agent interaguje, omezují množství refundací, které lze zákazníkovi poskytnout, označují potenciální phishingové e-maily a poskytují další podobné nástroje, aby se omezil dopad kompromitace jednotlivého agenta. 

Tento přístup vedl k vytvoření robustní sady protiopatření, která jsme zavedli a která splňují bezpečnostní očekávání našich uživatelů.

V ChatGPT kombinujeme tento model sociálního inženýrství s tradičnějšími přístupy bezpečnostního inženýrství, jako je analýza zdroje a cíle.

V tomto pojetí útočník potřebuje jak zdroj, tedy způsob, jak ovlivnit systém, tak i cíl, tedy schopnost, která se ve špatném kontextu stává nebezpečnou. U agentních systémů to často znamená kombinaci nedůvěryhodného externího obsahu s akcí, jako je přenos informací třetí straně, kliknutí na odkaz nebo interakce s nástrojem.

Naším cílem je zachovat základní bezpečnostní očekávání pro uživatele: potenciálně nebezpečné akce nebo přenosy potenciálně citlivých informací by se neměly dít potichu nebo bez vhodných ochranných opatření.

Útoky, které nejčastěji pozorujeme a které jsou vyvíjeny proti ChatGPT, obvykle spočívají v pokusu přesvědčit asistenta, že by měl z konverzace získat nějaké tajné informace a předat je třetí straně, která útočí. Ve většině případů, o kterých víme, tyto útoky selžou, protože naše bezpečnostní trénování vede agenta k odmítnutí. Pro případy, kdy je agent přesvědčen, jsme vyvinuli strategii předcházení rizik s názvem bezpečná adresa URL, která je navržena tak, aby detekovala, kdy by informace, které se asistent dozvěděl v konverzaci, byly předány třetí straně. V těchto vzácných případech buď uživateli ukážeme informace, které by měly být přeneseny, a požádáme ho o potvrzení, nebo je zablokujeme a řekneme agentovi, aby zkusil jiný způsob, jak s požadavkem uživatele postupovat.

Stejný mechanismus platí pro navigace a záložky v nástroji Atlas⁠ a vyhledávání a navigaci v hloubkovém výzkumu⁠. ChatGPT Canvas⁠ a aplikace ChatGPT⁠ používají podobný přístup a umožňují agentovi vytvářet a používat funkční aplikace –– ty běží v sandboxu, který dokáže detekovat neočekávanou komunikaci a požádat uživatele o jeho souhlas⁠(otevře se v novém okně).

Další informace o bezpečné adrese URL a dokument o jeho struktuře si můžeš přečíst ve speciálním příspěvku na blogu Jak udržet data v bezpečí, když agent umělé inteligence klikne na odkaz⁠.

Bezpečná interakce s nepřátelským vnějším světem je pro plně autonomní agenty nezbytná. Při integraci modelu umělé inteligence se systémem aplikace doporučujeme se zeptat, jaké kontrolní mechanismy by měl mít lidský agent v podobné situaci, a tyto prvky implementovat. Očekáváme, že maximálně inteligentní model umělé inteligence bude schopen odolávat sociálnímu inženýrství lépe než lidský agent, ale v závislosti na aplikaci to není vždy proveditelné nebo nákladově efektivní.

Neustále zkoumáme důsledky sociálního inženýrství proti modelům umělé inteligence a obranu proti němu a naše zjištění začleňujeme jak do architektur zabezpečení našich aplikací, tak do trénování svých modelů.