Проектиране на ИИ агенти за устойчивост срещу инжектиране на подкани

Агентите с ИИ са все по-способни да сърфират в мрежата, да извличат информация и да предприемат действия от името на потребителя. Тези възможности са полезни, но също така създават нови начини за нападателите да се опитат да манипулират системата.

Тези атаки често се описват като инжектиране на подкана⁠: инструкции, поставени във външно съдържание, в опит да накарат модела да направи нещо, което потребителят не е поискал. Според нашия опит най-ефективните версии на тези атаки в реалния свят все повече наподобяват социално инженерство, отколкото прости замени на подкани.

Тази промяна има значение. Ако проблемът не е просто идентифициране на злонамерен низ, а устойчивост срещу подвеждащо или манипулативно съдържание в контекст, тогава защитата не може да разчита само на филтриране на входовете. Това също така изисква проектиране на системата така, че въздействието от манипулация да бъде ограничено, дори ако някои атаки са успешни.

Ранните атаки от типа „инжектиране на подкана“ можеха да бъдат толкова прости, колкото редактиране на статия в Wikipedia, за да включва директни инструкции към агентите с ИИ, които я посещават, без опит по време на обучението в такава враждебна среда моделите с ИИ често следваха тези инструкции без въпроси¹. Тъй като моделите станаха по-умни, те станаха и по-малко уязвими към този вид внушение и наблюдавахме, че атаките от типа „инжектиране на подкана“ са реагирали, като са включили елементи на социално инженерство:

В рамките на по-широката екосистема за сигурност на ИИ стана обичайно да се препоръчват техники като „защитна стена на ИИ“, при която посредник между агента с ИИ и външния свят се опитва да класифицира входящите данни като злонамерено инжектиране на подкана и обикновени входни данни — но тези напълно развити атаки обикновено не се улавят от такива системи. За такива системи откриването на злонамерен вход става същият много труден проблем като откриването на лъжа или дезинформация и често без необходимия контекст.

С нарастването на сложността на атаките чрез инжектиране на подкани в реалния свят установихме, че най-ефективните техники на нападатели използват тактики за социално инженерство. Вместо да третираме тези атаки с инжектиране на подкана чрез социално инженерство като отделен или изцяло нов клас проблем, започнахме да ги разглеждаме през същата призма, използвана за управление на риска от социално инженерство при хората в други области. В тези системи целта не се ограничава до перфектно идентифициране на злонамерени входни данни, а да се проектират агенти и системи така, че въздействието от манипулация да бъде ограничено, дори ако тя успее. Такива системи се доказват като ефективни за смекчаване както на инжектиране на подкана, така и на социално инженерство.

По този начин можем да си представим агента с ИИ като съществуващ в подобна система с трима участници като агент за обслужване на клиенти. Агентът иска да действа от името на своя работодател, но е непрекъснато изложен на външен вход, който може да се опитва да го подведе. Агентът за обслужване на клиенти, човек или ИИ, трябва да има наложени ограничения върху възможностите си, за да се ограничи рискът от неблагоприятни последици, присъщ на съществуването в такава злонамерена среда.

Представете си обстоятелство, при което човек управлява система за обслужване на клиенти и може да предоставя подаръчни карти и възстановявания на суми за неудобства, изпитани от клиента, като например забавяне на доставката, щети в резултат на неизправност и т.н. Това е проблем с множество участници, при който корпорацията трябва да се довери, че агентът извършва възстановявания на суми по правилните причини, докато агентът също взаимодейства с трети страни, които може да се стремят да го подведат или дори да го принудят.

В реалния свят на агента се дава набор от правила, които да следва, но се очаква, че във враждебната среда, в която съществува, той ще бъде подведен. Възможно е клиент да изпрати съобщение, в което твърди, че възстановяването на сумата му никога не е било обработено, или да заплаши с вреда, ако не му бъде възстановена сумата. Детерминистичните системи, с които агентът взаимодейства, ограничават размера на възстановяванията, които могат да бъдат предоставени на клиент, отбелязват потенциални фишинг имейли и предоставят други подобни мерки за ограничаване на въздействието от компрометиране на отделен агент. 

Този начин на мислене е в основата на надежден набор от контрамерки, които внедрихме и които отговарят на очакванията за сигурност на нашите потребители.

В ChatGPT комбинираме този модел за социално инженерство с по-традиционни подходи за инженерство на сигурността, като например анализ на източник и приемник.

В тази рамка нападателят се нуждае както от източник или начин да повлияе на системата, така и от приемник или възможност, която става опасна в неправилен контекст. За агентни системи това често означава комбиниране на ненадеждно външно съдържание с действие, като например предаване на информация на трета страна, следване на връзка или взаимодействие с инструмент.

Нашата цел е да запазим основно очакване за сигурност за потребителите: потенциално опасни действия или предаване на потенциално чувствителна информация не трябва да се случват тихомълком или без подходящи предпазни мерки.

Атаките, които най-често виждаме да се разработват срещу ChatGPT, най-често се състоят в опити да се убеди асистентът, че трябва да вземе някаква тайна информация от разговор и да я предаде на злонамерена трета страна. В повечето от случаите, за които сме запознати, тези атаки се провалят, защото обучението ни по безопасност кара агента да откаже. За онези случаи, в които агентът е убеден, разработихме стратегия за смекчаване, наречена Safe Url, която е предназначена да открива кога информация, получена от асистента по време на разговора, би била предадена на трета страна. В тези редки случаи или показваме на потребителя информацията, която би била предадена, и го молим за потвърждение, или я блокираме и казваме на агента да опита друг начин да продължи с искането на потребителя.

Същият механизъм се прилага за навигации и отметки в Atlas⁠ и за търсения и навигации в Deep Research⁠. ChatGPT Canvas⁠ и Приложения за ChatGPT⁠ възприемат подобен подход, като позволяват на агента да създава и използва функционални приложения — те работят в изолирана среда, която може да открива неочаквани комуникации и да поиска съгласието на потребителя⁠(отваря се в нов прозорец).

Можете да прочетете повече информация за Safe Url и да намерите документ за структурата ѝ в специалната публикация в блога за нея Как да запазите данните си в безопасност, когато агент с ИИ щракне върху връзка⁠.

Безопасното взаимодействие с враждебния външен свят е необходимо за напълно автономни агенти. Когато интегрирате модел на ИИ със система на приложение, препоръчваме да попитате какви мерки за контрол трябва да има един човешки агент в подобна ситуация и да ги внедрите. Очакваме, че един максимално интелигентен ИИ модел ще може да устои на социалното инженерство по-добре от човешки агент, но това не винаги е осъществимо или икономически ефективно в зависимост от приложението.

Продължаваме да изследваме последиците от социалното инженерство срещу модели с ИИ и защитите срещу него и да включваме нашите открития както в архитектурите за сигурност на приложенията ни, така и в обучението, през което преминават нашите модели с ИИ.