Непрекъснато засилване на защитата на ChatGPT Atlas срещу атаки чрез инжектиране на подкани

Агентен режим в ChatGPT Atlas е една от най-общите агентски функции, които сме пускали досега. В този режим агентът на браузъра разглежда уеб страници и извършва действия, щраквания и натискания на клавиши във Вашия браузър, точно както бихте направили Вие. Това позволява на ChatGPT да работи директно върху много от вашите ежедневни работни процеси, използвайки същото пространство, контекст и данни.

Докато агентът на браузъра Ви помага да вършите повече работа, той също така става по-ценна цел за враждебни атаки. Това прави сигурността на изкуствения интелект особено важна. Дълго преди да пуснем ChatGPT Atlas, ние непрекъснато изграждахме и укрепвахме защити срещу нововъзникващи заплахи, които конкретно целят тази нова парадигма на „агент в браузъра“. Инжектиране на подкана⁠ е един от най-значимите рискове, срещу които активно се защитаваме, за да гарантираме, че ChatGPT Atlas може да функционира сигурно от Ваше име. 

Като част от тези усилия, наскоро изпратихме актуализация за сигурност на агента в браузъра на Atlas, включително новообучен модел с противниково обучение и подсилени съпътстващи защитни механизми. Тази актуализация беше предизвикана от нов клас атаки с инжектиране на подкани, разкрити чрез нашето вътрешно автоматизирано симулиране на атаки.

В тази публикация обясняваме как може да възникне риск от инжектиране на подкана за уеб-базирани агенти и споделяме бързи мерки за реагиране, които изграждаме, за да откриваме непрекъснато нови атаки и бързо да внедряваме мерки за смекчаване на риска. Илюстрираме това със скорошното обновление на сигурността.

Разглеждаме инжектирането на подкани като дългосрочен проблем пред сигурността на изкуствения интелект и ще трябва непрекъснато да укрепваме защитата си срещу него (подобно на постоянно развиващите се онлайн измами, които са насочени към хората). Последният ни цикъл за бързо реагиране се очертава като ключов инструмент в този процес, с обнадеждаващи ранни резултати. Откриваме нови стратегии за вътрешни атаки, преди те да се появят в реалния свят. Дългосрочната ни визия е да използваме в пълна степен (1) нашия достъп до моделите като „бяла кутия“, (2) задълбоченото разбиране на нашите защити и (3) изчислителния мащаб, за да изпреварим външните нападатели – намирайки уязвимости по-рано, прилагайки мерки за по-бързо смекчаване и непрекъснато затягайки цикъла. В съчетание с авангардни изследвания на нови техники за справяне с инжектирането на подкани и увеличени инвестиции в други мерки за сигурност, този натрупващ се цикъл може да направи атаките все по-трудни и скъпи, като съществено намалява риска от инжектиране на подкани в реалния свят. В крайна сметка, нашата цел е да можете да се доверите на агент на ChatGPT да използва Вашия браузър по начина, по който бихте се доверили на високо компетентен и осведомен за сигурността колега или приятел.

Атаката чрез инжектиране на подкана цели агентите с ИИ, като вгражда злонамерени инструкции в съдържанието, което агентът обработва. Тези инструкции са създадени, за да заменят или пренасочат поведението на агента – отвличайки го към следване на намеренията на нападателя, вместо на потребителя.

За агент в браузър, като този в ChatGPT Atlas, инжектирането на подкана добавя нова заплаха отвъд традиционните рискове за уеб сигурността (като грешки на потребителя или уязвимости в софтуера). Вместо да извършва фишинг на хора или да експлоатира уязвимости в системата на браузъра, нападателят се насочва към агента, който работи вътре в браузъра.

Като хипотетичен пример, нападател може да изпрати злонамерен имейл, опитвайки се да подмами агент да игнорира заявката на потребителя и вместо това да препрати чувствителни данъчни документи на имейл адрес, контролиран от нападателя. Ако потребител поиска от агент да прегледа непрочетените имейли и да обобщи ключовите моменти, агентът може да обработи този злонамерен имейл по време на работния процес. Ако следва инжектираните инструкции, може да се отклони от задачата и погрешно да сподели чувствителна информация.

Това е само един конкретен сценарий. Същата степен на универсалност, която прави агентите в браузъра полезни, също така разширява рисковете. Агентът може да срещне ненадеждни инструкции върху ефективно неограничена повърхност – имейли и прикачени файлове, покани за календар, споделени документи, форуми, публикации в социалните медии и произволни уеб страници. Тъй като агентът може да извършва много от същите действия, които потребителят извършва в браузъра, въздействието на успешна атака може хипотетично да бъде също толкова обширно: препращане на чувствителен имейл, изпращане на пари, редактиране или изтриване на файлове в облака и други.

Постигнахме напредък в защитата срещу инжектиране на подкани чрез множество слоеве от предпазни мерки, както споделихме в по-ранна публикация⁠. Въпреки това, инжектирането на подкани остава открит проблем за сигурността на агентите и очакваме да продължим да работим върху него през идните години.

За да укрепим нашата защита, непрекъснато търсим нови атаки с инжектиране на подкани срещу системи с агенти в реална експлоатация. Откриването на тези атаки е необходима предпоставка за изграждане на стабилни мерки за смекчаване. То Ви помага да разберете реалния риск, разкрива пропуски в нашата защита и води до конкретни пачове.

За да направим това мащабно, създадохме автоматизиран нападател, базиран на LLM и го обучихме да търси атаки с инжектиране на подкани, които могат успешно да атакуват агент в браузъра. Обучихме този нападател цялостно с подсилващо обучение, така че той се учи от собствените си успехи и неуспехи, за да подобри умението си за работа в червен екип. Също така му позволяваме да „опита преди да изпрати“, с което имаме предвид, че по време на разсъжденията си, нападателят може да предложи кандидат за инжектиране и да го изпрати на външен симулатор. Симулаторът прилага хипотетично това как целевият агент-жертва (защитникът) би се държал, ако срещне инжектирането, и връща пълно разсъждение и запис на действията на агента-жертва. Нападателят използва този запис като обратна връзка, итеративно подобрява атаката и отново пуска симулацията, повтаряйки този цикъл многократно, преди да се ангажира с окончателната атака. Това предоставя по-богата обратна връзка в контекста на нападателя, отколкото един единствен сигнал за преминаване или провал. Това също увеличава изчислителните ресурси на нападателя по време на тестване. Освен това, привилегированият достъп до записа на разсъжденията (които не разкриваме на външни потребители) на защитника предоставя на нашия вътрешен нападател асиметрично предимство, увеличавайки вероятността да изпревари външните противници.

Защо подсилващо обучение (RL)? Ние избрахме подсилващо обучение, за да обучим автоматизирания нападател по няколко причини:

1. Оптимизиране на дългосрочни и непоследователни цели на нападателя. Нашата цел е да търсим атаки с инжектиране на подкани, които могат да подмамят агента да изпълнява сложни враждебни задачи (например, изпращане на имейли, банкови трансакции), които биха могли да се случат в реалния свят. Тези състезателни задачи по своята същност са дългосрочни, изискващи много стъпки на разсъждение и взаимодействие с околната среда, с редки и забавени сигнали за успех. Подсилващото обучение е добре пригодено за тази структура на нечесто и забавено възнаграждение.
2. Използване на иновативните възможности на LLM. Обучихме авангардни, големи езикови модели директно като автоматични червени екипи, така че нападателят се възползва директно от подобренията в разсъждението и планирането в авангардните модели. С усилването на базовите модели, нападателят естествено също става по-способен, което прави това мащабируем начин да се поддържа натиск върху нашите защити, докато нашите модели се развиват.
3. Разширяване на изчислителните ресурси и имитиране на адаптивни нападатели. Подсилващото обучение е добре пригодено за разширяване на изчисленията, изразходвани за търсене на атаки чрез голям брой извадки и стъпки на обучение, и също така точно отразява как се държат адаптивните човешки нападатели: итеративно изпробват стратегии, учат се от резултатите и подсилват успешните поведения.
   

Нашият автоматизиран нападател може да открива нови, реалистични атаки чрез цялостно инжектиране на подкани от край до край. За разлика от повечето предишни автоматизирани симулирани нападения, които разкриваха прости неуспехи като извличане на специфични изходни низове или задействане на нежелана едностъпкова заявка за инструмент от агента, нашият RL-обучен нападател може да насочва агент към изпълнение на сложни, дългосрочни вредни работни процеси, които се развиват в продължение на десетки (или дори стотици) стъпки. Също така наблюдавахме нови стратегии за атака, които не се появиха в нашата кампания с човешки „червен екип“ или във външни доклади.

Демонстрацията по-долу представя конкретна уязвимост с инжектиране на подкана, открита от нашия автоматизиран нападател, който след това използвахме, за да укрепим допълнително защитите на ChatGPT Atlas. Нападателят изпраща в пощенската кутия на потребителя злонамерен имейл, съдържащ инжектиране на подкана, което насочва агента да изпрати писмо за оставка до главния изпълнителен директор на потребителя. По-късно, когато потребителят помоли агента да състави отговор за отсъствие от офиса, агентът среща този имейл по време на нормалното изпълнение на задачите, третира инжектираната подкана като авторитетна и я следва. Съобщението за отсъствие никога не се пише и агентът подава оставка от името на потребителя вместо това.

Природата на инжектиране на подкани прави предсказуемите гаранции за сигурност предизвикателни, но чрез разширяване на нашите автоматизирани изследвания за сигурност, тестове за противодействие и затягане на бързите мерки за реагиране, сме в състояние да подобрим устойчивостта и защитите на модела – преди да изчакаме реална атака. 

Споделяме това демо, за да помогнем на потребителите и изследователите да разберат по-добре естеството на тези атаки и как активно се защитаваме срещу тях. Вярваме, че това представлява границата на възможностите на автоматизиранире червени екипи и сме изключително развълнувани да продължим нашите изследвания.

Нашите автоматизирани симулирани атаки задвижват проактивен цикъл за бързо реагиране. Когато автоматизираният нападател открие нов клас успешни атаки с инжектиране на подкани, той незабавно създава конкретна цел за подобряване на нашите защити.

Състезателно обучение за справяне с новооткрити атаки. Ние непрекъснато обучаваме актуализирани модели на агенти срещу нашия най-добър автоматизиран нападател, като даваме приоритет на атаките, при които целевите агенти се провалят за момента. Целта е агентите да се научат да игнорират враждебни инструкции и да останат в съответствие с намерението на потребителя, подобрявайки устойчивостта срещу новооткрити стратегии за инжектиране на подкани. Това „вгражда“ устойчивост срещу нови, високосилови атаки директно в контролната точка на модела. Например, наскоро автоматизираното тестване с червени екипи директно произведе нова контролна точка за агент в браузъра, обучена за противодействие. Тя вече е разпространена за всички потребители на ChatGPT Atlas. Това в крайна сметка помага за по-добра защита на нашите потребители срещу нови видове атаки.

Използване на следи от атаки за подобряване на по-обхватната отбранителна структура. Много от пътищата за атака, открити от нашия автоматизиран червен екип, също така разкриват възможности за подобрение извън самия модел, като например в наблюдението, инструкциите за безопасност, които поставяме в контекста на модела, или системни предпазни мерки. Тези открития ни помагат да подобряваме цялостната отбранителна структура, а не само контролната точка на агента.

Реагиране при активни атаки. Този цикъл може също така да помогне да се реагира по-добре на реални активни атаки. Докато разглеждаме нашето глобално присъствие за потенциални атаки, можем да вземем техниките и тактиките, които външните ни противници използват, да ги въведем в този цикъл, да имитираме тяхната дейност и да предизвикаме защитни промени в нашата платформа.

Засилваме нашата способност да провеждаме симулирани атаки с агенти, както и използването на най-способните ни модели за автоматизиране на етапи от тази работа. Това помага да направим агента в браузъра Atlas по-устойчив чрез разгръщане на цикъла от детекция до отстраняване. Това усилие за засилване затвърждава вече известен урок от сигурността, а именно, че добре утъпканият път към по-силна защита е в непрекъснатото тестване на реални системи, адресирането на неуспехите и извършването на конкретни поправки.

Очакваме противниците да продължат да се приспособяват. Инжектирането на подкани, подобно на измамите и социалното инженерство в интернет, вероятно никога няма да бъде напълно „решени“. Но сме оптимисти, че проактивния, високочувствителен цикъл за бързо реагиране може да продължи да намалява съществено реалния риск с течение на времето. Чрез комбиниране на автоматизирано откриване на атаки със състезателно обучение и системни предпазни мерки, можем да засечем нови модели на атаки по-рано, да затворим пропуските по-бързо и непрекъснато да увеличаваме разходите за експлоатация.

Агентният режим в ChatGPT Atlas е мощен, но той също така разширява обхвата на заплахите за сигурността. Да бъдем ясно осведомени за този компромис е част от отговорното изграждане. Нашата цел е да направим Atlas значително по-сигурен с всяка итерация: подобряване на устойчивостта на модела, укрепване на околната отбранителна структура и наблюдение за възникващи модели на злоупотреба в реалния свят.

Ще продължим да инвестираме в изследвания и внедряване, като развиваме по-добри автоматизирани методи за симулирани атаки, като въвеждаме многопластови мерки за смекчаване и като правим бързи итеративни подобрения, докато се учим. Също така ще споделим каквото можем с по-широката общност.

Докато продължаваме да укрепваме Atlas на системно ниво, има стъпки, които потребителите могат да предприемат, за да намалят риска при използване на агенти. 

Ограничете достъпа на вписаните потребители, когато е възможно. Продължаваме да препоръчваме на потребителите да се възползват от режим без вписване⁠(отваря се в нов прозорец) при използване на агент в Atlas, когато достъпът до уебсайтове, в които сте влезли, не е необходим за задачата, или за да ограничите достъпа до конкретни сайтове, в които се вписвате по време на задачата. 

Внимателно преглеждайте заявките за потвърждение. За определени значими действия, като извършване на покупка или изпращане на имейл, агентите са проектирани да изискват Вашето потвърждение преди да продължат. Когато агентът Ви помоли да потвърдите действие, отделете момент, за да проверите дали действието е правилно и дали информацията, която се споделя, е уместна за този контекст.

Давайте на агентите изрични инструкции, когато е възможно. Избягвайте прекалено общи подкани като „прегледай моите имейли и предприеми каквото действие е необходимо.“ Широката свобода на действие улеснява влиянието на скритото или злонамерено съдържание върху агента, дори когато са налице предпазни мерки. По-безопасно е да помолите агента да изпълни конкретни, добре очертани задачи. Макар че това не елиминира риска, то прави атаките по-трудни за изпълнение.

Ако агентите трябва да станат доверени партньори за ежедневни задачи, те трябва да бъдат устойчиви на видовете манипулации, които отворената мрежа позволява. Защитата срещу инжектиране на подкани е дългосрочен ангажимент и един от най-важните ни приоритети. Скоро ще споделим повече за тази работа.