Постійне зміцнення ChatGPT Atlas проти атак з ін'єкціями запитів

Режим агента в ChatGPT Atlas — одна з найуніверсальніших агентних функцій, які ми випустили на сьогоднішній день. У цьому режимі агент браузера переглядає веб-сторінки та виконує дії, кліки та натискання клавіш у вашому браузері, так само, як це робили б ви. Це дозволяє ChatGPT працювати безпосередньо з багатьма вашими повсякденними робочими процесами, використовуючи один і той же простір, контекст та дані.

Оскільки агент браузера допомагає вам більше встигати, він стає більш цінним об'єктом для атак зловмисників. Це робить безпеку ШІ особливо важливою. Задовго до того, як ми запустили ChatGPT Atlas, ми постійно будували й зміцнювали захист від загроз, що виникають, які спеціально націлені на нову парадигму «агента в браузері». Ін'єкції запитів⁠ — це один із найбільш значних ризиків, проти яких ми активно захищаємось, щоб забезпечити безпечну роботу ChatGPT Atlas від вашого імені.

В рамках цих зусиль ми нещодавно випустили оновлення безпеки для браузерного агента Atlas, що включає нову модель, навчену у змагальному середовищі, та посилені заходи захисту. Це оновлення було реалізовано у зв'язку з виявленням у ході нашого внутрішнього автоматизованого тестування на вразливості нової категорії атак з ін'єкціями запитів.

У цій публікації ми пояснюємо, як може виникнути ризик ін'єкцій запитів для веб-агентів, і ділимося циклом швидкого реагування, який ми розробляємо для постійного виявлення нових атак та швидкого впровадження заходів щодо запобігання їм, що ілюструється нещодавнім оновленням безпеки.

Ми розглядаємо ін'єкції запитів як довгострокову проблему безпеки ШІ, і нам необхідно буде постійно зміцнювати наш захист від цього (подібно до постійного розвитку онлайн-шахрайств, націлених на людей). Наш останній цикл швидкого реагування показує ранні перспективні результати як критичний інструмент на цьому шляху: ми виявляємо нові стратегії атак усередині компанії, перш ніж вони з'являються в реальних умовах. Наша довгострокова мета — повністю використовувати (1) наш доступ до моделей як «білих ящиків», (2) глибоке розуміння наших захисних механізмів і (3) обчислювальні потужності, щоб випереджати зовнішніх зловмисників — знаходити вразливості раніше, швидше впроваджувати заходи щодо їх усунення та постійно оптимізувати цей процес. У поєднанні з передовими дослідженнями нових методів для вирішення проблеми ін'єкцій запитів та збільшенням інвестицій в інші засоби безпеки цей наростаючий цикл може зробити атаки все більш складними та дорогими, істотно знижуючи ризик ін'єкцій запитів у реальних умовах. Зрештою, наша мета полягає в тому, щоб ви могли довіряти агенту ChatGPT використовувати ваш браузер так само, як ви довіряєте висококваліфікованому та обізнаному про безпеку колегу чи другу.

Атака з ін'єкцією запиту орієнтована на агентів ШІ: її принцип — вбудувати шкідливі інструкції в оброблюваний агентом контент. Ці інструкції розроблені для того, щоб перевизначити або перенаправити поведінку агента, захоплюючи його для виконання намірів зловмисника, а не користувача.

Для браузерного агента, подібного до того, що знаходиться в ChatGPT Atlas, ін'єкція запиту додає новий вектор загрози, що виходить за межі традиційних ризиків веб-безпеки (таких як помилки користувача або вразливості програмного забезпечення). Замість фішингу людей або експлуатації уразливостей системи браузера зловмисник націлений на агента, який працює всередині нього.

Як гіпотетичний приклад: зловмисник може надіслати шкідливий електронний лист, намагаючись обдурити агента, щоб той проігнорував запит користувача і натомість переслав конфіденційні податкові документи на адресу електронної пошти, контрольовану зловмисником. Якщо користувач попросить агента переглянути непрочитані електронні листи та резюмувати ключові моменти, агент може опрацювати цей шкідливий лист у робочому потоці. Якщо слідувати запровадженим інструкціям, система може відхилитися від завдання та помилково поділитися конфіденційною інформацією.

Це лише один конкретний сценарій. Та сама загальність, яка робить браузерні агенти корисними, також збільшує ризики: агент може зіткнутися з ненадійними інструкціями на практично необмеженій поверхні — електронні листи та вкладення, запрошення в календарі, загальні документи, форуми, публікації у соціальних мережах та довільні веб-сторінки. Оскільки агент може виконувати багато тих же дій, що й користувач у браузері, наслідки успішної атаки можуть бути гіпотетично настільки ж широкими: пересилання конфіденційного електронного листа, відправлення грошей, редагування або видалення файлів у хмарі тощо.

Ми досягли прогресу в захисті від ін'єкцій запитів через кілька рівнів безпеки, про що ми повідомляли в попередній публікації⁠. Тим не менш, ін'єкції запитів залишаються відкритою проблемою для безпеки агентів, і ми плануємо продовжувати працювати над цією проблемою й надалі.

Для посилення нашого захисту ми постійно шукаємо нові типи атак із запровадженням запитів проти агентних систем в експлуатації. Виявлення цих атак є необхідною попередньою умовою для створення надійних заходів протидії: це допомагає нам зрозуміти реальні ризики, виявити прогалини у нашому захисті та стимулює розробку конкретних виправлень.

Щоб реалізувати це в масштабі, ми розробили автоматизованого атакуючого на основі LLM та навчили його виявляти атаки впровадження запитів, які можуть успішно атакувати агент браузера. Ми навчили цього атакуючого від початку до кінця з використанням навчання з підкріпленням, щоб він навчався на своїх успіхах та невдачах для покращення своїх навичок у галузі тестування на вразливості. Ми також дозволяємо йому спочатку зробити «пробу», тобто: у процесі ланцюжка міркувань зловмисник може запропонувати варіант впровадження та відправити його до зовнішнього симулятора. Симулятор виконає контрфактичну симуляцію того, як цільовий агент-жертва (захисник) поводитиметься при впровадженні, і у відповідь надасть повне обґрунтування та послідовність дій агента-жертви. Зловмисник використає цей відгук як зворотний зв'язок, повторить атаку і знову запустить симуляцію, повторюючи цей цикл кілька разів, перш ніж приступити до остаточної атаки. Це забезпечує більш насичений відгук у контексті зловмисника, ніж одиничний сигнал «pass/fail». Це також підвищує обчислювальні потужності зловмисника під час тестування. Більш того, привілейований доступ до слідів міркувань захисника (які ми не розкриваємо зовнішнім користувачам) надає нашому внутрішньому атакуючому асиметричну перевагу, збільшуючи ймовірність того, що він зможе обійти зовнішніх суперників.

Чому саме навчання із підкріпленням (RL)? Ми вибрали для автоматизованого атакуючого навчання з підкріпленням з кількох причин:

1. Оптимізація довгострокових і безперервних цілей атакуючого. Наша мета — виявляти атаки з ін'єкціями запитів, які можуть обдурити агента та змусити його виконувати складні ворожі завдання (наприклад, відправлення електронних листів, банківські транзакції), які можуть статися у реальному світі. Ці завдання за своєю природою є довгостроковими, що вимагають багатьох етапів міркування та взаємодії з навколишнім середовищем, з рідкісними та відкладеними сигналами успіху. Навчання з підкріпленням добре підходить для цієї розрідженої, затриманої структури винагороди.
2. Використання можливостей передових LLM. Ми навчили передові LLM безпосередньо як автотестувальників, тому атакуючий отримує пряму вигоду від покращень у міркуванні та плануванні у передових моделях. У міру посилення базових моделей атакуючий також природно стає більш здібним, що робить це масштабованим способом підтримки тиску на наш захист у міру еволюції наших моделей.
3. Масштабування обчислювальних потужностей та імітація адаптації зловмисників. Навчання з підкріпленням добре підходить для масштабування обчислювальних затрат на пошук атак при великій кількості вибірок та кроків навчання, а також точно відображає адаптивну поведінку атакуючих-людей: ітеративно пробуючи стратегії, навчаючись на результатах та підкріплюючи успішні дії.
   

Наш автоматизований атакуючий може виявляти нові, реалістичні види атак із ін'єкцією запитів від початку до кінця. На відміну від більшості попередніх робіт з автоматизованого тестування, які виявляли прості помилки, такі як отримання певних рядків виводу або ненавмисний виклик агентом інструменту з однією дією, наш атакуючий, навчений за допомогою методів навчання з підкріпленням, здатний направити агента на виконання складних, довгострокових процесів із проходженням десятків (або навіть сотень) етапів. Ми також спостерігали нові стратегії атак, дані про які не вказувалися в нашій кампанії з тестування на вразливості або зовнішніх звітах.

Нижче показано конкретний приклад експлойту з ін'єкцією запиту, виявлений нашим автоматизованим атакуючим, який ми потім використовували для подальшого зміцнення захисту ChatGPT Atlas. Зловмисник відправляє до поштової скриньки користувача шкідливий лист із ін'єкцією запиту, який змушує агента надіслати заяву про звільнення генеральному директору користувача. Пізніше, коли користувач просить агента скласти автоматичну відповідь про неробочий час, агент стикається з цим електронним листом під час виконання звичайного завдання, розглядає впроваджений запит як авторитетний і слідує йому. Повідомлення про неробочий час так і лишається ненаписаним, а натомість агент звільняється від імені користувача.

Природа ін'єкцій запитів ускладнює детерміновані гарантії безпеки, але завдяки масштабуванню наших автоматизованих досліджень безпеки, тестуванню на стійкість до атак і посиленню нашого швидкого циклу реагування ми можемо покращити стійкість та захист моделі до того, як атака відбудеться в реальних умовах. 

Ми ділимося цією демонстрацією, щоб допомогти користувачам та дослідникам краще зрозуміти природу цих атак і те, як ми активно захищаємось від них. Ми вважаємо, що це передовий рубіж можливостей автоматизованого тестування на вразливості, і ми надзвичайно раді продовжити наші дослідження.

Наші автоматизовані команди тестування створюють проактивний цикл швидкого реагування: коли автоматизований атакуючий виявляє новий клас успішних атак із ін'єкціями запитів, він негайно створює конкретну мету для покращення нашого захисту.

Адаптивне навчання проти нововиявлених типів атак. Ми постійно навчаємо оновлені моделі агентів, протиставляючи їх нашому кращому автоматизованому атакуючому, приділяючи пріоритетну увагу атакам, у яких цільові агенти нині зазнають невдачі. Мета полягає в тому, щоб навчити агентів ігнорувати ворожі інструкції та залишатися узгодженими з намірами користувача, підвищуючи стійкість до нещодавно виявлених стратегій ін'єкцій запитів. Це «вбудовує» стійкість до нових високоефективних атак безпосередньо в контрольну точку моделі. Наприклад, нещодавнє автоматизоване тестування вразливостей безпосередньо призвело до створення нового контрольного пункту браузер-агента, навченого в умовах протидії, що вже впроваджено для всіх користувачів ChatGPT Atlas. Це, зрештою, допомагає краще захищати наших користувачів від нових типів атак.

Використання слідів атак для розширення системи захисту. Багато шляхів атаки, виявлені нашою автоматизованою командою з тестування на вразливості, також виявляють можливості для покращення за межами самої моделі — наприклад, моніторинг, інструкції з безпеки, які ми включаємо в контекст моделі, або системні заходи безпеки. Ці висновки допомагають нам ітеративно покращувати весь захисний стек, а не лише контрольну точку агента.

Реагування на активні атаки. Цей цикл також допомагає краще реагувати на активні атаки в реальних умовах. Коли ми аналізуємо наше глобальне охоплення для виявлення потенційних атак, ми можемо взяти техніки та тактики, які спостерігаємо у зовнішніх супротивників, інтегрувати їх у цей цикл, імітувати їхні дії та внести зміни у захист на нашій платформі.

Зміцнення нашої здатності проводити тестування агентів на вразливості та використання наших найпотужніших моделей для автоматизації частин цієї роботи допомагає зробити агента браузера Atlas більш надійним, масштабуючи цикл від виявлення до виправлення. Ці зусилля щодо зміцнення підтверджують вже знайомий нам урок з безпеки: перевірений шлях до більш надійного захисту полягає у тому, щоб постійно проводити стрес-тестування реальних систем, реагувати на збої та впроваджувати конкретні виправлення.

Безумовно, зловмисники продовжуватимуть адаптуватись. Проблему ін'єкцій запитів, як і шахрайства, і соціальної інженерії та іншого, навряд чи вдасться вирішити повністю. Але ми оптимістично налаштовані на те, що проактивний, високочутливий цикл швидкого реагування може суттєво знижувати реальні ризики з часом. Поєднуючи автоматичне виявлення атак із навчанням на основі протидії та системними заходами безпеки, ми можемо раніше виявляти нові патерни атак, швидше усувати вразливості та постійно підвищувати ефективність експлуатації.

Режим агента в ChatGPT Atlas має потужні можливості, але ці можливості також збільшують поверхню загроз безпеки. Чітке розуміння цього компромісу є частиною відповідального підходу до розробки. Наша мета — робити Atlas безпечнішим з кожною ітерацією: покращуючи стійкість моделі, зміцнюючи захисний стек та відстежуючи нові патерни зловживань у реальних умовах.

Ми продовжимо інвестувати в дослідження та розгортання, розробляти більш досконалі автоматизовані методи тестування на вразливості, впроваджувати багаторівневі заходи безпеки та швидко вносити зміни в міру навчання. Ми також ділитимемося деякими обмеженими даними з ширшою аудиторією.

Поки ми продовжуємо зміцнювати Atlas на системному рівні, користувачі можуть зробити кроки для зниження ризику при використанні агентів. 

За можливості обмежуйте доступ до входу до системи. Ми продовжуємо рекомендувати користувачам використовувати режим без входу до системи⁠(відкривається у новому вікні) під час використання агента в Atlas, коли доступ до сайтів, на які ви увійшли до системи, не потрібен для виконання завдання, або щоб обмежити доступ до конкретних сайтів, на які ви входите до системи під час виконання завдання. 

Уважно перевіряйте запити на підтвердження. Для деяких важливих дій, таких як завершення покупки або надсилання електронної пошти, агенти налаштовані запитувати ваше підтвердження перед виконанням. Коли агент просить вас підтвердити дію, не поспішайте і перевірте, чи виконується правильна дія, і чи інформація, якою ви ділитеся, підходить для даного контексту.

Давайте агентам чіткі інструкції, коли це можливо. Уникайте надмірно загальних запитів на кшталт «перевір мої електронні листи та виконай усі необхідні дії». Широка свобода дій дозволяє прихованому або шкідливому контенту легше впливати на агента, навіть якщо передбачені заходи безпеки. Безпечніше попросити агента виконувати конкретні, чітко визначені завдання. Хоча це не усуває ризик повністю, це ускладнює проведення атак.

Якщо агенти мають стати надійними партнерами для повсякденних завдань, вони мають бути стійкими до видів маніпуляцій, які існують в Інтернеті. Зміцнення захисту від впровадження запитів — це довгострокове зобов'язання та один із наших головних пріоритетів. Незабаром ми поділимося додатковою інформацією щодо цієї роботи.