Проектирование ИИ-агентов для защиты от промпт-инъекций

ИИ-агенты все чаще получают возможность просматривать веб-страницы, извлекать информацию и выполнять действия от имени пользователя. Эти функции полезны, но они также открывают злоумышленникам новые способы манипулирования системой.

Такие атаки часто называют промпт-инъекциями (prompt injection)⁠: это инструкции, размещенные во внешнем контенте с целью заставить модель выполнить то, о чем пользователь не просил. Наш опыт показывает, что наиболее эффективные атаки в реальных условиях все больше напоминают социальную инженерию, а не простую подмену инструкций.

Это важное различие. Если проблема заключается не только в поиске вредоносной строки, но и в противодействии манипуляциям внутри контекста, то защита не может ограничиваться только фильтрацией входных данных. Необходимо проектировать систему так, чтобы последствия манипуляций были ограничены, даже если сама атака окажется успешной.

Раньше атаки типа «промпт-инъекций» могли быть максимально простыми — например, редактирование статьи в Википедии с добавлением прямых указаний для ИИ-агента. Модели, не имевшие опыта работы в такой агрессивной среде, часто выполняли эти инструкции беспрекословно¹. По мере того как модели становились умнее, они также становились менее уязвимыми к такого рода внушению. Мы заметили, что в ответ на это атаки стали включать элементы социальной инженерии:

В индустрии ИИ часто рекомендуют использовать «файрволы для ИИ» — промежуточные звенья, которые пытаются классифицировать данные как вредоносные или обычные. Однако сложные атаки часто обходят такие системы. Для них распознать вредоносный ввод — такая же сложная задача, как распознать ложь или дезинформацию, особенно при нехватке контекста.

По мере того как реальные промпт-инъекции становились сложнее, мы заметили, что самые эффективные атаки начали использовать приемы социальной инженерии. Вместо того чтобы считать это какой-то новой, отдельной проблемой, мы стали смотреть на такие угрозы так же, как на риски социальной инженерии против людей в других сферах. В таких системах цель не в том, чтобы идеально отсеивать каждый вредоносный запрос. Главное — спроектировать агентов и саму архитектуру так, чтобы даже в случае успешной манипуляции ее последствия были жестко ограничены. Такой подход доказал свою эффективность в защите как от промпт-инъекций, так и от социальной инженерии.

В этом смысле ИИ-агент похож на сотрудника службы поддержки. Он действует от имени работодателя, но постоянно сталкивается с внешними данными, которые могут ввести его в заблуждение. И человек, и ИИ в такой роли должны иметь ограничения в полномочиях, чтобы снизить риски, неизбежные в агрессивной среде.

Представьте ситуацию, в которой человек управляет системой поддержки клиентов и может выдавать подарочные карты и оформлять возвраты средств за неудобства, испытанные клиентом, такие как медленная доставка, повреждения в результате неисправности и т. д. Корпорация должна доверять агенту, но при этом понимает, что клиенты могут пытаться обмануть его или даже оказывать давление.

В реальном мире агенту дают правила, которым он должен следовать, но ожидают, что во враждебной среде его могут вводить в заблуждение. Например, клиент может заявить, что средства не были возвращены, или начать угрожать, требуя выплаты. Чтобы минимизировать ущерб, системы, с которыми работает агент, имеют четкие ограничения: они лимитируют суммы возвратов, помечают подозрительные письма как фишинг и используют другие защитные механизмы. Все это нужно для того, чтобы ошибка или компрометация одного агента не привела к серьезным последствиям для всей компании. 

Такой подход лег в основу комплекса мер, которые мы внедрили для обеспечения безопасности наших пользователей.

В ChatGPT мы сочетаем модель защиты от социальной инженерии с традиционными методами, такими как анализ источников и приемников (source-sink analysis).

В этой схеме злоумышленнику нужны две вещи: «источник» (способ повлиять на систему) и «приемник» (функция, которая становится опасной в неправильном контексте). Для агентных систем это часто означает сочетание внешнего контента с таким действием, как передача данных третьей стороне или переход по ссылке.

Наша цель — сохранить базовое ожидание пользователей в отношении безопасности: потенциально опасные действия или передача потенциально конфиденциальной информации не должны происходить незаметно или без соответствующих мер защиты.

Атаки, которые мы чаще всего наблюдаем в отношении ChatGPT, обычно заключаются в попытках убедить помощника взять из разговора некую секретную информацию и передать её злоумышленникам. В большинстве известных нам случаев эти атаки не удаются, потому что наше обучение по безопасности заставляет агента отказаться. Для тех редких ситуаций, когда агента удается убедить, мы разработали защитную стратегию под названием Safe Url. Ее задача — вовремя заметить, что ассистент пытается передать третьему лицу информацию, которую он узнал в ходе диалога. В этих редких случаях мы либо показываем пользователю информацию, которая будет передана, и просим его подтвердить передачу, либо блокируем её и сообщаем агенту, чтобы он попробовал другой способ продолжить выполнение запроса пользователя.

Этот же механизм применяется к навигации и закладкам в Atlas⁠; а также к поиску и навигации при глубоком исследовании⁠. ChatGPT Canvas⁠ и приложения ChatGPT⁠ используют аналогичный подход, позволяя агенту создавать и использовать функциональные приложения. Они запускаются в изолированной среде (sandbox), которая может обнаруживать неожиданные коммуникации и запрашивать согласие пользователя⁠(открывается в новом окне).

Подробнее о стратегии Safe Url и её структуре — в статье Защита ваших данных при переходе ИИ-агента по ссылкам⁠.

Безопасное взаимодействие с внешней средой необходимо для полностью автономных агентов. При интеграции ИИ-модели в приложение мы рекомендуем задаться вопросом: какие инструменты контроля были бы у человека в такой ситуации? Мы ожидаем, что максимально интеллектуальные модели смогут противостоять социальной инженерии лучше людей, но это не всегда целесообразно с точки зрения затрат.

Мы продолжаем изучать методы социальной инженерии против ИИ и способы защиты, внедряя наши находки как в архитектуру безопасности приложений, так и в процесс обучения моделей.