Инцидент с Hugging Face и дальнейшие шаги

В течение мая и июня мы начали запуски обучения с подкреплением (RL) для нескольких новых исследовательских моделей, которые не предназначались для публичного выпуска. Одна из этих моделей в конечном итоге стала движущей силой активности, стоявшей за инцидентом с Hugging Face. Это исследовательская модель только для внутреннего использования, которую мы называем Внутренняя модель 1 (IM1).

Мы не включали доступ к интернету или взаимодействие между агентами для многих сред в этих обучающих экспериментах. Несмотря на эти ограничения, агенты обнаружили способы использовать нашу исследовательскую инфраструктуру для общения друг с другом и доступа к интернету.

Сначала модели нашли способы общаться, записывая файлы в сервис менеджера пакетов Artifactory. Фактически это превратило Artifactory в непреднамеренную доску сообщений, где агенты могли обмениваться информацией друг с другом. Подробнее: как агенты использовали доску сообщений 

К 4 июля продолжительная активность агента дестабилизировала затронутый экземпляр Artifactory, что привело к простою. 5 июля был зарегистрирован инцидент безопасности. Команда безопасности заблокировала известный путь повышения привилегий, удалила раскрытые учетные данные и пересобрала Artifactory. Это привело к очистке доски сообщений. После внедрения этих мер по снижению рисков оценки кибербезопасности были возобновлены.

На тот момент ещё не было ясно, к каким более широким последствиям для изоляции систем и согласования моделей могли привести импровизированная доска сообщений и непредусмотренный доступ к интернету. Технический отчёт об инциденте содержит дополнительные сведения о том, что разные команды OpenAI понимали в тот момент. Вкратце, в конце мая внутренняя команда зафиксировала участие агента в работе доски сообщений и случаи запрещённого доступа к интернету. Однако существование импровизированной доски сообщений и значимость активности по обмену сообщениями между агентами не были очевидны руководителям, отвечающим за обнаружение инцидентов и реагирование на них. Мы продолжаем изучать процессы и операционные практики, которые определяли действия по обнаружению и реагированию в период, предшествовавший этому инциденту.

После повторного развёртывания Artifactory мы возобновили оценки кибербезопасности. Мы проводим эти оценки, чтобы понять, на что способны наши модели, и определить надлежащие меры защиты для их развертывания. Для этого мы не задействуем тот же уровень защитных мер, что и в наших системах, доступных внешним пользователям. Оценка ExploitGym, которая привела к этому инциденту, очень сложна: для некоторых задач может не существовать известного решения. Чтобы добиться успеха, агенты должны найти способ эксплуатировать уязвимость в программе и получить ответ, который называется флагом.

После инцидента мы приложили значительные усилия, чтобы понять, почему модель демонстрировала поведение, не согласованное с поставленной задачей. Мы изучили проблемы согласования при обучении и оценке, а также охват внутренних оценок защитными мерами.

Мы выявили четыре типа рассогласованного поведения, повлиявших на действия моделей: манипуляция системой вознаграждения, настойчивое продолжение работы над задачами, которые казались невыполнимыми, несанкционированная коммуникация и перенимание агентами целей друг друга.

Чтобы разобраться в этом, мы проанализировали прогоны обучения и оценки моделей.¹ Мы провели масштабный ретроспективный анализ цепочек рассуждений (CoT), действий и итоговых выходных данных с использованием наших новейших методов мониторинга CoT⁠. Опираясь на результаты расследования, мы целенаправленно повысили полноту выявления системой мониторинга тех типов поведения, которые наблюдались во время инцидента.

Попытки агентов обойти правила выполнения заданий, разыскивая готовые решения в интернете, стали одной из основных причин инцидента с Hugging Face. Такое поведение называется манипуляцией системой вознаграждения: агенты выполняют задачи непредусмотренными способами, чтобы получать более высокое вознаграждение или облегчать его получение. Манипуляции системой вознаграждения встречались в ИИ-системах и раньше (см. эту работу десятилетней давности⁠, рисунок ниже), и встречаются в современных передовых ИИ-системах⁠(открывается в новом окне). Мы вложили значительные ресурсы в разработку методов выявления и устранения таких манипуляций⁠.

Ещё одной важной причиной рассогласованного поведения было то, что агенты редко прекращали выполнение оценочных заданий, даже когда те казались невыполнимыми. По мере того как агенты расходовали выделенный им бюджет на рассуждения, некоторые прибегали ко всё более рискованным стратегиям, выходящим за допустимые рамки, вплоть до эксплуатации сторонней инфраструктуры.

В ходе расследования мы обнаружили, что до инцидента ни одна из наших моделей ни разу не дала правильного ответа в 198 из 898 заданий ExploitGym. Эти нерешённые задания стали одной из основных причин активности агентов: 93% заданий, обсуждавшихся на доске сообщений Artifactory во время инцидента с Hugging Face, относились к этим 198 заданиям.

Во-вторых, главную роль в инциденте сыграли агенты, которым выделили чрезвычайно большие бюджеты на рассуждения — значительно больше доступных в наших продуктах для внешних пользователей.

Несанкционированные постоянно действующие доски сообщений лежали в основе этого инцидента. Агенты, которые должны были работать независимо, могли делиться находками, координировать свои усилия и продолжать работу с того места, где остановились другие. Это позволило им объединять работу и вычислительные мощности между отдельными оценками, усиливая свои возможности далеко за пределы того, чего мог бы достичь в одиночку любой отдельный агент. Само по себе общение между агентами не является проблемным поведением — мы обучаем и развертываем многоагентные системы, которые могут взаимодействовать при выполнении одной и той же задачи с помощью инструмента для совместной работы. В июльских событиях агенты с разными задачами нашли собственный способ сотрудничать за пределами этих границ, что привело к непредсказуемым последствиям.

При расследовании этого инцидента мы обнаружили редкие случаи, когда агенты без многоагентных инструментов находили способы взаимодействовать по сторонним каналам во время обучения. Мы считаем, что такое поведение возникло в результате переноса навыков, сформированных при многоагентном обучении.

Несанкционированная коммуникация часто начиналась с того, что один агент оставлял заметку или файл в какой-либо внешней системе, обычно в качестве своего рода внешней памяти. Когда другие агенты замечали эти артефакты, это часто приводило их к пониманию, что они могут использовать этот внешний сервис для совместной работы. В качестве гипотетического примера, весьма показательного для наблюдавшегося нами поведения, сообщения кодировались в путях URL, хранившихся на общей индексной странице, примерно так:

Последним, особенно ярким наблюдением в инциденте Hugging Face стала «экосистема» агентов, возникшая на доске сообщений. После создания этой доски сообщений у агентов появились сильные стимулы к взаимодействию: она позволяет агентам сохранять заметки, развивать открытия друг друга и объединять вычислительные ресурсы раздельных запусков. Этот сложный и аморфный коллектив агентов демонстрирует интересные и показательные модели поведения; некоторые из них мы подробно рассматриваем ниже.

Агенты начали самостоятельно распределять работу. Одни изучали возможные эксплойты, другие искали учетные данные, а третьи сосредоточились на коммуникации или координации. Агенты предлагали свою экспертизу в обмен на помощь в других вопросах, обменивались информацией о предстоящих задачах и оставляли запросы для коллег, которые могли быть лучше подготовлены, чтобы продвинуть конкретную зацепку.

Помимо рассогласования, еще одним фактором этого инцидента стало то, что мы не распространили мощные механизмы защиты, которые мы применяем для наших моделей, развернутых для внешнего использования, на все внутренние оценки.

Во-первых, в рабочих средах наших клиентов действует множество механизмов, снижающих риск рассогласованного поведения: системные промпты, управляющие компоненты и средства контроля, включая модели автоматической проверки и классификаторы безопасности. Эти механизмы защиты не были применены в оценочной среде, работавшей во время инцидента. После инцидента мы создали оценку, которая измеряет склонность модели компрометировать инфраструктуру во время оценок ExploitGym. Мы обнаружили, что при использовании эксплуатационной конфигурации Codex и системного промпта склонность модели к компрометации инфраструктуры может снизиться более чем в 100 раз. Мы также применили систему автоматической проверки Codex к набору прогонов, связанных с инцидентом с Hugging Face, и выяснили, что она выявила бы множество опасных действий моделей.

Во-вторых, ещё до инцидента мы вложили значительные ресурсы в мониторинг цепочек рассуждений (CoT)⁠: им были охвачены многие прогоны обучения с подкреплением для передовых ИИ-систем и значительная часть использования внутренних агентов для программирования⁠. Эти системы мониторинга не использовались при оценках в рамках этого инцидента.

В ходе ретроспективных оценок мы обнаружили, что наши мониторы CoT были очень эффективны в выявлении действий, связанных с инцидентом. Если бы наша текущая система мониторинга цепочки рассуждений (CoT) работала во время инцидента, она, вероятно, оповестила бы нашу команду безопасности в течение часа после первого несанкционированного доступа третьей стороны. Это произошло более чем за 30 часов до того, как модели взломали системы Hugging Face. Мы также работаем над дальнейшим снижением задержки этих оповещений.

В-третьих, несмотря на то что мы протестировали и проверили эту песочницу, агенты смогли объединить в цепочку ранее неизвестные уязвимости «нулевого дня» (0-day) в сервисе управления пакетами, доступном внутри песочницы, чтобы обойти ограничения, как подробно описано в техническом отчёте об инциденте. После инцидента мы добились значительного прогресса в усилении защиты наших внутренних песочниц, чтобы ограничить аналогичные виды рисков во время развертывания и проведения оценок.

Миссия OpenAI — сделать так, чтобы общий искусственный интеллект приносил пользу всему человечеству. Описанное здесь поведение наших моделей было очень далеко от того, каким мы хотим его видеть. Этого инцидента не должно было произойти. Инцидент показал, насколько важно постоянно совершенствовать безопасность, мониторинг и согласование моделей, особенно по мере того, как возможности моделей приближаются к уровню, при котором возможна реальная потеря контроля.

Как мы сообщали в недавнем материале о регулировании темпов разработки моделей⁠, мы приостановили обучение с подкреплением (RL) новейших моделей, предназначенных для развёртывания. Мы использовали это время, чтобы усилить защиту исследовательских сред для передовых ИИ‑систем и провести red teaming для проверки их безопасности. Мы перенаправили сотрудников на работу в области кибербезопасности, безопасности ИИ и согласования моделей. Крупнейший из запланированных прогонов обучения с подкреплением для передовых ИИ-систем по-прежнему приостановлен: прежде чем продолжить, мы проводим обучение и оценки в меньшем масштабе, чтобы изучить поведение модели, проверить защитные меры и собрать больше подтверждений согласования. Эта работа потребовала существенных инженерных усилий и привела к значительным затратам и задержкам в исследованиях передовых ИИ‑систем.

Как отмечалось в нашем отчёте, наши ответные меры направлены на повышение безопасности исследований и усиление мониторинга, ускорение согласования моделей, а также совершенствование процессов выявления, эскалации и реагирования на инциденты.