OpenAI

Управление рисками передового ИИ: от обучения до внедрения

18 ноября 2026 г. · Безопасность

Возможности передовых моделей стремительно растут, и наша способность понимать их, согласовывать их поведение с нашими намерениями и обеспечивать их безопасность должна опережать этот рост. Мы регулируем темп разработки и выпуска моделей, в том числе приостанавливаем внутреннее обучение⁠(открывается в новом окне) или откладываем выпуск таких моделей, как GPT‑6.1 Astra, когда нам нужно больше времени, чтобы выполнить наши стандарты безопасности. Мы внедрили новые процессы, такие как подготовка обоснований безопасности, и требуем более убедительных доказательств согласованного поведения на всём протяжении обучения. Эти требования замедляют выпуск моделей, но дают нам больше уверенности в безопасности дальнейших шагов.

После инцидента с Hugging Face⁠ в июле мы усилили защитные меры и требования к согласованности при обучении, тестировании и внедрении моделей. В этой статье мы объясняем, как оцениваем риски и управляем ими на каждом этапе — от строго изолированных сред обучения до Codex на вашем компьютере. На каждом этапе мы оцениваем и модели, и защитные механизмы. Для перехода к следующему этапу обязательна проверка безопасности.

Эшелонированная защита на всём жизненном цикле модели

Мы используем эшелонированную защиту: несколько уровней, снижающих зависимость от любого отдельного защитного механизма. Если один уровень отказывает, другие помогают предотвратить вред, ограничить последствия или оповестить нас, чтобы мы могли вмешаться.

Наша защита состоит из четырёх уровней:

Эффективность мониторинга зависит от пригодности модели к мониторингу — того, насколько надёжно системы наблюдения выявляют ошибки и небезопасное поведение по рассуждениям и действиям модели. Например, модель, которая явно выражает намерение обмануть в своей цепочке рассуждений (CoT), лучше поддаётся мониторингу, чем модель, которая это намерение не упоминает. Мы оцениваем пригодность к мониторингу во время обучения и перед внедрением, совершенствуем методы её измерения⁠(открывается в новом окне) и изучаем влияющие на неё факторы⁠(открывается в новом окне).

Инцидент с Hugging Face показал, почему для сдерживания мощных моделей нельзя полагаться только на изолированные среды. Теперь мы отслеживаем работу передовых моделей в большинстве сценариев внутреннего и внешнего использования, включая все внутренние развёртывания с доступом к инструментам.

Роль каждого уровня меняется на трёх этапах разработки и внедрения модели:

  • Исследования: мы обучаем, тестируем и используем модели в изолированных средах.

  • Внутреннее внедрение: сотрудники OpenAI используют модели для практической работы.

  • Внешнее внедрение: модели становятся доступны широкому кругу людей и организаций.

На разных этапах мы опираемся на разные уровни защиты. Во время обучения, когда уверенность в согласованности ниже, мы больше полагаемся на изоляцию и мониторинг. По мере расширения доступа моделей при внедрении всё важнее становятся согласованность и системные средства контроля. На каждом этапе мы оцениваем, достаточно ли совокупной защиты с учётом возможностей модели и её доступа. Наши заключения могут рассматриваться совместно с Консультативной группой по вопросам безопасности и под надзором Комитета по безопасности и защите совета директоров OpenAI Foundation.

На этапе исследований: сдерживание моделей в изолированных средах

На этапе исследований мы оцениваем модели, чтобы повысить уверенность в их согласованности. Пока мы не можем полностью полагаться на согласованность для предотвращения вреда, поэтому активно используем средства защиты и изоляцию, ограничивая доступ и действия моделей.

С учётом текущего состояния исследований согласованности, систем мониторинга и безопасности интернет-инфраструктуры мы считаем ответственным подходом обучение передовых моделей без прямого доступа к интернету. После инцидента с Hugging Face мы существенно перестроили внутренние исследовательские системы, чтобы сдерживать модели с помощью:

  • изолированных сред, ограничивающих права модели

  • виртуальных машин, дополнительно изолирующих рабочие процессы от базового компьютера

  • сетевых и облачных периметров, отсекающих весь кластер от интернета

Мы постоянно испытываем эту систему на прочность: команды наших самых мощных моделей пытаются выйти в интернет, преодолеть границы защиты или связаться с агентами, от которых должны быть изолированы. Так мы проверяем, выдерживает ли изоляция воздействие тех моделей, для сдерживания которых она предназначена.

В качестве дополнительного уровня защиты мы отслеживаем все запуски передовых моделей, чтобы выявлять нарушения инвариантов безопасности. Если мониторинг обнаруживает, что модель вышла в интернет, мы срочно оповещаем команды безопасности и автоматически приостанавливаем рабочий процесс.

При нарушении изоляции мониторинг служит критически важной подстраховкой. В недавнем отчёте об отклонении от заданного поведения мы рассказали, как системы мониторинга обнаружили, что внутренняя исследовательская модель использовала ошибку настройки DNS⁠(открывается в новом окне) для получения ограниченного доступа к интернету. Мы приостановили обучение и оценку наших самых мощных моделей с 20 сентября по 1 октября, пока проводили расследование и устраняли брешь в защите.

Для быстрого и надёжного вмешательства мы создали Control Room⁠ — центральную систему, которая отслеживает исследовательские процессы и прекращает генерацию ответов моделью в течение 35 секунд после получения команды остановить задание. Эти средства контроля действуют непосредственно в инфраструктуре инференса, поэтому не зависят от наличия отдельного механизма отключения в каждом исследовательском процессе. В исследовательских процессах с передовыми моделями они также останавливают генерацию, если Control Room становится недоступна.

Red teaming и мониторинг дополняют друг друга. Мы не можем гарантировать непроницаемость изолированной среды, но red teaming помогает оценить, сколько усилий потребуется модели, чтобы выйти за её пределы. Чем больше усилий требуется модели, тем больше возможностей у систем мониторинга обнаружить и остановить её.

На этапе исследований мы требуем строгих мер защиты и мониторинга по нескольким причинам:

  • Оценка моделей ещё продолжается. Некоторые ещё не прошли обучение безопасному поведению, аудит согласованности и проверки, необходимые для публичного выпуска.

  • Условия передовых исследований могут усиливать риски. Некоторые исследовательские задачи требуют более масштабных конфигураций, в которых модель действует настойчивее или обладает большими возможностями, чем при обычном внешнем использовании. Например, для решения задачи Навье — Стокса потребовалась команда из 10 000 агентов.

  • Масштабное обучение проходит с меньшим прямым контролем со стороны человека. В отличие от обычного сеанса Codex, наши процессы обучения включают множество действий модели, и человек не отслеживает каждое взаимодействие.

Внутреннее внедрение: проверка согласованности и пристальное наблюдение за поведением

Перед широким выпуском сотрудники переходят от исследований в изолированной среде к внутреннему использованию передовых моделей без изоляции: например, получают доступ к модели в ChatGPT. Это помогает лучше понять, как модели ведут себя на практике⁠(открывается в новом окне), и принимать решения о внедрении.

На этом этапе мы предоставляем модели более широкий доступ к интернету, нашему Slack, кодовой базе и внутренней инфраструктуре. Это существенно меняет риски: теперь действия модели напрямую влияют на системы, с помощью которых мы развиваем OpenAI и обеспечиваем её работу. При внутреннем внедрении нам приходится больше полагаться на согласованность моделей, системные защитные механизмы и мониторинг, чем на меры обеспечения безопасности.

Перед внедрением вне изолированной среды передовая модель должна пройти проверку согласованности и пригодности к мониторингу⁠(открывается в новом окне). Наш набор оценок согласованности проверяет как конкретные виды отклонений — например, обход ограничений безопасности и защиты, — так и общую склонность к ним. Для этого мы, в частности, повторно генерируем внутренние траектории Codex и проверяем их на отклонения от заданного поведения. Подробнее о наших оценках согласованности и пригодности к мониторингу можно прочитать в последней системной карточке GPT‑6 Astra⁠(открывается в новом окне).

Как и в рабочей среде, мы добавляем ещё один уровень защиты — системные классификаторы, призванные предотвращать вред от передовых возможностей, например киберзлоупотребления и создание биологического оружия. Кроме того, мы обычно требуем от сотрудников, использующих Codex, включать Auto-Review⁠(открывается в новом окне): этот механизм оценивает потенциально рискованные действия и передаёт их на рассмотрение пользователю.

Наконец, при внутреннем внедрении мы отслеживаем отклонения от заданного поведения при каждом запуске передовых моделей. Поскольку модель получает расширенные права и доступ к внутренним данным и системам, особенно важно выявлять такие риски, как эксфильтрация данных — отправка конфиденциальной информации неуполномоченным получателям. Мониторинг также помогает исследовать новые формы отклонений от заданного поведения⁠(открывается в новом окне).

Внешнее внедрение: масштабная защита от злоупотреблений и отклонений от заданного поведения

После публичного выпуска модели сталкиваются с гораздо большим числом пользователей, задач и сред, что увеличивает и масштаб, и разнообразие рисков. На этом этапе нужна также защита от потенциальных злоумышленников, которые намеренно направляют модель на причинение вреда.

Перед публичным выпуском модели и системные защитные механизмы должны соответствовать нашим требованиям безопасности для внешнего внедрения. Для их оценки мы:

  • Проводим расширенный набор проверок согласованности и безопасности. Для передовых моделей это включает новые раунды адаптивного тестирования⁠ с нашими внутренними автоматизированными средствами red teaming, чтобы проверить устойчивость моделей в сложных условиях. Результаты оценок возможностей и безопасности мы публикуем в системных карточках⁠(открывается в новом окне).

  • Для самых мощных моделей мы также проводим тестирование с участием сторонних организаций, проверяя на прочность как механизмы защиты от злоупотреблений, так и базовую согласованность моделей

  • Изучаем сигналы мониторинга, полученные на этапе внутреннего внедрения, чтобы отслеживать изменения в согласованности базовой модели.

Помимо «синхронных» защитных мер, таких как обучение моделей безопасному поведению и системные классификаторы, при внешнем внедрении мы также расследуем нарушения и принимаем меры вне обработки запросов в реальном времени. Эти команды используют масштабируемые инструменты расследования на базе ИИ-агентов и проверку специалистами, чтобы выявлять потенциальных злоумышленников и угрозы, связанные с киберзлоупотреблениями, созданием биологического оружия, дистилляцией моделей⁠ и отклонениями в поведении самих моделей. Работа вне обработки запросов особенно полезна для сбора информации по разным аккаунтам: это позволяет составить более полную картину потенциальной угрозы.

Программы доверенного доступа, такие как Daybreak и Rosalind⁠, создают ещё один уровень защиты и ускоряют работу специалистов по защите и добросовестных исследователей, ограничивая доступ потенциальных злоумышленников.

Реагирование на инциденты и раскрытие информации

Заметив сбой на одном из уровней защиты, мы стремимся быстро расследовать его, определить приоритет и, если это возможно и уместно, раскрыть информацию публично — независимо от того, был ли причинён реальный вред. Согласно нашей политике информирования об отклонениях от заданного поведения⁠, любой сотрудник может предложить раскрыть информацию об инциденте публично. Мы расследуем эти сообщения, а при разногласиях о публикации передаём решение Консультативной группе по вопросам безопасности. Мы не только опираемся на сообщения сотрудников, но и сами активно ищем случаи отклонений от заданного поведения, чтобы устранять их и делиться выводами.

Наши отчёты об отклонениях от заданного поведения доступны здесь⁠(открывается в новом окне).

​


​

Эта работа зависит и от прогресса исследований, и от операционной дисциплины: правильной настройки средств контроля, проверки их взаимодействия и решительного реагирования на сбои. Неверная настройка сетевого сервиса или сбой автоматической остановки могут подорвать в остальном надёжную защиту.

По мере появления у моделей новых возможностей нам нужно постоянно перепроверять допущения, лежащие в основе защитных механизмов, и при необходимости совершенствовать их. Уроки исследований, внутреннего использования и публичного внедрения должны влиять на то, как мы обучаем, оцениваем и внедряем следующие модели.

Мы продолжим делиться выводами в системных карточках, отчётах об инцидентах, отчётах о рисках⁠(открывается в новом окне) внутреннего внедрения и внешних оценках⁠, чтобы другие могли критически изучать наш подход, включая его ограничения. Если этих доказательств окажется недостаточно для нашей планки безопасности, мы снова приостановим обучение или отложим выпуск до выполнения требований.

Связанные исследования и материалы

Установление стандартов безопасности

Определение и оценка согласованного поведения

Сдерживание моделей и совершенствование защиты

Реагирование на инциденты и раскрытие информации

Прогресс исследований и практическое применение

  • Ускорение исследований: взгляд изнутри OpenAI — Первые данные о том, как агенты для программирования меняют исследования в OpenAI: рост использования, усложнение задач и влияние на эксперименты.

  • О задаче тысячелетия Навье — Стокса — Математическое доказательство, полученное внутренней системой ИИ и сопровождаемое формализацией на Lean, демонстрирует возможности масштабного исследовательского применения.

  • Daybreak — Наша программа кибербезопасности предоставляет проверенным специалистам по защите передовые возможности ИИ, инструменты безопасности и поддержку для поиска уязвимостей и укрепления защиты.

  • Представляем GPT‑Rosalind для исследований в науках о жизни⁠ — Специализированная модель для биологии, разработки лекарств и трансляционной медицины, доступная соответствующим требованиям организациям по программе доверенного доступа.