OpenAI

16 ноября 2026 г.

Безопасность

Первый этап независимых оценок с доступом к внутренним системам

Мы заключили соглашения с четырьмя независимыми экспертными организациями — Apollo Research, METR, Transluce и Goodfire — для первого этапа оценок с доступом к внутренним системам. Возможности ИИ быстро расширяются, а потенциальные риски растут. Публичные отчеты о независимых оценках помогут людям лучше понять, как лаборатории оценивают эти риски и управляют ими.

Оценки с внутренним доступом дают независимым экспертам возможность глубоко изучать внутренние модели и системы лаборатории. Это позволяет в течение длительного времени оценивать согласованность моделей с целями и эффективность защитных мер, особенно в вопросах, важных для наших обоснований безопасности. В зависимости от задач оценки эксперты получают доступ к части внутренних ресурсов, которыми пользуются наши исследователи: сохранённым состояниям моделей (checkpoints), исходному коду, данным обучения и оценок, системам мониторинга, технической документации, а также к обсуждениям с исследователями и инженерами, отвечающими за эту работу. Такой доступ дает экспертам данные и контекст для независимых оценок и выявления сбоев, которых мы могли не предвидеть.

Первые оценки посвящены согласованности моделей и защитным мерам при обучении и внутреннем использовании и дополняют наши обоснования безопасности. Они опираются на наши приоритеты и принципы независимых оценок и многолетнюю работу с внешними экспертами, включая недавнюю пилотную оценку наших внутренних систем мониторинга⁠(открывается в новом окне) с широким внутренним доступом и расследование инцидента с Hugging Face⁠(открывается в новом окне). В ближайшие месяцы мы будем использовать полученные знания, чтобы углубить сотрудничество с независимыми экспертами. Эта работа также помогает выполнять наши обязательства по Соглашению Белого дома о сверхинтеллекте, в рамках которого мы согласились на независимые оценки наших механизмов безопасности. Такое сотрудничество может укрепить общие стандарты независимых оценок и прозрачности перед обществом во всей отрасли.

Участники пилотных оценок с внутренним доступом

Apollo Research

В ходе пилотной оценки Apollo Research⁠(открывается в новом окне) проверит, могут ли модели скрытно действовать вопреки намерениям разработчиков и способны ли наши защитные меры обнаружить такое поведение. Основой станут данные обучения, проверок безопасности и внутреннего использования. Apollo проверит четыре утверждения в два этапа:

  1. Обучение не поощряло подрывные действия.

  2. Тщательные оценки и red teaming не вызывают подрывных действий.

  3. Модели не пытались совершать подрывные действия при внутреннем использовании.

  4. Рассуждения, лежащие в основе подрывных действий, можно было бы обнаружить.

На первом этапе оценки Apollo мы предоставим доступ к отдельным выпущенным и еще не выпущенным моделям и контрольным точкам обучения, соответствующим обучающим данным и результатам оценок, данным о корректировках процесса обучения, системам мониторинга и отмеченному ими поведению. Эксперты также смогут общаться с исследователями для уточнения контекста и получат инструменты и вычислительные ресурсы для независимого тестирования.

Goodfire

Goodfire⁠(открывается в новом окне) направит к нам специалистов по интерпретируемости, которые будут анализировать внутренние механизмы моделей с помощью платформы Goodfire. Основная цель их оценки — мониторинг и отладка процесса обучения, а также обеспечение согласованности моделей. Результаты этих оценок предназначены прежде всего для исследователей OpenAI, которые будут использовать их для повышения безопасности. По мере развития сотрудничества Goodfire также будет публиковать полученные знания и результаты.

METR

Мы намерены провести с METR⁠(открывается в новом окне) две оценки, посвященные согласованности моделей и мониторингу:

  • Оценка согласованности: на первом этапе METR изучит поведение, не соответствующее заданным целям, в нашем самом масштабном на сегодняшний день цикле обучения с подкреплением, включая сбои, которые могли пропустить действующие тесты и системы мониторинга. В рамках выбранного цикла обучения, согласованного доступа, ресурсов и мер безопасности METR будет самостоятельно определять приоритеты оценки и последовательно уточнять поиск, анализ и эксперименты по выявлению такого поведения. Доступ будет включать возможность получать выборки ответов моделей из соответствующих сохранённых состояний, изучать траектории обучения и оценки, а также записи мониторинга несогласованного поведения в этом цикле. На первом этапе оценка охватит наш самый масштабный цикл обучения передовой модели с подкреплением.1

  • Оценка систем мониторинга: недавно мы совместно с METR провели их стресс-тестирование2. Мы предварительно договорились о еще одной оценке систем мониторинга⁠(открывается в новом окне), которую планируем сделать более широкой, но ее охват еще предстоит согласовать.

Transluce

Transluce⁠(открывается в новом окне) проведет первоначальную оценку наших проверок согласованности после дообучения, изучив их качество и охват. Для первоначальной оценки мы предоставим Transluce доступ к отдельным выпущенным и еще не выпущенным моделям, нашим проверкам согласованности после дообучения и их результатам, подтверждающим данным о поведении моделей и документации по обоснованиям безопасности. Эксперты также смогут общаться с исследователями для уточнения контекста и получат инструменты и вычислительные ресурсы для независимого тестирования.

OpenAI и Transluce также намерены провести следующую оценку длительностью около восьми недель в начале 2027 года. Она предусматривает более широкий доступ к дополнительным моделям, углубленный доступ к нашим проверкам согласованности и информацию о том, как их результаты влияют на решения о выпуске моделей.

Протоколы оценок с внутренним доступом

При участии экспертов мы разработали протоколы и процедуры, позволяющие сочетать широкий доступ с безопасностью, конфиденциальностью, надзором, независимостью и добросовестностью оценок. Мы публикуем их, чтобы объяснить, как будем работать с экспертами, получающими внутренний доступ, и способствовать обсуждению норм таких оценок, для которых пока нет единых стандартов. Мы ожидаем, что эти протоколы и процедуры будут меняться по мере того, как мы будем лучше понимать, как проводить такие оценки. Особенно на ранних этапах мы ожидаем технических трудностей с доступом, ограничений по доступному пространству, изменений протоколов безопасности и других непредвиденных проблем. Мы надеемся преодолевать эти трудности вместе с экспертами и делиться полученным опытом.

Определение охвата и его уточнение

Каждый проект начинается с согласования охвата, а также доступа, ресурсов и мер безопасности, необходимых для тщательной оценки. Одни оценки проверяют конкретные утверждения о безопасности; другие дают экспертам возможность выявить неожиданные сценарии сбоев в определенной системе или цикле обучения. В обоих случаях экспертам нужна свобода следовать за данными, уточнять методы и предлагать дополнительные оценки, если результаты дают для этого основания. У нас также есть процедура рассмотрения потребностей в дополнительном доступе, возникающих по ходу оценки. Если прямой доступ может раскрыть наиболее конфиденциальную интеллектуальную собственность, например веса или архитектуру моделей, мы рассмотрим альтернативы, в том числе совместный анализ силами экспертов и исследователей OpenAI.

Защищенная среда в наших офисах

Эксперты, которым нужен доступ к особо конфиденциальной информации, будут работать в офисах OpenAI на предоставленных компанией устройствах. Главная цель — обеспечить защиту информации, к которой они получают доступ. Работа в офисе также позволяет экспертам взаимодействовать с выделенными сотрудниками, которые помогут разобраться в доступных ресурсах и дадут необходимый контекст для оценок. Мы также ожидаем, что при проведении экспериментов и оценок эксперты с внутренним доступом будут соблюдать как минимум3 те же стандарты безопасности, что и сотрудники OpenAI.

Надзор и разрешение разногласий

Наш Комитет по безопасности и защите — независимый надзорный комитет совета директоров OpenAI Foundation — будет получать информацию об оценках с внутренним доступом и сможет выполнять свои надзорные функции до их начала, во время проведения и по завершении. Комитет будет получать отчеты без изъятий, а эксперты и Комитет по безопасности и защите смогут общаться друг с другом в ходе оценки, в том числе конфиденциально. Разногласия между OpenAI и любой из оценивающих организаций будут передаваться на рассмотрение Консультативной группе по вопросам безопасности и руководителям OpenAI. На их разрешение будет отводиться установленный срок. Комитет по безопасности и защите будет оперативно уведомлен о каждом таком случае при его передаче на рассмотрение. Если разногласия сохранятся, вопрос будет передан Комитету по безопасности и защите для разрешения.

Обсуждения с сотрудниками и официальное подтверждение сведений

Обсуждения с сотрудниками помогают экспертам разобраться во внутренней информации и контексте работы. OpenAI определит сотрудников, уполномоченных общаться с экспертами, и предоставит им рекомендации. При необходимости эксперты смогут запрашивать беседы с другими сотрудниками. Чтобы поощрять открытый и честный диалог и защищать частную жизнь сотрудников, эти беседы будут проходить не для публикации: полученные сведения можно учитывать при оценке, но нельзя публиковать или приписывать конкретным сотрудникам. В рамках отдельной процедуры эксперты смогут запрашивать официальные заявления OpenAI, подтверждающие, исправляющие или уточняющие сведения, полученные в беседах с сотрудниками. Эти заявления не приписываются отдельным лицам и не предназначены для описания их личных взглядов. Эксперты могут публиковать заявления, официально подтвержденные OpenAI, или сообщать, что OpenAI отказалась подтвердить то или иное утверждение.

Раскрытие конфликтов интересов и паузы между проектами

Четкое и прозрачное управление конфликтами интересов — в том числе связанными с личными отношениями, финансовыми интересами4 и другими обстоятельствами — важно для добросовестности и независимости оценок. Правила о паузах между проектами5 тоже требуют тщательной проработки, чтобы эксперты могли ответственно сотрудничать с разными лабораториями, бережно обращаясь с информацией, имеющей конкурентное значение. Вместе с экспертами мы разрабатываем четкие процедуры как для конфликтов интересов, так и для пауз между проектами. Они предусматривают гибкий выбор мер по снижению рисков и прозрачность решений о необходимости отстранения от оценки.

Публикация и сроки ответственного раскрытия

Эксперты сохраняют независимость при публикации своих оценок, но мы оставляем за собой право удалять конфиденциальную информацию, как и в предыдущих проектах с внешними организациями. Мы также можем запросить отсрочку в рамках ответственного раскрытия, чтобы успеть принять меры по результатам, которые могут создавать риски безопасности или защиты, и устранить оставшиеся проблемы.

Публичные отчеты помогут людям понять результаты и их ограничения, а более подробные конфиденциальные отчеты дадут надзорным органам данные, необходимые для принятия мер. Мы хотим, чтобы эти оценки помогли нам лучше выявлять и устранять риски, а обществу дали более ясную основу для суждений о нашей работе над безопасностью.

Дальнейшие планы

Эти оценки привносят независимый взгляд в нашу текущую работу над согласованностью и безопасностью моделей. Публичные отчеты об их результатах сделают эту работу прозрачнее и дадут больше уверенности в том, как мы выявляем риски и устраняем их. Мы рассчитываем, что первый этап оценок со временем перерастет в долгосрочное и регулярное сотрудничество с внутренним доступом. Оно позволит постоянно получать независимые сведения о безопасности и рекомендации по улучшению ключевых утверждений и обоснований, на которых строится наша уверенность в безопасности.

Мы продолжим работать с разными независимыми организациями, помогая формировать здоровую экосистему оценок, объединяющую разнообразный опыт и подходы. Некоторые исследования требуют длительной работы на месте с системами ограниченного доступа. Другие в основном посвящены оценке уже развернутых или готовящихся к развертыванию моделей либо анализу публичной документации.

В ближайшие месяцы мы будем поддерживать внешние оценки по более широкому кругу вопросов безопасности. Мы также рассматриваем возможность будущих независимых оценок с внутренним доступом, которые проверят соблюдение наших систем требований к безопасности, а также изучат нашу организационную культуру и процессы. Мы намерены расширять эту работу и помогать создавать необходимые для ее продолжения ресурсы, компетенции и общие стандарты.

Автор

OpenAI

Сноски

  1. 1

    Этот охват уже, чем предусмотрено в предложении METR по оценке согласованности⁠(открывается в новом окне), предполагающем широкое исследование несогласованного поведения.

  2. 2

    Недавно мы совместно с METR провели трехнедельный red teaming систем мониторинга. Чтобы помочь экспертам лучше понять эти системы, мы предоставили им доступ к нашей кодовой базе, системам мониторинга, соответствующим траекториям, а также возможность обсуждать вопросы с исследователями OpenAI. https://metr.org/blog/2026-10-22-red-teaming-openai-agent-monitoring/⁠(открывается в новом окне)

  3. 3

    В некоторых случаях, в зависимости от условий эксперимента, будут применяться более строгие стандарты для тщательной проверки безопасности.

  4. 4

    Apollo Research и Goodfire получают оплату за свою работу, но она не зависит от результатов оценки. METR и Transluce не принимают оплату за свои оценки, но могут принимать кредиты API или вычислительные ресурсы для их проведения. Мы не считаем, что получение оплаты мешает экспертам сохранять независимость, но полагаем, что об этом важно сообщать.

  5. 5

    Мы просим сотрудников внешних организаций, участвующих в оценке с внутренним доступом, выдержать небольшую паузу, прежде чем приступать к аналогичной работе у другого разработчика ИИ. Это снижает риск непреднамеренного раскрытия конфиденциальной информации.