Окно возможностей для регулирования ИИ открыто. Время действовать.

Мы вступили в новый этап развития возможностей ИИ, и теперь нужен новый этап политики в сфере ИИ. Ни одна компания, отрасль или государство не справится с этой задачей в одиночку. Мы должны отвечать требованиям момента, делая упор на реальные действия, а не на поиск идеальных формулировок.

Вот что мы делаем:

1. Выступаем за обязательные общенациональные требования безопасности ИИ. Мы хотим сотрудничать с Конгрессом в разработке обязательного общенационального регулирования безопасности ИИ, основанного на возможностях систем.

2. Сохраняем темп в штатах. Пока Конгресс не примет меры, мы продолжим поддерживать законодательные инициативы штатов, укрепляющие более широкую экосистему безопасности ИИ. Сегодня мы объявляем о поддержке четырех законопроектов Калифорнии: SB 813 об общей инфраструктуре для независимых оценок безопасности, AB 1405 о стандартах для аудиторов ИИ, SB 1119 о защите молодежи и AB 1864 о мерах защиты от биологических угроз с применением ИИ.

3. Продвигаем стандарты, разрабатываемые отраслью. Мы будем сотрудничать с другими передовыми лабораториями для продвижения стандартов передового ИИ, уже сейчас создавая добровольную инициативу — при поддержке государства или без неё.

4. Формирование глобальных стандартов. Мы будем выступать за согласованные международные подходы к оценке возможностей, управлению рисками, сохранению контроля человека и определению того, когда и как следует замедлять или останавливать разработку, даже если это означает замедление развития возможностей модели.

Наш главный научный сотрудник Якуб Пахоцкий недавно написал⁠, что стремительный рост машинного интеллекта, включая возможность рекурсивного самоулучшения, требует «крайней осторожности». OpenAI продолжит разрабатывать технические решения для согласования и мониторинга, создавать защитные системы и при необходимости замедлять разработку. Но технической работы в отдельных лабораториях будет недостаточно. Нам также нужны общие стандарты, в том числе определяющие, когда разработку следует замедлить или остановить.

Ставки чрезвычайно высоки. Передовой ИИ способен ускорить разработку новых лекарств⁠, укрепить критическую инфраструктуру⁠, расширить экономические возможности⁠ и помочь решить научные задачи⁠, которые не поддавались усилиям многих поколений людей. Но возможности, повышающие полезность моделей, сопряжены с рисками и не останутся в пределах нескольких передовых лабораторий. Модели, разрабатываемые по всему миру, включая открытые модели, будут всё чаще приближаться к сегодняшнему передовому уровню и становиться общедоступными.

Возможности Astra, первые свидетельства ускорения исследований с помощью ИИ и эссе Якуба указывают в одном направлении: ИИ быстро развивается, и политика должна развиваться вместе с ним.

Грег Брокман описал «окно возможностей для защитников»⁠(открывается в новом окне): ограниченный период, когда передовой ИИ может помочь защитникам укрепить критически важные системы, прежде чем мощные наступательные возможности получат широкое распространение. Перед законодателями стоит схожая задача: окно возможностей для создания долговечных мер защиты закрывается, и нужно успеть до того, как возможности ИИ опередят институты, отвечающие за их регулирование.

По мере роста возможностей уверенность в безопасности должна всё больше определять темп развития ИИ. Безопасность не мешает прогрессу: благодаря ей он может зайти дальше и принести пользу большему числу людей.

Мы усилили мониторинг, согласование и меры безопасности на всех этапах разработки моделей: усилили изоляцию рабочих нагрузок, связанных с исследованиями передового ИИ, расширили мониторинг поведения моделей во время обучения и оценок с применением инструментов и уточнили правила, определяющие, когда следует эскалировать проблемы. Для Astra мы также ввели всеобщий мониторинг полных траекторий, включая цепочки рассуждений (CoT), и обязательный этап оценки согласования перед более широким внутренним развертыванием.

Эти защитные меры должны и далее опережать возможности. Если продолжение работы будет сопряжено с неприемлемым риском для безопасности, мы замедлим или остановим разработку или развертывание систем, для которых не можем обеспечить достаточную защиту, как уже делали ранее и как предусмотрено нашей Программой готовности⁠(открывается в новом окне).

Полностью автономное рекурсивное самоулучшение, при котором системы ИИ самостоятельно создают последующие поколения всё более способных ИИ, сегодня не происходит. Стремиться к этому не следует, пока не станет возможным делать это безопасно.

Однако ИИ уже ускоряет отдельные этапы исследований по разработке и согласованию следующего поколения моделей. Наши последние исследования⁠ показывают, что агенты ИИ способны выполнять некоторые задачи, на которые квалифицированным исследователям потребовалось бы несколько дней. Это не рекурсивное самоулучшение, но оно свидетельствует о направлении развития.

Это ускорение также можно и необходимо направить на повышение безопасности. Наша цель — безопасно создать автоматизированных ИИ-исследователей, работающих под надзором человека для продвижения исследований в области глубокого обучения и согласования, чтобы каждое поколение ИИ помогало делать каждое следующее поколение безопаснее, согласованнее и проще в управлении, а не просто более способным.

Правительствам следует разработать общие способы оценки этого прогресса, сохранить значимый человеческий контроль и установить единые пороги безопасности, определяющие, когда и как разработку нужно замедлить или остановить. Если мы не можем соблюдать определенные пороги безопасности, не замедляя рост возможностей, следует отдать приоритет первым. Чем мощнее становится технология, тем надежнее должны быть окружающие ее меры защиты.

Перспектива развития ИИ, ускоряемого ИИ, требует большего, чем добровольные обязательства. США необходимо обязательное национальное регулирование, основанное на возможностях и способное развиваться вместе с технологией.

Наш план демократического управления передовым ИИ (Blueprint for Democratic Governance of Frontier AI)⁠ намечает путь к устойчивой федеральной системе: единые требования к тестированию и независимой оценке, усиленные меры кибербезопасности, четкие правила сообщения об инцидентах, повышение национальной готовности и общие показатели для отслеживания прогресса на пути к рекурсивному самоулучшению.

В Конгрессе формируется несколько серьезных инициатив, касающихся безопасности передовых ИИ-систем. Мы продолжим конструктивно взаимодействовать и рассчитываем поддержать законодательные инициативы, которые существенно повышают планку безопасности. При столь высоких ставках нельзя позволять идеальному стать врагом хорошего. Конгресс должен принять меры до завершения сессии.

Национальная рамочная система должна быть надежной, но тщательно ориентированной на конкретные цели. Требования к безопасности передового ИИ должны применяться к немногочисленным лабораториям с достаточными ресурсами, разрабатывающим наиболее мощные системы, а не к стартапам, небольшим разработчикам или исследователям, далеким от передового уровня. Обязательства должны быть соразмерны возможностям и рискам.

Не следует и превращать политику безопасности передового ИИ в политику регулирования открытых весов под другим названием. Открытые модели могут быть частью решения, особенно в кибербезопасности и там, где требования суверенитета, безопасности или резидентности данных делают предпочтительным локальное развертывание. Большинство из них конкурируют не на передовом уровне, а по стоимости, уровню контроля и задержке. Подписав письмо об открытых весах и лидерстве США в сфере ИИ (Open Weights and American AI Leadership letter)⁠(открывается в новом окне), мы подтвердили: Америке нужны как открытые, так и закрытые модели. Федеральная нормативная база должна учитывать возможности передовых ИИ-систем и связанные с ними риски, не ослабляя конкуренцию, не закрепляя позиции действующих игроков рынка и не выталкивая инновации за рубеж.

Серьезная общественная система должна снижать, а не усиливать концентрацию власти. Сегодня лаборатории передового ИИ в основном сами устанавливают правила управления рисками, связанными с передовым ИИ. Демократически подотчётные стандарты, независимая проверка и содержательная прозрачность заменили бы эту разрозненную систему частного управления.

Это необходимо для лидерства Америки. Одних лишь передовых возможностей недостаточно, чтобы США победили в эпоху ИИ. Техническое превосходство мало что даст, если люди, учреждения и правительства не будут доверять технологии настолько, чтобы ее внедрять. Надежные меры защиты — не уступка в ущерб инновациям. Они входят в инфраструктуру, необходимую для широкого внедрения и долгосрочного лидерства Америки.

Нам крайне необходимы национальные стандарты в области ИИ, и любой, кто работает в сфере передового ИИ, видит всю срочность ситуации. Пока Конгресс не примет меры, штатам следует и дальше заполнять этот вакуум и повышать планку.

OpenAI поддержала калифорнийский SB 53, нью-йоркский закон RAISE, иллинойский SB 315, а также положения о независимых аудитах в рассматриваемом в Массачусетсе законодательстве о безопасности передового ИИ. Мы призываем штаты объединиться вокруг этих общих мер защиты. Тем самым они могут создать фактическую национальную базовую норму, которую Конгресс впоследствии сможет закрепить законодательно, — подход, который мы называем ⁠встречным федерализмом⁠. Но гармонизация не означает фиксацию требований на месте.

Сегодня мы официально поддерживаем четыре дополнительных законопроекта Калифорнии, принятых законодательным собранием и направляемых губернатору Ньюсому. Вместе они охватывают взаимодополняющие части экосистемы безопасности ИИ.

SB 813⁠(открывается в новом окне) установит порядок назначения квалифицированных независимых организаций, способных оценивать риски ИИ. Как мы заявляли в нашем ⁠(открывается в новом окне)плане безопасности передового ИИ⁠(открывается в новом окне), мы считаем, что независимые технические оценки должны быть обязательными на федеральном уровне, где законодатели могут установить единые стандарты квалификации оценщиков, безопасности и доступа к особо чувствительной информации. Однако при отсутствии федеральных мер Калифорния может помочь установить правила для безопасной, работоспособной национальной системы независимой оценки, обеспечивающей лучшие результаты в области безопасности.

AB 1405⁠(открывается в новом окне) установит требования к регистрации, независимости, прозрачности и подотчётности аудиторов ИИ.

SB 1119⁠(открывается в новом окне) потребует подтверждения возраста, оценки рисков, независимого аудита, родительского контроля и мер защиты детей и подростков, использующих чат-боты-компаньоны, от вредоносного контента. Недавно мы заявили о поддержке⁠ этого законопроекта, который развивает меры по обеспечению безопасности молодежи, продвигаемые OpenAI через свои продукты, ⁠принципы глобальной политики⁠ и поддержку ⁠(открывается в новом окне)Закона о безопасном ИИ для родителей и детей (Parents & Kids Safe AI Act)⁠(открывается в новом окне), а также средства защиты, встроенные в ChatGPT для Подростков, включая более строгие настройки по умолчанию в чувствительных областях, Тихие часы, Учебные часы и напоминания о перерывах.

AB 1864⁠(открывается в новом окне) потребовал бы от поставщиков услуг синтеза генов и производителей настольного оборудования для синтеза соблюдать федеральные стандарты проверки, усиливая важный физический барьер против биологических угроз с применением ИИ.

Некоторые из этих законопроектов мы ранее не поддерживали, но теперь поддерживаем, пересмотрев свою позицию с учётом недавнего скачка возможностей, который мы наблюдаем.

Эти законопроекты не заменяют федеральное регулирование. Это серьёзные инициативы, которые уже сейчас могут защитить людей, показать, как выглядят действенные меры защиты, и помочь придать импульс действиям на федеральном уровне.

Одних законов недостаточно, чтобы обеспечить безопасность передового ИИ. Нам также необходимы конкретные практики в лабораториях, разрабатывающих наиболее мощные системы. Самое неотложное, с чего следует начать, — это мониторинг.

Это особенно важно в случае рассогласования — когда модель добивается цели способами, нарушающими намерения человека или установленные границы, не требуя наличия сознания или злого умысла. По мере того как модели становятся автономнее, используют более мощные инструменты и работают дольше, разработчиков следует обязать отслеживать такое несогласованное поведение и демонстрировать наличие эффективных мер защиты.

Мониторинг должен быть связан с четкими требованиями к раскрытию информации. Как мы предлагали в Калифорнии, компании должны быть обязаны незамедлительно письменно уведомлять пострадавшие стороны, если в ходе разработки или оценки их модели без разрешения обходят средства защиты другой организации и получают доступ к ее защищенным системам или конфиденциальной информации либо в существенной степени изменяют или уничтожают их. Мы также поддерживаем федеральные требования к отчетности о других серьезных инцидентах ИИ и работаем над определением того, какие инциденты должны охватываться и что должны предусматривать эти требования.

Как мы сообщили на прошлой неделе, OpenAI разрабатывает систему отчетности о значимых случаях рассогласования и систематического мониторинга работы передовых моделей, включая внутреннее применение. Пока эту работу ведет компания, но мы надеемся, что она поможет сформировать более широкую федеральную политику и требования к отчетности.

Мы хотим сотрудничать с другими лабораториями над стандартами, разрабатываемыми отраслью. Любые стандарты, разрабатываемые отраслью, дополняли бы, а не заменяли обязательные федеральные меры защиты и демократический надзор. Но мы вступили в иной этап развития возможностей ИИ, и следует рассматривать все варианты, включая рассмотрение того, что можно добровольно создать вне рамок правительства в качестве немедленного шага.

Любые такие стандарты в конечном счете также должны распространяться за пределы национальных границ. Модели, исследования и технические знания распространяются по всему миру, а сбои, связанные с наиболее мощными системами, могут иметь последствия далеко за пределами страны их разработки. Соединенным Штатам необходимо установить у себя заслуживающие доверия стандарты, если они хотят лидировать на международном уровне, — и мы все больше убеждаемся, что потребуются совместимые международные стандарты.

Окно возможностей для политики в сфере ИИ пока открыто. Мы намерены этим воспользоваться.

Это означает действовать без промедления, со скромностью и готовностью адаптироваться. Это означает поддерживать серьезные предложения, существенно повышающие планку безопасности, даже если они не совсем соответствуют тому, что разработали бы мы. А также укреплять систему по мере развития технологии.

Первый шаг не будет идеальным. Но сейчас гораздо опаснее слишком долго его откладывать.