Control Room

По мере того как наши модели становятся мощнее, растут и связанные с ними риски для безопасности и защищенности систем. Поэтому все важнее уметь выявлять потенциальные проблемы и при необходимости быстро останавливать работу моделей. Для этого мы создали Control Room.

Control Room — централизованная система, которая отслеживает задачи с использованием моделей во всей нашей исследовательской инфраструктуре и быстро останавливает их выполнение при возникновении угроз безопасности. Она объединяет все исследовательские задачи, использующие инференс, включая генерацию данных с помощью агентов для обучения и оценки моделей, обработку данных и многое другое. Она работает совместно с нашими системами мониторинга отклонений от заданных целей и прекращает генерацию данных моделью в течение 35 секунд после принятия решения вмешаться — остановить или приостановить выполнение задания. Система спроектирована так, чтобы продолжать работу при сбоях других систем и прекращать генерацию данных моделью, если сама Control Room становится недоступна.

Control Room уже развернута во всей нашей исследовательской инфраструктуре, где потребность в ней наиболее высока. Наш стек обслуживания моделей для внешних пользователей изначально гораздо более централизован и уже располагает отлаженными средствами для быстрого отключения развернутых моделей при необходимости.

Control Room объединяет несколько компонентов: вычислительную задачу, движок инференса и централизованный сервис Control Room.

• Вычислительная задача — это выполняемое задание, например эксперимент по обучению с подкреплением, оценка модели, масштабная генерация или обработка данных. Мы требуем, чтобы каждая исследовательская задача, использующая инференс в работе агентов, была связана с утвержденным обоснованием безопасности.

• Движок инференса, или просто движок, — это сама модель. Движок можно представить как мозг модели, работающий непосредственно на графических процессорах. Задача обычно использует одну или несколько моделей, которые могут работать на одном или нескольких движках инференса. Один и тот же движок инференса может использоваться несколькими разными задачами.

• Сервис Control Room отслеживает задания и определяет, разрешено ли им продолжать генерацию данных с помощью моделей. Перед выполнением запроса движки обращаются к сервису Control Room за разрешением. Если выполнение задания остановлено, сервис отклоняет запрос, предотвращая дальнейшую генерацию данных.

Интеграция с Control Room устроена следующим образом:

• При запуске нового задания код задачи запрашивает у Control Room новый job_id.

• Когда задаче нужно сгенерировать токены с помощью модели, она отправляет запрос движку инференса, на котором работает эта модель, передавая job_id. Движок запрашивает у Control Room разрешение на выполнение запроса, передавая ей job_id.

• Control Room проверяет, остановлено ли это задание, и если да, отклоняет запрос на инференс. Движок отвечает отказом на запрос задачи, прекращая дальнейшую генерацию данных моделью для этого задания.

Все наши задания по обучению передовых моделей с подкреплением выполняются под контролем модели-монитора. Монитор — это другая модель, которая проверяет все действия обучаемой модели и подает сигнал тревоги, если обнаруживает проблему. Например, наш недавний инцидент, связанный с DNS⁠(открывается в новом окне), был обнаружен именно моделью-монитором.

Control Room и наша система мониторинга взаимодействуют следующим образом:

• Если система мониторинга обнаруживает потенциальную проблему, она может принять решение остановить выполнение задания в зависимости от характера и серьезности проблемы.

• В этом случае система мониторинга отправляет в Control Room команду на остановку выполнения задания, передавая его идентификатор (job_id). Control Room фиксирует, что выполнение задания прекращено.

• Когда задание с этим job_id снова отправит запрос на инференс для генерации новых токенов с помощью любой модели на любом движке, запрос будет отклонен, что прекратит дальнейшую генерацию данных моделью.

С момента получения Control Room команды на остановку задания до момента, когда его дальнейшее выполнение становится невозможным, проходит не более 35 секунд. Задержка в 35 секунд обусловлена кешированием разрешений на инференс, необходимым для обработки требуемого объема трафика. Мы работаем над тем, чтобы сократить эту задержку до нуля и останавливать задания мгновенно.

За вычислительные задачи, включая эксперименты, оценочные задания и т. д., обычно отвечают отдельные исследователи или исследовательские группы. Поэтому код задач часто меняется и не вполне подходит для реализации критически важных механизмов защиты. По этой причине наша система спроектирована так, чтобы сохранять работоспособность даже при ошибках или сбоях в коде задач.

Для этого мы реализовали механизм остановки на уровне инференса. Код задач очень разнообразен и децентрализован. Напротив, во всех исследованиях OpenAI используется лишь небольшое число путей выполнения кода инференса, а их развертывание гораздо более централизовано и унифицировано. Таким образом, уровень инференса может служить единой точкой контроля, позволяя надежно гарантировать, что каждый запрос на инференс моделей в исследовательской среде проходит проверку разрешений в Control Room. Кроме того, мы постоянно проводим проверки с помощью агентов и программных средств, чтобы убедиться, что пользователи случайно или намеренно не запускают неподконтрольные реализации движков, в которых интеграция с Control Room отсутствует или отключена.

Наконец, наша система работает по принципу «запрет при сбое»: интеграция Control Room с движками настроена так, что при недоступности сервиса Control Room все запросы на инференс отклоняются до восстановления его нормальной работы. Это касается как системных ошибок, так и отключения по любой другой причине, включая вмешательство злоумышленника. Этот принцип уже применяется ко всем исследовательским задачам с передовыми моделями, а в ближайшие несколько дней его внедрение завершится и для всех остальных исследовательских задач.

Control Room — лишь одна из составляющих нашего комплексного подхода к безопасному обучению и развертыванию передовых моделей. В ближайшие месяцы мы продолжим укреплять и расширять систему, одновременно вкладывая ресурсы в мониторинг поведения, не соответствующего заданным целям, и нарушений безопасности. Если вы хотите помогать создавать системы для безопасной и защищенной разработки и развертывания AGI, у нас⁠ есть вакансии⁠!