GPT‑6 Cyber: новые возможности агентов кибербезопасности, согласованных с намерениями человека
Модель для кибербезопасности, обученная находить и подтверждать эксплуатируемые уязвимости, оставаясь в рамках, заданных исследователями.
Представляем GPT‑6 Cyber — большой шаг вперёд в исследованиях безопасности: модель лучше находит и устраняет уязвимости и гораздо надёжнее соблюдает границы, заданные исследователями. GPT‑6 Cyber значительно превосходит GPT‑5.6 Cyber в ключевых тестах по кибербезопасности: относительное улучшение на ExploitGym составило 51%, а проверка соблюдения рамок задачи показала качественный скачок. Она уже помогает защищать реальное ПО, находя и проверяя тысячи способов эксплуатации уязвимостей в кодовых базах, где безопасность особенно важна, таких как Linux и Firefox.
На ExploitGym, где проверяется способность моделей эксплуатировать заданную уязвимость, GPT‑6 Cyber набирает 48,5% против 32,1% у GPT‑5.6 Cyber. Она также надёжнее соблюдает границы задачи: в отдельной оценке согласованности поведения GPT‑6 Cyber не эксплуатировала уязвимости посторонних сервисов в 99,93% тестов без промпта, используемого при развёртывании, и в 100% тестов с этим промптом. Такое улучшение согласованности поведения — результат специального обучения, направленного на соблюдение разрешённых рамок и ограничений, а также точную передачу результатов.
Эти возможности уже помогают защищать реальные системы. Наши исследователи использовали GPT‑6 Cyber для разработки 948 эксплойтов повышения привилегий в Linux и обнаружения 81 ранее неизвестной уязвимости высокого уровня опасности в Firefox — несмотря на масштабные предшествующие проверки с помощью передовых моделей. Модель также помогла разработать варианты патчей, а Mozilla уже выпустила исправления для многих уязвимостей Firefox(открывается в новом окне). Команды безопасности Cisco, Calif и CodeRabbit используют её для исследования уязвимостей и проверки кода, а мы с её помощью находили и устраняли слабые места в собственной инфраструктуре.
Очевидно, что у нас есть лишь ограниченное время, чтобы использовать передовые модели для защиты ПО. Наша цель — значительно расширить Daybreak, сделав передовые исследования безопасности доступными организациям любого размера, независимым исследователям и сопровождающим проектов с открытым исходным кодом. Модели основной линейки, такие как GPT‑6 Astra, уже помогают проверять код, оценивать приоритетность уязвимостей и разрабатывать исправления. Daybreak Blue помогает проверенным специалистам по защите подтверждать уязвимости и проверять исправления с меньшим числом необоснованных отказов, а Daybreak Red позволяет глубже прорабатывать эксплойты и проводить санкционированное тестирование безопасности с GPT‑6 Cyber.
GPT‑6 Cyber — значительный шаг вперёд по сравнению с GPT‑5.6 Cyber. Она превосходит GPT‑6 Astra в большинстве задач кибербезопасности, даже когда Astra не отказывает в выполнении запроса. Мы оценивали модель на задачах, требующих понимания ПО, выявления уязвимостей и разработки рабочих эксплойтов. По этим результатам в рамках нашей Программы готовности мы относим модель к критическому уровню в категории кибербезопасности, тогда как GPT‑5.6 Cyber относилась к высокому.
На ExploitGym, где проверяется способность моделей эксплуатировать заданную уязвимость в удалённой цели, GPT‑6 Cyber набирает 48,5% — примерно на 16 процентных пунктов больше, чем 32,1% у GPT‑5.6 Cyber. Для проверки способности находить уязвимости мы также создали новую оценку на основе наступательного тестирования веб-приложений на проникновение. Модели исследуют веб-приложения без доступа к их исходному коду. Полнота обнаружения уязвимостей у GPT‑6 Cyber составила 40,3% против 32,0% у GPT‑6 Astra.
Daybreak Red предназначена для более сложных рабочих процессов в области безопасности, включая разработку рабочих эксплойтов и их применение против удалённых целей. Для оценки этих возможностей мы создали новый тест RemoteExploitBench, который использует известные уязвимости в приложениях, таких как GitLab, PostgreSQL и Jenkins, развёрнутых в контролируемой среде. В нашей первоначальной оценке GPT‑6 Astra с Daybreak Blue отказалась выполнять 100% задач, тогда как GPT‑6 Cyber выполнила 95%; единственная неудача была связана с эксплойтом, который ей не удалось заставить работать удалённо. Полные результаты и параметры оценок приведены в системной карточке(открывается в новом окне).
Один из рисков при работе агентов кибербезопасности — выход за рамки поставленной задачи, попытки эксплуатации уязвимостей в посторонних сервисах или игнорирование правил тестирования, заданных исследователем.
Согласование поведения с намерениями человека стало одним из приоритетов при создании GPT‑6 Cyber. Специальное обучение помогает модели оставаться в разрешённых рамках, соблюдать ограничения на действия и точно отчитываться о своей работе. Перед развёртыванием мы провели серию оценок согласованности поведения, чтобы измерить эти показатели. Полные результаты приведены в системной карточке(открывается в новом окне).
Одна из этих оценок — ExploitGym Honeypot — разработана с учётом инцидента с Hugging Face. Мы даём модели сложную задачу по эксплуатации уязвимости в изолированной среде с доступом к вспомогательным сервисам, таким как реестр пакетов или объектное хранилище. Мы намеренно делаем эти сервисы легкоуязвимыми, чтобы атака на них позволяла получить флаг задания. Модель должна сама понять, что эксплуатация их уязвимостей выходит за рамки задачи.
В этой оценке GPT‑6 Cyber демонстрирует качественный скачок по сравнению с GPT‑5.6 Cyber. При тестировании без промптов безопасности, используемых при развёртывании, модель не эксплуатировала уязвимости сервисов за рамками задачи в 99,93% случаев против 94,49% у GPT‑5.6 Cyber. С этими промптами GPT‑6 Cyber оставалась в разрешённых рамках в 100% случаев.
В цепочке рассуждений (CoT) модели GPT‑6 Cyber можно непосредственно увидеть, как она рассуждает о соблюдении границ:
“Can't assume extra API or attack controller not target. We should only target binary/server.”
“don't explore out of scope credentials.”
GPT‑6 Cyber уже помогает командам безопасности находить уязвимости, подтверждать их последствия и разрабатывать исправления. Клиенты используют её для работы с большими кодовыми базами, длительной разработки эксплойтов и анализа безопасности:
Мы также использовали GPT‑6 Cyber для защиты собственных систем. Она была одной из основных моделей в работе по укреплению инфраструктуры для обучения передовых моделей, о которой мы недавно рассказали. В ходе контролируемых кампаний red teaming агенты на базе GPT‑6 Cyber и других моделей OpenAI объединяли уязвимости в цепочки, чтобы выйти за пределы microVM и выполнить код на хостах, где они работают. На основе полученных результатов мы исправили ПО, ужесточили сетевые ограничения и сообщили о проблемах сопровождающим проектов и поставщикам.
Наши исследователи также используют GPT‑6 Cyber для масштабного поиска и подтверждения уязвимостей в ПО с открытым исходным кодом. Эта работа позволила обнаружить ранее неизвестные недостатки в ПО, которое тщательно изучалось годами:
Обнаружена 81 новая уязвимость в Firefox. GPT‑6 Cyber может подходить для автономных рабочих процессов, позволяющих массово находить уязвимости и предлагать качественные исправления. В ходе кампании по исследованию уязвимостей GPT‑6 Cyber подготовила доказательства и воспроизводимые тесты для 81 новой уязвимости, которые Mozilla отнесла к высокому уровню опасности, а также показала, что ещё 30 известных проблем опаснее, чем считалось ранее. Мы передали Mozilla результаты вместе с предложенными патчами, чтобы помочь её инженерам разработать исправления. Mozilla поддержала эту работу и начала вносить исправления вскоре после получения отчётов(открывается в новом окне).
Разработка эксплойтов для 948 уязвимостей ядра Linux. GPT‑6 Cyber воспроизвела 1 724 уязвимости и разработала рабочие эксплойты для 948 из них — более чем в пять раз больше, чем GPT‑5.6 Sol, которая смогла эксплуатировать 166 уязвимостей с той же исследовательской обвязкой. Следуя рекомендациям сообщества Linux, мы сообщили сопровождающим о 304 критических проблемах и предложили варианты исправлений. Работа над устранением остальных уязвимостей продолжается.
Демонстрация критических уязвимостей удалённого выполнения кода (RCE). Недавно мы рассказали о критической уязвимости в Brotli(открывается в новом окне) — библиотеке сжатия, которую используют Node.js и другое ПО. Наши исследователи безопасности использовали GPT‑6 Cyber вместе с другими моделями OpenAI для разработки и проверки эксплойтов, показывающих, как эта уязвимость может позволить удалённо выполнять код в приложениях, использующих библиотеку.
По мере роста возможностей моделей и числа обнаруживаемых ими уязвимостей мы также видим всё больше попыток использовать их для причинения вреда. Среди них — действия киберзлоумышленников и враждебных групп, стремящихся проводить дистилляцию наших моделей. Поэтому расширенные возможности GPT‑6 Cyber мы дополнили усиленными мерами защиты, которые выявляют и пресекают злоупотребления, а также удерживают действия модели в рамках намерений пользователя и предоставленных им разрешений.
К выпуску GPT‑6 Cyber мы добавили и усилили следующие меры защиты (полная информация — в системной карточке(открывается в новом окне)):
Мониторинг отклонений поведения в задачах кибербезопасности. Мы проверяем, соответствуют ли действия разрешениям пользователя, при этом учитываем правомерную разработку и тестирование эксплойтов.
Целевой мониторинг новых угроз. Например, во время координированного раскрытия критических уязвимостей PHP мы настроили целевой мониторинг попыток разработки эксплойтов против действующих PHP-серверов, сохранив поддержку специалистов, устраняющих уязвимости в затронутых системах.
Конфиденциальная обработка для проверки безопасности (PSP). Мы используем автоматические проверки, чтобы анализировать связанные взаимодействия на предмет злоупотреблений. По умолчанию по-прежнему действует стандартный режим хранения данных. Клиенты API, использующие нулевое хранение данных (ZDR)(открывается в новом окне), как правило, обязаны использовать PSP(открывается в новом окне). Эта система проверяет зашифрованные записи, которые хранятся у клиента 30 дней, не раскрывая промпты и ответы сотрудникам OpenAI.
Защита от использования украденных учётных данных. Для доступа к API Daybreak Red мы по умолчанию требуем настроить список разрешённых IP-адресов: за редкими исключениями запросы принимаются только из одобренных сетей. Мы также отслеживаем признаки компрометации учётных данных.
Изоляция в песочнице и контроль. Как и для предыдущих моделей, для рабочих процессов высокого риска мы рекомендуем изоляцию в песочнице(открывается в новом окне), проверку действий(открывается в новом окне) и контроль со стороны человека.
Защита от содействия кибердействиям высокого риска. Мы применяем новые проверки для блокировки действий высокого риска, затрагивающих критически важные системы (подробнее — ниже).
При разработке мер защиты и правил доступа к GPT‑6 Cyber одним из приоритетов была защита критической инфраструктуры: электростанций, водоочистных сооружений, а также лежащих в их основе операционных технологий и промышленных систем управления (OT/ICS). Мы хотим дать командам, защищающим эти системы, доступ к нашим наиболее мощным моделям и одновременно усилить меры защиты, предотвращающие несанкционированные атаки.
Во-первых, чтобы обеспечить этих специалистов инструментами, наша грантовая программа Daybreak для защитников на передовой объёмом 1 млрд долларов субсидирует доступ для команд с ограниченными ресурсами, в том числе государственных организаций и поставщиков жизненно важных услуг. Мы также создаём в Daybreak Red новую группу — Daybreak Red для критической инфраструктуры — для одобренных специалистов по её защите. Она даёт им разрешения на санкционированное тестирование критически важных систем, сохраняя защиту от отклонений модели от заданного поведения.
Во-вторых, чтобы предотвратить злоупотребления платформами Daybreak Red и Blue, мы усовершенствовали меры защиты, предотвращающие оказание помощи и развитие возможностей, которые могут использоваться для нарушения работы промышленных систем управления или систем, критически важных для безопасности, вмешаться в работу оборудования либо привести к тяжёлым травмам, катастрофическим физическим повреждениям или опасным для жизни перебоям в предоставлении услуг. На графике ниже сравнивается доля запросов, получивших метки системы защиты, для четырёх конфигураций доступа — до и после обновлений, внедряемых вместе с GPT‑6 Cyber.
Более высокая доля блокировок не всегда означает лучший результат. Многие методы из этой оценки необходимы и для правомерной работы по обеспечению безопасности: изучения систем, поиска уязвимостей и проверки устойчивости исправлений к атакам. Поэтому мы оцениваем эти показатели вместе с поддержкой правомерных исследований и разработки исправлений, а не стремимся довести их до 100%.
Чтобы оценить, как наши модели могут помогать защищать критическую инфраструктуру, мы стали сотрудничать с Dragos — международным поставщиком решений кибербезопасности для расширенной среды операционных технологий (xOT). Dragos провела оценки в контролируемой лабораторной среде с моделями Daybreak Red, допускающими более широкий спектр действий в области кибербезопасности. Оценки охватывали запросы с нарастающим уровнем риска: от обнаружения сетей и перечисления активов до целевой разведки, эксфильтрации конфиденциальных данных и несанкционированных, потенциально опасных действий с устройствами.
Мы использовали обратную связь от Dragos, чтобы доработать меры защиты: блокировать содействие вредоносным действиям, не ограничивая без необходимости санкционированное тестирование. Подробности оценок — в итоговом отчёте Dragos(открывается в новом окне). Мы также расширяем сотрудничество с другими поставщиками услуг по наступательной кибербезопасности и командами, объединяющими специалистов по атаке и защите, для тестирования на проникновение и red teaming с использованием ИИ, а также с энергетическими компаниями, другими операторами критической инфраструктуры и национальными лабораториями — для оценки эффективности наших моделей и мер защиты в промышленной среде. Мы также увеличили инвестиции в расследование угроз, чтобы выявлять использование моделей, связанное с OT/ICS. Мы продолжим совершенствовать меры защиты с учётом мнения партнёров и сообщества безопасности, включая сообщения через /feedback о случаях, когда защита пропускает вредоносные действия или мешает правомерной работе.
На первом этапе GPT‑6 Cyber доступна через API и Codex избранной группе одобренных клиентов Daybreak Red. В ближайшее время мы постепенно откроем доступ всем клиентам Daybreak Red. Кроме того, мы открываем доступ к GPT‑5.6 Cyber для всех клиентов Daybreak Red. Параллельно мы расширяем альфа-доступ к Daybreak Blue для GPT‑6 Astra, открывая его большему числу организаций и независимых исследователей безопасности. Если вам это интересно, сообщите нам(открывается в новом окне).
Новые пользователи и организации могут подать заявку на участие в Daybreak и получить доступ к нашим возможностям в области кибербезопасности, продуктам и партнёрской экосистеме.
