Окно возможностей для защитника закрывается
У защитников есть запас времени, но действовать нужно уже сейчас
Подход OpenAI
Defense Factory
Построение непрерывной киберзащиты
Одних лишь традиционных средств киберзащиты уже недостаточно
Агенты теперь могут проводить длительные кибероперации, злоупотребляя всё более доступными моделями с открытыми весами. Поэтому в OpenAI мы создаём Defense Factory. Автоматизированный процесс непрерывного поиска, проверки и устранения уязвимостей.
Команды Cloudflare(открывается в новом окне), Ramp(открывается в новом окне) и Google(открывается в новом окне) также изучают этот подход. Здесь мы рассказываем об архитектуре и процессах, лежащих в основе нашей собственной Defense Factory, а также делимся опытом, полученным при её создании.
Новейшие передовые модели находят уязвимости уже в рабочей среде
В ходе недавнего спринта по безопасности мы использовали наши новейшие модели для кибербезопасности, чтобы находить, проверять и устранять уязвимости во всей OpenAI. Мы мобилизовали 250+ человек и подошли к работе с той же срочностью, что и при реагировании на инцидент.
Теперь агенты могут объединять эксплойты в цепочки
Агенты сохраняют полученные знания между сеансами, чтобы формировать детальное понимание системы и связывать уязвимости между собой. Сложные атаки, которые ранее были практически невыполнимыми, теперь могут осуществляться автономно.
Группы агентов многократно увеличивают масштаб атак
Группы длительно работающих агентов могут эксплуатировать уязвимости в большем масштабе и задолго до того, как специалисты, участвующие в реагировании на инциденты безопасности, смогут обнаружить и устранить те же уязвимости.
У защитников есть запас времени, но действовать нужно уже сейчас
У защитников есть два структурных преимущества. Они могут предоставить агентам прямой доступ к своему коду и использовать передовые модели, чтобы получить временное преимущество перед злоумышленниками, злоупотребляющими широко доступными моделями с открытыми весами.
Возможности в кибербезопасности
Время
- Передовой уровень
- Возможности защитников
- Широко распространено
Внедрите непрерывную защиту
Окно возможностей для защитников
Это преимущество — окно возможностей для защитников.
Defense Factory
Defense Factory — это непрерывная операция, ориентированная прежде всего на агентов, для поиска и устранения уязвимостей. Это помогает защитникам не отставать, поскольку злоумышленники используют во вред всё более мощные модели с открытыми весами, чтобы ускорять свои операции. Агенты используют существующие инструменты безопасности и разработки, переиспользуемые навыки определяют рабочие процессы, которым они следуют, а изолированные воспроизводимые среды позволяют агентам исследовать обнаруженные проблемы и готовить протестированные исправления для проверки. Команды постепенно автоматизируют всё большую часть процесса, сокращая количество передач между участниками и сокращая время от обнаружения до устранения.
Традиционная безопасность
Ваши существующие инструменты, в идеале доступные агентам через MCP, CLI или API.
GitHub · GitLab
Snyk · Semgrep · Tenable
Jira · Linear · ServiceNow
Defense Factory
Связующее звено между вашими существующими инструментами, позволяющее агентам проактивно находить и устранять уязвимости в рамках непрерывного рабочего процесса.
Изолированные, воспроизводимые среды · Ona, Cloudflare, Modal
- Codex Desktop
- Codex CLI
- Codex Security CLI
Проверка безопасности · Триаж выявленной проблемы · Устранение выявленной проблемы
Пользовательские навыки
Astra · Sol · Terra · Luna
Daybreak Blue · Daybreak Red
Архитектура непрерывной защиты
Для Defense Factory необходимо воспроизводить уязвимости и проверять, что исправления работают. Для этого требуются воспроизводимые и изолированные среды разработки с нужным кодом, зависимостями и сервисами, поддерживаемые оркестрацией и средствами контроля доступа, которые позволяют агентам безопасно работать в больших масштабах.
Плоскость управления
Масштабирует среды выполнения и централизует политики и секреты.
Плоскость данных
Изолированные временные среды для проверки выявленных проблем.
Системы для разработчиков
Предоставьте инструменты, необходимые агентам для работы.
Состояния и рабочие процессы
Отслеживайте, что вы защищаете, что обнаруживают агенты и что требует исправления.
Безопасность и аудит
Отслеживайте агентов, выполняющих кибермодели, чтобы помочь обеспечить безопасное выполнение и защищенный доступ к конфиденциальному контексту и данным.
Как Defense Factory дополняет традиционные меры безопасности
Прокрутите по горизонтали, чтобы увидеть, что добавляет Factory.
| Работа | Типичное узкое место | Что дает вам Defense Factory |
|---|---|---|
| Поиск уязвимостей | Обнаруженные проблемы ожидают расследования. | Выявленные проблемы автоматически запускают расследования. |
| Триаж | Дубликаты затрудняют расстановку приоритетов. | Дубликаты объединены. Эксплуатируемость проверена. |
| Право собственности | Обнаруженные проблемы ожидают назначения владельца. | Для каждой выявленной проблемы подтверждён ответственный. |
| Устранение уязвимостей | Инженеры повторно проводят расследования. | Протестированные исправления попадают к ревьюерам вместе с подтверждающими данными. |
| Проверка | Внесённые в код исправления остаются непроверенными. | Развёрнутые исправления проходят независимую повторную проверку. |
Как спринт по безопасности во всей OpenAI перерос в Defense Factory
По мере того как новые возможности моделей позволяют нам глубже изучать наши системы, мы увеличили темпы и масштаб нашей работы в области безопасности. Мы объявили внутренний режим Code Red и объединили команды безопасности, прикладных разработок и исследований для проведения скоординированного спринта, охватившего сотни систем.
- мобилизовано людей
- 250+
- охвачено направлений
- 100+
«Мы усиливаем нашу защиту с неотложностью, характерной для инцидента. Это общая работа всей команды, которая имеет приоритет над всем, кроме критически важных бизнес-операций. Мы будем действовать с той же срочностью и после спринта, продолжая тестировать и укреплять нашу защиту».
Спринт стал отправной точкой для создания Defense Factory в OpenAI. Мы выстраиваем непрерывный цикл защиты: учитываем все системы, находим и проверяем уязвимости, назначаем ответственных, проверяем исправления и совершенствуем систему с каждым запуском.
Цикл киберзащиты
Что мы узнали при создании цикла киберзащиты
Защитным циклам нужны подходящие среды разработки
Воспроизводимые среды разработки служат основой автономного цикла киберзащиты. Агентам нужны изолированные среды, которые можно автоматически развёртывать в необходимом масштабе со всеми сервисами, зависимостями и настройками для воспроизведения уязвимостей и проверки исправлений. Такие среды должны быть временными: их создают заново для каждого запуска, а затем удаляют вместе со всем состоянием, чтобы один запуск не влиял на следующий.
Автономность следует наращивать постепенно, начиная с ручных шагов
Мы начали с небольших пакетов задач и проверки человеком, а затем устраняли повторяющиеся ручные действия по мере того, как результаты подтверждали надёжность подхода. Мы отдельно расширяли объём работы, которую могли выполнять агенты, и перечень изменений, которые им разрешалось вносить. По мере того как агенты брали на себя всё больше рутинной работы, специалисты сосредоточились на определении границ, обработке исключений и проверке результатов.
Составили реестр систем и параллельно начали исправлять проблемы
Мы начали с инвентаризации наших систем. Codex помог составить реестр, а мы тем временем собрали уже выявленные проблемы в общий список задач. На первом этапе назначить ответственных можно было, только если специалистам удавалось найти нужную команду. Мы подготовили данные о сервисах и ответственных для повторного использования: агенты размечали и распределяли пакеты задач, а специалисты разбирали неоднозначные случаи. Благодаря этому доля назначений ответственных, подтверждённых командами, выросла до 90,6%. Параллельно команды занялись срочными проблемами, не дожидаясь завершения реестра и модели ответственности. Уже в первый день мы закрыли 53 задачи со срочным или высоким приоритетом во всех наших системах.
- принятых назначений ответственных после маршрутизации
- 90,6 %
Создание и совершенствование триажа силами агентов
Codex оценивал пакеты выявленных проблем по шкале серьёзности и добавлял сведения о сервисах и ответственных. Первые категории серьёзности были слишком широкими, а результаты классификации зависели от инструкций, полученных агентами. Мы ввели версионирование шкалы оценки серьёзности и промптов, добавили воспроизводимые тесты для оценки и зафиксировали ожидаемые приоритеты и обоснования рецензентов. Выборочные проверки специалистами помогли уточнить приоритеты и выявить некачественные или дублирующиеся отчёты. Мы также приостановили распределение задач, пока не повысили качество дедупликации. Начав с небольшой проверенной выборки, мы перешли к повторным запускам и установили, что 37% выявленных проблем были дубликатами.
- выявленных проблем оказались дубликатами
- 37 %
Сделали динамическую проверку воспроизводимой
Создание изолированных сред, в которых агенты могли выполнять код, оценивать степень критичности и отсеивать ложные срабатывания, стало ключевым шагом в отделении сигнала от шума. Но настройка среды стала ограничивающим фактором для валидации, поэтому мы начали с выбранных сервисов, которые можно было многократно запускать. Мы разобрались с отсутствующими зависимостями и различиями в конфигурации, чтобы мы могли отличить выявленную проблему, которая не воспроизводилась, от теста, который не мог корректно выполниться. Благодаря этим улучшениям 19,5% выявленных проблем удалось воспроизвести во время выполнения, а доля ложноположительных результатов после динамической проверки составила 0,81%.
- доля ложноположительных срабатываний после динамической проверки
- 0,81 %
Автоматизация исправлений и создание переиспользуемых рабочих процессов
Все проблемы устранялись с помощью Codex: агенты создавали патчи, а мы совершенствовали маршрутизацию и расстановку приоритетов. Мы предоставили агентам изолированные воспроизводимые среды разработки, где они могли подтверждать наличие проблем и тестировать предлагаемые патчи на работающих сервисах, проверяя само исправление и его влияние на штатную работу. Мы зафиксировали накопленный опыт в файлах SECURITY.md и повторно используемых навыках, расширили сканирование и первичный анализ силами агентов, а также автоматизировали проверки исправлений. Последующие проверки выявили разрыв между патчами, внесёнными в код, и исправлениями, развёрнутыми во всех системах. После небольшого пилотного запуска мы расширили проверку и стали добавлять комментарии к подтверждённым исправлениям. Автоматическое повторное открытие задач оставалось отключённым, пока мы определяли, как учитывать задержки развёртывания.
- Доля откатанных исправлений
- 0,53 %
Скоро выйдет техническая статья в блоге
Подход OpenAI к навыкам и рабочим процессам безопасности
Инвентаризация
Агенты сопоставляют данные облачной инфраструктуры, конфигурацию развёртывания и сведения о владельцах сервисов, формируя реестр активов. Они связывают доступные извне конечные точки с кодом и ответственными, сохраняя подтверждающие данные и сведения о пробелах, чтобы точнее задать область поиска.
Прокрутите по горизонтали, чтобы изучить диаграмму.
Записи об облаке и активах, конфигурация исходного кода и развертывания, а также данные о сервисах и владельцах вместе поступают в воспроизводимую среду разработки. Codex использует предлагаемый навык «Build and update inventory» и существующий справочник атрибуции сервисов для формирования реестра активов. Те же инвентарные данные являются первыми входными данными для Discovery. Операции записи данных инвентаризации и планирование обновлений должны настраиваться вызывающим рабочим процессом.
- Сторонние платформы
- Артефакты
- Продукты OpenAI
- Навыки / плагины
- Среды
Поиск уязвимостей
Агенты используют реестр активов, исходный код, модель угроз и политику безопасности, чтобы направлять проверки безопасности и исследование путей атаки. Выявленные проблемы объединяются с существующими отчётами об уязвимостях в общий набор потенциальных уязвимостей.
Прокрутите по горизонтали, чтобы изучить диаграмму.
Реестр активов из рабочего процесса Inventory, система контроля версий, модель угроз и политика безопасности вместе поступают в воспроизводимую среду разработки для обнаружения с помощью Codex, Codex Security Scans и анализа путей атак. Отчёты об уязвимостях минуют локальный поиск и сразу добавляются к потенциальным уязвимостям. Навыки поиска уязвимостей не используются в фиксированной последовательности.
- Сторонние платформы
- Артефакты
- Продукты OpenAI
- Навыки / плагины
- Среды
Динамическая проверка
Получив данные о потенциальных уязвимостях и работоспособное приложение, агенты анализируют код, повторно оценивают возможность эксплуатации и пытаются воспроизвести предполагаемые уязвимости в контролируемой среде. Они сохраняют подтверждения воспроизведения уязвимостей и проверяют наличие дубликатов, прежде чем создавать одобренные задачи.
Прокрутите по горизонтали, чтобы изучить диаграмму.
Потенциальные уязвимости и настройка приложения вместе поступают в воспроизводимую среду разработки. Codex использует навыки «Классифицировать и проверить выявленную проблему» и «Найти дубликаты и создать задачу». Триаж и повторная оценка возможности эксплуатации основаны на анализе исходного кода, а не поведения работающего приложения. Для подтверждённой уязвимости нужны доказательства воспроизведения: одной статической трассировки недостаточно. Опровергнутые результаты и результаты без окончательного вывода остаются связанными с обнаруженной проблемой. Запись в трекер требует одобрения.
- Сторонние платформы
- Артефакты
- Продукты OpenAI
- Навыки / плагины
- Среды
Назначение ответственного
Агенты используют специализированные навыки компании, чтобы связать подтверждённые проблемы с корпоративным контекстом, данными об ответственных и трекерами задач. В результате создаются задачи с указанными ответственными и подтверждающими материалами.
Прокрутите по горизонтали, чтобы изучить диаграмму.
Подтверждённая уязвимость, мессенджеры, данные об ответственных и трекер задач вместе поступают в воспроизводимую среду разработки. Codex использует пользовательские навыки определения сервиса и ответственного, а также маркировки задач, чтобы создать задачу с назначенным ответственным. Назначение ответственного не означает, что задача принята в работу.
- Сторонние платформы
- Артефакты
- Продукты OpenAI
- Навыки / плагины
- Среды
Подтверждённое исправление
Агенты готовят исправление, независимо проверяют его, отслеживают ход работы и предлагают меры по усилению безопасности. После проверки человеком и санкционированного развёртывания специальная интеграция повторно проверяет исправление в рабочей среде и сохраняет подтверждающие материалы.
Прокрутите по горизонтали, чтобы изучить диаграмму.
Задача с назначенным ответственным, подтверждения уязвимости и инструкции для репозитория вместе поступают в воспроизводимую среду разработки. Codex может использовать навыки «Исправить выявленную проблему», «Проверить исправление», «Проверить, начата ли работа над исправлением» и «Усилить безопасность». Эти возможности не образуют обязательную фиксированную последовательность. Навык «Проверить исправление» сочетает проверку патча с предлагаемыми специальными проверками в рабочей среде после проверки человеком и санкционированного развёртывания. Подтверждённое исправление включает данные о развёртывании и результаты проверки. Если проверка не пройдена или не дала однозначного результата, работа над исправлением продолжается. Приёмка работы и изменение статуса задачи ещё не доказывают, что проблема исправлена.
- Сторонние платформы
- Артефакты
- Продукты OpenAI
- Навыки / плагины
- Среды
Сделайте непрерывную киберзащиту приоритетом
Обсудите план с командой, начните с одного рабочего процесса и постепенно выстраивайте Defense Factory. Мы продолжим публиковать выводы из опыта OpenAI, а также практические рабочие процессы, инструменты и рекомендации.
Обсудите план с командой
Используйте презентацию, чтобы обосновать необходимость Defense Factory, определить направление работы и согласовать первый рабочий процесс.
Подать заявку на доступ к кибермоделям
Подайте заявку на доступ к Daybreak, чтобы использовать передовые кибермодели OpenAI для разрешённой работы в области киберзащиты.
Запустить один рабочий процесс
Используйте возможности плагина Codex Security, чтобы находить уязвимости, проверять результаты и подготавливать исправления.
Уже являетесь клиентом OpenAI? Обсудите архитектуру с вашей командой по работе с аккаунтом.
Дополнительные материалы
Инцидент с Hugging Face
Доклад на Black Hat, лежащий в основе реконструкции инцидента с Hugging Face.
- Проникновение агента: техническая хронологияОтчёт Hugging Face о расследовании вторжения, включая путь атаки, ход расследования и изменения в мерах защиты.(открывается в новом окне)
- Инцидент безопасности при оценке моделей Hugging FaceОписание инцидента при оценке модели, совместных мер OpenAI и Hugging Face, а также изменений в мерах безопасности при оценке.(открывается в новом окне)
- Окно возможностей для защитниковПочему у защитников есть ограниченное окно возможностей для действий и как организации могут использовать ИИ для усиления киберзащиты.(открывается в новом окне)
- Расширяем Daybreak: окно для киберзащиты сужаетсяКак Daybreak расширяет доступ к передовым моделям для задач кибербезопасности и помогает специалистам по защите применять их с надлежащими мерами безопасности.(открывается в новом окне)
- Плагин Codex SecurityРуководство по установке плагина Codex Security, сканированию репозитория и анализу результатов проверки безопасности.(открывается в новом окне)