Инцидент OpenAI и Hugging Face(открывается в новом окне) стал поворотным моментом для кибербезопасности, поскольку позволил заглянуть в то, как будут развиваться возможности типичного субъекта угрозы в ближайшие месяцы. За последние несколько недель я общался с представителями многих организаций, и одна общая мысль очевидна: они понимают, что им необходимо с беспрецедентной скоростью вывести свои практики кибербезопасности на принципиально новый уровень. В этом посте я расскажу, что мы делаем для защиты OpenAI, какие конкретные шаги другие организации могут предпринять уже сегодня и почему действовать нужно именно сейчас.
Модели ИИ, разрабатываемые по всему миру, всё чаще способны автоматизировать отдельные этапы реальных кибератак, упрощая поиск и эксплуатацию давних брешей в безопасности — от ошибок, глубоко скрытых в написанном людьми программном обеспечении, до забытых разрешений. Те же возможности ИИ дают защитникам новые способы находить и устранять эти уязвимости, но им нужно действовать уже сейчас. Если компании будут действовать решительно — в том числе укреплять свои базовые основы и усиливать свои команды с помощью ИИ, — мы сможем сделать интернет безопаснее, чем когда-либо прежде.
Во время инцидента с OpenAI и Hugging Face группа автономных агентов смогла самостоятельно проникнуть не только в исследовательскую инфраструктуру OpenAI, но и в производственную инфраструктуру другой компании, объединив в цепочку разные уязвимости — от ранее неизвестных брешей в безопасности до учетных данных пользователей, утекших в интернет. Становится всё очевиднее, что технический долг(открывается в новом окне) любой компании скрывает серьёзные изъяны, и специалистам по защите необходимо обнаружить и устранить их прежде, чем их обнаружат злоумышленники.
Чтобы дать защитникам преимущество перед злоумышленниками, ранее в этом году мы начали предоставлять наши кибервозможности только доверенным защитникам. С тех пор различные компании выпустили модели с открытыми весами с кибервозможностями, отстающими от передового уровня всего на несколько месяцев. Самая новая из этих моделей, по-видимому, планируется выпустить(открывается в новом окне) в конце августа и, вероятно, значительно ускорит развитие угрозовой обстановки.
Хотя злоумышленники, использующие ИИ, вскоре смогут находить давние уязвимости во многих существующих системах, ИИ также значительно упростит защитникам поиск, приоритизацию и устранение этих же уязвимостей. Безопасность по-прежнему остается игрой в кошки-мышки, но ИИ может изменить ее экономику(открывается в новом окне) таким образом, что это даст защитникам принципиальное преимущество. Например, мы начинаем обучать наши модели специально писать код с уровнем безопасности, превосходящим человеческие возможности. Наши модели также невероятно хорошо справляются с математическими доказательствами, что можно применять для формальной проверки безопасности программного обеспечения способом, который оказался практически неподъемным для людей.
После инцидента OpenAI-Hugging Face я попросил ChatGPT Работа (с использованием общедоступной GPT‑5.6 Sol) оценить безопасность gregbrockman.com(открывается в новом окне). Это простой статический сайт, размещённый на AWS с Cloudflare в качестве фронтенда, поэтому я решил, что поверхность атаки будет очень небольшой.
Примерно за 15 минут было выявлено 13 проблем, многие из которых, вероятно, нельзя эксплуатировать сами по себе — но я вполне могу представить, как их объединяют в цепочку с другими уязвимостями и добиваются значительного эффекта. Я не настроил DNS-записи так, чтобы злоумышленники не могли подделывать электронные письма от моего имени; мой сайт использовал небезопасную версию jQuery; Cloudflare перенаправлял запросы в AWS по незашифрованному HTTP.
Затем я попросил ChatGPT Работа исправить эти проблемы, и сервис справился с этим в течение часа. Система открыла панель управления Cloudflare в моём браузере, а затем нажала множество кнопок, чтобы правильно настроить DNS, TLS и расширенные параметры безопасности; полностью удалила jQuery с сайта; перенесла мой проект с AWS на Cloudflare Pages; начала поэтапное внедрение DMARC(открывается в новом окне).
И это был всего лишь мой личный веб-сайт. Это небольшой пример того, как наши существующие модели могут работать в роли киберзащитника — находить длинный хвост проблем, до которых у человека не хватило бы времени или экспертизы добраться (многие из исправленных настроек — это те, с которыми я смутно знаком, но не смог бы сразу сказать, как правильно их настроить), а затем исправлять их с помощью надлежащим образом настроенного плана поэтапного развертывания.
Инцидент с Hugging Face показал, что мы недооценили реальные кибервозможности наших моделей ИИ. В соответствии с этим мы усиливаем наши требования к безопасности, что, в свою очередь, придаёт ещё большую срочность уже ведущимся исследованиям в области безопасности и внутренней работе по обеспечению защищённости.
Я немного расскажу о нашем подходе к обеспечению безопасности OpenAI на данном этапе в надежде, что это будет полезно другим организациям. Чтобы защитить OpenAI, мы вкладываем значительные средства как в базовые механизмы контроля — правильное выполнение основ — так и в усиление наших средств защиты с помощью передового искусственного интеллекта. В этой стратегии есть четыре ключевых столпа.
Во-первых, мы используем наши модели, чтобы повысить безопасность нашего кода. Codex, включая наш плагин безопасности, проверяет изменения кода, выявляет уязвимости и помогает разработчикам устранять проблемы до развертывания этих изменений. Просто генерировать больше обнаруженных проблем безопасности, требующих проверки человеком, — это антицель; цель состоит в том, чтобы выявлять реальные уязвимости до выпуска и сокращать путь от обнаружения проблемы до безопасного развертывания исправления. По мере того как мы продолжаем обучать наши модели создавать всё более безопасный код, наша цель — устранить некоторые классы уязвимостей программного обеспечения во вновь создаваемом коде.
Во-вторых, мы задействуем наши модели для непрерывной защиты нашей инфраструктуры. Сегодня, почти все наши первичные оповещения о безопасности сначала проходят сортировку интеллектом, прежде чем подключаются люди. Это помогает снизить рутинную нагрузку на специалистов по защите, сокращает время реагирования и позволяет людям уделять время тем задачам, где их навыки используются наиболее эффективно, — умению распознавать нюансы, выносить взвешенные суждения и применять экспертные знания. Мы все чаще связываем эти обнаружения с ограниченными автоматизированными мерами реагирования, при этом оставляя за людьми ответственность за решения с наиболее значимыми последствиями. Цель — обеспечить возможность обнаруживать проблемы безопасности и реагировать на них с машинной скоростью.
В третьих, мы используем передовой Интеллект, чтобы непрерывно перечислять, зондировать и выявлять потенциальные пути атак. Выявляя уязвимости, неправильные конфигурации, чрезмерно привилегированные идентификаторы или непреднамеренные границы доверия, мы можем быстро выявлять и устранять эти пробелы до того, как злоумышленники смогут ими воспользоваться. Это позволяет нам непрерывно оценивать, отслеживать и тестировать наши инварианты безопасности — свойства безопасности, которые мы считаем истинными, — во всех наших продуктах, инфраструктуре и системах.
Наконец, мы вкладываем значительные средства в фундаментальные основы в масштабе. Мы продолжаем инвестировать в безопасную архитектуру и механизмы контроля, применять такие стратегии, как эшелонированная защита и принцип наименьших привилегий, а также проектировать системы, в которых для возникновения катастрофических последствий необходимо одновременное нарушение работы нескольких независимых механизмов контроля. Классические меры безопасности, такие как изоляция сети, жёсткая защита рабочих нагрузок, мониторинг, а также безопасная установка исправлений и развертывание, в будущем ИИ будут важнее, чем когда-либо.
Время имеет решающее значение, и защитникам необходимо выполнить перечисленные ниже шаги в максимально ускоренном темпе. Ниже я упомяну технологию OpenAI, но в экосистеме также есть множество конкурентов, которых тоже стоит оценить. Важно не столько то, какой именно инструмент используется, сколько то, чтобы уже сейчас предоставить эффективный ИИ вашим защитникам.
- Добейтесь организационной приверженности и поддержки. Мы наблюдаем быстрое изменение рисков безопасности — убедитесь, что ваши подразделения безопасности и инженерные подразделения располагают поддержкой, партнёрством и ресурсами, необходимыми для быстрого устранения этих рисков. Проводите командно-штабные учения со своими командами, чтобы смоделировать, как такие атаки могут проявиться в ваших организациях и как вы будете на них реагировать.
- Предоставьте своей команде безопасности агента. Начните использовать Codex, плагин Codex Security(открывается в новом окне), или другой эффективный инструмент для программирования с использованием агентов и обеспечения безопасности. Предоставьте ему санкционированный доступ к кодовым базам, конфигурациям инфраструктуры и технической документации, которые необходимо оценить вашей команде безопасности. Не ждите развертывания в масштабах всей компании — начните с систем с наивысшим приоритетом.
- Оснастите этого агента знаниями по безопасности. Начните с поддерживаемых сообществом навыков(открывается в новом окне), которые включают рабочие процессы для статического анализа, безопасностного аудита кода, анализа вариантов уязвимостей, рисков цепочки поставок ПО и других рабочих процессов по обеспечению безопасности. Затем создавайте собственные навыки с учетом архитектуры вашей организации, стандартов безопасности, моделей угроз и плейбуков.
- Немедленно проведите оценку безопасности ваших собственных систем. В первую очередь уделите приоритетное внимание оценке интернет-сервисов, потоков аутентификации, инфраструктуры как кода, конвейеров развертывания и систем, обрабатывающих конфиденциальную информацию. Расширяйте область сканирования по мере того, как ваша команда будет приобретать уверенность.
- Выполните работу с накопившимися уязвимостями Передайте своему агенту результаты сканеров кода, оповещения о зависимостях, тикеты по безопасности, отчёты «bug bounty» и результаты предыдущих оценок. Попросите его проранжировать эти результаты, отделить уязвимости, поддающиеся эксплуатации, от шума, выявить связанные уязвимости в других частях кодовой базы и рекомендовать, что следует исправить в первую очередь.
- Встройте проверку безопасности непосредственно в процесс разработки. Используйте агентов для проверки изменений кода перед их слиянием, а также для запуска проверок безопасности в CI. Ищите ошибки аутентификации, обходы механизмов контроля доступа, раскрытые учетные данные, небезопасные зависимости, небезопасные настройки по умолчанию, изменения, расширяющие доступ к продуктивным системам, и другие уязвимости.
- Пусть агент поможет исправить то, что он обнаружит. Для подтверждённых проблем попросите систему сгенерировать и проверить точечное исправление, написать регрессионный тест и подтвердить, что уязвимость больше не воспроизводится. Сохраняйте проверку человеком для изменений с существенными последствиями, но устраняйте ненужную задержку между выявлением реальной проблемы и предложением инженеру безопасного исправления.
- Постепенно автоматизируйте сортировку обнаружений. Не начинайте с попытки построить автономный центр операций безопасности. Начните с запуска сканирования безопасности только для чтения для одного репозитория или поручите агенту просмотреть ранее устранённые оповещения, используя доступ только для чтения к вашим имеющимся журналам. Позвольте ему обобщить доказательства и рекомендовать решение, пока человек принимает каждое решение. По мере роста уверенности переходите к сканированию pull request в режиме рекомендаций, затем к разбору оповещений в реальном времени, а затем к автоматическому закрытию узко определённых ложных срабатываний.
- Заранее подготовьте возможность проведения криминалистического расследования с поддержкой ИИ, прежде чем она вам понадобится. Подайте заявку на Trusted Access for Cyber(открывается в новом окне) и получите разрешение для своей команды на использование GPT‑Daybreak‑Blue в рамках санкционированных работ по защите, включая реагирование на инциденты, разработку средств обнаружения и анализ вредоносного ПО. Попрактикуйтесь в использовании этой возможности для анализа журналов, телеметрии и оповещений безопасности.
- Экспериментируйте, проводите хак-недели и быстро итеративно дорабатывайте Нам нужно будет создать самые разные новые инструменты, изменить то, как мы работаем, и помочь всем выйти на новый уровень для мира, к которому мы движемся. Поощряйте сотрудников проводить эксперименты, запланируйте хак-неделю для создания новых возможностей и сосредоточьтесь на быстрых циклах итераций, которые автоматизируют небольшие части проблемы. Быстрый поступательный прогресс приводит к накопительному защитному эффекту, а автономность можно постепенно расширять по мере того, как ваша команда обретает уверенность.
Ни одна компания не может сделать это в одиночку. Мы призываем лаборатории ИИ, поставщиков решений в области безопасности, предприятия и ответственных за поддержку делиться проверенными результатами исследований, исправлениями и практическими руководствами, чтобы открытие одной организации могло укрепить всю экосистему.
Окно возможностей для защитников открыто прямо сейчас. В ближайшие месяцы каждой организации потребуется начать значительно автоматизировать свою программу обеспечения безопасности, чтобы оставаться защищённой, а сообщество специалистов по безопасности должно срочно активизироваться и определить инструменты, практики и плейбуки, которые позволят возможностям защитников расти быстрее, чем возможностям злоумышленников, по мере дальнейшего развития ИИ. Это потребует огромных и беспрецедентных усилий, но если мы сплотимся, то сможем создать более безопасный мир, чем можно было представить ранее.
