Как Block строит ИИ-защиту с технологиями OpenAI

В Block — компании, стоящей за Square, Cash App и Afterpay, — команда безопасности использует OpenAI Defense Factory: ИИ ищет уязвимости, выявляет угрозы и реагирует на них в масштабах, недоступных ни одной команде людей. Благодаря ИИ-системам, включая OpenAI Daybreak, Block всего за несколько часов выполняет работу, на которую раньше уходили недели.

Команда безопасности Block уделяет особое внимание ответственному внедрению ИИ в рабочие процессы — от генерации кода до оперативного обеспечения безопасности. «Главное здесь — новый коллега, с которым можно наращивать масштабы работы», — говорит Джеймс Неттесхайм, директор по информационной безопасности. «Это не традиционная автоматизация, где нужно было прописывать каждый шаг. Можно задать довольно нестандартную, неоднозначную задачу и вместе найти решение».

Раньше на такие задачи, как анализ ошибки в программе или разбор журнала событий, уходили дни или недели. Теперь команда справляется с ними в разы быстрее, при этом каждый результат по-прежнему проверяет человек.

Например, для настройки обнаружения угроз по каждому расследованию сохраняются исходные результаты запросов. Благодаря этому команда может менее чем за час проверить предлагаемое изменение правила обнаружения на телеметрии рабочей среды за семь месяцев. Раньше для этого приходилось вручную повторять запросы по сотням старых случаев. Это отнимало столько времени, что на практике такую работу проводили редко.

Команда также стала тщательнее подбирать модели под конкретные задачи. «Раньше мы всегда использовали самую новую модель, но теперь в этом нет необходимости, — говорит он. — Нам пришлось научиться выбирать разные модели для разных задач». Обвязка системы безопасности Block построена на базе Daybreak и помогает направлять задачи подходящим моделям. В ней также предусмотрены механизмы передачи задач людям и взаимной проверки работы агентов. Команда постоянно оценивает эти системы по внутренним тестам и результатам реальной работы, при необходимости корректируя подход. В том числе она направляет работу на проверку человеку, когда именно этого требует ответственное отношение к задаче.

Автоматизированная система первичного анализа оповещений позволила выполнять больше работы и делать это быстрее. У команды безопасности Block пропускная способность первичного анализа выросла на 50%, объём сбора данных об угрозах и расследований — тоже на 50%. Кроме того, появилась совершенно новая возможность автономного поиска угроз. Неттесхайм говорит: «Система выполняет объём расследований, эквивалентный примерно 1 100 часам работы аналитика в квартал, потому что теперь каждое оповещение проходит полноценное глубокое расследование по всем затронутым элементам. Наша система разбирает каждое оповещение так, будто оно единственное за весь день».

Традиционные сканеры выявляют отдельные уязвимости, не связывая их между собой, но с Daybreak команда безопасности Block может пойти гораздо дальше. Модель помогает выдвигать гипотезы о сценариях атак и объединять серию атак в полный путь компрометации, выявляя уязвимости, которые могли существовать годами.

В одном случае оповещение с отдельного ноутбука само по себе выглядело как незначительное нарушение политики безопасности. Но при перекрёстной проверке модель проследила за индикатором, который лишь случайно попал в собранные данные, сопоставила его с журналами системы управления идентификацией Block и выявила гораздо более широкий круг проблем. «Одно рядовое оповещение с конечного устройства привело к пресечению целой кампании атак. Ни один инструмент по отдельности не выявляет эту связь. Сигнал виден лишь при сопоставлении журналов двух продуктов», — говорит Джеймс.

Ещё один пример пользы Daybreak — недавние учения по имитации атак. Модели дали несколько подсказок о внутренней системе, и примерно за два часа она выстроила полную цепочку атаки: SQL-инъекция, повышение привилегий, закрепление в системе, перечисление учётных данных и переход к другим системам. У специалиста по red teaming это обычно заняло бы несколько дней. На недавних учениях по имитации атак от подачи общего описания уязвимости до автоматически предложенного исправления прошло 18 минут.

Польза от поиска уязвимостей зависит от того, насколько хорошо вы умеете их устранять. Неттесхайм описывает процесс, который его команда применяет к каждой обнаруженной проблеме: найти её в коде, определить ответственного, а затем перейти к устранению. «Вы предлагаете исправление, подтверждаете возможность эксплуатации уязвимости, а затем проверяете, что устранили её. При этом человек направляет процесс и развёртывает изменения кода».

Агенты обладают техническими возможностями, но не знают специфики организации и причин, стоящих за прежними решениями. Этот контекст и стратегию задаёт человек — именно здесь подключается его команда, обеспечивая дополнительную проверку силами специалистов. По мере того как надёжность решений ИИ подтверждается на практике, говорит Неттесхайм, «мы будем постепенно повышать допустимый уровень риска, чтобы использовать его для более чувствительных систем».

• Менее часа на проверку предлагаемого изменения правила обнаружения на телеметрии за семь месяцев.

• 18 минут от подачи общего описания уязвимости до автоматически предложенного исправления на недавних учениях по имитации атак.

• Около 600 часов работы аналитиков в квартал высвобождено благодаря автоматизации разбора ложных срабатываний.

• Каждый квартал выполняется объём расследований, эквивалентный примерно 1 100 часам работы аналитика.

• Пропускная способность первичного анализа выросла на 50%.

• Объём сбора данных об угрозах и расследований вырос на 50%.

Только за счёт обнаружения угроз и реагирования на них удалось высвободить около 600 часов работы аналитиков в квартал, которые раньше уходили на разбор ложных срабатываний. Освободившееся время команда теперь уделяет более глубоким расследованиям и ответственному расширению автоматизации.

По мере того как атаки учащаются, а ИИ-модели совершенствуются, Неттесхайм видит возможность сократить число уязвимостей ещё на этапе их возникновения. Это позволит командам безопасности тратить меньше времени на исправления и больше — на профилактическую и стратегическую работу.

«OpenAI меняет баланс сил в пользу защитников, делая эти передовые возможности доступными всем», — говорит он. «Обычно такими возможностями располагали лишь крупнейшие технологические компании и государственные структуры. Но теперь все — в том числе операторы критической инфраструктуры, школы и малый бизнес — могут начать использовать эту технологию для защиты своих сетей».