Інцидент OpenAI та Hugging Face(відкривається у новому вікні) став переломним моментом для кібербезпеки, адже дав змогу зазирнути в те, як у найближчі місяці розвиватимуться можливості типового суб’єкта загроз. За останні кілька тижнів я спілкувався з багатьма організаціями, і всі вони усвідомлюють одне: їм потрібно з безпрецедентною швидкістю докорінно вдосконалити свої практики кібербезпеки. У цій публікації я розповім, як ми захищаємо OpenAI, які конкретні кроки інші організації можуть зробити вже сьогодні та чому діяти потрібно саме зараз.
Моделі ШІ, розроблені в різних країнах світу, дедалі краще автоматизують окремі етапи реальних кібератак. Через це давні прогалини в безпеці — від помилок, глибоко прихованих у написаному людьми коді, до забутих дозволів — стає легше знаходити й використовувати. Ті самі можливості ШІ дають захисникам нові способи знаходити й усувати ці слабкі місця, але діяти потрібно вже зараз. Якщо компанії діятимуть рішуче — зокрема зміцнюватимуть базові засади й посилюватимуть свої команди за допомогою ШІ, — ми зможемо зробити інтернет безпечнішим, ніж будь-коли.
Під час інциденту OpenAI та Hugging Face група автономних агентів змогла самостійно проникнути не лише в дослідницьку інфраструктуру OpenAI, а й у виробничу інфраструктуру іншої компанії. Для цього вона поєднала низку вразливостей: від раніше невідомих недоліків безпеки до використання облікових даних користувачів, що потрапили у відкритий доступ. Стає дедалі очевидніше, що технічний борг(відкривається у новому вікні) кожної компанії приховує суттєві недоліки, тож захисники мають знайти й усунути їх раніше за зловмисників.
Щоб дати захисникам перевагу над зловмисниками, на початку цього року ми почали надавати наші кіберможливості лише довіреним захисникам. Відтоді різні компанії випустили моделі з відкритими вагами, чиї кіберможливості відстають від передових лише на кілька місяців. Найновішу з цих моделей, схоже, планують випустити(відкривається у новому вікні) наприкінці серпня, і вона, імовірно, суттєво прискорить розвиток ландшафту загроз.
Невдовзі зловмисники, озброєні ШІ, зможуть знаходити давні вади в багатьох наявних системах. Водночас ШІ значно полегшить захисникам пошук, визначення пріоритетності та усунення тих самих вад. Безпека досі залишається грою в кота й мишу, але ШІ може докорінно змінити її економіку(відкривається у новому вікні) на користь захисників. Наприклад, ми починаємо спеціально навчати наші моделі писати код із надлюдським рівнем безпеки. Наші моделі також надзвичайно вправні в математичних доведеннях. Це можна застосувати для формальної перевірки безпеки програмного забезпечення — завдання, яке виявилося практично непосильним для людей.
Після інциденту OpenAI та Hugging Face я попросив ChatGPT Робота (з використанням загальнодоступної GPT‑5.6 Sol) оцінити безпеку сайту gregbrockman.com(відкривається у новому вікні). Це простий статичний сайт, розміщений на AWS із Cloudflare як вхідним шлюзом, тож я вважав, що потенційна поверхня для вразливостей буде невеликою.
Приблизно за 15 хвилин система виявила 13 проблем. Багато з них, імовірно, не можна використати окремо, але в поєднанні з іншими вразливостями вони могли б мати серйозні наслідки. Я не налаштував записи DNS так, щоб зловмисники не могли підробляти електронні листи від мого імені; сайт використовував небезпечну версію jQuery; Cloudflare пересилав запити до AWS через незашифрований HTTP.
Потім я попросив ChatGPT Робота усунути ці проблеми, і система впоралася з цим за годину. Система відкрила панель керування Cloudflare у моєму браузері й, натискаючи потрібні кнопки, правильно налаштувала DNS, TLS і розширені параметри безпеки; повністю видалила jQuery із сайту; перенесла сайт з AWS на Cloudflare Pages; розпочала поетапне впровадження DMARC(відкривається у новому вікні).
І це був лише мій особистий сайт. Це невеликий приклад того, як наші наявні моделі можуть діяти як кіберзахисники: знаходити численні малопомітні проблеми, на які людині забракло б часу чи фахових знань (чимало виправлених параметрів були мені побіжно знайомі, але я не знав, як саме їх правильно налаштувати), а потім усувати їх за допомогою належно спланованого поетапного впровадження.
Інцидент із Hugging Face показав, що ми недооцінили реальні кіберможливості наших моделей ШІ. Тому ми посилюємо вимоги до безпеки, що робить наші поточні дослідження безпеки та внутрішню роботу із захисту ще нагальнішими.
Я хочу стисло розповісти про наш нинішній підхід до захисту OpenAI, сподіваючись, що він стане в пригоді іншим організаціям. Щоб захистити OpenAI, ми вкладаємо значні ресурси як у фундаментальні засоби контролю — правильне виконання базових завдань, — так і в посилення нашого захисту за допомогою передового ШІ. Ця стратегія спирається на чотири основні засади.
По-перше, ми використовуємо наші моделі, щоб підвищувати безпеку нашого коду. Codex, зокрема наш плагін безпеки, перевіряє зміни в коді, виявляє вразливості й допомагає розробникам усувати проблеми до розгортання. Ми не прагнемо просто створювати більше звітів про проблеми безпеки, які потребують перевірки людиною. Наша мета — виявляти реальні вразливості до випуску й скорочувати шлях від виявлення проблеми до безпечного розгортання виправлення. Продовжуючи навчати наші моделі створювати дедалі безпечніший код, ми прагнемо усунути деякі класи програмних вразливостей у новому коді.
По-друге, ми залучаємо наші моделі до безперервного захисту інфраструктури. Сьогодні майже всі наші первинні сповіщення про загрози спершу аналізує ШІ, а вже потім до роботи долучаються люди. Це зменшує обсяг рутинної роботи захисників, пришвидшує реагування й дає людям змогу зосередитися на тому, де їхні навички найцінніші: розпізнаванні нюансів, зважених рішеннях і застосуванні фахових знань. Ми дедалі частіше пов’язуємо ці виявлення з обмеженими автоматизованими заходами реагування, залишаючи за людьми відповідальність за рішення з найбільшими наслідками. Мета — забезпечити виявлення проблем безпеки й реагування на них із машинною швидкістю.
По-третє, ми використовуємо передовий ШІ, щоб безперервно виявляти, перевіряти й аналізувати потенційні шляхи атак. Виявляючи вразливості, помилки конфігурації, облікові записи з надмірними привілеями або ненавмисні межі довіри, ми можемо швидко знаходити й усувати ці прогалини, перш ніж ними скористаються зловмисники. Це дає нам змогу безперервно оцінювати, відстежувати й перевіряти інваріанти безпеки — властивості безпеки, які ми вважаємо чинними, — у наших продуктах, інфраструктурі та системах.
І нарешті, ми вкладаємо значні ресурси в масштабування базових засад. Ми й надалі інвестуємо в безпечну архітектуру та засоби контролю, застосовуємо такі стратегії, як багаторівневий захист і принцип найменших привілеїв, а також проєктуємо системи так, щоб катастрофічна подія могла статися лише за одночасної відмови кількох незалежних засобів контролю. У майбутньому з ШІ класичні засоби безпеки — ізоляція мережі, посилення захисту робочих навантажень, моніторинг, безпечне встановлення виправлень і розгортання — будуть важливішими, ніж будь-коли.
Час має вирішальне значення, тому захисникам потрібно виконувати наведені нижче кроки надзвичайно швидко. Нижче я згадаю технології OpenAI, але в цій екосистемі є чимало конкурентних рішень, які також варто оцінити. Важливий не так конкретний інструмент, як те, щоб уже зараз надати вашим захисникам потужний ШІ.
- Забезпечте відданість і підтримку всієї організації. Ризики безпеки стрімко змінюються. Подбайте, щоб ваші команди безпеки й розробки мали підтримку, партнерство та ресурси для швидкого реагування на ці ризики. Проводьте з командами штабні навчання, моделюючи, як такі атаки можуть проявитися у ваших організаціях і як ви на них реагуватимете.
- Надайте своїй команді безпеки агента. Почніть використовувати Codex, плагін Codex Security(відкривається у новому вікні) або інший потужний інструмент для автономної розробки коду й безпеки. Надайте йому схвалений доступ до кодових баз, конфігурацій інфраструктури й технічної документації, які має оцінити ваша команда безпеки. Не чекайте на впровадження в усій компанії — почніть із найпріоритетніших систем.
- Наділіть цього агента фаховими знаннями з безпеки. Почніть із підтримуваних спільнотою навичок(відкривається у новому вікні), що охоплюють робочі процеси статичного аналізу, перевірки коду з погляду безпеки, аналізу варіантів вразливостей, ризиків ланцюга постачання програмного забезпечення та інших завдань із безпеки. Потім створіть власні навички з урахуванням архітектури організації, стандартів безпеки, моделей загроз і планів реагування.
- Негайно проведіть оцінювання безпеки власних систем. Насамперед оцініть доступні з інтернету сервіси, процеси автентифікації, інфраструктуру як код, конвеєри розгортання та системи, що обробляють конфіденційну інформацію. Розширюйте охоплення сканування в міру того, як команда набуватиме впевненості.
- Опрацюйте накопичені вразливості. Передайте агенту результати сканерів коду, сповіщення про залежності, заявки щодо безпеки, звіти програм винагород за помилки й результати попередніх оцінювань. Попросіть його проаналізувати ці результати, відокремити придатні до використання вразливості від шуму, знайти пов’язані вразливості в інших частинах кодової бази та порадити, що виправляти насамперед.
- Вбудуйте перевірку безпеки безпосередньо в процес розробки. Залучайте агентів до перевірки змін у коді перед злиттям і запускайте перевірки безпеки в CI. Шукайте помилки автентифікації, способи обійти контроль доступу, розкриті облікові дані, небезпечні залежності, незахищені стандартні налаштування, зміни, що розширюють доступ до виробничих систем, та інші вразливості.
- Доручіть агенту допомагати виправляти знайдені проблеми. Для підтверджених проблем попросіть його створити й перевірити цільове виправлення, написати регресійний тест і підтвердити, що вразливість більше не відтворюється. Зберігайте перевірку людиною для змін із суттєвими наслідками, але усуньте зайву затримку між виявленням реальної проблеми й передаванням інженеру безпечного виправлення.
- Поетапно автоматизуйте аналіз виявлених загроз. Не починайте зі спроби створити автономний центр операцій безпеки. Спочатку запустіть сканування безпеки одного репозиторію в режимі лише для читання або доручіть агенту перевірити раніше закриті сповіщення, надавши йому доступ лише для читання до наявних журналів. Нехай він узагальнює докази й рекомендує рішення, тоді як кожне рішення ухвалюватиме людина. У міру зростання довіри перейдіть до рекомендаційного сканування запитів на злиття, потім — до аналізу сповіщень у реальному часі, а згодом — до автоматичного закриття чітко визначених хибнопозитивних результатів.
- Заздалегідь підготуйте можливості криміналістичного розслідування за допомогою ШІ. Подайте заявку на довірений доступ для кібербезпеки(відкривається у новому вікні) й отримайте для команди дозвіл використовувати GPT‑Daybreak‑Blue для авторизованих захисних робіт, зокрема реагування на інциденти, розробки засобів виявлення та аналізу шкідливого програмного забезпечення. Тренуйтеся використовувати ці можливості для аналізу журналів, телеметрії та сповіщень про загрози.
- Експериментуйте, проводьте тижні хакатонів і швидко вдосконалюйте рішення. Для світу, до якого ми прямуємо, доведеться створити безліч нових інструментів, змінити підходи до роботи й підвищити рівень навичок кожного. Заохочуйте працівників експериментувати, заплануйте тиждень хакатону для створення нових можливостей і зосередьтеся на швидкому вдосконаленні циклів, що автоматизують невеликі частини проблеми. Швидкий поступ малими кроками примножує результати захисту, а в міру зростання впевненості команди ви зможете поступово розширювати автономність.
Жодна компанія не впорається із цим самотужки. Ми закликаємо лабораторії ШІ, постачальників рішень безпеки, підприємства й супровідників проєктів ділитися підтвердженими результатами, виправленнями та практичними планами дій, щоб відкриття однієї організації могло зміцнити всю екосистему.
Вікно можливостей для захисників відкрите саме зараз. У найближчі місяці кожній організації доведеться суттєво автоматизувати свою програму безпеки, щоб залишатися захищеною. Водночас спільнота фахівців із безпеки має невідкладно визначити інструменти, практики й плани дій, які в міру розвитку ШІ посилюватимуть захисників швидше, ніж зловмисників. Це потребуватиме величезних і безпрецедентних зусиль, але, об’єднавшись, ми зможемо створити безпечніший світ, ніж раніше можна було уявити.
