Инцидентът с OpenAI и Hugging Face(отваря се в нов прозорец) е повратен момент за киберсигурността, защото показа как вероятно ще се развият възможностите на типичните извършители на кибератаки през следващите месеци. През последните няколко седмици разговарях с много организации и едно е ясно: те осъзнават, че трябва фундаментално да подобрят практиките си за киберсигурност с безпрецедентна скорост. В тази публикация ще споделя как защитаваме OpenAI, какви конкретни стъпки могат да предприемат другите организации още днес и защо сега е моментът за действие.
Моделите с ИИ, разработвани по целия свят, все по-често могат да автоматизират части от реални кибератаки. Така отдавнашни пропуски в сигурността – от грешки, скрити дълбоко скрити софтуер, написан от хора, до забравени разрешения – стават по-лесни за откриване и използване. Същите възможности на ИИ дават на защитниците нови начини да откриват и отстраняват тези слабости, но те трябва да действат още сега. Ако компаниите действат решително – включително като подобрят основните си практики и предоставят на екипите си свръхвъзможностите на ИИ – можем да направим интернет по-сигурен от всякога.
При инцидента с OpenAI и Hugging Face група агенти успя автономно да проникне не само в изследователската инфраструктура на OpenAI, но и в производствената инфраструктура на друга компания. За целта комбинира уязвимости – от неизвестни дотогава пропуски в сигурността до идентификационни данни за потребителски акаунти, изтекли в интернет. Става все по-ясно, че техническият дълг(отваря се в нов прозорец) на всяка компания прикрива значителни слабости и защитниците трябва да ги открият и отстранят преди нападателите.
За да дадем предимство на защитниците пред нападателите, в началото на тази година започнахме да предоставяме кибервъзможностите си само на доверени защитници. Оттогава различни компании пуснаха модели с отворени тегла, чиито кибервъзможности изостават само с няколко месеца от авангардните модели. Изглежда, че най-новият от тези модели ще бъде пуснат(отваря се в нов прозорец) в края на август и вероятно значително ще ускори развитието на заплахите.
Докато подпомаганите от ИИ нападатели скоро ще могат да откриват отдавна съществуващи слабости в много системи, ИИ ще улесни значително и защитниците при откриването, приоритизирането и отстраняването на същите слабости. Сигурността все още е игра на котка и мишка, но ИИ може да промени икономическата ѝ логика(отваря се в нов прозорец) по начин, който да даде съществено предимство на защитниците. Например започваме да обучаваме моделите си специално да пишат код със сигурност, надхвърляща човешките възможности. Нашите модели са изключително добри и в математическите доказателства, които могат да се прилагат за формална проверка на сигурността на софтуера – задача, която досега е била практически непостижима за хората.
След инцидента с OpenAI и Hugging Face помолих ChatGPT Work (с публично достъпния GPT‑5.6 Sol) да оцени сигурността на gregbrockman.com(отваря се в нов прозорец). Това е обикновен статичен сайт, хостван в AWS с Cloudflare като входна точка, затова предполагах, че няма да има голяма повърхност за атаки.
За около 15 минути той откри 13 проблема. Много от тях вероятно не могат да бъдат използвани самостоятелно, но можех да си представя как комбинирането им с други уязвимости може да доведе до сериозни последици. Не бях конфигурирал DNS записите си така, че да предотвратя фалшифицирането на имейли от мое име; сайтът ми използваше несигурна версия на jQuery; Cloudflare препращаше заявките към AWS по некриптирана HTTP връзка.
След това помолих ChatGPT Work да отстрани тези проблеми и той го направи за около час. Той отвори контролния панел на Cloudflare в браузъра ми и започна да извършва необходимите действия за правилното конфигуриране на DNS, TLS и разширените настройки за сигурност; премахна изцяло jQuery от сайта; мигрира сайта ми от AWS към Cloudflare Pages и започна поетапно внедряване на DMARC(отваря се в нов прозорец).
А това беше само личният ми уебсайт. Това е прост пример как съществуващите ни модели могат да действат като киберзащитник – да откриват множеството редки проблеми, за които човек не би имал време или достатъчно опит (много от настройките, които коригира, са ми донякъде познати, но не бих знаел веднага как да ги конфигурирам правилно), а след това да ги отстраняват чрез подходящо настроен план за внедряване.
Инцидентът с Hugging Face показа, че сме подценили реалните кибервъзможности на нашите модели с изкуствен интелект. Затова увеличаваме изискванията си за безопасност, което прави още по-неотложни текущите ни изследвания в тази област и работата ни по вътрешната сигурност.
Споделям малко повече за подхода ни към защитата на OpenAI в този момент с надеждата, че той ще бъде полезен и за други организации. За да защитим OpenAI, инвестираме значително както в базови мерки за контрол – правилното прилагане на основните принципи – така и в укрепването на защитата ни чрез авангарден изкуствен интелект. Тази стратегия има четири основни стълба.
Първо, използваме нашите модели, за да защитаваме кода си. Codex, включително нашият плъгин за сигурност, валидира промените в кода, открива уязвимости и помага на разработчиците да отстраняват проблеми преди внедряването. Не целим просто да генерираме повече констатации за сигурността, които да изискват проверка от човек. Целта е да откриваме реалните уязвимости преди да бъдат допуснати до внедряване и да съкращаваме пътя от откриването на проблем до безопасното внедряване на корекция. Докато продължаваме да обучаваме моделите си да създават все по-сигурен код, целта ни е да премахнем някои класове уязвимости в софтуера при новосъздаден код.
Второ, използваме моделите си за непрекъсната защита на нашата инфраструктура. Днес почти всички първоначални предупреждения за сигурност се сортират от изкуствен интелект, преди да бъдат включени хора. Това намалява рутинната работа за защитниците, ускорява реакцията и им позволява да насочат уменията си там, където са най-ценни – към преценката, вземането на решения и прилагането на експертни знания. Все по-често свързваме тези механизми за откриване с ограничени автоматизирани реакции, като хората остават отговорни за решенията с най-голямо въздействие. Целта е да гарантираме, че можем да откриваме и да реагираме на проблеми със сигурността с скоростта на машина.
Трето, използваме авангарден изкуствен интелект за непрекъснато картографиране, проучване и идентифициране на потенциални пътища за атака. Като откриваме уязвимости, неправилни конфигурации, прекомерно привилегировани идентичности и непреднамерени граници на доверие, можем бързо да установяваме и отстраняваме тези пропуски, преди нападателите да се възползват от тях. Това ни позволява непрекъснато да оценяваме, наблюдаваме и проверяваме неизменните си изисквания за сигурност – свойствата на сигурността, за които смятаме, че са изпълнени – във всички наши продукти, инфраструктура и системи.
И накрая, инвестираме значително в прилагането на основните принципи в голям мащаб. Продължаваме да инвестираме в сигурна архитектура и механизми за контрол, следваме стратегии като многостепенна защита и минимални привилегии и проектираме системи, при които възникването на катастрофален инцидент е възможно само ако няколко независими механизма откажат едновременно. Класическите механизми за сигурност, като изолиране на мрежата, укрепване на работните натоварвания, наблюдение и безопасно прилагане и внедряване на корекции, ще бъдат по-важни от всякога в бъдещето с ИИ.
Времето е от решаващо значение и защитниците трябва да изпълнят стъпките по-долу с изключителна бързина. По-долу ще спомена технологии на OpenAI, но в екосистемата има и много конкурентни решения, които си струва да бъдат оценени. Конкретният инструмент не е толкова важен, колкото това още сега да предоставите мощен ИИ на своите защитници.
- Осигурете ангажираност и подкрепа на организационно ниво. Рискът за сигурността се променя бързо – уверете се, че екипите ви по сигурността и инженерните екипи разполагат с необходимата подкрепа, партньорство и ресурси, за да се справят бързо с тези рискове. Провеждайте симулационни упражнения с екипите си, за да пресъздадете как подобни атаки биха могли да протекат във Вашите организации и как бихте реагирали.
- Осигурете агент на екипа си по сигурността. Започнете да използвате Codex, плъгина Codex Security(отваря се в нов прозорец) или друг способен агентен инструмент за програмиране и сигурност. Осигурете му одобрен достъп до кодовите бази, конфигурациите на инфраструктурата и техническата документация, които екипът ви по сигурността трябва да оценява. Не чакайте внедряването в цялата компания, за да започнете работа с най-приоритетните си системи.
- Осигурете на този агент експертни познания в областта на сигурността. Започнете с поддържани от общността умения(отваря се в нов прозорец), които включват работни процеси за статичен анализ, преглед на кода с фокус върху сигурността, анализ на варианти на уязвимости, рискове във веригата за доставка на софтуер и други работни процеси, свързани със сигурността. След това създайте собствени умения, съобразени с архитектурата, стандартите за сигурност, моделите на заплахи и процедурите на Вашата организация.
- Незабавно извършете оценки на сигурността на собствените си системи. Първо приоритизирайте оценките на достъпните от интернет услуги, процесите за удостоверяване, инфраструктурата като код, каналите за внедряване и системите, които обработват чувствителна информация. Разширявайте обхвата на сканирането с нарастването на увереността на екипа.
- Обработете натрупаните уязвимости. Предоставете на агента констатациите от скенери за код, предупреждения за зависимости, заявки за сигурност, доклади от програми за откриване на бъгове срещу възнаграждение и предишни оценки. Поискайте от него да сортира констатациите, да разграничи експлоатируемите проблеми от несъществените сигнали, да открие свързани уязвимости на други места в кодовата база и да препоръча кои корекции са най-неотложни.
- Включете прегледа на сигурността директно в процеса на разработване. Използвайте агенти, за да преглеждат промените в кода преди сливането им и да извършват проверки за сигурност в CI. Търсете грешки при удостоверяването, заобикаляне на контрола на достъпа, разкрити идентификационни данни, опасни зависимости и несигурни настройки по подразбиране, промени, разширяващи достъпа до производствени системи, както и други уязвимости.
- Нека агентът помогне да отстраните откритите проблеми. За потвърдени проблеми го помолете да създаде и провери целева корекция, да напише регресионен тест и да потвърди, че уязвимостта вече не може да бъде възпроизведена Запазете човешкия преглед за промените със сериозни последици, но премахнете ненужното забавяне между откриването на реален проблем и предоставянето на безопасна корекция на инженер за преглед.
- Автоматизирайте поетапно сортирането на откритите заплахи. Не започвайте с опит да изградите автономен център за операции по сигурността. Започнете със сканиране за сигурност само за четене на едно хранилище или възложете на агент да прегледа вече разрешени предупреждения с достъп само за четене до съществуващите регистрационни файлове. Нека той обобщава доказателствата и препоръчва решение, докато всяко окончателно решение се взема от човек. С нарастването на увереността преминете към консултативно сканиране на pull заявки, след това към сортиране на предупреждения в реално време и накрая към автоматично затваряне на тясно определени фалшиви положителни резултати.
- Подгответе възможност за съдебно-технически анализ с помощта на ИИ, преди да Ви потрябва. Кандидатствайте за Trusted Access for Cyber(отваря се в нов прозорец) и получете одобрение екипът ви да използва GPT‑Daybreak‑Blue за разрешени защитни дейности, включително реакция при инциденти, разработване на механизми за откриване и анализ на зловреден софтуер. Упражнявайте се да използвате тази възможност за анализ на регистрационни файлове, телеметрични данни и предупреждения за сигурност.
- Експериментирайте, организирайте хакатон седмици и усъвършенствайте бързо. Ще трябва да създадем всякакви нови инструменти, да променим начина си на работа и да повишим уменията на всички за света, към който се движим. Насърчавайте служителите си да експериментират, планирайте хакатон седмица за изграждане на нови възможности и се съсредоточете върху бързото усъвършенстване на цикли, които автоматизират малки части от проблема. Бързият постепенен напредък води до натрупващи се защитни резултати, а с нарастването на увереността на екипа можете постепенно да разширявате автономността.
Няма компания, която може да се справи с това сама. Призоваваме лабораториите за ИИ, доставчиците на решения за сигурност, предприятията и отговорниците за поддръжката да споделят потвърдени констатации, корекции и практически процедури, така че откритията на една организация да укрепват цялата екосистема.
Прозорецът на защитниците е отворен сега. През следващите месеци всяка организация ще трябва да започне да автоматизира значително програмата си за сигурност, за да остане защитена. Същевременно общността по сигурността трябва спешно да се мобилизира, за да определи инструментите, практиките и процедурите, които с напредването на ИИ ще увеличават възможностите на защитниците по-бързо от тези на нападателите. Това ще изисква огромни и безпрецедентни усилия, но ако обединим силите си, можем да изградим по-сигурен свят, отколкото досега сме смятали за възможен.
