Incydent OpenAI-Hugging Face(otwiera nowe okno) był punktem zwrotnym dla cyberbezpieczeństwa, ponieważ pokazał, jak w nadchodzących miesiącach będą rozwijać się możliwości typowego cyberprzestępcy. W ostatnich tygodniach rozmawiałem z przedstawicielami wielu organizacji i jeden wniosek jest oczywisty: wiedzą, że muszą w bezprecedensowym tempie gruntownie podnieść poziom swoich praktyk w zakresie cyberbezpieczeństwa. W tym wpisie zaprezentuję, jak chronimy OpenAI, jakie konkretne działania mogą już dziś podjąć inne organizacje oraz dlaczego trzeba działać właśnie teraz.
Modele AI opracowywane na całym świecie coraz lepiej automatyzują elementy rzeczywistych cyberataków, przez co łatwiej znaleźć i wykorzystać istniejące od dawna luki — od błędów głęboko ukrytych w kodzie napisanym przez ludzi po zapomniane uprawnienia. Te same możliwości AI dają obrońcom nowe sposoby wykrywania i usuwania słabości, ale muszą oni działać już teraz. Jeśli firmy podejmą zdecydowane działania — między innymi wzmocnią fundamenty bezpieczeństwa i zwielokrotnią możliwości zespołów dzięki AI — możemy uczynić internet bezpieczniejszym niż kiedykolwiek.
Podczas incydentu OpenAI–Hugging Face kolektyw agentowy zdołał autonomicznie przeniknąć nie tylko do infrastruktury badawczej OpenAI, lecz także do infrastruktury produkcyjnej innej firmy. Połączył przy tym wiele luk — od nieznanych wcześniej błędów bezpieczeństwa po użycie danych logowania do kont użytkowników, które wyciekły do internetu. Coraz wyraźniej widać, że dług technologiczny(otwiera nowe okno) każdej firmy skrywa poważne słabości, które obrońcy muszą znaleźć i usunąć, zanim zrobią to hakerzy.
Aby zapewnić obrońcom przewagę względem atakujących, na początku tego roku zaczęliśmy udostępniać nasze możliwości cybernetyczne wyłącznie zaufanym obrońcom. Od tego czasu różne firmy udostępniły modele z otwartymi wagami i możliwościami cybernetycznymi, które dzieliły od pionierskich rozwiązań zaledwie miesiące. Najnowszy z tych modeli najwyraźniej ma zostać udostępniony(otwiera nowe okno) pod koniec sierpnia i prawdopodobnie znacznie przyspieszy rozwój zagrożeń.
Choć hakerzy wspierani przez AI będą wkrótce mogli wykrywać istniejące od dawna luki w wielu systemach, AI znacznie ułatwi także obrońcom znajdowanie, priorytetyzowanie i usuwanie tych samych problemów. Bezpieczeństwo nadal jest grą w kotka i myszkę, ale AI może zmienić jej zasady(otwiera nowe okno) w sposób, który zasadniczo daje przewagę obrońcom. Zaczynamy na przykład specjalnie uczyć nasze modele pisania kodu bezpieczniejszego, niż byłby w stanie stworzyć człowiek. Nasze modele świetnie radzą sobie również z dowodami matematycznymi, co można wykorzystać do formalnej weryfikacji bezpieczeństwa oprogramowania — zadania, które dotąd okazywało się zbyt trudne dla ludzi.
Po incydencie OpenAI–Hugging Face poprosiłem ChatGPT Work (korzystający z publicznie dostępnego GPT‑5.6 Sol) o ocenę bezpieczeństwa witryny gregbrockman.com(otwiera nowe okno). To prosta witryna statyczna hostowana w AWS, z Cloudflare jako punktem wejścia, więc zakładałem, że potencjalna powierzchnia ataku będzie niewielka.
W ciągu około 15 minut wykrył 13 problemów. Wielu z nich prawdopodobnie nie da się wykorzystać osobno, ale w połączeniu z innymi lukami sytuacja mogłaby stać się poważna. Nie skonfigurowałem rekordów DNS tak, by uniemożliwić hakerom podszywanie się pode mnie w wiadomościach e-mail; moja witryna używała niezabezpieczonej wersji jQuery; Cloudflare przekazywał żądania do AWS przez nieszyfrowany protokół HTTP.
Następnie poprosiłem ChatGPT Work o usunięcie tych problemów, co zajęło mu godzinę. Otworzył w mojej przeglądarce panel sterowania Cloudflare i klikając kolejne przyciski, prawidłowo skonfigurował DNS, TLS oraz zaawansowane ustawienia zabezpieczeń; całkowicie usunął jQuery z witryny; przeniósł ją z AWS do Cloudflare Pages; rozpoczął etapowe wdrażanie DMARC(otwiera nowe okno).
A była to tylko moja prywatna strona. To niewielki przykład tego, jak nasze obecne modele mogą działać w roli cyberstrażnika: wykrywać cały szereg problemów, którymi człowiek nie miałby czasu lub kompetencji się zająć (wiele poprawionych ustawień znałem pobieżnie, ale nie wiedziałbym od ręki, jak je właściwie skonfigurować), a następnie usuwać je zgodnie z odpowiednio dostosowanym planem wdrożenia.
Incydent związany z Hugging Face pokazał, że nie doceniliśmy rzeczywistych możliwości cybernetycznych naszych modeli AI. Dlatego zaostrzamy wymagania dotyczące bezpieczeństwa, co dodatkowo zwiększa pilność prowadzonych już badań nad bezpieczeństwem i prac nad ochroną wewnętrzną.
Opisuję tu pokrótce nasze obecne podejście do zabezpieczania OpenAI, licząc, że okaże się przydatne dla innych organizacji. Aby chronić OpenAI, intensywnie inwestujemy zarówno w podstawowe mechanizmy kontroli — czyli prawidłowe wykonywanie fundamentalnych działań — jak i we wzmacnianie obrony za pomocą pionierskiej sztucznej inteligencji. Strategia ta opiera się na czterech głównych filarach.
Po pierwsze, wykorzystujemy nasze modele do zabezpieczania własnego kodu. Codex, w tym nasza wtyczka zabezpieczeń, weryfikuje zmiany w kodzie, wykrywa luki i pomaga deweloperom usuwać problemy przed wdrożeniem. Nie chodzi o to, by generować więcej zgłoszeń wymagających weryfikacji przez człowieka. Celem jest wykrywanie rzeczywistych luk przed wdrożeniem oraz skrócenie drogi od odkrycia problemu do bezpiecznego wdrożenia poprawki. W miarę jak dalej uczymy nasze modele tworzenia coraz bezpieczniejszego kodu, chcemy wyeliminować niektóre klasy luk w nowo tworzonym oprogramowaniu.
Po drugie, wykorzystujemy nasze modele do ciągłej ochrony infrastruktury. Obecnie niemal wszystkie wstępne alerty bezpieczeństwa są weryfikowane przez AI, zanim zajmą się nimi ludzie. Zmniejsza to obciążenie obrońców, skraca czas reakcji i pozwala ludziom skupić się na zadaniach, w przypadku których ich umiejętności zapewniają najwięcej korzyści — na rozeznaniu, ocenie sytuacji i praktycznym wykorzystaniu wiedzy specjalistycznej. Coraz częściej łączymy wykrywanie zagrożeń z ograniczonymi reakcjami automatycznymi, pozostawiając ludziom odpowiedzialność za decyzje o największych konsekwencjach. Chcemy wykrywać problemy z bezpieczeństwem i reagować na nie z szybkością maszyn.
Po trzecie, wykorzystujemy pionierską sztuczną inteligencję do ciągłego katalogowania, badania i identyfikowania potencjalnych ścieżek ataku. Wykrywając luki, błędne konfiguracje, tożsamości z nadmiernymi uprawnieniami i niezamierzone granice zaufania, możemy szybko identyfikować i usuwać te słabości, zanim wykorzystają je hakerzy. Umożliwia nam to nieustanne ocenianie, monitorowanie i testowanie naszych zasad bezpieczeństwa — właściwości, które uznajemy za prawdziwe — we wszystkich naszych produktach, infrastrukturze i systemach.
Ponadto to intensywnie inwestujemy w fundamenty bezpieczeństwa na dużą skalę. Nadal inwestujemy w bezpieczną architekturę i mechanizmy zabezpieczeń, stosujemy strategie takie jak obrona wielowarstwowa i zasada najmniejszych uprawnień oraz projektujemy systemy w taki sposób, aby do wystąpienia katastrofalnego zdarzenia konieczna była jednoczesna awaria wielu niezależnych mechanizmów zabezpieczeń. Klasyczne mechanizmy kontroli bezpieczeństwa, takie jak izolacja sieci, wzmacnianie obciążeń roboczych, monitorowanie oraz bezpieczne instalowanie poprawek i wdrażanie, będą w przyszłości sztucznej inteligencji ważniejsze niż kiedykolwiek.
Czas ma kluczowe znaczenie, a obrońcy będą musieli wykonać poniższe działania jak najszybciej. Poniżej wspomnę o technologiach OpenAI, ale warto też ocenić wiele konkurencyjnych rozwiązań dostępnych w tym ekosystemie. Mniej liczy się konkretne narzędzie, a bardziej to, by już teraz udostępnić obrońcom skuteczną AI.
- Zdobądź poparcie i zaangażowanie całej organizacji. Ryzyko związane z bezpieczeństwem szybko się zmienia — zadbaj o to, by zespoły ds. bezpieczeństwa i inżynierii otrzymały wsparcie, współpracę i zasoby potrzebne do szybkiego reagowania na te zagrożenia. Przeprowadź z zespołami ćwiczenia symulacyjne, aby sprawdzić, jak takie ataki mogą wyglądać w Twojej organizacji i jak na nie zareagujecie.
- Wyposaż zespół bezpieczeństwa w agenta. Zacznij korzystać z Codex, wtyczki Codex Security(otwiera nowe okno) albo innego skutecznego narzędzia do kodowania agentowego i zabezpieczeń. Przyznaj mu zatwierdzony dostęp do baz kodu, konfiguracji infrastruktury i dokumentacji technicznej, które zespół bezpieczeństwa musi ocenić. Nie czekaj na wdrożenie w całej firmie — zacznij od systemów o najwyższym priorytecie. Nie czekaj na wdrożenie w całej firmie — zacznij od systemów o najwyższym priorytecie.
- Wyposaż agenta w wiedzę specjalistyczną z zakresu bezpieczeństwa. Zacznij od wspieranych przez społeczność umiejętności(otwiera nowe okno), obejmujących procedury dotyczące analizy statycznej, przeglądu kodu pod kątem bezpieczeństwa, analizy wariantów luk, ryzyka w łańcuchu dostaw oprogramowania i innych działań związanych z bezpieczeństwem. Następnie opracuj własne umiejętności dostosowane do architektury, standardów bezpieczeństwa, modeli zagrożeń i procedur obowiązujących w organizacji.
- Natychmiast przeprowadź ocenę bezpieczeństwa własnych systemów. Najpierw oceń usługi dostępne przez internet, procesy uwierzytelniania, infrastrukturę jako kod, potoki wdrożeniowe i systemy przetwarzające informacje poufne. Rozszerzaj zakres skanowania wraz ze wzrostem pewności zespołu.
- Uporządkuj istniejącą listę zaległych luk. Przekaż agentowi wyniki skanowania kodu, alerty dotyczące zależności, zgłoszenia bezpieczeństwa, raporty z programów bug bounty oraz wcześniejsze oceny. Poproś go o weryfikację tych ustaleń, odróżnienie problemów możliwych do wykorzystania od szumu, wskazanie powiązanych luk w innych częściach bazy kodu oraz ustalenie kolejności poprawek.
- Włącz weryfikację bezpieczeństwa bezpośrednio do procesu programistycznego. Używaj agentów do sprawdzania zmian w kodzie przed scaleniem i przeprowadzaj kontrole bezpieczeństwa w CI. Szukaj błędów uwierzytelniania, możliwości obejścia kontroli dostępu, ujawnionych danych logowania, niebezpiecznych zależności, niezabezpieczonych ustawień domyślnych, zmian rozszerzających dostęp do systemów produkcyjnych oraz innych luk.
- Niech agent pomoże usuwać wykryte problemy. W przypadku potwierdzonych problemów poproś go o wygenerowanie i zweryfikowanie precyzyjnej poprawki, napisanie testu regresji oraz potwierdzenie, że luki nie da się już odtworzyć. Zapewnij udział człowieka w przeglądzie istotnych zmian, ale wyeliminuj zbędne opóźnienia między wykryciem rzeczywistego problemu a przekazaniem inżynierowi bezpiecznej poprawki.
- Stopniowo automatyzuj weryfikację wykrytych zagrożeń. Nie zaczynaj od budowy autonomicznego centrum operacji bezpieczeństwa. Najpierw uruchom skanowanie jednego repozytorium w trybie tylko do odczytu albo zleć agentowi przegląd wcześniej rozwiązanych alertów, zapewniając mu wyłącznie dostęp do odczytu istniejących dzienników. Niech podsumowuje dowody i zaleca sposób rozstrzygnięcia, podczas gdy wszystkie decyzje podejmuje człowiek. Wraz ze wzrostem zaufania przejdź do doradczego skanowania pull requestów, następnie do bieżącej weryfikacji alertów, a potem do automatycznego zamykania ściśle określonych fałszywych alarmów.
- Przygotuj możliwości prowadzenia dochodzeń z zakresu informatyki śledczej z pomocą AI, zanim będą potrzebne. Złóż wniosek o Trusted Access for Cyber(otwiera nowe okno) i uzyskaj zgodę na korzystanie przez zespół z GPT‑Daybreak‑Blue do autoryzowanych działań obronnych, w tym reagowania na incydenty, projektowania detekcji i analizy złośliwego oprogramowania. Ćwicz wykorzystywanie tych możliwości do analizy dzienników, telemetrii i alertów bezpieczeństwa.
- Eksperymentuj, organizuj tygodnie hakerskie i szybko udoskonalaj rozwiązania. Musimy tworzyć wszelkiego rodzaju nowe narzędzia, zmieniać sposób pracy i podnosić kompetencje wszystkich osób z myślą o świecie, do którego zmierzamy. Zachęcaj pracowników do eksperymentowania, zaplanuj tydzień hakerski poświęcony budowie nowych możliwości i skup się na szybkim doskonaleniu cykli automatyzujących niewielkie elementy problemu. Szybkie, stopniowe postępy przekładają się na rosnące korzyści dla obrony, a wraz ze wzrostem pewności zespołu można stopniowo rozszerzać autonomię.
Żadna firma nie może zrobić tego sama. Apelujemy, by laboratoria AI, dostawcy zabezpieczeń, przedsiębiorstwa i opiekunowie projektów udostępniali potwierdzone ustalenia, poprawki i praktyczne procedury, tak aby odkrycie jednej organizacji mogło wzmocnić cały ekosystem.
Okno możliwości dla obrońców jest otwarte właśnie teraz. W nadchodzących miesiącach każda organizacja będzie musiała zacząć w znacznym stopniu automatyzować swój program bezpieczeństwa, aby zachować ochronę. Społeczność zajmująca się bezpieczeństwem musi pilnie opracować narzędzia, praktyki i procedury, które w miarę rozwoju AI będą wzmacniać obrońców szybciej niż hakerów. Będzie to wymagało ogromnego, bezprecedensowego wysiłku, ale jeśli połączymy siły, możemy stworzyć świat bezpieczniejszy, niż dotąd wydawało się to możliwe.
