Jak Block wzmacnia bezpieczeństwo dzięki technologii AI od OpenAI

W Block, firmie stojącej za Square, Cash App i Afterpay, zespół ds. bezpieczeństwa korzysta z OpenAI Defense Factory. AI zajmuje się tam odkrywaniem podatności, wykrywaniem zagrożeń i reagowaniem na nie w skali przekraczającej możliwości jakiegokolwiek zespołu ludzi. Dzięki systemom AI, w tym OpenAI Daybreak, Block wykonuje w zaledwie kilka godzin pracę, która wcześniej zajmowała tygodnie.

Zespół ds. bezpieczeństwa Block stawia na odpowiedzialne wdrażanie AI w różnych procesach — od generowania kodu po działania związane z bezpieczeństwem. „Chodzi przede wszystkim o nowego członka zespołu, z którym można zwiększać skalę działania” — mówi James Nettesheim, dyrektor ds. bezpieczeństwa informacji. „To nie jest tradycyjna automatyzacja, w której trzeba było określać wszystko krok po kroku. Można opisać w poleceniu dość nietypowy, niejednoznaczny problem i wspólnie dojść do rozwiązania”.

Zadania takie jak sprawdzenie błędu w oprogramowaniu czy analiza logu zajmowały dni lub tygodnie. Teraz zespół wykonuje je w ułamku tego czasu, a każdy wynik nadal weryfikuje człowiek.

Na przykład przy dostrajaniu detekcji zespół korzysta z surowych wyników zapytań zapisywanych podczas każdej analizy. Dzięki temu może w niecałą godzinę przetestować proponowaną zmianę w detekcji na danych telemetrycznych z siedmiu miesięcy działania środowiska produkcyjnego. Wcześniej wymagało to ręcznego ponownego wykonywania zapytań dla setek dawnych przypadków. Było to tak czasochłonne, że w praktyce rzadko się na to decydowano.

Zespół zaczął też staranniej dobierać modele do konkretnych zadań. „Dawniej używaliśmy najnowszego modelu, ale dziś nie ma już takiej potrzeby” — mówi Nettesheim. „Musieliśmy nauczyć się dobierać różne modele do różnych zadań”. Otoczenie operacyjne systemów bezpieczeństwa Block zbudowano na bazie Daybreak, by kierować zadania do właściwego modelu. Zawiera też mechanizmy pozwalające ludziom przejmować zadania, a agentom — wzajemnie weryfikować swoją pracę. Zespół stale ocenia te systemy na podstawie wewnętrznych testów porównawczych i wyników w rzeczywistych warunkach. W razie potrzeby koryguje podejście, między innymi kierując pracę do weryfikacji przez człowieka, gdy wymaga tego odpowiedzialne postępowanie.

Automatyczny system wstępnej oceny alertów pozwolił wykonywać więcej pracy w krótszym czasie. Zespół ds. bezpieczeństwa Block odnotował wzrost przepustowości procesu wstępnej oceny o 50% oraz wzrost skali zbierania informacji o zagrożeniach i prowadzenia analiz o 50%. Zyskał też zupełnie nową możliwość autonomicznego wyszukiwania zagrożeń. Nettesheim mówi: „System wykonuje co kwartał analizy odpowiadające około 1100 godzinom pracy analityka, ponieważ każdy alert jest teraz dogłębnie badany we wszystkich aspektach, których dotyczy. Nasz system traktuje każdy alert tak, jakby był jedynym, który otrzymaliśmy tego dnia”.

Tradycyjne narzędzia skanujące wskazują pojedynczą podatność w oderwaniu od innych, ale dzięki Daybreak zespół ds. bezpieczeństwa Block może pójść znacznie dalej. Model pomaga formułować hipotezy dotyczące schematów ataków i łączyć serię ataków w pełną ścieżkę prowadzącą do przełamania zabezpieczeń. Ujawnia w ten sposób podatności, które mogły istnieć od lat.

W jednym przypadku alert z pojedynczego laptopa sam w sobie wyglądał na drobne naruszenie zasad bezpieczeństwa. Jednak podczas wzajemnej weryfikacji model podążył za wskaźnikiem, który pojawił się w materiale dowodowym jedynie przy okazji, powiązał go z logami tożsamości Block i ujawnił znacznie szerszy zestaw problemów. „Jeden rutynowy alert z urządzenia końcowego doprowadził do udaremnienia całej kampanii ataków. Żadne pojedyncze narzędzie nie dostrzega tego powiązania. Sygnał widać dopiero po zestawieniu logów z dwóch produktów” — mówi James.

Daybreak pomógł też podczas niedawnych ćwiczeń z kontrolowanego ataku. Model otrzymał kilka wskazówek dotyczących wewnętrznego systemu i w około dwie godziny zbudował pełną ścieżkę ataku: wstrzyknięcie SQL, eskalację uprawnień, uzyskanie przyczółka, enumerację danych uwierzytelniających i przejście do innych systemów. Specjaliście prowadzącemu kontrolowany atak zajęłoby to zwykle kilka dni. Podczas niedawnych ćwiczeń z kontrolowanego ataku od zgłoszenia ogólnego opisu podatności do automatycznej propozycji poprawki minęło 18 minut.

Wykrywanie podatności ma wartość tylko wtedy, gdy można je usunąć. Nettesheim opisuje proces, który jego zespół stosuje przy każdym wykrytym problemie: najpierw ustala, gdzie w kodzie znajduje się błąd i kto za ten kod odpowiada, a następnie przechodzi do naprawy. „Proponujemy poprawkę, potwierdzamy możliwość wykorzystania podatności, a potem sprawdzamy, czy została usunięta. Przez cały czas w procesie uczestniczy człowiek, który nim kieruje i wdraża zmiany w kodzie”.

Choć agenty mają odpowiednie umiejętności techniczne, nie znają kontekstu organizacji ani powodów stojących za wcześniejszymi decyzjami. To człowiek dostarcza ten kontekst i wyznacza strategię. Właśnie tu wkracza zespół Nettesheima, zapewniając dodatkową weryfikację przez ludzi. Nettesheim mówi, że w miarę jak trafność ocen AI będzie potwierdzać się w praktyce, „będziemy stopniowo rozszerzać jej zastosowanie na obszary o coraz wyższym poziomie ryzyka, by wykorzystywać ją w systemach wymagających większej ochrony”.

• Mniej niż godzina na przetestowanie proponowanej zmiany w detekcji na danych telemetrycznych z siedmiu miesięcy.

• 18 minut od zgłoszenia ogólnego opisu podatności do automatycznej propozycji poprawki podczas niedawnych ćwiczeń z kontrolowanego ataku.

• Około 600 godzin pracy analityków odzyskanych co kwartał dzięki ograniczeniu wstępnej oceny fałszywych alarmów.

• Analizy odpowiadające około 1100 godzinom pracy analityka wykonywane co kwartał.

• Wzrost przepustowości procesu wstępnej oceny o 50%.

• Wzrost skali zbierania informacji o zagrożeniach i prowadzenia analiz o 50%.

Same usprawnienia w wykrywaniu zagrożeń i reagowaniu na nie pozwoliły odzyskać około 600 godzin pracy analityków na kwartał, które wcześniej pochłaniała wstępna ocena fałszywych alarmów. Dzięki odzyskanemu czasowi zespół może poświęcać więcej uwagi dogłębnym analizom i odpowiedzialnemu rozwijaniu automatyzacji.

W miarę jak rośnie tempo ataków, a modele AI stają się coraz doskonalsze, Nettesheim dostrzega szansę na ograniczenie powstawania podatności już u źródła. Pozwoliłoby to zespołom ds. bezpieczeństwa poświęcać mniej czasu na wdrażanie poprawek, a więcej na działania zapobiegawcze i strategiczne.

„OpenAI przechyla szalę na korzyść obrońców, udostępniając te zaawansowane możliwości wszystkim” — mówi. „Dotąd były one zazwyczaj dostępne tylko dla czołowych firm technologicznych i instytucji rządowych. Teraz jednak wszyscy — także operatorzy infrastruktury krytycznej, szkoły i małe firmy — mogą zacząć wykorzystywać tę technologię do obrony swoich sieci”.