Ako Block buduje bezpečnosť založenú na AI s technológiou OpenAI

Bezpečnostný tím v spoločnosti Block, ktorá stojí za Square, Cash App a Afterpay, využíva OpenAI Defense Factory: umelá inteligencia v nej vyhľadáva zraniteľnosti, odhaľuje ich a reaguje na ne v takom rozsahu, akému by žiadny ľudský tím nedokázal stačiť. Vďaka systémom AI vrátane OpenAI Daybreak zvláda Block za pár hodín prácu, ktorá predtým trvala týždne.

Bezpečnostný tím spoločnosti Block sa zameriava na zodpovedné zavádzanie AI do pracovných postupov, či už ide o generovanie kódu, alebo bezpečnostné operácie. „V podstate ide o to, mať nového kolegu, s ktorým môžete rásť,“ hovorí James Nettesheim, riaditeľ informačnej bezpečnosti. „Nie je to ako pri tradičnejšej automatizácii, pri ktorej ste museli postupovať krok za krokom. Pomocou príkazu mu môžete predložiť pomerne špecifický, nejednoznačný problém a spoločne na ňom pracovať.“

Projekty, ako je preskúmanie softvérovej chyby alebo parsovanie logu, by trvali dni či týždne. Teraz ich tím dokáže dokončiť za zlomok času, pričom človek stále overuje každý výsledok.

Napríklad pri dolaďovaní detekcie sa pri každom vyšetrovaní ukladajú surové dôkazy z dotazov, takže tím teraz dokáže za menej než hodinu spätne otestovať navrhovanú zmenu detekcie na siedmich mesiacoch produkčnej telemetrie. Predtým táto práca znamenala, že bolo treba ručne znova spúšťať dotazy v stovkách starých prípadov, a keďže to bolo také časovo náročné, v praxi sa to často ani nerobilo.

Tím si tiež začal dôslednejšie vyberať, ktorý model použije na ktorú úlohu. „Kedysi sme používali najnovší model, ale dnes to už nie je potrebné,“ hovorí. „Postupne sme sa učili vyberať rôzne modely na rôzne úlohy.“ Bezpečnostný harness spoločnosti Block je postavený na platforme Daybreak a pomáha smerovať úlohy k správnemu modelu. Obsahuje aj mechanizmy, vďaka ktorým môžu ľudia prevziať úlohy alebo si agenti navzájom overovať prácu. Tím priebežne vyhodnocuje tieto systémy podľa interných benchmarkov a výkonu v reálnych podmienkach a podľa potreby upravuje svoj prístup. Súčasťou je aj smerovanie práce na kontrolu človekom, keď je to zodpovedné riešenie.

Automatizovaný systém triedenia upozornení priniesol rýchlejšie spracovanie práce (a aj jej väčší objem). Bezpečnostný tím Blocku zaznamenal 50 % nárast priepustnosti triedenia upozornení, 50 % nárast zhromažďovania spravodajských informácií a vyšetrovania a úplne novú schopnosť autonómneho vyhľadávania hrozieb. Nettesheim hovorí: „Tento systém vykoná vyšetrovanie v rozsahu približne 1 100 hodín práce analytikov za štvrťrok, pretože každé upozornenie teraz prechádza úplným a dôkladným vyšetrovaním všetkých súvisiacich prvkov. Náš systém spracuje každé upozornenie tak, akoby to bolo jediné upozornenie, ktoré v ten deň máme.“

Tradičné skenovacie nástroje označia jednu zraniteľnosť bez súvislostí, no bezpečnostný tím spoločnosti Block dokáže s Daybreakom zájsť oveľa ďalej. Model pomáha vytvárať hypotézy o vzorcoch útokov a prepájať sériu útokov do úplnej cesty vedúcej od začiatku až po kompromitáciu, čím odhaľuje zraniteľnosti, ktoré mohli existovať celé roky.

V jednom prípade vyzeralo upozornenie na jednom notebooku samo osebe ako drobný problém s dodržiavaním zásad. Počas vzájomnej kontroly však model sledoval indikátor, ktorý sa v dôkazoch objavil len okrajovo, porovnal ho s identifikačnými záznamami Blocku a odhalil oveľa väčší súbor problémov. „Z jedného bežného upozornenia koncového bodu sa stal zásah proti celej kampani. Žiadny samostatný nástroj nedokáže tieto údaje prepojiť. Signál sa objavuje len v záznamoch dvoch produktov,“ hovorí James.

Ďalším príkladom, keď Daybreak pomohol, bolo nedávne cvičenie red teamu. Model dostal niekoľko indícií o internom systéme a pospájal ich do kompletnej cesty útoku – SQL injection, eskalácia privilégií, získanie počiatočného prístupu, enumerácia prihlasovacích údajov a presun do ďalších systémov – približne za dve hodiny. Ľudskému členovi red teamu by to zvyčajne trvalo niekoľko dní. Počas nedávnych cvičení red teamu uplynulo od nahlásenia zraniteľnosti na vysokej úrovni po automaticky navrhnutú opravu 18 minút.

Odhalenie zraniteľností je užitočné len do tej miery, do akej ich dokážeme opraviť. Nettesheim opisuje postup, ktorý jeho tím používa pri každom zistení: nájsť miesto v kóde, kde sa problém nachádza, a zistiť, kto zaň zodpovedá, a potom pristúpiť k náprave. „Navrhnete opravu, potvrdíte, že zraniteľnosť možno zneužiť, a potom overíte, že ste ju opravili. Celý proces usmerňuje človek, ktorý nasadzuje zmeny v kóde.“

Hoci sú agenti technicky schopní, nemajú kontext organizácie ani dôvody predchádzajúcich rozhodnutí. Človek poskytuje tento kontext a stratégiu a práve tu prichádza na rad jeho tím, ktorý zabezpečuje ľudskú vrstvu kontroly. Keď sa úsudok AI osvedčí v praxi, hovorí Nettesheim, „budeme postupne zvyšovať úroveň rizika, pri ktorej ju budeme využívať v citlivejších systémoch.“

• Menej než hodina na opätovné otestovanie navrhovanej zmeny detekcie na telemetrii za sedem mesiacov

• 18 minút od zadania zraniteľnosti s vysokou závažnosťou po automaticky navrhnutú opravu v nedávnych cvičeniach red teamu

• Približne 600 hodín práce analytikov za štvrťrok ušetrených pri triedení falošných pozitív.

• Za štvrťrok sa dokončí približne 1 100 hodín analytickej práce pri vyšetrovaniach.

• 50 % zvýšenie priepustnosti triáže.

• Nárast zhromažďovania informácií a vyšetrovania o 50 %.

Samotná práca na detekcii a reakcii ušetrila približne 600 hodín analytikov za štvrťrok, ktoré predtým venovali triedeniu falošných pozitív. Vďaka získanému času sa teraz tím viac venuje dôkladnejším vyšetrovaniam a zodpovednému budovaniu ďalšej automatizácie.

S rastúcim tempom útokov a neustálym pokrokom modelov AI vidí Nettesheim príležitosť znížiť počet zraniteľností zavedených hneď na začiatku. To by bezpečnostným tímom umožnilo venovať menej času záplatovaniu a viac preventívnej, strategickej práci.

„OpenAI presúva výhodu na stranu obrancov tým, že dáva tieto pokročilé možnosti do rúk každému,“ hovorí. „Doteraz ich mali k dispozícii zvyčajne len veľmi známe technologické spoločnosti a vlády. Teraz však túto technológiu môžu začať využívať na ochranu svojich sietí všetci vrátane subjektov kritickej infraštruktúry, škôl a malých firiem.“