Ako Block buduje zabezpečenie s AI a technológiou OpenAI

V spoločnosti Block, ktorá stojí za službami Square, Cash App a Afterpay, využíva bezpečnostný tím OpenAI Defense Factory. AI tu vyhľadáva zraniteľnosti, odhaľuje hrozby a reaguje na ne v rozsahu, s ktorým by žiadny ľudský tím nedokázal držať krok. Vďaka systémom AI vrátane OpenAI Daybreak zvláda Block za pár hodín prácu, ktorá kedysi trvala týždne.

Bezpečnostný tím spoločnosti Block sa zameriava na zodpovedné zavádzanie AI do pracovných postupov, či už ide o generovanie kódu, alebo bezpečnostné operácie. „V jadre ide o nového kolegu, s ktorým môžete rozširovať svoje kapacity,“ hovorí James Nettesheim, riaditeľ informačnej bezpečnosti. „Nie je to ako tradičná automatizácia, pri ktorej bolo nutné určiť každý krok. Môžete jej zadať pomerne špecifický, nejednoznačný problém a spoločne ho vyriešiť.“

Úlohy ako preverenie softvérovej chyby či analýza protokolu kedysi trvali dni až týždne. Dnes ich tím zvláda za zlomok času, pričom každý výsledok stále overuje človek.

Napríklad pri ladení detekcie sa pri každom vyšetrovaní ukladajú nespracované dôkazové údaje z dopytov. Tím tak teraz dokáže za necelú hodinu otestovať navrhovanú zmenu detekcie na telemetrických údajoch z produkcie za sedem mesiacov. Predtým to znamenalo ručne opakovať dopyty v stovkách starších prípadov. Pre časovú náročnosť sa to v praxi robilo len zriedka.

Tím tiež začal dôslednejšie vyberať, ktorý model použije na konkrétnu úlohu. „Kedysi sme používali najnovší model, no dnes to už nie je potrebné,“ hovorí. „Postupne sme sa učili vyberať rôzne modely na rôzne úlohy.“ Bezpečnostný harness spoločnosti Block je postavený na systéme Daybreak a pomáha smerovať úlohy k správnemu modelu. Zahŕňa aj mechanizmy, ktoré umožňujú ľuďom prevziať úlohy alebo agentom navzájom overovať svoju prácu. Tím tieto systémy priebežne hodnotí pomocou interných benchmarkov aj podľa výkonu v praxi a podľa potreby upravuje svoj prístup. Ak je to zodpovedné riešenie, prácu odovzdá na kontrolu človeku.

Automatizovaný systém triedenia a vyhodnocovania upozornení umožnil zvládať viac práce a rýchlejšie. Bezpečnostný tím spoločnosti Block zaznamenal 50 % nárast priepustnosti pri triedení upozornení, 50 % nárast v zbere informácií o hrozbách a vyšetrovaniach a získal úplne novú schopnosť autonómne vyhľadávať hrozby. Nettesheim hovorí: „Systém za štvrťrok vykoná vyšetrovania zodpovedajúce približne 1 100 hodinám práce analytika, pretože každé upozornenie teraz prejde úplným a hĺbkovým prešetrením všetkých súvisiacich prvkov. Náš systém sa každému upozorneniu venuje tak, akoby bolo v daný deň jediné.“

Tradičné skenovacie nástroje upozornia na jednotlivú zraniteľnosť izolovane, no bezpečnostný tím spoločnosti Block dokáže so systémom Daybreak zájsť oveľa ďalej. Model pomáha vytvárať hypotézy o vzorcoch útokov a spájať sériu útokov do ucelenej cesty prieniku od začiatku až po úplné kompromitovanie systému. Odhaľuje tak zraniteľnosti, ktoré mohli existovať celé roky.

V jednom prípade sa upozornenie na jedinom notebooku samo osebe javilo ako menšie porušenie bezpečnostných pravidiel. Pri vzájomnej kontrole však model sledoval indikátor, ktorý sa v dôkazoch objavil len okrajovo, prepojil ho s protokolmi identít spoločnosti Block a odhalil oveľa širší súbor problémov. „Jedno bežné upozornenie z koncového zariadenia viedlo k zastaveniu celej útočnej kampane. Žiadny samostatný nástroj toto prepojenie nevytvorí. Signál sa objaví až pri spojení protokolov dvoch produktov,“ hovorí James.

Ďalším príkladom pomoci systému Daybreak bolo nedávne cvičenie red teamu. Model dostal niekoľko indícií o internom systéme a približne za dve hodiny poskladal celú útočnú cestu: SQL injection, eskaláciu oprávnení, získanie oporného bodu, zistenie dostupných prihlasovacích údajov a presun do ďalších systémov. Človeku venujúcemu sa red teamingu by to zvyčajne trvalo niekoľko dní. Pri nedávnych cvičeniach red teamu trvalo od nahlásenia závažnej zraniteľnosti po automatický návrh opravy 18 minút.

Odhaľovanie zraniteľností má hodnotu len vtedy, ak ich dokážeme aj opraviť. Nettesheim opisuje postup, ktorý jeho tím uplatňuje pri každom náleze: určiť, kde sa problém v kóde nachádza a kto zaň zodpovedá, a potom prejsť k náprave. „Navrhnete opravu, potvrdíte zneužiteľnosť a potom overíte, že ste problém odstránili. Do procesu je zapojený človek, ktorý ho usmerňuje a nasadzuje zmeny kódu.“

Hoci sú agenti technicky zdatní, nepoznajú kontext organizácie ani dôvody jej predchádzajúcich rozhodnutí. Tento kontext a stratégiu poskytuje človek. Práve tu vstupuje do procesu jeho tím, ktorý zabezpečuje ľudskú kontrolu. Ako sa bude úsudok AI osvedčovať v praxi, podľa Nettesheima „budeme postupne zvyšovať mieru rizika a využívať ju aj pri citlivejších systémoch“.

• Menej než hodina na otestovanie navrhovanej zmeny detekcie na telemetrických údajoch za sedem mesiacov.

• 18 minút od nahlásenia závažnej zraniteľnosti po automatický návrh opravy pri nedávnych cvičeniach red teamu.

• Približne 600 ušetrených hodín práce analytika za štvrťrok pri vyhodnocovaní falošných poplachov.

• Vyšetrovania vykonané za štvrťrok zodpovedajú približne 1 100 hodinám práce analytika.

• 50 % nárast priepustnosti pri triedení upozornení.

• 50 % nárast v zbere informácií o hrozbách a vyšetrovaniach.

Už samotná detekcia a reakcia na hrozby ušetrili približne 600 hodín práce analytika za štvrťrok, ktoré predtým zaberalo vyhodnocovanie falošných poplachov. Ušetrený čas teraz tím venuje hĺbkovejším vyšetrovaniam a zodpovednému rozširovaniu automatizácie.

S rastúcim tempom útokov a neustálym pokrokom modelov AI vidí Nettesheim príležitosť znížiť počet zraniteľností už pri ich vzniku. Bezpečnostné tímy by tak mohli venovať menej času opravám a viac preventívnej a strategickej práci.

„OpenAI presúva výhodu na stranu obrancov tým, že tieto pokročilé možnosti sprístupňuje všetkým,“ hovorí. „Doteraz boli zvyčajne dostupné len popredným technologickým spoločnostiam a štátnym inštitúciám. Dnes však môžu túto technológiu na obranu svojich sietí začať využívať všetci vrátane prevádzkovateľov kritickej infraštruktúry, škôl a malých podnikov.“