Jak Block buduje zabezpečení s AI technologiemi od OpenAI

Bezpečnostní tým společnosti Block, která stojí za službami Square, Cash App a Afterpay, využívá OpenAI Defense Factory – ve které AI zajišťuje vyhledávání zranitelností, detekci a reakci v rozsahu, kterému by žádný lidský tým nestačil. Díky AI systémům včetně OpenAI Daybreak zvládá Block za pouhé hodiny práci, která dříve zabrala týdny.

Bezpečnostní tým společnosti Block se v poslední době soustředil na zodpovědné zavádění AI do pracovních postupů, ať už jde o generování kódu, nebo každodenní bezpečnostní činnosti. „Znamená to mít nového kolegu, se kterým se dá škálovat,“ říká James Nettesheim, ředitel informační bezpečnosti. „Není to jako tradiční automatizace, kde jste museli definovat každý krok. Můžete mu zadat poměrně specifický, nejednoznačný problém a společně ho vyřešit.“

Úkoly jako prověření softwarové chyby nebo rozbor protokolu dříve zabraly dny či týdny. Dnes je tým zvládne za zlomek času, přičemž každý výsledek stále ověřuje člověk.

Například pro ladění detekce se při každém šetření ukládají původní výsledky dotazů sloužící jako důkazy. Tým tak nyní může za méně než hodinu zpětně otestovat navrženou změnu detekce na telemetrických datech ze sedmi měsíců ostrého provozu. Dříve to vyžadovalo ručně opakovat dotazy u stovek starých případů. Kvůli časové náročnosti se to v praxi dělalo jen zřídka.

Tým také začal pečlivěji vybírat modely pro jednotlivé úkoly. „Dříve jsme používali nejnovější model, ale dnes už to není nutné,“ říká. „Postupně jsme se učili vybírat pro různé úkoly různé modely.“ Bezpečnostní harness společnosti Block je postavený na Daybreaku a pomáhá směrovat úkoly ke správnému modelu. Obsahuje také mechanismy, díky nimž mohou úkoly převzít lidé nebo si agenti mohou navzájem ověřovat práci. Tým tyto systémy průběžně hodnotí podle interních benchmarků i výsledků v reálném provozu a podle potřeby upravuje svůj přístup. Pokud je to zodpovědnější postup, předává práci ke kontrole člověku.

Automatizovaný systém třídění a vyhodnocování upozornění umožňuje dokončit více práce za kratší dobu. Bezpečnostní tým společnosti Block zaznamenal 50% nárůst výkonu při třídění a vyhodnocování upozornění, 50% nárůst objemu získaných informací o hrozbách a provedených šetření a získal zcela novou schopnost autonomně vyhledávat hrozby. Nettesheim říká: „Systém za čtvrtletí provede šetření odpovídající přibližně 1 100 hodinám práce analytiků, protože každé upozornění nyní důkladně prošetří ve všech souvislostech. Náš systém se každému upozornění věnuje tak, jako by bylo ten den jediné.“

Tradiční skenovací nástroje upozorňují na jednotlivé zranitelnosti izolovaně, ale bezpečnostní tým společnosti Block může s Daybreakem zajít mnohem dál. Model pomáhá formulovat hypotézy o vzorcích útoků a propojovat jednotlivé útoky do úplné cesty k napadení systému. Odhaluje tak zranitelnosti, které mohly existovat už roky.

V jednom případě vypadalo upozornění z jediného notebooku samo o sobě jako drobné porušení bezpečnostních zásad. Při následné křížové kontrole ale model sledoval indikátor, který se v důkazech objevil jen mimochodem, propojil ho s protokoly identit společnosti Block a odhalil mnohem širší soubor problémů. „Jedno běžné upozornění z koncového zařízení vedlo k zastavení celé útočné kampaně. Žádný nástroj sám o sobě takové propojení neudělá. Signál lze odhalit jen křížovou analýzou protokolů ze dvou produktů,“ říká James.

Daybreak pomohl také při nedávném cvičení red-teamingu. Model dostal několik vodítek k internímu systému a přibližně za dvě hodiny sestavil úplnou cestu útoku: SQL injection, eskalaci oprávnění, získání opěrného bodu v systému, výčet přihlašovacích údajů a průnik do dalších systémů. Specialistovi na red-teaming by to obvykle zabralo několik dní. Při nedávných cvičeních red-teamingu trvala cesta od zadání obecného popisu zranitelnosti k automatickému návrhu opravy 18 minut.

Odhalování zranitelností má smysl jen tehdy, pokud je dokážete i opravit. Nettesheim popisuje postup, který jeho tým používá u každého nálezu: najít problém v kódu, určit, kdo za něj odpovídá, a pak přejít k nápravě. „Navrhnete opravu, potvrdíte, že je zranitelnost zneužitelná, a pak ověříte, že jste ji opravili. Do celého procesu je zapojený člověk, který ho řídí a nasazuje změny kódu.“

Agenti jsou sice technicky zdatní, ale neznají kontext organizace ani důvody předchozích rozhodnutí. Tento kontext i strategii poskytuje člověk. Právě tady vstupuje do hry jeho tým, který zajišťuje lidskou kontrolu. Až se úsudek AI osvědčí v praxi, říká Nettesheim, „budeme postupně zvyšovat míru rizika, kterou jí svěříme, a využívat ji i u citlivějších systémů.“

• Méně než hodina na zpětné otestování navržené změny detekce na sedmi měsících telemetrických dat.

• 18 minut od zadání obecného popisu zranitelnosti k automatickému návrhu opravy při nedávných red-teamingových cvičeních.

• Zhruba 600 hodin práce analytiků ušetřených za čtvrtletí při vyhodnocování falešných poplachů.

• Každé čtvrtletí je provedeno vyšetřování odpovídající přibližně 1 100 hodinám práce analytiků.

• 50% nárůst výkonu při třídění a vyhodnocování upozornění.

• 50% nárůst objemu získaných informací o hrozbách a provedených šetření.

Jen v oblasti detekce a reakce se podařilo čtvrtletně ušetřit zhruba 600 hodin práce analytiků, které dříve padly na vyhodnocování falešných poplachů. Získaný čas nyní tým věnuje hlubším šetřením a zodpovědnému budování automatizací.

S rostoucím tempem útoků a dalším pokrokem AI modelů vidí Nettesheim příležitost snížit počet zranitelností už při jejich vzniku. Bezpečnostní týmy by tak mohly věnovat méně času opravám a více prevenci a strategické práci.

„OpenAI přesouvá výhodu na stranu obránců tím, že tyto pokročilé možnosti zpřístupňuje všem,“ říká. „Dosud je obvykle měly k dispozici jen přední technologické firmy a státní instituce. Teď ale může tuto technologii začít využívat k obraně svých sítí každý, včetně provozovatelů kritické infrastruktury, škol i malých podniků.“