Kako Block z OpenAI tehnologijo gradi varnost z UI

Varnostna ekipa podjetja Block, ki stoji za Square, Cash App in Afterpay, uporablja OpenAI Defense Factory, kjer umetna inteligenca odkriva ranljivosti, jih zaznava in se nanje odziva v obsegu, ki mu nobena človeška ekipa ne bi mogla slediti. S sistemi umetne inteligence, kot je OpenAI Daybreak, Block zdaj v le nekaj urah opravi delo, za katerega je prej potreboval več tednov.

Ekipa za varnost pri podjetju Block se je osredotočala na odgovorno uvajanje umetne inteligence v različne delovne procese, od generiranja kode do varnostnih operacij. »V resnici gre za to, da dobite novega sodelavca, s katerim lahko povečujete obseg dela,« pravi James Nettesheim, direktor informacijske varnosti. »To ni kot pri bolj tradicionalni avtomatizaciji, pri kateri ste morali napredovati korak za korakom. Lahko mu podate poziv z dokaj specifičnim, a nejasno opredeljenim problemom in ga skupaj rešujete.«

Dokončanje projektov, kot sta analiza programske napake ali razčlenjevanje dnevnika, bi trajalo dneve ali tedne. Zdaj lahko ekipa te projekte dokonča v delčku tega časa, vsak rezultat pa še vedno preveri človek.

Pri prilagajanju zaznavanja se na primer pri vsaki preiskavi shranijo surovi podatki o poizvedbah, zato lahko ekipa zdaj predlagano spremembo zaznavanja preveri na podlagi sedmih mesecev telemetrije iz produkcijskega okolja v manj kot eni uri. Včasih je bilo treba za to ročno znova poizvedovati po stotinah starih primerov, v praksi pa se to zaradi dolgotrajnosti pogosto ni zgodilo.

Ekipa je postala tudi bolj premišljena pri izbiri modela za posamezno nalogo. »Včasih smo uporabljali najnovejši model, vendar tega ni več treba,« pravi. »Veliko smo se naučili pri izbiri različnih modelov za različne naloge.« Varnostno ogrodje podjetja Block temelji na Daybreaku in pomaga usmerjati naloge k ustreznemu modelu. Vključuje tudi mehanizme, ki ljudem omogočajo, da prevzamejo naloge, agentom pa, da preverijo delo drug drugega. Ekipa te sisteme nenehno ocenjuje na podlagi internih primerjalnih meril in delovanja v resničnem svetu ter po potrebi prilagaja svoj pristop, tudi tako, da delo preusmeri v človeški pregled, kadar je to odgovornen način ravnanja.

Zaradi avtomatiziranega sistema razvrščanja je delo opravljeno hitreje (in v večjem obsegu). Varnostna ekipa podjetja Block je zabeležila 50 % večjo prepustnost pri razvrščanju, 50 % povečanje obsega zbiranja obveščevalnih podatkov in preiskav ter povsem novo zmožnost avtonomnega iskanja groženj. Nettesheim pravi: »To pomeni približno 1100 ur preiskovalnega dela analitikov na četrtletje, saj se zdaj vsako opozorilo temeljito razišče z vseh vidikov, ki jih vključuje. Naš sistem vsako opozorilo obravnava, kot da bi bilo edino, ki smo ga tisti dan prejeli.«

Tradicionalna orodja za pregledovanje varnosti zaznajo posamezno ranljivost ločeno, toda varnostna ekipa podjetja Block lahko z Daybreakom odkrije veliko več. Model pomaga oblikovati hipoteze o vzorcih napadov in povezati niz napadov v celovito pot do popolnega vdora, s čimer razkrije ranljivosti, ki so morda obstajale že leta.

V enem primeru je bilo opozorilo v enem prenosnem računalniku sprva videti kot manjša težava s pravilniki. Toda med strokovnim pregledom je model sledil kazalniku, ki se je v dokazih pojavil zgolj mimogrede, ga povezal z dnevniki identitete podjetja Block in razkril precej večji nabor težav. »Eno običajno opozorilo za končno točko je privedlo do zaustavitve kampanje. Nobeno posamezno orodje ne omogoča takšne povezave. Signal je mogoče zaznati le v dnevnikih dveh izdelkov,« pravi James.

Daybreak je bil v pomoč tudi med nedavno vajo simuliranega iskanja šibkih točk v nadzorovanem okolju. Model je prejel nekaj namigov o internem sistemu in v približno dveh urah povezal celotno napadalno pot – vrivanje SQL, stopnjevanje privilegijev, vzpostavitev oporišča, popis poverilnic in prehod na druge sisteme. Strokovnjak za simulirano iskanje šibkih točk v nadzorovanem okolju bi za to običajno potreboval več dni. Med nedavnimi vajami simuliranega iskanja šibkih točk v nadzorovanem okolju je od oddaje ranljivosti visoke stopnje do samodejnega predloga popravka minilo 18 minut.

Odkrivanje ranljivosti je učinkovito le toliko, kolikor smo jih sposobni odpraviti. Nettesheim predstavi postopek, ki ga njegova ekipa uporabi pri vsaki ugotovljeni ranljivosti: poiščejo mesto v kodi, kjer je težava, in ugotovijo, kdo je zanjo odgovoren, nato pa se lotijo odprave. »Predlagate popravek, potrdite, da je ranljivost mogoče izkoristiti, nato pa preverite, ali ste jo odpravili; človek pri tem usmerja postopek in uvaja spremembe kode.«

Čeprav so agenti tehnično sposobni, nimajo konteksta organizacije ali razlogov za pretekle odločitve. Človek zagotovi ta kontekst in strategijo, tu pa nastopi njegova ekipa, ki poskrbi za človeški pregled. Ko se bo presoja umetne inteligence izkazala v praksi, pravi Nettesheim, »bomo postopoma povečevali raven tveganja in jo uporabljali v občutljivejših sistemih.«

• Manj kot ena ura za ponovno preverjanje predlagane spremembe zaznavanja na podlagi sedmih mesecev telemetrije.

• 18 minut od oddaje ranljivosti visoke stopnje do samodejno predlaganega popravka v nedavnih vajah rdeče ekipe.

• Analitikom se vsako četrtletje sprosti približno 600 ur, ki bi jih sicer porabili za obravnavo lažno pozitivnih opozoril.

• Analitiki vsako četrtletje opravijo približno 1100 ur preiskovalnega dela.

• 50 % večja prepustnost razvrščanja.

• 50-odstotno povečanje zbiranja obveščevalnih podatkov in preiskav.

Samo delo na zaznavanju in odzivanju je vsako četrtletje sprostilo približno 600 analitičnih ur, ki so bile prej namenjene preverjanju lažno pozitivnih opozoril. Zdaj, ko ima ekipa ta čas na voljo, več časa namenja poglobljenim preiskavam in odgovornemu razvoju dodatne avtomatizacije.

Ker se tempo napadov povečuje, modeli umetne inteligence pa še naprej napredujejo, Nettesheim vidi priložnost za zmanjšanje števila ranljivosti, ki sploh nastanejo. Tako bi varnostne ekipe manj časa namenile odpravljanju ranljivosti in več preventivnemu, strateškemu delu.

»OpenAI z dajanjem teh naprednih zmogljivosti vsem na voljo preusmerja prednost k branilcem,« pravi. »Običajno so bile te zmogljivosti na voljo le zelo odmevnim tehnološkim podjetjem in vladam. Zdaj pa lahko to tehnologijo za obrambo svojih omrežij začnejo uporabljati vsi, tudi organizacije iz sektorja kritične infrastrukture, šole in mala podjetja.«