Kako Block s tehnologijo OpenAI gradi varnost, podprto z UI

V podjetju Block, ki stoji za storitvami Square, Cash App in Afterpay, varnostna ekipa uporablja OpenAI Defense Factory. Umetna inteligenca tam skrbi za odkrivanje ranljivosti, zaznavanje groženj in odzivanje nanje v obsegu, ki mu nobena človeška ekipa ne bi mogla slediti. S sistemi umetne inteligence, med katerimi je tudi OpenAI Daybreak, Block v le nekaj urah opravi delo, ki je prej trajalo več tednov.

Varnostna ekipa podjetja Block se osredotoča na odgovorno uvajanje umetne inteligence v delovne procese, od generiranja kode do operativnega zagotavljanja varnosti. »V bistvu gre za novega sodelavca, s katerim lahko povečujete obseg dela,« pravi James Nettesheim, direktor informacijske varnosti. »To ni tradicionalna avtomatizacija, pri kateri je bilo treba določiti vsak korak. V pozivu ji lahko predstavite precej specifičen, nejasno opredeljen problem in ga nato skupaj rešujete.«

Naloge, kot sta pregled programske napake ali razčlenjevanje dnevnika, so včasih trajale več dni ali tednov. Zdaj jih ekipa opravi v bistveno krajšem času, vsak rezultat pa še vedno preveri človek.

Za prilagajanje zaznavanja se na primer pri vsaki preiskavi shranijo neobdelani dokazi iz poizvedb. Ekipa lahko zato predlagano spremembo zaznavanja v manj kot eni uri preizkusi na sedemmesečnih telemetrijskih podatkih iz produkcijskega okolja. Prej je bilo za to treba ročno ponavljati poizvedbe za več sto starih primerov. Ker je bilo delo tako zamudno, so ga v praksi redko opravili.

Ekipa zdaj tudi bolj premišljeno izbira model za posamezno nalogo. »Prej smo uporabljali najnovejši model, zdaj pa to ni več potrebno,« pravi. »Naučiti smo se morali izbirati različne modele za različne naloge.« Varnostno ogrodje podjetja Block temelji na sistemu Daybreak in pomaga usmerjati naloge k ustreznemu modelu. Vključuje tudi mehanizme, s katerimi lahko ljudje prevzamejo naloge, agenti pa medsebojno preverjajo svoje delo. Ekipa te sisteme nenehno vrednoti z internimi primerjalnimi preizkusi in spremljanjem uspešnosti v praksi ter po potrebi prilagaja svoj pristop. Kadar je to odgovorno ravnanje, delo preusmeri v človeški pregled.

Sistem za avtomatizirano triažo omogoča hitrejše delo in večji obseg opravljenih nalog. Varnostna ekipa podjetja Block je dosegla 50-odstotno povečanje prepustnosti pri triaži, 50-odstotno povečanje obsega zbiranja obveščevalnih podatkov in preiskav ter pridobila povsem novo zmožnost avtonomnega iskanja groženj. Nettesheim pravi: »Sistem vsako četrtletje opravi preiskave v obsegu približno 1.100 ur analitičnega dela, saj je zdaj vsako opozorilo deležno celovite, poglobljene preiskave vseh z njim povezanih elementov. Naš sistem vsako opozorilo obravnava, kot da bi bilo edino, ki smo ga prejeli tisti dan.«

Tradicionalna orodja za pregledovanje zaznajo posamezno ranljivost ločeno od drugih, varnostna ekipa podjetja Block pa lahko s sistemom Daybreak naredi veliko več. Model pomaga oblikovati hipoteze o vzorcih napadov in povezati niz napadov v celotno pot vdora od začetka do konca. Tako razkrije ranljivosti, ki so morda obstajale že več let.

V enem primeru je opozorilo na posameznem prenosniku samo zase kazalo na manjšo kršitev pravil. Toda pri medsebojnem preverjanju je model sledil kazalniku, ki se je med dokazi pojavil le mimogrede, ga povezal z dnevniki identitet podjetja Block in odkril precej obsežnejši nabor težav. »Eno rutinsko opozorilo na končni napravi je privedlo do zaustavitve celotne kampanje napadov. Nobeno orodje samo zase ne vzpostavi te povezave. Znak grožnje je mogoče prepoznati šele s povezovanjem dnevnikov dveh izdelkov,« pravi James.

Daybreak je pomagal tudi pri nedavni vaji simuliranega iskanja šibkih točk v nadzorovanem okolju. Model je dobil nekaj namigov o internem sistemu in v približno dveh urah sestavil celotno napadalno pot: vrivanje SQL, stopnjevanje privilegijev, vzpostavitev oporišča, popis poverilnic in prehod na druge sisteme. Strokovnjak za simulirano iskanje šibkih točk v nadzorovanem okolju bi za to običajno potreboval več dni. Pri nedavnih vajah simuliranega iskanja šibkih točk v nadzorovanem okolju je od prijave okvirno opisane ranljivosti do samodejnega predloga popravka minilo 18 minut.

Odkrivanje ranljivosti je koristno le toliko, kolikor jih znamo tudi odpraviti. Nettesheim opiše postopek, ki ga njegova ekipa uporabi pri vsaki ugotovitvi: poišče mesto težave v kodi in ugotovi, kdo je zanjo odgovoren, nato pa se loti odpravljanja. »Predlagate popravek, potrdite možnost izrabe ranljivosti in nato preverite, ali ste jo odpravili. Pri tem sodeluje človek, ki usmerja postopek in uvaja spremembe kode.«

Čeprav so agenti tehnično sposobni, ne poznajo okoliščin v organizaciji ali razlogov za pretekle odločitve. To razumevanje in strategijo zagotovi človek. Tu nastopi njegova ekipa, ki opravi dodaten človeški pregled. Ko se bo presoja umetne inteligence izkazala v praksi, pravi Nettesheim, »bomo postopoma zviševali raven tveganja in jo začeli uporabljati tudi za občutljivejše sisteme«.

• Manj kot ena ura za preizkus predlagane spremembe zaznavanja na sedemmesečnih telemetrijskih podatkih.

• 18 minut od prijave okvirno opisane ranljivosti do samodejnega predloga popravka pri nedavnih vajah simuliranega iskanja šibkih točk v nadzorovanem okolju.

• Približno 600 ur analitičnega dela na četrtletje, prihranjenih pri triaži lažno pozitivnih opozoril.

• Vsako četrtletje opravljene preiskave v obsegu približno 1.100 ur analitičnega dela.

• 50-odstotno povečanje prepustnosti pri triaži.

• 50-odstotno povečanje obsega zbiranja obveščevalnih podatkov in preiskav.

Že samo pri zaznavanju in odzivanju so prihranili približno 600 ur analitičnega dela na četrtletje, ki so jih prej porabili za triažo lažno pozitivnih opozoril. Prihranjeni čas ekipa zdaj namenja poglobljenim preiskavam in odgovornemu širjenju avtomatizacije.

Ker so napadi vse hitrejši, modeli umetne inteligence pa še naprej napredujejo, Nettesheim vidi priložnost, da bi manj ranljivosti sploh nastalo. Tako bi varnostne ekipe manj časa porabile za popravke in več za preventivno, strateško delo.

»OpenAI daje prednost branilcem, saj te napredne zmogljivosti omogoča vsem,« pravi. »Običajno so bile na voljo le najvidnejšim tehnološkim podjetjem in državnim organom. Zdaj pa lahko vsi, tudi upravljavci kritične infrastrukture, šole in mala podjetja, začnejo uporabljati to tehnologijo za zaščito svojih omrežij.«