Sådan bygger Block AI-drevet sikkerhed med OpenAI-teknologi

Hos Block, virksomheden bag Square, Cash App og Afterpay, bruger sikkerhedsteamet OpenAI Defense Factory: Her tager AI sig af at finde og identificere sårbarheder samt reagere på dem i et omfang, som intet menneskeligt team ville kunne følge med i. Med AI-systemer, herunder OpenAI Daybreak, bruger Block blot timer på arbejde, der tidligere tog uger.

Blocks sikkerhedsteam har fokuseret på ansvarligt at indføre AI på tværs af arbejdsgange, hvad enten det drejer sig om kodegenerering eller sikkerhedsdrift. James Nettesheim, informationssikkerhedschef, siger: "Det handler i virkeligheden om at have en ny kollega, som man kan skalere op sammen med. Det er ikke som med mere traditionel automatisering, hvor man var nødt til at gå trin for trin. Man kan give den en prompt med et ret specifikt, tvetydigt problem og arbejde sig igennem det sammen."

Opgaver som at gennemgå en softwarefejl eller analysere en log ville tage dage eller uger at udføre. Nu kan teamet udføre disse opgaver på en brøkdel af tiden, mens et menneske stadig validerer hvert resultat.

Ved justering af detektion gemmes for eksempel den rå dokumentation fra forespørgslerne for hver undersøgelse, så teamet nu kan afprøve en foreslået ændring af detektionen på syv måneders telemetridata fra produktionsmiljøet på under en time. Tidligere krævede det, at man manuelt kørte forespørgsler igen i hundredvis af gamle sager, og i praksis blev det sjældent gjort, fordi det var så tidskrævende.

Teamet er også blevet mere omhyggeligt med, hvilken model de bruger til hvilken opgave. "Vi plejede at bruge den nyeste model, men det behøver man ikke længere", siger han. "Det har været en læreproces at vælge forskellige modeller til forskellige opgaver." Blocks sikkerhedsharness er bygget oven på Daybreak for at hjælpe med at sende opgaver videre til den rette model og indeholder integrationspunkter, hvor mennesker kan overtage opgaver, eller agenter kan kontrollere hinandens arbejde. Teamet evaluerer løbende disse systemer ud fra interne benchmarks og deres præstationer i praksis og justerer sin tilgang efter behov, blandt andet ved at sende arbejde videre til menneskelig gennemgang, når det er den ansvarlige fremgangsmåde.

Det automatiserede triagesystem har gjort det muligt at få arbejdet udført hurtigere – og at få mere af det fra hånden. Blocks sikkerhedsteam har oplevet en stigning på 50 % i gennemløbet af triageringen, en stigning på 50 % i indsamlingen af efterretninger og undersøgelser samt en helt ny autonom evne til trusselsjagt. Nettesheim siger: "Det udfører cirka 1.100 analytikertimers undersøgelsesarbejde pr. kvartal, fordi hver alarm nu bliver undersøgt grundigt på tværs af alle dens elementer. Vores system behandler hver alarm, som om det var den eneste alarm, vi havde den dag."

Traditionelle scanningsværktøjer markerer enkelte sårbarheder isoleret, men Blocks sikkerhedsteam kan nå meget længere med Daybreak. Modellen hjælper med at opstille hypoteser om angrebsmønstre og kæde en række angreb sammen til et fuldstændigt kompromitteringsforløb fra start til slut, så den afdækker sårbarheder, der måske har eksisteret i årevis.

I ét tilfælde lignede en advarsel på en enkelt bærbar computer isoleret set et mindre brud på en politik. Men under en kollegial gennemgang fulgte modellen en indikator, der kun optrådte tilfældigt i dokumentationen, sammenholdt den med Blocks identitetslogfiler og afdækkede en langt større række problemer. "En rutinemæssig advarsel fra et endepunkt førte til nedlukningen af en angrebskampagne. Intet enkelt værktøj kan skabe den sammenhæng. Signalet findes kun på tværs af to produkters logfiler", siger James.

En anden situation, hvor Daybreak hjalp, var under en nylig red-teamingøvelse. Modellen fik nogle få fingerpeg om et internt system og kædede en komplet angrebssti sammen – SQL-injektion, rettighedseskalering, etablering af et fodfæste, opregning af legitimationsoplysninger og pivotering til andre systemer – på omkring to timer. Det ville typisk tage en menneskelig red-teamer flere dage. I de seneste red-teamingøvelser var tiden fra indsendelse af en sårbarhed på højt niveau til et automatisk foreslået patch 18 minutter.

Det nytter kun at finde sårbarhederne, hvis man også kan rette dem. Nettesheim gennemgår den proces, hans team følger for hvert fund: De finder ud af, hvor problemet ligger i koden, og hvem der har ansvaret for det, hvorefter de går videre til afhjælpning. "Man foreslår en programrettelse, bekræfter, at sårbarheden kan udnyttes, og kontrollerer derefter, at den er rettet, mens et menneske vejleder processen og implementerer kodeændringerne."

Selvom agenter teknisk set er i stand til det, har de ikke organisationens kontekst eller ræsonneringen bag tidligere beslutninger. Et menneske bidrager med den kontekst og strategi, og det er her, hans team kommer ind for at tilføje et menneskeligt lag af gennemgang. Efterhånden som AI's dømmekraft viser sig at holde stik i praksis, siger Nettesheim: "Vi vil gradvist øge risikoniveauet for at bruge det i mere følsomme systemer."

• Mindre end en time til at genafspille en foreslået ændring af detektion på syv måneders telemetridata.

• 18 minutter fra indsendelse af en sårbarhed med høj alvorlighedsgrad til et automatisk genereret rettelsesforslag i nylige red team-øvelser.

• Omkring 600 analytikertimer pr. kvartal frigøres fra håndtering af falske positiver.

• Der gennemføres cirka 1.100 analytikertimer med undersøgelsesarbejde pr. kvartal.

• 50 % højere gennemløb i triageringen

• 50 % stigning i efterretningsindsamling og undersøgelser.

Alene arbejdet med detektion og håndtering har frigjort omkring 600 analytikertimer pr. kvartal, som tidligere blev brugt på at gennemgå falske positiver. Med den frigjorte tid bruger teamet nu mere tid på dybdegående undersøgelser og på at udvikle mere automatisering på ansvarlig vis.

I takt med at angrebstempoet stiger, og AI-modellerne fortsat udvikler sig, ser Nettesheim en mulighed for at mindske antallet af sårbarheder, der opstår fra begyndelsen. Det ville give sikkerhedsteams mulighed for at bruge mindre tid på at udbedre sårbarheder og mere tid på forebyggende, strategisk arbejde.

"OpenAI flytter fordelen over til forsvarerne ved at gøre disse avancerede funktioner tilgængelige for alle," siger han. "Indtil nu har det typisk kun været meget profilerede teknologivirksomheder og offentlige myndigheder, der har haft adgang til dem. Men nu kan alle, herunder kritisk infrastruktur, skoler og små virksomheder, begynde at bruge denne teknologi til at forsvare deres netværk."