Så bygger Block AI-driven säkerhet med OpenAI-teknik

På Block, företaget bakom Square, Cash App och Afterpay, drar säkerhetsteamet nytta av OpenAI Defense Factory. Det är här AI hanterar sökning efter, detektering av och respons på sårbarheter i en omfattning som inget mänskligt team skulle kunna hålla jämna steg med. Med hjälp av AI-system, däribland OpenAI Daybreak, utför Block på bara några timmar arbete som tidigare tog flera veckor.

Blocks säkerhetsteam har fokuserat på att införa AI på ett ansvarsfullt sätt i olika arbetsflöden, oavsett om det gäller kodgenerering eller säkerhetsarbete. “Det handlar i grunden om att ha en ny kollega som kan växa i takt med verksamheten“, säger James Nettesheim, informationssäkerhetschef. “Det är inte som med traditionell automatisering, där man var tvungen att gå steg för steg. Du kan ge den en prompt med ett ganska skräddarsytt och tvetydigt problem och arbeta igenom det tillsammans med den.“

Projekt som att granska en programvarubugg eller tolka en logg brukade ta flera dagar eller veckor att slutföra. Nu kan teamet slutföra dessa projekt på en bråkdel av tiden, samtidigt som en människa fortfarande kontrollerar varje resultat.

Till exempel sparas råa sökfrågeunderlag för varje utredning vid finjustering av detekteringen. Därför kan teamet nu testa en föreslagen ändring av detekteringen mot sju månaders telemetri från produktionsmiljön på mindre än en timme. Tidigare innebar det arbetet att köra om sökningar i hundratals gamla ärenden för hand, något som i praktiken sällan blev gjort eftersom det var så tidskrävande.

Teamet har också blivit mer noggrant med att välja vilken modell de använder för varje uppgift. ”Vi brukade använda den senaste modellen, men det behöver man inte längre”, säger han. ”Det har varit en lärorik erfarenhet att välja olika modeller för olika uppgifter.” Blocks säkerhetskörmiljö bygger på Daybreak och hjälper till att styra uppgifter till rätt modell. Den innehåller också funktioner som gör det möjligt för människor att ta över uppgifter eller för agenter att verifiera varandras arbete. Teamet utvärderar kontinuerligt dessa system mot interna riktmärken och verklig prestanda och justerar sitt tillvägagångssätt vid behov, bland annat genom att skicka arbete till mänsklig granskning när det är det ansvarsfulla valet.

Det automatiserade triagesystemet har gjort att arbetet går snabbare (och att mer blir gjort). Blocks säkerhetsteam har sett en ökning av triagekapaciteten med 50%, en ökning av intelligensinsamling och utredningar med 50 % samt en helt ny förmåga till autonom hotjakt. Nettesheim säger: “Det här motsvarar drygt 1 100 analytikertimmar av utredningsarbete per kvartal, eftersom varje larm nu får en fullständig, djupgående utredning som omfattar alla delar som larmet berör. Vårt system hanterar varje larm som om det vore det enda larmet vi fått den dagen.“

Traditionella skanningsverktyg flaggar en enskild och isolerad sårbarhet, men Blocks säkerhetsteam kan komma mycket längre med Daybreak. Modellen hjälper till att formulera hypoteser om attackmönster och länka samman en serie attacker till en fullständig komprometteringskedja från början till slut, vilket synliggör sårbarheter som kan ha funnits i flera år.

I ett fall verkade ett larm från en enda laptop i sig vara ett mindre policyproblem. Men under en granskning följde modellen en indikator som bara förekom i förbigående i underlaget, matchade den mot Blocks identitetsloggar och upptäckte en mycket större mängd problem. ”Ett rutinmässigt slutpunktslarm ledde till att en kampanj slogs ut. Ingen enskild lösning kan göra den kopplingen. Signalen finns bara i loggarna från två produkter”, säger James.

Ett annat tillfälle då Daybreak var till hjälp var under en nyligen genomförd red teaming-övning. Modellen fick några ledtrådar om ett internt system och satte ihop en fullständig attackkedja – SQL-injektion, eskalering av behörigheter, etablering av ett fotfäste, kartläggning av autentiseringsuppgifter och förflyttning till andra system – på ungefär två timmar. Detta skulle normalt ta en mänsklig red teaming-specialist flera dagar. Under de senaste red teaming-övningarna uppgick tiden från att en sårbarhet på hög nivå rapporterades in till ett automatiskt genererat patchförslag till 18 minuter.

Att hitta sårbarheterna är bara meningsfullt om man också kan åtgärda dem. Nettesheim går igenom processen som hans team använder för varje upptäckt: hitta var problemet finns i koden och ta reda på vem som ansvarar för det, och sedan gå vidare till åtgärder. “Man föreslår en patch, bekräftar att den går att utnyttja och verifierar sedan att man har åtgärdat problemet, med en människa som deltar i processen som vägleder arbetet och driftsätter kodändringarna.“

Även om agenter är tekniskt kompetenta har de inte med sig organisationens kontext eller resonemangen bakom tidigare beslut. En människa bidrar med den kontexten och strategin, och det är där hens team kommer in och tillför mänsklig granskning. I takt med att AI:s omdöme visar sig tillförlitligt i praktiken säger Nettesheim att “vi kommer att sakta höja risknivån för att använda AI i känsligare system“.

• Det tar mindre än en timme att köra en föreslagen detekteringsändring mot sju månaders telemetri.

• 18 minuter från att en sårbarhet på hög nivå skickas in till ett automatiskt patchförslag i nyligen genomförda red team-övningar.

• Cirka 600 analytikertimmar frigörs per kvartal från triagering av falsklarm.

• Utredningsarbete på cirka 1 100 analytikertimmar slutförs per kvartal.

• 50 % ökning av triageringskapaciteten.

• 50 % ökning av intelligensinhämtning och utredningar.

Arbetet med upptäckt och hantering har i sig frigjort ungefär 600 analytikertimmar per kvartal som tidigare gick åt till att sålla bland falsklarm. Nu när teamet har fått tillbaka den tiden lägger det mer tid på djupare undersökningar och på att utveckla mer automatisering på ett ansvarsfullt sätt.

I takt med att angreppstakten ökar och AI-modellerna fortsätter att utvecklas ser Nettesheim en möjlighet att minska antalet sårbarheter som uppstår från första början. Det skulle frigöra tid för säkerhetsteamen, så att de kan lägga mindre tid på att åtgärda sårbarheter och mer tid på förebyggande, strategiskt arbete.

“OpenAI för över övertaget till försvararna genom att göra dessa avancerade funktioner tillgängliga för alla“, säger han. “Tidigare har de vanligtvis bara funnits hos mycket framstående teknikföretag och myndigheter. Men alla, inklusive aktörer inom kritisk infrastruktur, skolor och småföretag, kan nu börja använda den här tekniken för att försvara sina nätverk.“