Så bygger Block AI-driven säkerhet med teknik från OpenAI

På Block, företaget bakom Square, Cash App och Afterpay, använder säkerhetsteamet OpenAI Defense Factory. Där hanterar AI arbetet med att hitta sårbarheter, upptäcka hot och vidta åtgärder i en skala som inget mänskligt team skulle kunna hålla jämna steg med. Med AI-system som OpenAI Daybreak gör Block nu på bara några timmar det som tidigare tog veckor.

Blocks säkerhetsteam har fokuserat på att införa AI på ett ansvarsfullt sätt i sina arbetsflöden, oavsett om det gäller kodgenerering eller operativt säkerhetsarbete. ”I grunden handlar det om att ha en ny kollega som man kan skala upp arbetet med”, säger James Nettesheim, informationssäkerhetschef. ”Det är inte som mer traditionell automatisering, där man behövde gå steg för steg. Man kan beskriva ett ganska specifikt och otydligt problem och arbeta sig igenom det tillsammans.”

Uppgifter som att granska en bugg eller analysera en logg kunde ta dagar eller veckor att slutföra. Nu kan teamet slutföra samma uppgifter på en bråkdel av tiden, samtidigt som en människa fortfarande kontrollerar varje resultat.

För att finjustera detekteringen sparas exempelvis de obearbetade frågeresultaten från varje utredning. Det gör att teamet nu kan testa en föreslagen ändring av detekteringen mot sju månaders telemetridata från produktionsmiljön på mindre än en timme. Tidigare innebar det arbetet att manuellt köra nya frågor mot hundratals gamla ärenden. Det var så tidskrävande att det sällan blev gjort i praktiken.

Teamet har också blivit mer noggrant med vilken modell som används till vilken uppgift. ”Förr använde vi den senaste modellen, men det behöver man inte längre”, säger han. ”Det har varit lärorikt att välja olika modeller för olika uppgifter.” Blocks körmiljö för säkerhetsarbete bygger på Daybreak och hjälper till att fördela uppgifter till rätt modell. Den har också funktioner som gör att människor kan ta över uppgifter och agenter kan kontrollera varandras arbete. Teamet utvärderar löpande systemen med interna prestandatester och utifrån hur de fungerar i praktiken. Arbetssättet justeras vid behov, bland annat genom att låta människor granska arbetet när det är det ansvarsfulla valet.

Det automatiserade triagesystemet har gjort att mer arbete blir gjort, och att det går snabbare. Blocks säkerhetsteam har ökat sin triagekapacitet med 50 %, sin underrättelseinhämtning och sina utredningar med 50 %, och fått en helt ny förmåga till autonom hotjakt. Nettesheim säger: ”Systemet utför utredningsarbete motsvarande cirka 1 100 analytikertimmar per kvartal, eftersom varje larm nu utreds grundligt och fullständigt, med alla delar som larmet berör. Vårt system hanterar varje larm som om det vore dagens enda.”

Traditionella skanningsverktyg flaggar enskilda sårbarheter var för sig, men med Daybreak kan Blocks säkerhetsteam gå mycket längre. Modellen hjälper till att formulera hypoteser om attackmönster och koppla ihop en serie attacker till en fullständig angreppskedja, från första steget till ett genomfört intrång. På så sätt upptäcks sårbarheter som kan ha funnits i flera år.

I ett fall verkade ett larm från en enda bärbar dator, sett för sig, handla om en mindre policyöverträdelse. Men vid en kollegial granskning följde modellen upp en indikator som bara förekom i förbigående i underlaget. Den samkörde indikatorn med Blocks identitetsloggar och upptäckte en betydligt större uppsättning problem. ”Ett rutinmässigt larm från en klientenhet ledde till att en hel attackkampanj stoppades. Inget enskilt verktyg gör den kopplingen. Signalen syns bara när loggarna från två produkter kombineras”, säger James.

Ett annat tillfälle då Daybreak hjälpte till var under en nyligen genomförd red teaming-övning. Modellen fick några ledtrådar om ett internt system och satte ihop en fullständig angreppskedja – SQL-injektion, behörighetseskalering, etablering av ett fotfäste, kartläggning av inloggningsuppgifter och förflyttning till andra system – på ungefär två timmar. Det skulle normalt ta en mänsklig specialist på red teaming flera dagar. Under de senaste red teaming-övningarna tog det 18 minuter från att en översiktlig sårbarhetsrapport lämnades in tills ett patchförslag genererades automatiskt.

Att hitta sårbarheter är bara värdefullt om man också kan åtgärda dem. Nettesheim går igenom den process teamet följer för varje fynd: lokalisera problemet i koden och ta reda på vem som ansvarar för den, och gå sedan vidare till att åtgärda det. ”Man föreslår en patch, bekräftar att sårbarheten går att utnyttja och kontrollerar sedan att den är åtgärdad. En människa är med i processen, vägleder arbetet och driftsätter kodändringarna.”

Även om agenter är tekniskt kapabla saknar de insikt i organisationens sammanhang och skälen bakom tidigare beslut. En människa bidrar med den förståelsen och strategin, och det är där hans team kommer in och står för den mänskliga granskningen. I takt med att AI:ns omdöme visar sig tillförlitligt i praktiken säger Nettesheim att ”vi gradvis kommer att höja risknivån och använda tekniken i känsligare system”.

• Mindre än en timme för att testa en föreslagen ändring av detekteringen mot sju månaders telemetridata.

• 18 minuter från en översiktlig sårbarhetsrapport till ett automatiskt patchförslag under de senaste red teaming-övningarna.

• Omkring 600 analytikertimmar per kvartal frigörs från triage av falsklarm.

• Utredningsarbete motsvarande cirka 1 100 analytikertimmar utförs per kvartal.

• 50 % högre triagekapacitet.

• 50 % mer underrättelseinhämtning och fler utredningar.

Enbart arbetet med detektering och incidenthantering har frigjort omkring 600 analytikertimmar per kvartal som tidigare gick till triage av falsklarm. Den frigjorda tiden använder teamet nu till djupare utredningar och till att utveckla mer automatisering på ett ansvarsfullt sätt.

När attackerna sker i allt snabbare takt och AI-modellerna fortsätter att utvecklas ser Nettesheim en möjlighet att minska antalet sårbarheter som uppstår från början. Det skulle ge säkerhetsteamen möjlighet att lägga mindre tid på patchning och mer på förebyggande, strategiskt arbete.

”OpenAI flyttar fördelen till försvararna genom att göra de här avancerade funktionerna tillgängliga för alla”, säger han. ”Tidigare har det här oftast bara varit tillgängligt för mycket framstående teknikföretag och myndigheter. Men nu kan alla, även aktörer inom kritisk infrastruktur, skolor och småföretag, börja använda tekniken för att försvara sina nätverk.”