Hvordan Block bygger KI-drevet sikkerhet med OpenAI-teknologi

Hos Block, selskapet bak Square, Cash App og Afterpay, tar sikkerhetsteamet i bruk OpenAI Defense Factory, der KI håndterer oppdagelse av sårbarheter, deteksjon og respons i et omfang ingen menneskelig gruppe kunne holde tritt med. Med KI-systemer som OpenAI Daybreak bruker Block bare timer på arbeid som tidligere tok uker.

Block-teamet for informasjonssikkerhet har vært opptatt av å ta i bruk KI på en ansvarlig måte på tvers av arbeidsflyter, enten det gjelder kodegenerering eller sikkerhetsoperasjoner. «Det handler egentlig om å ha en ny kollega som du kan skalere med», sier James Nettesheim, informasjonssikkerhetsdirektør. «Det er ikke som mer tradisjonell automatisering, der du måtte gå trinn for trinn. Du kan gi den en ganske skreddersydd, tvetydig problemstilling som prompt og jobbe deg gjennom den sammen.»

Oppgaver som å gjennomgå en programvarefeil eller analysere en logg ville tatt dager eller uker å fullføre. Nå kan teamet fullføre disse oppgavene på en brøkdel av tiden, samtidig som et menneske fortsatt validerer hvert resultat.

For å finjustere deteksjonen lagres for eksempel rådataene fra spørringene som bevismateriale i hver etterforskning, slik at teamet nå kan teste en foreslått endring i deteksjonen mot sju måneder med telemetridata fra produksjonsmiljøet på under én time. Tidligere innebar dette arbeidet å kjøre nye spørringer mot hundrevis av gamle saker manuelt, og i praksis ble det sjelden gjort fordi det var så tidkrevende.

Teamet har også blitt mer nøye med hvilken modell de bruker til hvilken oppgave. «Vi pleide å bruke den nyeste modellen, men det trenger du ikke lenger», sier han. «Det har vært en læringsprosess å velge ulike modeller til ulike oppgaver.» Blocks sikkerhetsrammeverk bygger på Daybreak og bidrar til å sende oppgaver til riktig modell. Det har også funksjoner som gjør det mulig for mennesker å overta oppgaver, eller for agenter å kontrollere hverandres arbeid. Teamet evaluerer kontinuerlig disse systemene opp mot interne referansetester og ytelse i den virkelige verden, og justerer tilnærmingen ved behov. Dette omfatter å sende arbeid til menneskelig gjennomgang når det er den ansvarlige løsningen.

Det automatiserte triagesystemet har ført til at arbeidet blir utført raskere (og at mer arbeid blir gjort). Blocks sikkerhetsteam har sett en økning på 50 % i gjennomstrømmingen for triage, en økning på 50 % i innsamling av intelligens og undersøkelser, og fått en helt ny, autonom funksjon for trusseljakt. Nettesheim sier: «Dette tilsvarer omtrent 1 100 analytikertimer med undersøkelser per kvartal, fordi hvert varsel nå får en fullstendig og grundig undersøkelse av alle elementene det omfatter. Systemet vårt behandler hvert varsel som om det var det eneste varselet vi hadde den dagen.»

Tradisjonelle skanneverktøy varsler om enkeltstående sårbarheter isolert sett, men sikkerhetsteamet til Block kan komme mye lenger med Daybreak. Modellen hjelper med å utarbeide hypoteser om angrepsmønstre og sette sammen en rekke angrep til en fullstendig angrepskjede fra ende til ende som fører til kompromittering. Slik avdekkes sårbarheter som kan ha eksistert i årevis.

I ett tilfelle så et varsel på én enkelt bærbar PC isolert sett ut som et mindre problem knyttet til retningslinjene. Men under kollegagjennomgangen fulgte modellen et spor som bare forekom tilfeldig i dokumentasjonen, koblet det mot Blocks identitetslogger og avdekket et langt større antall problemer. «Ett rutinemessig endepunktvarsel ble til en aksjon for å stanse en kampanje. Ingen enkeltverktøy kan gjøre den koblingen. Signalet finnes bare på tvers av loggene fra to produkter», sier James.

Et annet eksempel på når Daybreak hjalp, var under en nylig red teaming-øvelse. Modellen fikk noen få hint om et internt system og satte sammen en fullstendig angrepskjede – SQL-injeksjon, privilegieeskalering, et fotfeste, kartlegging av legitimasjon og pivotering til andre systemer – på omtrent to timer. Dette ville vanligvis tatt en menneskelig red teamer flere dager. I nylige red teaming-øvelser var tiden fra innsending av en sårbarhet med høy alvorlighetsgrad til et automatisk generert rettingsforslag 18 minutter.

Verdien av å finne sårbarhetene avhenger av evnen til å rette dem. Nettesheim går gjennom prosessen teamet hans bruker for hvert funn: finne ut hvor i koden problemet ligger og hvem som har ansvaret for det, og deretter gå videre til utbedring. «Du foreslår en rettelse, bekrefter at sårbarheten kan utnyttes, og kontrollerer deretter at du har rettet den, med et menneske involvert som styrer prosessen og ruller ut kodeendringene.»

Selv om agenter er teknisk dyktige, har de ikke med seg organisasjonens kontekst eller resonneringen bak tidligere beslutninger. Et menneske bidrar med denne konteksten og strategien, og det er her teamet hans kommer inn for å sørge for menneskelig gjennomgang. Etter hvert som KIs dømmekraft viser seg å holde mål i praksis, sier Nettesheim: «Vi vil gradvis øke risikonivået for å bruke KI i mer sensitive systemer.»

• Under én time for å teste en foreslått endring i deteksjonen mot sju måneder med telemetridata.

• 18 minutter fra innsending av en sårbarhet med høy alvorlighetsgrad til et automatisk generert rettingsforslag i nylige red team-øvelser.

• Omtrent 600 analytikertimer per kvartal frigjort fra triagering av falske positiver.

• Omtrent 1 100 analytikertimer med etterforskning fullføres per kvartal.

• 50 % økning i gjennomstrømmingen for triagering.

• 50 % økning i innhenting av intelligens og etterforskninger.

Deteksjons- og responsarbeidet alene har frigjort rundt 600 analytikertimer per kvartal som tidligere gikk med til triagering av falske positiver. Med denne tiden tilbake bruker teamet nå mer tid på mer inngående undersøkelser og på å utvikle mer automatisering på en ansvarlig måte.

Etter hvert som angrepstakten øker og KI-modellene stadig blir bedre, ser Nettesheim en mulighet til å redusere antallet sårbarheter som oppstår i utgangspunktet. Det ville gjøre det mulig for sikkerhetsteamene å bruke mindre tid på å utbedre sårbarheter og mer tid på forebyggende, strategisk arbeid.

«OpenAI flytter fordelen over til forsvarerne ved å gjøre disse avanserte mulighetene tilgjengelige for alle», sier han. «Vanligvis har slike muligheter bare vært i hendene på svært profilerte teknologiselskaper og myndigheter. Men nå kan alle, inkludert kritisk infrastruktur, skoler og små bedrifter, begynne å bruke denne teknologien til å forsvare nettverkene sine.»