Slik bygger Block KI-drevet sikkerhet med OpenAI-teknologi

Hos Block, selskapet bak Square, Cash App og Afterpay, bruker sikkerhetsteamet OpenAI Defense Factory. Her håndterer KI sårbarhetssøk, deteksjon og respons i et omfang som ingen menneskelige team kunne holdt tritt med. Med KI-systemer som OpenAI Daybreak bruker Block bare timer på arbeid som tidligere tok uker.

Blocks sikkerhetsteam har vært opptatt av å ta i bruk KI på en ansvarlig måte i ulike arbeidsflyter, enten det gjelder kodegenerering eller operativt sikkerhetsarbeid. «Det handler egentlig om å få en ny lagkamerat som gjør det mulig å skalere arbeidet», sier James Nettesheim, direktør for informasjonssikkerhet. «Det er ikke som mer tradisjonell automatisering, der du måtte gå trinn for trinn. Du kan gi den et ganske spesifikt og uklart problem og jobbe deg gjennom det sammen med den.»

Oppgaver som å gjennomgå en programvarefeil eller analysere en logg kunne ta dager eller uker. Nå kan teamet fullføre disse oppgavene på en brøkdel av tiden, mens et menneske fortsatt kontrollerer hvert resultat.

Ved justering av deteksjonsregler lagres for eksempel de ubehandlede spørringsresultatene fra hver undersøkelse. Dermed kan teamet nå teste en foreslått regelendring mot sju måneders telemetridata fra produksjonsmiljøet på under en time. Tidligere innebar dette å kjøre nye spørringer mot hundrevis av gamle saker manuelt. I praksis ble det sjelden gjort, fordi det var så tidkrevende.

Teamet har også blitt mer bevisst på hvilken modell de bruker til hvilken jobb. «Før brukte vi den nyeste modellen, men det trenger du ikke lenger», sier han. «Det har vært lærerikt å velge ulike modeller til ulike oppgaver.» Blocks sikkerhetsrammeverk er bygget på Daybreak og hjelper med å sende oppgavene til riktig modell. Det har også mekanismer som lar mennesker overta oppgaver eller agenter kontrollere hverandres arbeid. Teamet evaluerer systemene fortløpende mot interne referansetester og resultater i praksis, og justerer tilnærmingen ved behov. Det innebærer også å sende arbeid til menneskelig gjennomgang når det er det ansvarlige valget.

Det automatiserte triagesystemet har ført til at mer arbeid blir gjort, og at det går raskere. Blocks sikkerhetsteam har oppnådd 50 % høyere gjennomstrømming i triagearbeidet, 50 % økning i etterretningsinnhenting og undersøkelser, og en helt ny kapasitet for autonom trusseljakt. Nettesheim sier: «Dette utfører undersøkelser tilsvarende rundt 1 100 analytikertimer per kvartal, fordi hvert varsel nå blir undersøkt grundig og fullstendig på tvers av alle elementene det omfatter. Systemet vårt behandler hvert varsel som om det var det eneste vi hadde fått den dagen.»

Tradisjonelle skanneverktøy flagger én sårbarhet isolert, men med Daybreak kan Blocks sikkerhetsteam gå mye lenger. Modellen hjelper med å utvikle hypoteser om angrepsmønstre og sette sammen en rekke angrep til en komplett angrepskjede som kan kompromittere systemet. Slik avdekkes sårbarheter som kan ha eksistert i årevis.

I ett tilfelle så et varsel fra en enkelt bærbar PC isolert sett ut som et mindre brudd på sikkerhetsreglene. Men under fagfellekontrollen fulgte modellen en indikator som bare dukket opp tilfeldig i bevismaterialet, koblet den mot Blocks identitetslogger og avdekket langt flere problemer. «Ett rutinemessig varsel fra en enhet førte til at en hel angrepskampanje ble stanset. Ingen enkeltverktøy gjør den koblingen. Signalet blir først synlig når loggene fra to produkter ses i sammenheng», sier James.

Et annet eksempel på hjelp fra Daybreak kom under en nylig red teaming-øvelse. Modellen fikk noen hint om et internt system og satte sammen en komplett angrepskjede på omtrent to timer: SQL-injeksjon, rettighetseskalering, etablering av et fotfeste, kartlegging av påloggingsinformasjon og videre tilgang til andre systemer. Dette ville vanligvis tatt en person som utfører red teaming, flere dager. I nylige red teaming-øvelser tok det 18 minutter fra en overordnet sårbarhetsbeskrivelse ble sendt inn, til et rettelsesforslag ble generert automatisk.

Verdien av å finne sårbarheter avhenger av evnen til å rette dem. Nettesheim beskriver prosessen teamet bruker for hvert funn: Finn ut hvor i koden problemet ligger, og hvem som har ansvaret for den, og gå deretter i gang med utbedringen. «Du foreslår en rettelse, bekrefter at sårbarheten kan utnyttes, og kontrollerer deretter at den er rettet. Et menneske er med i prosessen for å veilede og sette kodeendringene i produksjon.»

Selv om agentene er teknisk dyktige, kjenner de ikke organisasjonens kontekst eller begrunnelsene bak tidligere beslutninger. Et menneske bidrar med denne konteksten og strategien, og det er her teamet hans kommer inn med menneskelig gjennomgang og kontroll. Etter hvert som KIs dømmekraft blir bekreftet i praksis, sier Nettesheim, «vil vi gradvis øke risikonivået og bruke den i mer sensitive systemer».

• Under én time for å teste en foreslått endring i deteksjonsreglene mot sju måneders telemetridata.

• 18 minutter fra en overordnet sårbarhetsbeskrivelse ble sendt inn, til et rettelsesforslag ble generert automatisk i nylige red teaming-øvelser.

• Rundt 600 analytikertimer per kvartal frigjort fra triage av falske positiver.

• Undersøkelser tilsvarende omtrent 1 100 analytikertimer utført per kvartal.

• 50 % høyere gjennomstrømming i triagearbeidet.

• 50 % økning i etterretningsinnhenting og undersøkelser.

Bare innen deteksjon og respons er det frigjort rundt 600 analytikertimer per kvartal som tidligere gikk til triage av falske positiver. Denne tidsbesparelsen gjør at teamet nå kan bruke mer tid på grundigere undersøkelser og på å utvikle mer automatisering på en ansvarlig måte.

Etter hvert som angrepene kommer hyppigere og KI-modellene blir stadig bedre, ser Nettesheim en mulighet til å redusere antallet sårbarheter som i det hele tatt oppstår. Da kan sikkerhetsteam bruke mindre tid på feilretting og mer tid på forebyggende, strategisk arbeid.

«OpenAI gir forsvarerne overtaket ved å gjøre disse avanserte funksjonene tilgjengelige for alle», sier han. «Tidligere var dette som regel forbeholdt svært profilerte teknologiselskaper og myndigheter. Men nå kan alle, også de som driver kritisk infrastruktur, skoler og små bedrifter, begynne å bruke denne teknologien til å forsvare nettverkene sine.»