Sådan bygger Block AI-drevet sikkerhed med OpenAI-teknologi

Hos Block, virksomheden bag Square, Cash App og Afterpay, bruger sikkerhedsteamet OpenAI Defense Factory: Her finder AI sårbarheder, registrerer trusler og reagerer på dem i et omfang, som intet menneskeligt team ville kunne håndtere. Med AI-systemer som OpenAI Daybreak klarer Block på få timer arbejde, der før tog uger.

Blocks sikkerhedsteam har fokuseret på at indføre AI på ansvarlig vis på tværs af arbejdsgange, hvad enten det gælder kodegenerering eller det daglige sikkerhedsarbejde. »Det handler i bund og grund om at få en ny kollega, som gør det muligt at skalere indsatsen,« siger James Nettesheim, chef for informationssikkerhed. »Det er ikke som mere traditionel automatisering, hvor man skulle beskrive hvert enkelt trin. Man kan præsentere den for en ret specifik, uklart defineret problemstilling og arbejde sig igennem den sammen.«

Opgaver som at gennemgå en softwarefejl eller analysere en log kunne tage dage eller uger. Nu kan teamet klare de opgaver på en brøkdel af tiden, mens et menneske stadig validerer hvert eneste resultat.

Når det gælder justering af detektion, gemmes for eksempel de rå forespørgselsresultater fra hver undersøgelse. Derfor kan teamet nu afprøve en foreslået ændring i detektionen på syv måneders telemetridata fra produktionsmiljøet på under en time. Tidligere krævede det arbejde, at man manuelt gentog forespørgsler i hundredvis af gamle sager. Det skete sjældent i praksis, fordi det var så tidskrævende.

Teamet er også blevet mere omhyggeligt med at vælge den rette model til hver opgave. »Før brugte vi den nyeste model, men det behøver man ikke længere,« siger han. »Vi har skullet lære at vælge forskellige modeller til forskellige opgaver.« Blocks sikkerhedsharness er bygget oven på Daybreak og hjælper med at sende opgaver til den rette model. Det omfatter også mekanismer, der lader mennesker overtage opgaver eller agenter kontrollere hinandens arbejde. Teamet evaluerer løbende systemerne ud fra interne benchmarks og deres præstationer i praksis og justerer tilgangen efter behov. Det indebærer også at sende arbejde til menneskelig gennemgang, når det er den ansvarlige løsning.

Det automatiserede triagesystem har gjort det muligt at få mere arbejde fra hånden på kortere tid. Blocks sikkerhedsteam har oplevet 50 % højere gennemløb i triage, en stigning på 50 % i indsamling af trusselsinformation og undersøgelser samt fået en helt ny mulighed for autonom trusselsjagt. Nettesheim siger: »Systemet udfører undersøgelser svarende til cirka 1.100 analytikertimer pr. kvartal, fordi hver alarm nu bliver undersøgt grundigt og til bunds på tværs af alle de forhold, den vedrører. Vores system behandler hver alarm, som om det var den eneste, vi havde fået den dag.«

Traditionelle scanningsværktøjer markerer enkelte sårbarheder isoleret, men med Daybreak kan Blocks sikkerhedsteam nå langt videre. Modellen hjælper med at opstille hypoteser om angrebsmønstre og forbinde en række angreb til en komplet angrebsvej, der fører til kompromittering. På den måde afdækker den sårbarheder, som kan have eksisteret i årevis.

I ét tilfælde lignede en alarm på en enkelt bærbar computer isoleret set et mindre brud på sikkerhedspolitikken. Men under en fagfællebedømmelse fulgte modellen en indikator, der kun optrådte tilfældigt i materialet, sammenholdt den med Blocks identitetslogfiler og afdækkede en langt større række problemer. »En rutinemæssig alarm fra en enkelt enhed førte til, at en hel angrebskampagne blev stoppet. Intet enkelt værktøj kan lave den kobling. Signalet viser sig kun, når logfiler fra to produkter sammenholdes,« siger James.

Et andet eksempel på Daybreaks hjælp var under en nylig red-teaming-øvelse. Modellen fik nogle få hints om et internt system og sammensatte på cirka to timer en komplet angrebsvej: SQL-injektion, eskalering af rettigheder, etablering af et fodfæste, kortlægning af legitimationsoplysninger og videre adgang til andre systemer. Det ville typisk tage en menneskelig specialist i red-teaming flere dage. Under nylige red-teaming-øvelser gik der 18 minutter fra indsendelse af en overordnet sårbarhedsbeskrivelse til et automatisk rettelsesforslag.

At finde sårbarheder er kun nyttigt, hvis man også kan rette dem. Nettesheim gennemgår den proces, hans team følger ved hvert fund: Find ud af, hvor problemet ligger i koden, og hvem der har ansvaret for den. Gå derefter videre til at afhjælpe problemet. »Man foreslår en rettelse, bekræfter, at sårbarheden kan udnyttes, og kontrollerer derefter, at den er rettet. Undervejs styrer et menneske processen og udruller kodeændringerne.«

Selvom agenter er teknisk dygtige, kender de hverken organisationens kontekst eller begrundelserne for tidligere beslutninger. Et menneske bidrager med den kontekst og strategi, og det er her, hans team kommer ind med en menneskelig gennemgang. Efterhånden som AI's dømmekraft viser sit værd i praksis, siger Nettesheim, »vil vi gradvist hæve det risikoniveau, vi accepterer, og bruge den til mere følsomme systemer.«

• Under en time til at afprøve en foreslået ændring i detektionen på syv måneders telemetridata.

• 18 minutter fra indsendelse af en overordnet sårbarhedsbeskrivelse til et automatisk rettelsesforslag under nylige red-teaming-øvelser.

• Omkring 600 analytikertimer pr. kvartal frigjort fra triage af falske positiver.

• Undersøgelser svarende til cirka 1.100 analytikertimer udført pr. kvartal.

• 50 % højere gennemløb i triage.

• 50 % stigning i indsamling af trusselsinformation og undersøgelser.

Alene arbejdet med detektion og respons har frigjort omkring 600 analytikertimer pr. kvartal, som før blev brugt på triage af falske positiver. Den frigjorte tid bruger teamet nu på mere dybdegående undersøgelser og på at udvikle mere automatisering på ansvarlig vis.

I takt med at angrebstempoet stiger, og AI-modellerne fortsat bliver bedre, ser Nettesheim en mulighed for at reducere antallet af sårbarheder, der overhovedet opstår. Det ville give sikkerhedsteams mulighed for at bruge mindre tid på rettelser og mere tid på forebyggende, strategisk arbejde.

»OpenAI giver forsvarerne overtaget ved at gøre disse avancerede funktioner tilgængelige for alle,« siger han. »Typisk har de kun været til rådighed for de mest fremtrædende teknologivirksomheder og myndigheder. Men nu kan alle, herunder operatører af kritisk infrastruktur, skoler og små virksomheder, begynde at bruge denne teknologi til at forsvare deres netværk.«