Design af AI-agenter, der modstår hurtig injektion

AI-agenter er i stigende grad i stand til at browse på nettet, hente information og handle på en brugers vegne. Disse funktioner er nyttige, men de skaber også nye måder, hvorpå angribere kan forsøge at manipulere systemet.

Disse angreb beskrives ofte som prompt injection⁠: instruktioner, der placeres i eksternt indhold i et forsøg på at få modellen til at gøre noget, som brugeren ikke har bedt om. Vores erfaring er, at de mest effektive versioner af disse angreb i den virkelige verden i stigende grad minder mere om social engineering end om simple prompt-tilsidesættelser.

Det skift er vigtigt. Hvis problemet ikke blot er at identificere en ondsindet streng, men at modstå vildledende eller manipulerende indhold i kontekst, kan forsvaret mod det ikke kun basere sig på at filtrere input. Det kræver også at designe systemet således, at virkningen af manipulation begrænses, selv hvis nogle angreb lykkes.

Tidlige angreb af typen “prompt injection” kunne være så simple som at redigere en Wikipedia-artikel, så den indeholdt direkte instruktioner til AI-agenter, der besøgte den; uden erfaring fra træningstid med et sådant fjendtligt miljø ville AI-model ofte følge disse instruktioner uden spørgsmål¹. Efterhånden som modellerne er blevet smartere, er de også blevet mindre sårbare over for denne type forslag, og vi har observeret, at angreb i prompt injection-stil har reageret ved at inkludere elementer af social engineering:

Inden for det bredere AI-sikkerhedsøkosystem er det blevet almindeligt at anbefale teknikker såsom “AI firewalling”, hvor en mellemmand mellem AI-agenten og omverdenen forsøger at klassificere input som skadelig prompt injection og almindelige input. Disse fuldt udviklede angreb bliver dog normalt ikke opfanget af sådanne systemer. For sådanne systemer bliver det at registrere et ondsindet input det samme meget vanskelige problem som at afsløre en løgn eller misinformation, og ofte uden den nødvendige kontekst.

Efterhånden som prompt injection-angreb i den virkelige verden blev mere komplekse, fandt vi, at de mest effektive offensive teknikker udnyttede social engineering-taktikker. I stedet for at behandle disse prompt injection-angreb med social engineering som en separat eller helt ny problemklasse begyndte vi at se det gennem den samme linse, som bruges til at håndtere social engineering-risiko for mennesker i andre domæner. I disse systemer er målet ikke begrænset til perfekt at identificere ondsindede input, men at designe agenter og systemer, så virkningen af manipulation begrænses, selv hvis den lykkes. Sådanne systemer viser sig at være effektive til at afbøde både prompt injection og social engineering.

På denne måde kan vi forestille os AI-agenten som eksisterende i et lignende system med tre aktører som en kundeservicemedarbejder. Agenten ønsker at handle på vegne af sin arbejdsgiver, men bliver løbende udsat for eksternt input, der kan forsøge at vildlede den. Agenten, menneskelig eller AI, skal have begrænsninger lagt på sine kapaciteter for at begrænse den nedadgående risiko, der er iboende i at eksistere i et så ondsindet miljø.

Forestil dig en situation, hvor et menneske betjener et kundesupportsystem og er i stand til at udstede gavekort og refunderinger for ulemper, som kunden har oplevet, såsom langsom levering, skader som følge af funktionsfejl osv. Dette er et problem med flere parter, hvor virksomheden skal have tillid til, at agenten udbetaler refusioner af de rigtige grunde, mens agenten også interagerer med tredjeparter, som kan forsøge at vildlede dem eller endda udsætte dem for tvang.

I den virkelige verden får agenten et sæt regler, der skal følges, men det forventes, at de i det fjendtlige miljø, de eksisterer i, vil blive vildledt. Måske sender en kunde en besked og hævder, at deres refusion aldrig gik igennem, eller truer med at gøre skade, hvis de ikke får en refusion. Deterministiske systemer, som agenten interagerer med, begrænser mængden af refusioner, der kan gives til en kunde, angiver potentielle phishing-e-mails og leverer andre sådanne afbødninger for at begrænse virkningen af at kompromittere en individuel agent. 

Denne tankegang har dannet grundlag for en robust række modforanstaltninger, som vi har implementeret, der opfylder vores brugeres sikkerhedsforventninger.

I ChatGPT kombinerer vi denne Social Engineering-model med mere traditionelle sikkerhedstekniske tilgange såsom source-sink-analyse.

I den ramme har en angriber brug for både en kilde, eller en måde at påvirke systemet på, og en sink, eller en kapacitet, der bliver farlig i den forkerte kontekst. For agentiske systemer betyder det ofte at kombinere upålideligt eksternt indhold med en handling såsom at overføre oplysninger til en tredjepart, følge et link eller interagere med et værktøj.

Vores mål er at bevare en grundlæggende sikkerhedsforventning for brugerne: potentielt farlige handlinger eller overførsler af potentielt følsomme oplysninger bør ikke ske i det skjulte eller uden passende sikkerhedsforanstaltninger.

Angreb, som vi oftest ser rettet mod ChatGPT, består typisk i at forsøge at overbevise assistenten om, at den bør tage nogle hemmelige oplysninger fra en samtale og sende dem til en ondsindet tredjepart. I de fleste tilfælde, vi kender til, mislykkes disse angreb, fordi vores sikkerhedstræning får agenten til at afvise. I de tilfælde, hvor agenten bliver overbevist, har vi udviklet en afbødningsstrategi, der kaldes Safe Url, som er designet til at opdage, når oplysninger, som assistenten har lært i samtalen, bliver overført til en tredjepart. I disse sjældne tilfælde viser vi enten brugeren de oplysninger, der ville blive overført, og beder dem om at bekræfte, eller vi blokerer det og beder agenten om at finde en anden måde at imødekomme brugerens anmodning på.

Den samme mekanisme gælder for navigationer og bogmærker i Atlas⁠ samt søgninger og navigationer i Dybdegående research⁠. ChatGPT Canvas⁠ & ChatGPT Apps⁠ har en lignende tilgang, der gør det muligt for agenten at oprette og bruge funktionelle applikationer. Disse kører i en sandbox, der kan registrere uventet kommunikation og bede brugeren om deres samtykke⁠(åbner i et nyt vindue).

Du kan læse mere om Safe Url og finde en artikel om dens struktur i det dedikerede blogindlæg Sådan holder du dine data sikre, når en AI-agent klikker på et link⁠.

Sikker interaktion med den adversariske omverden er nødvendig for fuldt autonome agenter. Når du integrerer en AI-model med et applikationssystem, anbefaler vi at spørge, hvilke kontroller en menneskelig agent bør have i en lignende situation, og implementere dem. Vi forventer, at en maksimalt intelligent AI-model vil være i stand til at modstå social engineering bedre end en menneskelig agent, men dette er ikke altid muligt eller omkostningseffektivt afhængigt af applikationen.

Vi fortsætter med at udforske implikationerne af social engineering mod AI-modeller og forsvar mod det og indarbejder vores resultater både i vores applikationssikkerhedsarkitekturer og i den træning, vi udsætter vores AI-modeller for.