Kontinuerligt härda ChatGPT Atlas mot promptinjektionsattacker

Agentläget i ChatGPT Atlas är en av de mest allmänna agentfunktionerna som vi har släppt hittills. I det här läget visar webbläsaragenten webbsidor och utför åtgärder, klick och tangenttryckningar i din webbläsare, precis som du själv skulle göra. Detta gör att ChatGPT kan arbeta direkt med många av dina dagliga arbetsflöden med samma utrymme, sammanhang och data.

När webbläsaragenten hjälper dig att få mer gjort, blir den också ett mer värdefullt mål för fientliga attacker. Detta gör AI-säkerhet särskilt viktigt. Långt innan vi lanserade ChatGPT Atlas har vi kontinuerligt byggt upp och förstärkt vårt försvar mot nya hot som specifikt riktar sig mot detta nya paradigm med ”agenter i webbläsaren”. Promptinjektion⁠ är en av de största riskerna som vi aktivt skyddar oss mot för att säkerställa att ChatGPT Atlas kan fungera säkert för din räkning. 

Som en del av detta arbete har vi nyligen skickat ut en säkerhetsuppdatering till Atlas webbläsaragent, inklusive en ny modell som tränats för att hantera hot och förstärkta säkerhetsåtgärder. Denna uppdatering föranleddes av en ny klass av promptinjektionsattacker som upptäcktes genom vår interna automatiserade red teaming.

I det här inlägget förklarar vi hur risker med prompt-injection kan uppstå för webbaserade agenter, och vi delar med oss av en snabb responsloop som vi har byggt upp för att kontinuerligt upptäcka nya attacker och snabbt leverera åtgärder – illustrerat med den senaste säkerhetsuppdateringen.

Vi ser promptinjektion som en långsiktig utmaning för AI-säkerheten, och vi måste kontinuerligt stärka vårt försvar mot den (ungefär som de ständigt föränderliga onlinebedrägerierna som riktar sig mot människor). Vår senaste snabba responscykel visar tidiga lovande resultat som ett viktigt verktyg på den resan: vi upptäcker nya attackstrategier internt innan de dyker upp i verkligheten. Vår långsiktiga vision är att fullt ut utnyttja (1) vår white-box-åtkomst till våra modeller, (2) vår djupa förståelse för våra försvarssystem och (3) vår beräkningskapacitet för att ligga steget före externa angripare – genom att upptäcka säkerhetsluckor tidigare, leverera åtgärder snabbare och kontinuerligt stärka säkerheten. I kombination med banbrytande forskning om nya tekniker för att hantera promptinjektion och ökade investeringar i andra säkerhetskontroller kan denna sammansatta cykel göra attacker allt svårare och kostsammare, vilket avsevärt minskar risken för promptinjektion i verkligheten. I slutändan är vårt mål att du ska kunna lita på att en ChatGPT‑agent använder din webbläsare på samma sätt som du litar på en mycket kompetent och säkerhetsmedveten kollega eller vän.

En promptinjektionsattack riktar sig mot AI-agenter genom att bädda in skadliga instruktioner i innehållet som agenten bearbetar. Dessa instruktioner är utformade för att åsidosätta eller omdirigera agentens beteende – och få den att följa angriparens avsikt istället för användarens.

För en webbläsareagent som den i ChatGPT Atlas, tillför promptinjektion en ny hotvektor utöver traditionella webbsäkerhetsrisker (som användarfel eller programvarusårbarheter). Istället för att nätfiska människor eller utnyttja systemsårbarheter i webbläsaren riktar angriparen sig mot agenten som arbetar inuti den.

Som ett hypotetiskt exempel skulle en angripare kunna skicka ett skadligt e-postmeddelande i syfte att lura en agent att ignorera användarens begäran och istället vidarebefordra känsliga skattedokument till en e-postadress som kontrolleras av angriparen. Om en användare ber agenten att granska olästa e-postmeddelanden och sammanfatta viktiga punkter kan agenten ta emot det skadliga e-postmeddelandet under arbetsflödet. Om den följer de injicerade instruktionerna kan den avvika från uppgiften och felaktigt dela känslig information.

Det här är bara ett specifikt scenario. Samma allmänhet som gör webbläsaragenter användbara ökar också riskerna: agenten kan stöta på opålitliga instruktioner över ett i praktiken obegränsat område – e-postmeddelanden och bilagor, kalenderinbjudningar, delade dokument, forum, inlägg på sociala medier och godtyckliga webbsidor. Eftersom agenten kan utföra många av samma åtgärder som en användare kan utföra i en webbläsare, kan effekten av en lyckad attack hypotetiskt sett vara lika omfattande: vidarebefordra ett känsligt e-postmeddelande, skicka pengar, redigera eller radera filer i molnet och mycket mer.

Vi har gjort framsteg när det gäller att försvara oss mot promptinjektion genom flera lager av skyddsåtgärder, som vi berättade om i ett tidigare inlägg⁠. Promptinjektion är dock fortfarande en öppen utmaning för agentsäkerhet, och en som vi förväntar oss att fortsätta arbeta med under många år framöver.

För att stärka vårt försvar har vi kontinuerligt letat efter nya promptinjektionsattacker mot agentsystem i produktion. Att upptäcka dessa attacker är en nödvändig förutsättning för att kunna skapa robusta skyddsåtgärder: det hjälper oss att förstå de verkliga riskerna, avslöjar brister i våra försvar och driver på utvecklingen av konkreta korrigeringar.

För att göra detta i stor skala byggde vi en LLM-baserad automatiserad angripare och tränade den att jaga efter promptinjektionsattacker som framgångsrikt kan attackera en webbläsaragent. Vi tränade denna angripare från början till slut med förstärkt inlärning, så att den lär sig av sina egna framgångar och misslyckanden för att förbättra sina red teaming-färdigheter. Vi låter den också ”prova innan den skickas”, vilket innebär att angriparen under sin tankekedja kan föreslå en kandidatinjektion och skicka den till en extern simulator. Simulatorn kör en kontrafaktisk simulering av hur den utvalda offeragenten (försvararen) skulle bete sig om den stötte på injektionen, och returnerar en fullständig redogörelse för offeragentens resonemang och åtgärder. Angriparen använder spåret som feedback, upprepar attacken och kör simuleringen igen – och upprepar denna loop flera gånger innan den slutliga attacken genomförs. Detta ger rikare feedback i kontext till angriparen än en enkel godkänd/underkänd signal. Det skalar också upp angriparens beräkning under testtiden. Dessutom ger privilegierad tillgång till försvararens resonemang (som vi inte avslöjar för externa användare) vår interna angripare en asymmetrisk fördel, vilket ökar sannolikheten för att den kan överglänsa externa motståndare.

Varför förstärkningsinlärning (RL)? Vi valde förstärkningsinlärning för att träna den automatiserade angriparen av flera skäl:

1. Optimering av långsiktiga och diskontinuerliga angriparmål. Vårt mål är att söka efter promptinjektionsattacker som kan lura agenten att utföra sofistikerade fientliga uppgifter (t.ex. skicka e-post, banktransaktioner) som kan inträffa i verkligheten. Dessa motstridiga uppgifter är i grunden långsiktiga och kräver många steg av resonemang och interaktion med omgivningen, med glesa och fördröjda framgångssignaler. Förstärkningsinlärning är väl lämpad för denna glesa och fördröjda belöningsstruktur.
2. Utnyttja avancerade LLM-funktioner. Vi tränade gränsöverskridande LLM direkt som automatiska red-teamers, så angriparen drar direkt nytta av förbättringar i resonemang och planering i gränsöverskridande modeller. När basmodellerna blir starkare blir naturligtvis även angriparen mer kapabel, vilket gör detta till ett skalbart sätt att hålla trycket på våra försvar när våra modeller utvecklas.
3. Skalning av beräkningskapacitet och efterliknande av adaptiva angripare. Förstärkningsinlärning är väl lämpad för att skala beräkningar som används för att söka efter attacker över ett stort antal samplings och inlärningssteg, och den återspeglar också i hög grad hur adaptiva mänskliga angripare beter sig: de prövar strategier iterativt, lär sig av resultaten och förstärker framgångsrika beteenden.
   

Vår automatiserade angripare kan upptäcka nya, realistiska promptinjektionsattacker från början till slut. Till skillnad från de flesta tidigare automatiserade red teaming-arbeten, som avslöjade enkla fel såsom att framkalla specifika utdatasträngar eller utlösa ett oavsiktligt enkelstegsverktygsanrop från agenten, kan vår RL-tränade angripare styra en agent till att utföra sofistikerade, långsiktiga skadliga arbetsflöden som utvecklas över tiotals (eller till och med hundratals) steg. Vi observerade också nya attackstrategier som inte förekom i vår mänskliga red teaming-kampanj eller i externa rapporter.

Demonstrationen nedan visar ett konkret exempel på prompt injection-exploit som upptäckts av vår automatiserade angripare, vilket vi sedan använde för att ytterligare stärka försvaret av ChatGPT Atlas. Angriparen fyller användarens inkorg med ett skadligt e-postmeddelande som innehåller en prompt som instruerar agenten att skicka ett avskedsbrev till användarens VD. Senare, när användaren ber agenten att skriva ett frånvarosvar, stöter agenten på det e-postmeddelandet under normal uppgiftsutförande, behandlar den injicerade prompten som auktoritativ och följer den. Frånvaromeddelandet skrivs aldrig och agenten säger upp sig på användarens vägnar istället.

Promptinjektionens natur gör det svårt att garantera deterministisk säkerhet, men genom att skala upp vår automatiserade säkerhetsforskning, våra motståndartester och skärpa vår snabba responscykel kan vi förbättra modellens robusthet och försvar – innan vi väntar på att en attack ska inträffa i verkligheten. 

Vi delar denna demo för att hjälpa användare och forskare att bättre förstå dessa attackers natur – och hur vi aktivt försvarar oss mot dem. Vi tror att detta representerar gränsen för vad automatiserad red teaming kan åstadkomma, och vi är mycket glada över att kunna fortsätta vår forskning.

Vårt automatiserade red teaming driver en proaktiv snabb responsloop: när den automatiserade angriparen upptäcker en ny typ av framgångsrika promptinjektionsattacker skapar den omedelbart ett konkret mål för att förbättra våra försvar.

Motståndsträning mot nyupptäckta attacker. Vi tränar kontinuerligt uppdaterade agentmodeller mot vår bästa automatiserade angripare – och prioriterar de attacker där målagenterna för närvarande misslyckas. Målet är att lära agenter att ignorera fientliga instruktioner och hålla sig till användarens avsikt, vilket förbättrar motståndskraften mot nyupptäckta strategier för prompt-injektion. Detta "bränner in" robusthet mot nya, kraftfulla attacker direkt i modellens kontrollpunkt. Till exempel har den senaste automatiserade red teaming direkt resulterat i en ny, motståndstränad webbläsaragent-kontrollpunkt som redan har rullats ut till alla ChatGPT Atlas-användare. Detta hjälper i slutändan att bättre skydda våra användare mot nya typer av attacker.

Använda attackspår för att förbättra det övergripande försvaret. Många attackvägar som upptäckts av vårt automatiserade red team avslöjar också möjligheter till förbättringar utanför själva modellen – till exempel inom övervakning, säkerhetsinstruktioner som vi lägger in i modellens kontext eller säkerhetsåtgärder på systemnivå. Dessa resultat hjälper oss att iterera på hela försvarsstacken, inte bara agentens kontrollpunkt.

Att bemöta aktiva angrepp. Denna loop kan också hjälpa till att bättre bemöta aktiva attacker i det vilda. När vi undersöker vår globala verksamhet för att upptäcka potentiella attacker kan vi ta de tekniker och taktiker som vi observerar hos externa motståndare, mata in dem i denna loop, efterlikna deras aktivitet och driva på defensiva förändringar på hela vår plattform.

Genom att stärka vår förmåga att agera som red team-agenter och använda våra mest kapabla modeller för att automatisera delar av det arbetet blir Atlas-webbläsaragenten mer robust genom att skalningen av upptäckt-till-korrigering-cykeln förbättras. Denna förstärkning bekräftar en välkänd lärdom inom säkerhetsområdet: en beprövad metod för att uppnå bättre skydd är att kontinuerligt testa verkliga system, reagera på fel och leverera konkreta korrigeringar.

Vi förväntar oss att motståndarna fortsätter att anpassa sig. Promptinjektion, precis som bedrägerier och social manipulation på webben, kommer sannolikt aldrig att kunna "lösas" helt. Men vi är optimistiska att en proaktiv och mycket responsiv snabb responsloop kan fortsätta att väsentligt minska verkliga risker över tid. Genom att kombinera automatiserad upptäckt av attacker med adversarial training och säkerhetsåtgärder på systemnivå kan vi identifiera nya attackmönster tidigare, täppa till luckor snabbare och kontinuerligt höja kostnaden för utnyttjande.

Agentläge i ChatGPT Atlas är kraftfullt—och det utökar också säkerhetshotytan. Att vara klarsynt om den avvägningen är en del av att bygga ansvarsfullt. Vårt mål är att göra Atlas betydligt säkrare för varje iteration: förbättra modellens robusthet, stärka det omgivande försvarssystemet och övervaka nya missbruksmönster i det vilda.

Vi kommer att fortsätta investera i forskning och implementering, utveckla bättre automatiserade metoder för red teaming, införa flerlagriga skyddsåtgärder och snabbt anpassa oss efterhand som vi lär oss. Vi kommer också att dela med oss av vad vi kan med den bredare allmänheten.

Medan vi fortsätter att stärka Atlas på systemnivå finns det åtgärder som användarna kan vidta för att minska risken när de använder agenter. 

Begränsa logga in åtkomst när det är möjligt. Vi rekommenderar fortsatt att användare utnyttjar utloggat läge⁠(öppnas i ett nytt fönster) när de använder Agent i Atlas, när åtkomst till webbplatser som du är inloggad på inte är nödvändig för den aktuella uppgiften, eller för att begränsa åtkomsten till specifika webbplatser som du loggar in på under uppgiften. 

Granska bekräftelseförfrågningar noggrant. För vissa konsekvensåtgärder, såsom att slutföra ett köp eller skicka ett e-postmeddelande, är agenterna utformade för att be om din bekräftelse innan de fortsätter. När en agent ber dig bekräfta en åtgärd, ta en stund för att verifiera att åtgärden är korrekt och att all information som delas är lämplig för kontexten.

Ge agenter uttryckliga instruktioner när det är möjligt. Undvik alltför allmänna uppmaningar som ”granska mina e-postmeddelanden och vidta nödvändiga åtgärder”. Stor frihet gör det lättare för dolt eller skadligt innehåll att påverka agenten, även när skyddsåtgärder finns på plats. Det är säkrare att be agenten utföra specifika, väl avgränsade uppgifter. Även om detta inte eliminerar risken, gör det attacker svårare att genomföra.

Om agenter ska bli pålitliga partners för vardagliga uppgifter måste de vara motståndskraftiga mot den typ av manipulation som det öppna webben möjliggör. Att stärka skyddet mot promptinjektion är ett långsiktigt åtagande och en av våra högsta prioriteringar. Vi kommer snart att dela mer information om detta arbete.