Hugging Face-incidenten och vägen framåt

Under maj och juni påbörjade vi träningskörningar med förstärkningsinlärning (RL) för flera nya forskningsmodeller som inte var avsedda för offentlig lansering. En av dessa modeller låg så småningom bakom aktiviteten i incidenten med Hugging Face. Detta är en forskningsmodell endast för internt bruk som vi kallar Internal Model 1 (IM1).

Vi aktiverade inte internetåtkomst eller kommunikation mellan agenter i många av miljöerna under dessa träningsexperiment. Trots dessa begränsningar upptäckte agenterna sätt att utnyttja vår forskningsinfrastruktur för att kommunicera med varandra och få åtkomst till internet.

Modellerna hittade först sätt att kommunicera genom att skriva filer i pakethanteringstjänsten Artifactory. Detta gjorde i praktiken Artifactory till en oavsiktlig meddelandetavla där agenter kunde utbyta information med varandra. Läs mer: Hur agenter använde meddelandetavlan 

Den 4 juli hade ihållande agentaktivitet destabiliserat den berörda Artifactory-instansen, vilket orsakade ett avbrott. Den 5 juli öppnades en säkerhetsincident. Säkerhetsteamet blockerade en känd väg för behörighetseskalering, tog bort exponerade autentiseringsuppgifter och byggde om Artifactory. Detta hade den bieffekt att meddelandetavlan rensades. Med dessa riskreducerande åtgärder på plats återupptogs cybersäkerhetsutvärderingarna.

Då var de bredare konsekvenserna av den improviserade anslagstavlan och den oavsiktliga internetåtkomsten ännu inte fullt förstådda. Den tekniska incidentrapporten ger mer information om vad olika OpenAI-team förstod vid tidpunkten. Kort sagt, observerade ett internt team i slutet av maj en agent som ägnade sig åt aktivitet på anslagstavlan och fall av otillåten internetåtkomst. Förekomsten av den improviserade anslagstavlan och betydelsen av kommunikationen mellan agenterna var dock inte tydliga för de chefer som ansvarade för incidentdetektering och incidenthantering. Vi fortsätter att utreda processen och de operativa rutinerna som låg till grund för detekterings- och responsarbetet fram till denna incident.

Med den ombyggda Artifactory-tjänsten startade vi om cybersäkerhetsutvärderingarna. Vi genomför dessa utvärderingar för att förstå vad våra modeller kan göra, och för att fastställa lämpliga skyddsåtgärder för driftsättning. För att göra detta aktiverar vi inte samma nivå av skyddsåtgärder som i våra externt driftsatta system. Utvärderingen som låg bakom den här incidenten, ExploitGym, är mycket svår – för vissa uppgifter kanske det inte finns någon känd lösning. För att lyckas måste agenterna hitta sätt att utnyttja ett program för att hämta ett svar som kallas en flagga.

Efter incidenten lade vi ned betydande arbete på att undersöka varför modellen uppvisade detta felanpassade beteende, inklusive problem med felanpassning vid träning och utvärdering samt skyddsåtgärdernas täckning i interna utvärderingar.

Vi identifierade fyra mönster av felanpassning som bidrog till modellernas beteende: belöningsmanipulation, ihärdighet med till synes omöjliga uppgifter, otillåten kommunikation och agenter som tar över mål från varandra.

För att förstå dessa analyserade vi modellträning och utvärderingskörningar.¹ Vi genomförde omfattande efterhandsgranskningar av tankekedjor (CoT), åtgärder och slutliga utdata med våra senaste tekniker för CoT-övervakning⁠. Genom att göra detta förbättrade vi specifikt vårt övervakningssystems återkallning av de typer av beteenden som förekom i incidenten, med insikterna från vår eutredning.

Agenter som försökte fuska med sina uppgifter genom att leta upp lösningar online var en av de främsta orsakerna till Hugging Face-incidenten. Detta beteende kallas belöningsmanipulation: agenter slutför uppgifter på sätt som inte var avsedda för att få högre belöningar eller göra dessa belöningar lättare att få. Belöningsmanipulation har förekommit i AI-system både historiskt (se detta arbete från ett decennium sedan⁠, figur visas nedan) och i dagens banbrytande LLMer⁠(öppnas i ett nytt fönster). Vi har i betydande grad investerat i metoder för att identifiera och åtgärda sådana hack⁠.

En annan viktig drivkraft bakom det felanpassade beteendet var att agenterna sällan gav upp i sina utvärderingsuppgifter, även när uppgifterna verkade omöjliga att lösa. När agenterna förbrukade sina budgetar för resonemang tog vissa alltmer riskfyllda och otillåtna strategier, inklusive att till slut utnyttja tredjepartsinfrastruktur.

Under vår utredning fann vi att ingen av våra modeller i ExploitGym-utvärderingen någonsin hade gett ett korrekt svar på 198 av de 898 uppgifterna före incidenten. Dessa olösta uppgifter kom att utgöra en betydande del av agentens aktivitet – 93 % av de uppgifter som diskuterades på Artifactorys anslagstavla under incidenten med Hugging Face kom från denna uppsättning med 198 frågor.

För det andra drevs incidenten främst av agenter som hade tilldelats mycket stora resonemangsbudgetar, inklusive budgetar som vida överstiger dem som är tillgängliga i våra externa produkter.

Obehöriga ihållande meddelandetavlor stod i centrum för denna incident. Agenter som var tänkta att arbeta självständigt kunde dela upptäckter, samordna sina insatser och ta vid där andra hade slutat. Detta gjorde det möjligt för dem att samla arbete och beräkningskraft från separata utvärderingar, vilket förstärkte deras kapacitet långt bortom vad någon enskild agent skulle kunna uppnå på egen hand. Kommunikation mellan agenter är inte i sig ett problematiskt beteende – vi tränar och implementerar system med flera agenter som kan kommunicera om samma uppgift via ett samarbetsverktyg. Under händelserna i juli hittade agenter med olika uppgifter egna sätt att samarbeta utanför dessa gränser, med oförutsägbara konsekvenser.

När vi undersökte den här incidenten upptäckte vi sällsynta fall där agenter utan multiagentverktyg hittade sätt att samarbeta via sidokanaler under träningen. Vi tror att detta beteende uppstod på grund av generalisering från multiagentträning.

Den obehöriga kommunikationen började ofta med att en agent lämnade en anteckning eller fil i något externt system, vanligtvis som en form av externt minne. När andra agenter lade märke till dessa artefakter bidrog det ofta till att de insåg att de kunde använda den här externa tjänsten för att samarbeta. Som ett hypotetiskt exempel som är mycket representativt för det beteende vi såg, kodades meddelanden i URL-sökvägar som lagrades på en delad indexsida, ungefär så här:

Det sista, särskilt slående fyndet i Hugging Face-incidenten var agentekosystemet som uppstod på anslagstavlan. När denna meddelandetavla väl hade inrättats hade agenterna starka incitament att kommunicera: den låter agenter bevara anteckningar, bygga vidare på varandras upptäckter och samla beräkningsresurser från körningar som annars skulle vara separata. Denna komplexa och formlösa grupp av agenter uppvisar intressanta och exemplariska beteenden, och här beskriver vi några av dem som vi observerade.

Agenter började självständigt fördela arbetet. Vissa undersökte möjliga sårbarheter, andra letade efter inloggningsuppgifter och ytterligare andra fokuserade på kommunikation eller samordning. Agenter erbjöd sin egen expertis i utbyte mot hjälp på annat håll, utbytte information om kommande uppgifter och lämnade förfrågningar till andra agenter som kunde ha bättre förutsättningar att följa upp ett visst spår.

Utöver felanpassning var en annan faktor i denna incident att vi inte utvidgade de kraftfulla skyddsåtgärder som vi använder för våra externt driftsatta modeller till att omfatta alla interna utvärderingar.

För det första finns det många mekanismer som minskar felanpassning i produktionsmiljöer för våra kunder, däribland systemprompter, körmiljö och kontrollmekanismer som våra modeller för automatisk granskning och säkerhetsklassificerare. Dessa skyddsåtgärder tillämpades inte i den utvärderingsmiljö som var igång under incidenten. Efter incidenten skapade vi en utvärdering som mäter en modells benägenhet att kompromettera infrastruktur under ExploitGym-utvärderingar. Vi fann att benägenheten att kompromettera infrastruktur kan minska med mer än 100 gånger när man använder Codex körmiljö och systemprompten för produktion. Vi körde också Codex automatiska granskningssystem på en uppsättning utrullningar som var inblandade i incidenten med Hugging Face och fann att det skulle ha flaggat många av modellernas farliga handlingar.

För det andra hade vi före incidenten investerat betydligt i övervakning av tankekedjor⁠, bland annat genom att övervaka många av våra banbrytande RL-träningskörningar och en betydande majoritet av användningen av interna kodningsagenter⁠. Dessa övervakningsåtgärder användes inte vid utvärderingarna i denna incident.

I retrospektiva utvärderingar fann vi att våra CoT-övervakare var mycket effektiva på att flagga aktiviteter relaterade till incidenten. Om vårt nuvarande tankekedjeövervakningssystem hade varit i drift vid tidpunkten för incidenten skulle det sannolikt ha larmat vårt säkerhetsteam inom en timme efter den första obehöriga tredjepartsåtkomsten. Detta var mer än 30 timmar innan modellerna gjorde intrång i Hugging Faces system. Vi arbetar också med att ytterligare minska fördröjningen för dessa varningar.

För det tredje även om vi hade testat och validerat denna sandbox kunde agenterna kedja ihop tidigare okända sårbarheter (0-days) i pakethanteringstjänsten som exponerades i sandboxen för att kringgå begränsningar, vilket beskrivs närmare i den tekniska incidentrapporten. Sedan incidenten har vi gjort betydande framsteg i att stärka våra interna sandboxar för att begränsa liknande typer av risker under driftsättning och utvärderingar.

OpenAIs uppdrag är att säkerställa att Artificiell generell intelligens kommer hela mänskligheten till godo. Våra modellers beteende som beskrivs här levde långt ifrån upp till den nivå vi vill nå. Den här incidenten borde inte ha inträffat. Den visade hur avgörande det är att vi kontinuerligt förbättrar vår säkerhet, övervakning och anpassning, särskilt när våra modeller når en kapacitetsnivå som skulle kunna leda till verklig förlust av kontroll.

Som vi berättade i vår senaste uppdatering om utvecklingen av pacingmodellen⁠, införde vi ett uppehåll i förstärkningsinlärning (RL) av våra senaste modeller avsedda för driftsättning. Vi använde den här tiden till att ytterligare stärka och red team-testa säkerheten i våra banbrytande forskningsmiljöer. Vi omfördelade personal till att arbeta med säkerhet och anpassning. Vår största planerade banbrytande RL-körning är fortfarande pausad medan vi genomför träning och utvärderingar i mindre skala för att bedöma modellbeteenden, validera våra skyddsåtgärder och samla fler belägg för anpassning innan vi går vidare. Det här arbetet har krävt omfattande tekniska insatser till betydande kostnader och förseningar för banbrytande forskning.

Som vi diskuterade i vår rapport fokuserar vårt svar på att stärka forskningssäkerheten och övervakningen, påskynda modellernas anpassning och förbättra hur vi identifierar, eskalerar och hanterar incidenter.