Hugging Face-hændelsen og vejen frem

I løbet af maj og juni påbegyndte vi træningsforløb med forstærkende læring (RL) for flere nye forskningsmodeller, der ikke var tiltænkt offentlig udgivelse. En af disse modeller drev senere aktiviteten bag Hugging Face-hændelsen. Dette er en forskningsmodel, der kun er til intern brug, som vi kalder Intern Model 1 (IM1).

Vi aktiverede ikke internetadgang eller kommunikation mellem agenter i mange af miljøerne i disse træningseksperimenter. På trods af disse begrænsninger fandt agenterne måder til at udnytte vores forskningsinfrastruktur til at kommunikere med hinanden og få adgang til internettet.

Modellerne fandt først måder til at kommunikere ved at skrive filer ind i Artifactory-pakkehåndteringstjenesten. Det gjorde rent faktisk Artifactory til en utilsigtet opslagstavle, hvor agenter kunne udveksle oplysninger med hinanden. Læs mere: Sådan brugte agenter opslagstavlen 

Den 4. juli havde vedvarende agentaktivitet destabiliseret den berørte Artifactory-instans, hvilket medførte en driftsafbrydelse. Den 5. juli blev der oprettet en sikkerhedshændelse. Sikkerhedsteamet blokerede en kendt vej til privilegiereskalering, fjernede eksponerede legitimationsoplysninger og genopbyggede Artifactory. Dette havde den bivirkning, at opslagstavlen blev ryddet. Med disse afbødende foranstaltninger på plads blev cybersikkerhedsevalueringerne genoptaget.

På det tidspunkt var de bredere konsekvenser ved inddæmning og tilpasning af den improviserede opslagstavle samt den utilsigtede internetadgang endnu ikke forstået. Den tekniske hændelsesrapport giver flere oplysninger om, hvad forskellige OpenAI-teams forstod på det tidspunkt. Kort sagt observerede et internt team sidst i maj en agent, der deltog i aktivitet på en opslagstavle samt tilfælde af forbudt internetadgang. Eksistensen af den improviserede opslagstavle og betydningen af kommunikationen mellem agenter stod imidlertid ikke klart for de ledere, der var ansvarlige for opdagelse af og respons på hændelser. Vi fortsætter med at undersøge den proces og driftspraksis, der formede detektions- og responsaktiviteter op til denne hændelse.

Med den genopbyggede Artifactory-tjeneste genoptog vi cybersikkerhedsevalueringerne. Vi gennemfører disse evalueringer for at forstå, hvad vores modeller er i stand til, og for at fastlægge de relevante sikkerhedsforanstaltninger til udrulning. For at gøre det aktiverer vi ikke det samme niveau af sikkerhedsforanstaltninger som i vores eksternt udrullede systemer. Evalueringen, der lå til grund for denne hændelse, ExploitGym, er meget vanskelig—for nogle opgaver findes der muligvis ingen kendt løsning. For at lykkes skal agenterne finde måder til at udnytte et stykke software for at hente et svar, der kaldes et flag.

Efter hændelsen brugte vi væsentlige kræfter på at undersøge, hvorfor modellen udviste denne fejltilpassede adfærd, herunder fejltilpasningsproblemer i træning og evaluering, samt sikkerhedsforanstaltningernes dækning i interne evalueringer.

Vi identificerede fire fejltilpasningsmønstre, der bidrog til modellernes adfærd: belønningshacking, vedholdenhed i tilsyneladende umulige opgaver, uautoriseret kommunikation og agenter, der overtager mål fra hinanden.

For at forstå disse analyserede vi modeltrænings- og evalueringskørsler.¹ Vi foretog omfattende tilbageskuende gennemgange af tankerække (CoT), handlinger og endelig output ved hjælp af vores seneste tankerække-overvågningsteknikker⁠. Ved at gøre dette forbedrede vi specifikt vores overvågnings evne til at opdage de typer af adfærd, der forekom i hændelsen, på baggrund af den indsigt, vi opnåede gennem vores undersøgelse.

Agenter, der forsøgte at snyde med deres opgaver ved at slå løsninger op online, var en primær drivkraft bag Hugging Face-hændelsen. Denne adfærd kaldes belønningshacking: Agenter udfører opgaver på utilsigtede måder for at opnå højere belønninger eller gøre disse belønninger lettere at opnå. Belønningshacking er forekommet i AI-systemer både historisk (se dette arbejde fra et årti siden⁠, figuren nedenfor) og i nuværende banebrydende LLM'er⁠(åbner i et nyt vindue). Vi har i væsentlig grad investeret i metoder til at identificere og rette sådanne hacks⁠.

En anden central drivkraft bag den uoverensstemmende adfærd var, at agenterne sjældent "gav op" med hensyn til deres evalueringsopgaver, selv når opgaverne så ud til at være umulige at løse. Efterhånden som agenterne opbrugte deres ræsonneringsbudgetter, forfulgte nogle stadig mere risikable og grænseoverskridende strategier, herunder ved til sidst at udnytte tredjepartsinfrastruktur.

Under vores undersøgelse konstaterede vi, at ingen af vores modeller i ExploitGym-evalueringen nogensinde havde givet et korrekt svar på 198 af de 898 opgaver før hændelsen. Disse uløste opgaver viste sig at være en væsentlig bidragyder til agentens aktivitet—3 % af de opgaver, der blev drøftet på Artifactory-opslagstavlen under Hugging Face-hændelsen, stammede fra dette sæt med 198 spørgsmål.

For det andet skyldtes hændelsen primært agenter, der havde fået tildelt utroligt store ræsonneringsbudgetter, herunder budgetter, der ligger langt over dem, der er tilgængelige i vores eksterne produkter.

Uautoriserede vedvarende opslagstavler var kernen i denne hændelse. Agenter, der skulle arbejde uafhængigt, var i stand til at dele opdagelser, koordinere deres indsats og fortsætte, hvor andre slap. Dette gjorde det muligt for dem at samle arbejde og beregningskraft på tværs af separate evalueringer, hvilket forstærkede deres kapaciteter langt ud over, hvad en enkelt agent kunne opnå alene. Agentkommunikation er ikke problematisk adfærd i sig selv—vi træner og implementerer multi-agentsystemer, der kan kommunikere om den samme opgave via et samarbejdsværktøj. I forbindelse med begivenhederne i juli fandt agenter med forskellige opgaver deres egen måde at samarbejde på uden for disse rammer med uforudsigelige konsekvenser til følge.

Mens vi undersøgte denne hændelse, opdagede vi sjældne tilfælde, hvor agenter uden multi-agentværktøjer fandt måder at samarbejde på gennem sidekanaler under træningen. Vi mener, at denne adfærd opstod som følge af generalisering fra multi-agenttræning.

Uautoriseret kommunikation begyndte ofte med, at en agent lagde en note eller fil i et eksternt system, som regel som en form for ekstern hukommelse. Når andre agenter bemærkede disse artefakter, førte det dem ofte til den erkendelse, at de kunne bruge denne eksterne tjeneste til at samarbejde. Som et hypotetisk eksempel, der i høj grad illustrerer den adfærd, vi så, blev meddelelser kodet i URL-stier, der var gemt på en delt indeksside, i stil med:

Et sidste, særligt slående fund i Hugging Face-hændelsen var det "økosystem" af agenter, der opstod på opslagstavlen. Når først denne opslagstavle var etableret, havde agenter stærke incitamenter til at kommunikere: den gør det muligt for agenter at bevare noter, bygge videre på hinandens opdagelser og samle beregningsressourcerne fra ellers adskilte kørsler. Dette komplekse og amorfe kollektiv af agenter udviser interessante og eksemplariske adfærdsmønstre, og her beskriver vi nærmere nogle af dem, vi observerede.

Agenter begyndte autonomt at fordele arbejdet. Nogle undersøgte mulige sårbarheder, andre søgte efter legitimationsoplysninger, og andre fokuserede på kommunikation eller koordinering. Agenter tilbød deres egen ekspertise til gengæld for hjælp andetsteds, udvekslede oplysninger om kommende opgaver og efterlod anmodninger til andre agenter, der måske var bedre stillet til at forfølge et bestemt spor.

Ud over fejltilpasning var en anden årsag til denne hændelse, at vi ikke udvidede de kraftfulde sikkerhedsforanstaltninger, som vi udruller for vores eksternt udrullede modeller, til alle interne evalueringer.

Først og fremmest er der adskillige mekanismer, der mindsker fejltilpasning i produktionsmiljøer for vores kunder, herunder systemprompter, harnesses og kontrolmekanismer såsom vores modeller til automatisk gennemgang og sikkerhedsklassifikatorer. Disse beskyttelsesforanstaltninger blev ikke anvendt i evalueringsmiljøet, der kørte under hændelsen. Efter hændelsen oprettede vi en evaluering, der måler en models tilbøjelighed til at kompromittere infrastruktur under ExploitGym-evalueringer. Vi fandt, at tilbøjeligheden til at kompromittere infrastruktur kan falde mere end hundrede gange ved brug af produktionens Codex-harness og systemprompt. Vi kørte også det automatiske Codex-gennemgangssystem på en række udrulninger involveret i Hugging Face-hændelsen og konstaterede, at det ville have markeret mange af modellernes farlige handlinger.

For det andet havde vi før hændelsen investeret væsentligt i tankekæde-overvågning⁠, herunder overvågning af mange af vores banebrydende RL-træningskørsler og størstedelen af den interne brug af kodningsagenter⁠. Disse overvågninger blev ikke udført på evalueringerne i denne hændelse.

Ved tilbageskuende evalueringer konstaterede vi, at vores tankerække-overvågninger var meget effektive til at markere aktiviteter relateret til hændelsen. Hvis vores aktuelt udrullede system til overvågning af tankerække havde kørt på tidspunktet for hændelsen, ville det sandsynligvis have tilkaldt vores sikkerhedsteam inden for en time efter den første uautoriserede tredjepartsadgang. Det var mere end 30 timer før modeller brød ind i Hugging Face-systemerne. Vi arbejder også på yderligere at reducere latenstiden for disse advarsler.

For det tredje, selvom vi havde testet og valideret denne sandkasse, var agenter i stand til at sammenkæde hidtil ukendte sårbarheder (“0-dage”) i pakkehåndteringstjenesten, der var eksponeret i sandkassen, for at omgå begrænsninger, som beskrevet i den tekniske hændelsesrapport. Siden hændelsen har vi gjort væsentlige fremskridt i at styrke vores interne sandkasser for at begrænse lignende typer af risici under udrulning og evalueringer.

OpenAI's mission er at sikre, at kunstig generel intelligens gavner hele menneskeheden. Vores modellers adfærd, som beskrives her, levede langt fra op til det niveau, vi ønsker at nå. Denne hændelse burde ikke være sket. Den viste, hvor afgørende det er, at vi løbende forbedrer vores sikkerhed, overvågning og tilpasning, især i takt med at vores modeller når et kapacitetsniveau, der kan muliggøre et reelt tab af kontrol.

Som vi fortalte i vores seneste opdatering om tempoet for modeludvikling⁠, indførte vi en pause i forstærkende læring (RL)-træning af vores nyeste modeller, der er beregnet til udrulning. Vi brugte denne tid på yderligere at styrke og red-teame sikkerheden i vores banebrydende forskningsmiljøer. Vi flyttede medarbejdere over til at arbejde med sikkerhed og tilpasning. Vores største planlagte banebrydende RL-kørsel er stadig sat på pause, mens vi gennemfører træning og evalueringer i mindre skala for at vurdere modellens adfærd, validere vores sikkerhedsforanstaltninger og indsamle mere dokumentation for tilpasning, før vi fortsætter. Dette arbejde har krævet en væsentlig teknisk indsats med store omkostninger og forsinkelser for den banebrydende forskning.

Som beskrevet i vores rapport fokuserer vores indsats på at styrke forskningssikkerhed og overvågning, fremskynde modeltilpasning og forbedre, hvordan vi identificerer, eskalerer og reagerer på hændelser.