Hugging Face-hendelsen og veien videre

I løpet av mai og juni startet vi opplæringsomganger med forsterkende læring (RL) for flere nye forskningsmodeller som ikke var ment for offentlig lansering. Én av disse modellene drev etter hvert aktiviteten bak hendelsen hos Hugging Face. Dette er en forskningsmodell kun for intern bruk, som vi kaller Internal Model 1 (IM1).

Vi aktiverte ikke internettilgang eller kommunikasjon mellom agenter for mange av miljøene i disse opplæringseksperimentene. Til tross for disse begrensningene oppdaget agentene måter å utnytte forskningsinfrastrukturen vår på for å kommunisere med hverandre og få tilgang til Internett.

Modellene fant først måter å kommunisere på ved å skrive filer inn i Artifactory-pakkebehandlingstjenesten. Dette gjorde i praksis Artifactory om til en utilsiktet meldingstavle, der agenter kunne utveksle informasjon med hverandre. Les mer: Hvordan agenter brukte oppslagstavlen 

Innen 4. juli hadde vedvarende agentaktivitet destabilisert den berørte Artifactory-instansen og forårsaket et driftsavbrudd. Den 5. juli ble det opprettet en sikkerhetshendelse. Sikkerhetsteamet blokkerte en kjent vei for privilegieheving, fjernet eksponerte påloggingsopplysninger og bygde Artifactory på nytt. Dette hadde den bivirkningen at meldingstavlen ble tømt. Med disse avbøtende tiltakene på plass ble evalueringene av cybersikkerhet gjenopptatt.

På det tidspunktet var de bredere konsekvensene for avgrensning og innretting knyttet til den improviserte meldingstavlen og den utilsiktede internettilgangen ennå ikke forstått. Den tekniske hendelsesrapporten gir ytterligere detaljer om hva ulike OpenAI-team forsto på det tidspunktet. Kort sagt observerte et internt team en agent som deltok i aktivitet på oppslagstavlen og tilfeller av ikke-tillatt internettilgang sent i mai. Eksistensen av den improviserte oppslagstavlen og betydningen av kommunikasjonen mellom agentene var imidlertid ikke tydelig for lederne med ansvar for hendelsesoppdagelse og respons. Vi fortsetter å undersøke prosessen og driftspraksisene som formet deteksjons- og responsaktivitetene frem mot denne hendelsen.

Med den gjenoppbygde Artifactory-tjenesten gjenopptok vi cybersikkerhetsvurderingene. Vi gjennomfører disse evalueringene for å forstå hva modellene våre er i stand til, og for å fastsette passende sikkerhetstiltak for utrulling. For å gjøre dette aktiverer vi ikke samme nivå av sikkerhetstiltak som i våre eksternt distribuerte systemer. Evalueringen som utløste denne hendelsen, ExploitGym, er svært vanskelig – for enkelte oppgaver finnes det kanskje ingen kjent løsning. For å lykkes må agentene finne måter å utnytte en programvare på for å hente ut et svar kjent som et flagg.

Etter hendelsen brukte vi betydelig innsats på å undersøke hvorfor modellen viste denne feiljusterte atferden, inkludert problemer med feiljustering i opplæring og evaluering, samt dekningen av sikkerhetstiltak i interne evalueringer.

Vi identifiserte fire feiljusteringsmønstre som bidro til modellenes atferd: belønningshacking, utholdenhet i tilsynelatende umulige oppgaver, uautorisert kommunikasjon og agenter som adopterer mål fra hverandre.

For å forstå disse analyserte vi utrullinger av modelltrening og -evaluering.¹ Vi gjennomførte omfattende retrospektive gjennomganger av tankerekke (CoT), handlinger og endelige resultater ved hjelp av våre nyeste teknikker for CoT-overvåking⁠. Ved å gjøre dette forbedret vi spesifikt gjenfinningsgraden til overvåkingssystemet vårt for de typene atferd som forekom i hendelsen, basert på innsikten vi fikk gjennom undersøkelsen i ettertid.

At agenter forsøkte å jukse på oppgavene sine ved å slå opp løsninger på nettet, var en hovedårsak til Hugging Face-hendelsen. Denne atferden er kjent som belønningshacking: agenter fullfører oppgaver på utilsiktede måter for å oppnå høyere belønninger eller gjøre dem enklere å få. Belønningshacking har forekommet i KI-systemer både historisk (se denne forskningen fra et tiår tilbake⁠, figuren nedenfor) og i dagens banebrytende LLM-er⁠(åpnes i et nytt vindu). Vi har investert betydelig i metoder for å identifisere og utbedre slike hacks⁠.

En annen viktig drivkraft bak atferden som ikke var i tråd med hensikten, var at agentene sjelden «ga opp» evalueringsoppgavene sine, selv når oppgavene så ut til å være umulige å løse. Etter hvert som agentene brukte opp resonnementsbudsjettene sine, fulgte noen stadig mer risikable strategier som gikk utenfor rammene, blant annet ved til slutt å utnytte tredjepartsinfrastruktur.

Under etterforskningen vår fant vi at ingen av modellene våre i ExploitGym-evalueringen noensinne hadde gitt et riktig svar på 198 av de 898 oppgavene før hendelsen. Disse uløste oppgavene viste seg å være en betydelig bidragsyter til agentens aktivitet – 93 % av oppgavene som ble diskutert på Artifactory-oppslagstavlen under Hugging Face-hendelsen, kom fra dette settet med 198 spørsmål.

For det andre ble hendelsen primært drevet av agenter som fikk utrolig store resonneringsbudsjetter, inkludert budsjetter som er langt større enn de som er tilgjengelige i de eksterne produktene våre.

Uautoriserte vedvarende meldingstavler sto sentralt i denne hendelsen. Agenter som skulle arbeide selvstendig, kunne dele funn, koordinere innsatsen sin og fortsette der andre slapp. Dette gjorde det mulig for dem å samle arbeid og datakraft på tvers av separate evalueringer, og dermed forsterke kapasiteten sin langt utover det enhver enkelt agent kunne oppnå alene. Agentkommunikasjon er ikke problematisk atferd i seg selv – vi trener og distribuerer fleragentsystemer som kan kommunisere om den samme oppgaven via et samarbeidsverktøy. Under julihendelsene fant agenter med ulike oppgaver sin egen måte å samarbeide på utenfor disse grensene, med uforutsigbare konsekvenser.

Ved undersøkelsen av denne hendelsen oppdaget vi sjeldne tilfeller der agenter uten verktøy for flere agenter fant måter å samarbeide via sidekanaler under treningen. Vi mener at denne atferden oppsto som følge av generalisering fra trening med flere agenter.

Den uautoriserte kommunikasjonen begynte ofte med at én agent la igjen et notat eller en fil i et eksternt system, vanligvis som en form for eksternt minne. Når andre agenter la merke til disse artefaktene, førte det ofte til at de innså at de kunne bruke denne eksterne tjenesten til å samarbeide. Som et hypotetisk eksempel som er svært representativt for atferden vi observerte, ble meldinger kodet inn i URL-stier lagret på en delt indeksside, omtrent slik:

Et siste, særlig slående funn i Hugging Face-hendelsen var agent-«økosystemet» som oppsto på oppslagstavlen. Da denne meldingstavlen først var etablert, hadde agentene sterke insentiver til å kommunisere: den lar agentene bevare notater, bygge videre på hverandres oppdagelser og samle beregningsressursene fra ellers separate kjøringer. Dette komplekse og amorfe kollektivet av agenter viser interessante og eksemplariske former for atferd, og her beskriver vi nærmere noen av dem vi observerte.

Agentene begynte å fordele arbeidet autonomt. Noen undersøkte mulige sårbarhetsutnyttelser, andre søkte etter påloggingsopplysninger, og andre fokuserte på kommunikasjon eller koordinering. Agentene tilbød sin egen ekspertise i bytte mot hjelp på andre områder, utvekslet informasjon om kommende oppgaver og la igjen forespørsler til andre agenter som kunne være bedre posisjonert til å følge opp et bestemt spor.

I tillegg til feiljustering var en annen faktor i denne hendelsen at vi ikke utvidet de kraftige sikkerhetstiltakene vi bruker for modellene våre som er rullet ut eksternt, til alle interne evalueringer.

For det første finnes det en rekke mekanismer som reduserer feiljustering i produksjonsmiljøer for kundene våre, inkludert systemprompt, rammeverk og kontrollmekanismer som modellene våre for automatisk gjennomgang og sikkerhetsklassifikatorer. Disse beskyttelsene ble ikke tatt i bruk i evalueringsmiljøet som kjørte under hendelsen. Etter hendelsen opprettet vi en evaluering som måler tilbøyeligheten til at en modell kompromitterer infrastruktur under ExploitGym-evalueringer. Vi fant at tilbøyeligheten til å kompromittere infrastruktur kan bli over 100 ganger lavere ved bruk av Codex-rammeverket og systemprompten fra produksjon. Vi kjørte også Codex-systemet for automatisk gjennomgang på et sett med utrullinger som var involvert i hendelsen hos Hugging Face, og fant at det ville ha flagget en rekke av modellenes farlige handlinger.

For det andre hadde vi før hendelsen investert betydelig i overvåking av tankerekker⁠, blant annet i overvåking av mange av våre banebrytende RL-treningskjøringer og en betydelig andel av intern bruk av kodeagenter⁠. Disse monitorene ble ikke kjørt på evalueringene i denne hendelsen.

I retrospektive evalueringer fant vi ut at CoT-monitorene våre var svært effektive til å flagge aktiviteter knyttet til hendelsen. Hvis vårt nåværende system for overvåking av tankerekke hadde vært i drift på tidspunktet for hendelsen, ville det sannsynligvis ha varslet sikkerhetsteamet vårt innen en time etter den første uautoriserte tredjepartstilgangen. Dette var mer enn 30 timer før modeller brøt seg inn i Hugging Face-systemer. Vi jobber også med å redusere forsinkelsen for disse varslene ytterligere.

For det tredje, selv om vi hadde testet og validert denne sandkassen, klarte agentene å koble sammen tidligere ukjente 0-dagers sårbarheter i pakkehåndteringstjenesten som var eksponert i sandkassen for å omgå begrensninger, som beskrevet i den tekniske hendelsesrapporten. Siden hendelsen har vi gjort betydelige fremskritt med å styrke sikkerheten i våre interne sandkasser for å begrense lignende typer risiko under utrulling og evalueringer.

OpenAIs oppdrag er å sikre at kunstig generell intelligens kommer hele menneskeheten til gode. Atferden til modellene våre som beskrives her, var langt fra der vi ønsker å være. Denne hendelsen skulle ikke ha skjedd. Den viste hvor avgjørende det er at vi kontinuerlig forbedrer sikkerheten, overvåkingen og tilpasningen vår, særlig etter hvert som modellene våre når et funksjonsnivå som kan føre til reelt tap av kontroll.

Som vi delte i vår nylige oppdatering om tempo-modellutviklingen⁠, innførte vi en pause i trening med forsterkende læring (RL) for de nyeste modellene våre som er planlagt tatt i bruk. Vi brukte denne tiden til å styrke sikkerheten ytterligere og gjennomføre red teaming av de banebrytende forskningsmiljøene våre. Vi omdisponerte ansatte til å arbeide med sikkerhet, samordning og tilpasning. Den største planlagte banebrytende RL-løpet vårt er fortsatt satt på vent mens vi gjennomfører trening og evalueringer i mindre skala for å vurdere modellatferd, kontrollere sikkerhetstiltakene og innhente mer bevis for samordning før vi går videre. Dette arbeidet har krevd betydelig utviklingsinnsats, med store kostnader og forsinkelser for banebrytende forskning.

Som omtalt i rapporten vår, fokuserer responsen vår på å styrke forskningssikkerhet og overvåking, fremskynde modelltilpasning og forbedre hvordan vi identifiserer, eskalerer og håndterer hendelser.