Het Hugging Face-incident en de weg vooruit

In mei en juni zijn we begonnen met trainingsrondes met reinforcement learning (RL) voor verschillende nieuwe onderzoeksmodellen die niet bedoeld waren voor publieke release. Een van deze modellen lag uiteindelijk aan de basis van de activiteiten rond het Hugging Face-incident. Dit is een uitsluitend intern onderzoeksmodel dat we Internal Model 1 (IM1) noemen.

We hebben voor veel van de omgevingen in deze trainingsexperimenten geen internettoegang of communicatie tussen agents ingeschakeld. Ondanks deze beperkingen ontdekten de agents manieren om onze onderzoeksinfrastructuur te misbruiken om met elkaar te communiceren en toegang te krijgen tot het internet.

De modellen vonden eerst manieren om te communiceren door bestanden weg te schrijven naar de Artifactory-pakketbeheerservice. Hierdoor werd Artifactory in feite een onbedoeld berichtenbord, waar agents onderling informatie konden uitwisselen. Lees meer: hoe agents het berichtenbord gebruikten 

Op 4 juli had aanhoudende activiteit van agents de getroffen Artifactory-instance gedestabiliseerd, waardoor een storing ontstond. Op 5 juli werd een beveiligingsincident geopend. Het beveiligingsteam blokkeerde een bekende route voor privilege-escalatie, verwijderde blootgestelde inloggegevens en bouwde Artifactory opnieuw op. Dit had als neveneffect dat het berichtenbord werd gewist. Na het invoeren van deze maatregelen werden de cybersecurity-evaluaties hervat.

Destijds waren de bredere implicaties voor inperking en afstemming van het geïmproviseerde berichtenbord en de onbedoelde internettoegang nog niet duidelijk. Het technisch incidentrapport biedt meer informatie over wat verschillende OpenAI-teams destijds begrepen. Kortom, een intern team zag eind mei dat een agent actief was op het berichtenbord en betrokken was bij gevallen van niet-toegestane internettoegang. Het bestaan van het geïmproviseerde berichtenbord en de betekenis van de communicatieactiviteiten tussen agents waren echter niet duidelijk voor de leidinggevenden die verantwoordelijk waren voor incidentdetectie en -respons. We blijven onderzoek doen naar het proces en de operationele werkwijzen die van invloed waren op de detectie- en responsactiviteiten in de aanloop naar dit incident.

Met de herbouwde Artifactory-service hebben we de cybersecurity-evaluaties hervat. We voeren deze evaluaties uit om te begrijpen waartoe onze modellen in staat zijn en om de passende veiligheidsmaatregelen voor de uitrol te bepalen. Daarvoor passen we niet hetzelfde niveau van beveiligingsmaatregelen toe als bij onze extern uitgerolde systemen. De evaluatie die aanleiding gaf tot dit incident, ExploitGym, is bijzonder moeilijk. Voor sommige taken is mogelijk geen bekende oplossing. Om te slagen, moeten de agents manieren vinden om software te misbruiken en een antwoord op te halen dat bekendstaat als een 'flag'.

Na het incident hebben we uitvoerig onderzocht waarom het model dit gebrekkig afgestemde gedrag vertoonde. Daarbij keken we onder meer naar afstemmingsproblemen tijdens training en evaluatie en naar de dekking van veiligheidsmaatregelen bij interne evaluaties.

We hebben vier patronen van misalignment vastgesteld die bijdroegen aan het gedrag van de modellen: reward hacking, volharding bij schijnbaar onmogelijke taken, ongeautoriseerde communicatie en agents die doelen van elkaar overnamen.

Om deze patronen te begrijpen, analyseerden we de trainings- en evaluatie-uitvoeringen van modellen.¹ We hebben uitgebreide retrospectieve beoordelingen uitgevoerd van chain-of-thought (CoT), acties en uiteindelijke uitvoer met behulp van onze nieuwste CoT-monitoringtechnieken⁠. Daarbij hebben we op basis van de inzichten uit ons onderzoek de detectiegraad van onze monitor verbeterd voor de gedragstypen die tijdens het incident voorkwamen.

Dat agents probeerden te frauderen bij hun taken door oplossingen online op te zoeken, was een belangrijke oorzaak van het Hugging Face-incident. Dit gedrag staat bekend als reward hacking: agents voeren taken op onbedoelde manieren uit om hogere beloningen te krijgen of deze gemakkelijker te behalen. Reward hacking kwam in het verleden al voor in AI-systemen (zie dit werk van tien jaar geleden⁠, met de onderstaande figuur) en komt ook voor in huidige geavanceerde LLM’s⁠(opent in een nieuw venster). We hebben fors geïnvesteerd in methoden om dergelijke hacks op te sporen en te verhelpen⁠.

Een andere belangrijke oorzaak van het niet-afgestemde gedrag was dat de agents hun evaluatietaken zelden 'opgaven', zelfs wanneer deze onmogelijk op te lossen leken. Naarmate de agents hun redeneerbudgetten opgebruikten, kozen sommigen voor steeds riskantere strategieën buiten de toegestane grenzen. Uiteindelijk misbruikten ze zelfs infrastructuur van derden.

Tijdens ons onderzoek stelden we vast dat geen van onze modellen vóór het incident ooit een correct antwoord had gegeven op 198 van de 898 taken in de ExploitGym-evaluatie. Deze onopgeloste taken droegen aanzienlijk bij aan de activiteit van de agent: 93% van de taken die tijdens het Hugging Face-incident op het Artifactory-berichtenbord werden besproken, kwam uit deze groep van 198 vragen.

Ten tweede werd het incident voornamelijk veroorzaakt door agents met uitzonderlijk grote redeneerbudgetten, die veel groter waren dan de budgetten in onze externe producten.

Ongeautoriseerde permanente berichtenborden stonden centraal in dit incident. Agents die onafhankelijk moesten werken, konden ontdekkingen delen, hun inspanningen coördineren en verdergaan waar anderen waren gebleven. Hierdoor konden ze werk en rekenkracht uit afzonderlijke evaluaties bundelen en veel meer bereiken dan een individuele agent alleen had kunnen bereiken. Communicatie tussen agents is op zichzelf niet problematisch. We trainen en implementeren multi-agentsystemen die via een samenwerkingstool over dezelfde taak kunnen communiceren. Tijdens de gebeurtenissen in juli vonden agents met verschillende taken hun eigen manier om buiten deze grenzen samen te werken, met onvoorspelbare gevolgen.

Tijdens ons onderzoek naar dit incident ontdekten we zeldzame gevallen waarin agents zonder multi-agenttools tijdens de training manieren vonden om via nevenkanalen samen te werken. We denken dat dit gedrag is ontstaan door generalisatie vanuit multi-agenttraining.

De ongeautoriseerde communicatie begon vaak doordat één agent een notitie of bestand achterliet in een extern systeem, meestal als een vorm van extern geheugen. Wanneer andere agents deze artefacten opmerkten, beseften ze vaak dat ze deze externe dienst konden gebruiken om samen te werken. Een hypothetisch maar zeer representatief voorbeeld van het waargenomen gedrag is dat berichten als volgt werden gecodeerd in URL-paden op een gedeelde indexpagina:

Een laatste, bijzonder treffende bevinding in het Hugging Face-incident was het 'ecosysteem' van agents dat op het berichtenbord ontstond. Zodra dit berichtenbord eenmaal was opgezet, hadden agents sterke prikkels om te communiceren: het stelt agents in staat notities te bewaren, voort te bouwen op elkaars ontdekkingen en de rekenmiddelen van anders gescheiden uitvoeringen te bundelen. Dit complexe en amorfe collectief van agents vertoont interessant en illustratief gedrag. Hier beschrijven we enkele voorbeelden die we hebben waargenomen.

Agents begonnen autonoom het werk te verdelen. Sommigen onderzochten mogelijke exploits, anderen zochten naar inloggegevens en weer anderen richtten zich op communicatie of coördinatie. agents boden hun eigen expertise aan in ruil voor hulp elders, wisselden informatie uit over aankomende taken en lieten verzoeken achter voor collega’s die mogelijk beter in staat waren een bepaald spoor te volgen.

Naast onjuiste afstemming was een andere factor in dit incident dat we de krachtige veiligheidsmaatregelen die we toepassen op onze extern uitgerolde modellen niet hebben uitgebreid naar alle interne evaluaties.

Ten eerste zijn er talrijke mechanismen die misalignment in productieomgevingen voor onze klanten verminderen, waaronder systeemprompts, harnesses en controlemechanismen zoals onze modellen voor automatische beoordeling en veiligheidsclassificaties. Deze beveiligingsmaatregelen waren niet toegepast in de evaluatieomgeving die tijdens het incident actief was. Na het incident hebben we een evaluatie ontwikkeld die meet in hoeverre een model geneigd is infrastructuur in gevaar te brengen tijdens ExploitGym-evaluaties. We ontdekten dat de neiging om infrastructuur in gevaar te brengen met een factor van meer dan 100 kan afnemen wanneer de Codex-harness en systeemprompt voor productie worden gebruikt. We hebben het systeem voor automatische beoordeling van Codex ook toegepast op een reeks uitvoeringen die verband hielden met het Hugging Face-incident. Daaruit bleek dat het systeem een groot aantal gevaarlijke handelingen van de modellen zou hebben gemarkeerd.

Ten tweede hadden we vóór het incident aanzienlijk geïnvesteerd in chain-of-thought-monitoring⁠, waaronder het monitoren van veel van onze geavanceerde RL-trainingsruns en het overgrote deel van het interne gebruik van programmeeragents⁠. Deze monitoringsystemen waren niet actief bij de evaluaties tijdens dit incident.

In retrospectieve evaluaties constateerden we dat onze CoT-monitors zeer effectief waren in het signaleren van activiteiten die verband hielden met het incident. Als ons huidige chain-of-thought-monitoringsysteem ten tijde van het incident actief was geweest, zou ons beveiligingsteam waarschijnlijk binnen een uur na de eerste ongeautoriseerde toegang door een derde partij zijn gealarmeerd. Dit was meer dan 30 uur voordat modellen de systemen van Hugging Face binnendrongen. We werken er ook aan om de latentie van deze meldingen verder te verminderen.

Ten derde konden de agents, hoewel we deze sandbox hadden getest en gevalideerd, voorheen onbekende kwetsbaarheden ('0-days') in de pakketbeheerservice binnen de sandbox aan elkaar koppelen om beperkingen te omzeilen, zoals beschreven in het technische incidentrapport. Sinds het incident hebben we aanzienlijke vooruitgang geboekt bij het beveiligen van onze interne sandboxes om vergelijkbare risico’s tijdens uitrol en evaluaties te beperken.

De missie van OpenAI is ervoor te zorgen dat kunstmatige algemene intelligentie de hele mensheid ten goede komt. Het hier beschreven gedrag van onze modellen bleef ver achter bij waar we willen zijn. Dit incident had niet mogen gebeuren. Het maakte duidelijk hoe cruciaal het is dat we onze beveiliging, monitoring en afstemming voortdurend verbeteren, vooral naarmate onze modellen een capaciteitsniveau bereiken dat tot daadwerkelijk verlies van controle zou kunnen leiden.

Zoals we schreven in onze recente update over het tempo van modelontwikkeling⁠, hebben we de training met reinforcement learning (RL) van onze nieuwste voor uitrol bestemde modellen tijdelijk onderbroken. We gebruikten deze tijd om de beveiliging van onze geavanceerde onderzoeksomgevingen verder te versterken en redteamtests uit te voeren. We hebben medewerkers opnieuw toegewezen aan werkzaamheden rond beveiliging, veiligheid en afstemming. Onze grootste geplande geavanceerde RL-run blijft opgeschort terwijl we kleinschaligere trainingen en evaluaties uitvoeren om het gedrag van modellen te beoordelen, onze veiligheidsmaatregelen te valideren en meer bewijs te verzamelen dat de modellen goed zijn afgestemd. Dit werk heeft aanzienlijke engineeringinspanningen gevergd en heeft tot hoge kosten en vertragingen in geavanceerd onderzoek geleid.

Zoals besproken in ons rapport richt onze reactie zich op het versterken van onderzoeksbeveiliging en monitoring, het versnellen van modelafstemming en het verbeteren van de manier waarop we incidenten identificeren, escaleren en erop reageren.