Tredjepartsutvärderingar av OpenAI-modeller inom cybersäkerhet

Oberoende tester har en viktig roll när vi validerar och fördjupar vår förståelse av risker före lansering. Vissa cyberutvärderingar använder avsiktligt anpassade konfigurationer, bland annat sänkta skyddsnivåer, för att mäta den underliggande förmågan – inte hur modeller vanligtvis beter sig i offentligt tillgängliga driftsmiljöer.

Under nyligen genomförda utvärderingar upptäckte två externa testpartner incidenter där testkonfigurationer och kontroller, i kombination med de nya modellernas ökade förmåga, gjorde att modellernas aktivitet sträckte sig utanför de avsedda testgränserna. Incidenterna understryker vikten av samarbete inom hela branschen och med externa utvärderare för att utveckla standarderna för testmiljöer och testmetoder i takt med att modellerna blir mer kapabla. Redaktörens anmärkning: Dessa incidenter är inte kopplade till säkerhetsincidenten hos Hugging Face. Vi kommer att fortsätta dela uppdateringar om Hugging Face-incidenten här.

De nya incidenterna gällde OpenAI-modeller som fick åtkomst till det offentliga internet under cyberutvärderingar utförda av tredje part, under särskilda förhållanden och med sänkta skyddsnivåer som inte motsvarade vanlig drift. Incidenterna omfattade följande:

1. UK AISI, den brittiska regeringens institut för AI-säkerhet, genomförde utvärderingar i cyberövningsmiljöer där internetåtkomst avsiktligt hade aktiverats så att agenterna kunde hitta egna verktyg och arbeta under förhållanden som mer liknade en verklig angripares. Cyberklassificerarna hade också inaktiverats för att mäta den underliggande förmågan. Du kan läsa deras blogginlägg här.⁠(öppnas i ett nytt fönster)
2. Irregular, en av våra externa partner för cybersäkerhetstester, genomförde utvärderingar av typen Capture the Flag som skulle vara isolerade från internet. En felkonfiguration i testmiljön gjorde dock att modellerna kunde komma åt det offentliga internet.

Nedan sammanfattar vi vad som hände, vilka testförhållanden som möjliggjorde aktiviteten, vilka åtgärder som vidtogs för att begränsa den och vad vi gör för att oberoende labb även framöver ska kunna utvärdera alltmer kapabla modeller på ett grundligt och säkert sätt.

Incidenterna belyser samma övergripande utmaning som vi beskrev i vårt senaste inlägg om incidenten hos Hugging Face: när modellernas förmåga ökar måste även säkerhets- och skyddssystemen runt dem utvecklas. Det gäller både miljöerna där modeller utvecklas och de miljöer som labb och oberoende partner använder för att utvärdera dem.

Under de kommande veckorna kommer vi att se över vår egen metod för tredjepartstester. Det omfattar hur vi identifierar utvärderingar med högre risk, kommer överens om omfattningen, bedömer förfrågningar om internetåtkomst eller sänkta skyddsnivåer, fastställer krav på isolering, hantering av inloggningsuppgifter, övervakning och stoppvillkor samt inför tydligare processer för incidentrapportering och eskalering.

Vi är fast beslutna att samarbeta inom hela branschen för att stärka gemensamma metoder för säkra högriskutvärderingar. Under de kommande veckorna kommer vi bland annat att samla berörda aktörer som nationella AI-institut, oberoende utvärderare, andra AI-labb och andra grupper. Vårt mål är att bevara värdet av grundliga och oberoende utvärderingar och samtidigt säkerställa att testmetoderna håller jämna steg med alltmer kapabla modeller.

Den 3 augusti meddelade UK AISI oss att modeller från OpenAI och ett annat labb i vissa fall hade gått utanför testets omfattning under en rutinmässig cyberutvärdering som inleddes den 25 juli. Utvärderingen genomfördes i kontrollerade cyberövningsmiljöer utformade för att efterlikna verkliga nätverk. Av de 19 identifierade händelserna gällde två en OpenAI-modell, GPT‑5.6 Sol. De övriga fallen gällde modeller från ett annat labb.

I den här utvärderingen fick agenterna i uppgift att agera som cybersäkerhetsexperter i en Capture the Flag-övning: kompromettera tre sammankopplade simulerade miljöer och hämta en slutlig flagga. Uppgiftens prompt angav vilka nätverk i testmiljön som omfattades och namngav flera system som låg utanför testets omfattning. UK AISI aktiverade också internetåtkomst i realtid så att agenterna kunde ladda ned verktyg och arbeta under förhållanden som mer liknade en mänsklig angripares. Samtidigt inaktiverades modellens cyberklassificerare för att mäta den underliggande förmågan.

UK AISI:s avsedda behörighetsgräns var den simulerade cyberövningsmiljön: agenterna hade tillstånd att angripa de angivna simulerade nätverken och hämta en flagga, men inte att interagera med system utanför miljöns nätverksgräns. Agenterna fick dock inga uttryckliga instruktioner om hur den öppna internetåtkomsten fick och inte fick användas, vilket UK AISI pekar ut som en möjlig bidragande orsak till incidenten.

I dessa körningar konstaterade UK AISI att GPT‑5.6 Sol utförde två otillåtna åtgärder när modellen försökte hitta en väg in i den simulerade miljön och hämta flaggan:

1. GPT‑5.6 Sol återanvände en GitHub-token som en agent från ett annat labb hade lämnat offentligt tillgänglig för att kontrollera om ett system inom testmiljön hämtade uppdateringar från GitHub eller någon annan uppdateringstjänst. Modellen försökte även kringgå kontoåterställning och begränsningar av antalet förfrågningar samt registrerade konton hos externa DNS- och tunnlingstjänster.
2. GPT‑5.6 Sol använde en offentlig tunnlingstjänst för att göra en DNS-server som kördes lokalt i utvärderingsmiljön åtkomlig från internet. Servern innehöll nyttolaster avsedda för en känd sårbarhet i en programvara som kördes i testmiljön. Konfigurationen fungerade inte, det finns inga belägg för att någon verklig DNS-resolver skickade frågor till den och infrastrukturen togs bort när utvärderingen avslutades.

Även om modellen försökte slutföra uppgiften i cyberövningsmiljön ansåg UK AISI att åtgärderna saknade tillstånd, eftersom de omfattade verkliga externa konton och tjänster utanför miljöns gränser och inte krävdes för att slutföra uppgiften. DNS-servern var också värd för exploit-nyttolaster på det offentliga internet, men konfigurationen fungerade inte och det finns inga belägg för att någon verklig DNS-resolver skickade frågor till den.

UK AISI upptäckte aktiviteten den 28 juli efter att säkerhetsövervakningen hade identifierat ovanliga dataöverföringar. UK AISI stoppade de berörda utvärderingarna, isolerade de aktuella maskinerna och begränsade aktiviteten inom ungefär en timme efter upptäckten.

Vi uppskattar UK AISI:s samarbete under hela processen, inklusive arbetet med att identifiera och utreda aktiviteten samt dela information om den. Vi ser fram emot att fortsätta vårt samarbete.

Den 29 juli informerade Irregular, en av våra externa utvärderingspartner, oss om en incident med OpenAI-modeller under cybersäkerhetsutvärderingar av typen Capture the Flag (CTF). Modellerna fick i uppgift att hitta dold information genom att utnyttja svagheter i en simulerad miljö och informerades om att de inte hade internetåtkomst. En felkonfiguration i testmiljön gjorde dock att modellerna kunde komma åt det offentliga internet.

I ett test råkade namnet på det fiktiva målet för CTF-utmaningen sammanfalla med en verklig domän. Eftersom testmiljön av misstag var ansluten till internet utnyttjade modellen en verklig webbplats i tron att den ingick i den simulerade miljön. Det handlade inte om någon avancerad flykt från en sandlåda eller någon nolldagssårbarhet: internetåtkomsten berodde på en felkonfiguration, och modellen tycks ha utnyttjat en grundläggande säkerhetssårbarhet.

Enligt Irregulars utredning hittade och använde modellen även inloggningsuppgifter för att hantera samma webbplats. Irregular har inte identifierat någon påverkan utöver den berörda webbplatsens egna data, och granskningen pågår fortfarande. Irregular har pausat utvärderingarna och påbörjat åtgärdsarbetet, och berörda tredje parter har underrättats. Irregular har meddelat oss att inga av de problem som identifierades i samband med incidenten längre kvarstår och att relevanta skyddsåtgärder har införts i testmiljön. Irregular har också informerat om relaterade incidenter som rör andra labb i samma testmiljö.

Vi uppskattar samarbetet med Irregular och kommer att fortsätta arbeta nära dem för att stödja deras granskning. Irregular tar också fram en vitbok för att dela bästa praxis för begränsning av incidenter och säker drift av cyberutvärderingar. Vi ser fram emot att bidra till vitboken för att göra resultaten tillgängliga för branschen och fortsätta vårt samarbete. Vi ser den här typen av samarbete som avgörande för att nuvarande och framtida modeller ska kunna utvärderas säkert och grundligt.