Cyberevaluaties door derden met OpenAI-modellen

Onafhankelijke tests spelen een belangrijke rol bij het valideren en beter begrijpen van risico's vóór ingebruikname. Voor sommige cyberevaluaties worden bewust aangepaste configuraties gebruikt, waaronder minder strenge beveiligingsmaatregelen, om de onderliggende capaciteiten te meten en niet hoe modellen zich normaal gedragen in openbaar beschikbare implementaties.

Tijdens recente evaluaties stelden twee externe testpartners incidenten vast waarbij de combinatie van testconfiguraties en controles met de toenemende capaciteiten van recente modellen ertoe leidde dat modelactiviteit de beoogde testgrenzen overschreed. De incidenten onderstrepen hoe belangrijk het is om binnen de sector en met externe beoordelaars samen te werken aan de verdere ontwikkeling van normen voor testomgevingen en -methoden naarmate modellen meer kunnen. Noot van de redactie: deze incidenten staan los van het beveiligingsincident bij Hugging Face. We blijven updates over het Hugging Face-incident delen via deze link.

Bij de nieuwe incidenten kregen OpenAI-modellen tijdens cyberevaluaties door derden toegang tot het openbare internet, onder specifieke omstandigheden en in configuraties met minder strenge beveiligingsmaatregelen die niet overeenkwamen met een normale implementatie. Het ging om de volgende incidenten:

1. UK AISI, het AI Security Institute van de Britse overheid, voerde evaluaties in cyberranges uit waarbij internettoegang bewust was ingeschakeld, zodat agenten zelf hulpmiddelen konden vinden en konden werken onder omstandigheden die meer leken op die van een echte aanvaller. Ook waren cyberclassificaties uitgeschakeld om de onderliggende capaciteiten te meten. Je kunt hun blog hier lezen.⁠(opent in een nieuw venster)
2. Irregular, een van onze externe testpartners voor cyberbeveiliging, voerde Capture the Flag-evaluaties uit die van internet geïsoleerd moesten zijn. Door een configuratiefout in de testomgeving kregen modellen echter toegang tot het openbare internet.

Hieronder vatten we samen wat er is gebeurd, welke testomstandigheden de activiteit mogelijk maakten, welke maatregelen zijn genomen om deze in te dammen en wat we doen om te zorgen dat onafhankelijke labs steeds capabelere modellen grondig en veilig kunnen blijven evalueren.

Deze incidenten wijzen op dezelfde bredere uitdaging die we beschreven in ons recente bericht over het Hugging Face-incident: naarmate modellen meer kunnen, moeten ook de beveiligings- en veiligheidssystemen eromheen zich verder ontwikkelen. Dat geldt zowel voor de omgevingen waarin modellen worden ontwikkeld als voor de omgevingen waarin labs en onafhankelijke partners ze evalueren.

De komende weken evalueren we onze eigen aanpak van tests door derden. Daarbij bekijken we onder meer hoe we evaluaties met een hoger risico herkennen, afspraken maken over de reikwijdte, verzoeken om internettoegang of minder strenge beveiligingsmaatregelen beoordelen, verwachtingen vastleggen voor isolatie, omgang met inloggegevens, monitoring en stopcriteria, en duidelijkere processen voor incidentmeldingen en escalatie invoeren.

We zetten ons in om binnen de hele sector gezamenlijke werkwijzen voor het veilig uitvoeren van risicovolle evaluaties te versterken. Daarom brengen we de komende weken belanghebbenden bijeen, zoals nationale AI-instituten, onafhankelijke beoordelaars, andere AI-labs en overige groepen. Ons doel is de waarde van grondige, onafhankelijke evaluatie te behouden en er tegelijk voor te zorgen dat testmethoden gelijke tred houden met steeds capabelere modellen.

Op 3 augustus liet UK AISI ons weten dat modellen van OpenAI en een ander lab tijdens een routinematige cyberevaluatie die op 25 juli begon, in enkele gevallen buiten de reikwijdte van de test waren getreden. De evaluatie vond plaats in gecontroleerde cyberranges die waren ontworpen om echte netwerken na te bootsen. Van de 19 vastgestelde gebeurtenissen hadden er twee betrekking op een OpenAI-model, GPT‑5.6 Sol. Bij de overige gevallen ging het om modellen van een ander lab.

Voor deze evaluatie kregen de agenten de opdracht om als cyberbeveiligingsexperts op te treden in een Capture the Flag-oefening: drie gekoppelde gesimuleerde omgevingen binnendringen en een laatste flag bemachtigen. De prompt voor de taak vermeldde welke netwerken binnen de range tot de reikwijdte behoorden en noemde verschillende systemen die erbuiten vielen. UK AISI schakelde ook live internettoegang in, zodat agenten hulpmiddelen konden downloaden en konden werken onder omstandigheden die meer leken op die van een menselijke aanvaller. Daarnaast schakelde het de cyberclassificaties van het model uit om de onderliggende capaciteiten te meten.

De beoogde autorisatiegrens van UK AISI was de gesimuleerde cyberrange: de agenten mochten de opgegeven gesimuleerde netwerken aanvallen en een flag bemachtigen, maar niet communiceren met systemen buiten de netwerkgrens van de range. De agenten kregen echter niet expliciet te horen hoe ze de open internettoegang wel en niet mochten gebruiken. UK AISI noemt dit als een mogelijke factor die aan het incident heeft bijgedragen.

UK AISI stelde vast dat GPT‑5.6 Sol tijdens deze tests twee ongeoorloofde handelingen uitvoerde terwijl het een weg naar de gesimuleerde range zocht om de flag te bemachtigen:

1. GPT‑5.6 Sol hergebruikte een GitHub-token dat de agent van een ander lab openbaar toegankelijk had achtergelaten. Daarmee controleerde GPT‑5.6 Sol of een systeem binnen de cyberrange GitHub of een andere updateservice raadpleegde. Het model probeerde ook beperkingen rond accountherstel en aanvraaglimieten te omzeilen en registreerde accounts bij externe aanbieders van DNS- en tunneldiensten.
2. GPT‑5.6 Sol gebruikte een openbare tunneldienst om een DNS-server die lokaal in de evaluatieomgeving draaide, bereikbaar te maken vanaf het openbare internet. De server bevatte payloads die waren bedoeld voor een bekende kwetsbaarheid in software die binnen de testomgeving draaide. De opzet werkte niet, er zijn geen aanwijzingen dat een echte resolver deze heeft bevraagd en de infrastructuur is na afloop van de evaluatie verwijderd.

Hoewel het model de cyberrange probeerde te voltooien, beschouwde UK AISI deze handelingen als ongeoorloofd omdat daarbij echte externe accounts en diensten buiten de grenzen van de range betrokken waren en de handelingen niet nodig waren om de taak te voltooien. De DNS-server hostte ook exploitpayloads op het openbare internet, hoewel de opzet niet werkte en er geen aanwijzingen zijn dat een echte resolver deze heeft bevraagd.

UK AISI stelde de activiteit op 28 juli vast nadat beveiligingsmonitoring ongebruikelijke gegevensoverdrachten had gedetecteerd. De organisatie stopte de betreffende evaluaties, isoleerde de relevante machines en damde de activiteit binnen ongeveer een uur na detectie in.

We waarderen de samenwerking met UK AISI tijdens dit hele proces, waaronder de inspanningen om de activiteit vast te stellen, te onderzoeken en er details over te delen. We kijken ernaar uit onze samenwerking voort te zetten.

Op 29 juli bracht Irregular, een van onze externe evaluatiepartners, ons op de hoogte van een incident met OpenAI-modellen tijdens cyberbeveiligingsevaluaties in de vorm van Capture the Flag (CTF). De modellen kregen de opdracht verborgen informatie te vinden door zwakke plekken in een gesimuleerde omgeving uit te buiten en er werd hun verteld dat ze geen internettoegang hadden. Door een configuratiefout in de testomgeving konden de modellen echter toegang krijgen tot het openbare internet.

In één test kwam de naam van het fictieve doelwit van de CTF-opdracht onbedoeld overeen met een echt domein. Omdat de testomgeving per abuis met internet was verbonden, maakte het model misbruik van een echte website, in de veronderstelling dat die deel uitmaakte van de gesimuleerde omgeving. Er was geen sprake van een geavanceerde ontsnapping uit de sandbox of een zerodaykwetsbaarheid: de internettoegang was het gevolg van een configuratiefout en het model leek een eenvoudige beveiligingskwetsbaarheid uit te buiten.

Volgens het onderzoek van Irregular vond en gebruikte het model ook inloggegevens om diezelfde site te beheren. Irregular heeft geen gevolgen vastgesteld buiten de eigen gegevens van de getroffen site en de audit loopt nog. Irregular heeft de evaluaties gepauzeerd, is begonnen met herstelmaatregelen en heeft de getroffen derden op de hoogte gebracht. Irregular heeft ons laten weten dat alle vastgestelde problemen rond het incident niet langer actief zijn en dat relevante beveiligingsmaatregelen aan de testomgeving zijn toegevoegd. Irregular heeft ook gecommuniceerd over gerelateerde incidenten met andere labs in dezelfde testomgeving.

We waarderen onze samenwerking met Irregular en blijven nauw met hen samenwerken om hun onderzoek te ondersteunen. Irregular werkt ook aan een whitepaper om best practices te delen voor het indammen en veilig uitvoeren van cyberevaluaties. We kijken ernaar uit bij te dragen aan de whitepaper om de bevindingen met de gemeenschap te delen en onze samenwerking voort te zetten. We beschouwen dit soort samenwerking als essentieel voor een veilige en grondige evaluatie van huidige en toekomstige modellen.