OpenAI ja Hugging Face ratkovat yhdessä mallin arvioinnin aikaista tietoturvapoikkeamaa

Viime viikolla Hugging Face kertoi uudenlaisesta tietoturvapoikkeamasta⁠(avautuu uudessa ikkunassa) havaittuaan ja eristettyään tekoälyagentin, joka oli vaarantanut sen infrastruktuurin. Odotamme tällaisen yleistyvän, kun kyberkyvyiltään yhä vahvemmat mallit leviävät laajempaan käyttöön. Tutkinnan jälkeen tiedämme nyt, että tämän nimenomaisen tapauksen taustalla oli OpenAI:n mallien yhdistelmä – mukaan lukien GPT‑5.6 Sol ja vielä kyvykkäämpi ennakkojulkaisun malli, joissa kaikissa kyberaiheisia kieltäytymisiä oli vähennetty arviointia varten – kun niitä testattiin sisäisesti kyberkyvykkyyksien vertailutestissä⁠(avautuu uudessa ikkunassa).

Pidämme tätä tapausta ennennäkemättömänä kybertapahtumana, johon liittyi huipputason kyberkyvykkyyksiä, ja vastaamme siihen sen mukaisesti. Jaamme tässä vaiheessa alustavia havaintoja, jotta puolustajat ymmärtäisivät, mitä tapahtui, ja jotta käsitys mallien nykyisistä kyvyistä tarkentuisi. Jatkamme perusteellista tutkintaa yhdessä Hugging Facen kanssa ja jaamme lisätietoja haavoittuvuuksista, tapauksesta ja havainnoista, kun tutkintamme on valmis.

Tämä tapaus sattui sisäisen arvioinnin aikana. Siinä mallit ohjataan tavoittelemaan edistynyttä hyväksikäyttöä monimutkaisten hyökkäysreittien kautta, jotta niiden kyberkyvykkyyksiä voidaan mitata. Arvioimme suurimmat mahdolliset kyberkyvykkyydet ajamalla tämän arvioinnin ilman tuotannon luokittimia, joilla estetään malleja tavoittelemasta korkean riskin kybertoimintaa. Vertailutestimme ajetaan erittäin eristetyssä ympäristössä, jossa verkkoyhteys on rajattu mahdollisuuteen asentaa paketteja sisäisesti ylläpidetyn kolmannen osapuolen ohjelmiston kautta. Se toimii välityspalvelimena ja välimuistina pakettirekistereille.

Mallit tunnistivat ja ketjuttivat haavoittuvuuksia OpenAI:n tutkimusympäristössä ja Hugging Facen tuotantoinfrastruktuurissa saadakseen testiratkaisuja suoraan Hugging Facen tuotantotietokannasta. Kaikki todisteet viittaavat siihen, että mallit keskittyivät poikkeuksellisen voimakkaasti löytämään ratkaisun ExploitGymiin ja menivät äärimmäisen pitkälle saavuttaakseen varsin kapean testitavoitteen.

Toimiessaan eristetyssä testiympäristössämme mallimme käyttivät huomattavan määrän päättelylaskentaa löytääkseen keinon saada avoin internetyhteys, jotta ne voisivat ratkaista arviointitehtävän. Pääsyn saadakseen mallit tunnistivat ja hyödynsivät nollapäivähaavoittuvuutta pakettirekisterien välimuistivälityspalvelimessa. Olemme nyt ilmoittaneet haavoittuvuudesta vastuullisesti toimittajalle. Tämän pääsyn avulla mallimme tekivät tutkimustestiympäristössämme sarjan käyttöoikeuksien laajentamis- ja sivuttaissiirtymätoimia, kunnes ne pääsivät solmuun, jolla oli internetyhteys.

Saatuaan internetyhteyden mallit päättelivät, että Hugging Face mahdollisesti isännöi malleja, tietoaineistoja ja ratkaisuja ExploitGymiin. Tämän tiedon perusteella malli etsi ja löysi onnistuneesti tapoja päästä käsiksi salaisiin tietoihin, joita se voisi käyttää arvioinnissa huijaamiseen. Yhdessä esimerkissä malli ketjutti useita hyökkäysvektoreita, kuten varastettujen tunnistetietojen ja nollapäivähaavoittuvuuksien käytön, löytääkseen etäkoodin suoritusreitin Hugging Facen palvelimille. OpenAI:n tietoturvatiimi havaitsi tämän poikkeavan toiminnan sisäisesti.

Hugging Facen tietoturvatiimi ja agentit havaitsivat ja pysäyttivät toiminnan heidän infrastruktuurissaan. He olivat jo aloittaneet eristämisen ja forensisen jälleenrakennuksen omilla avoimen lähdekoodin malleillaan, kun tiimimme ottivat yhteyttä. Teemme heidän kanssaan aktiivisesti työtä tapauksen tutkinnan jatkamiseksi. Olemme kiitollisia Hugging Facen nopeasta ja tiiviistä yhteistyöstä tutkinnassa ja korjaavissa toimissa.

1. Osana tutkintaa otamme käyttöön tiukat infrastruktuurin määritysvalvonnat tutkimusvauhdin kustannuksella siksi aikaa, kun haavoittuvuuksia korjataan. Tiedotamme turvallisuuskomiteallemme säännöllisesti näistä valvonnoista ja niiden vaikutuksista.
2. Teemme Hugging Facen kanssa forensista tutkintaa tapauksesta.
3. Olemme vastuullisesti ilmoittaneet tunnistetusta nollapäivähaavoittuvuudesta sisäisesti ylläpidetyssä kolmannen osapuolen ohjelmistossa ja teemme heidän kanssaan työtä korjauksen eteen.
4. Olemme ottaneet Hugging Facen mukaan luotetun käytön⁠ ohjelmaan ja tuemme heidän tiimejään siinä, että ne voivat nopeasti hyödyntää malliemme kyvykkyyksiä puolustuksensa parantamiseen.
5. Parannamme tulevien koulutusten ja arviointien suojauksia ja lisäämme niihin vahvempia suojaustoimia. Tällä viikolla julkaisimme blogikirjoituksen turvallisuuden ja linjauksen parantamisesta pitkän aikajänteen mallien aikakaudella⁠. Näitä käyttöönoton suojatoimia ei tarkoituksella otettu käyttöön tässä arvioinnissa, koska sen tavoitteena oli testata kyberhaavoittuvuuksia. Tämä tapaus osoittaa, että mallimme linjausta, kybersuojauksia arvioinnin aikana ja sisäisen testauksen valvontaa on vahvistettava entisestään.

Kuten äskettäin⁠ kerroimme, tekoäly nopeuttaa haavoittuvuuksien löytämistä ja hyödyntämistä. Tämän tapauksen tärkein opetus on, että mallien tietoturvan ja turvallisuuden on pysyttävä nopeasti kehittyvien kyvykkyyksien tahdissa. Vahvistamme mallien kehityksessä käytettäviä eristämisen, valvonnan, käyttöoikeuksien hallinnan ja arvioinnin käytäntöjä.

UK AISI:n arviointi osoittaa, että GPT‑5.6 Solin kaltaiset mallit pystyvät yhä paremmin ylläpitämään monimutkaisia, monivaiheisia kyberoperaatioita pitkien aikajänteiden yli. Tämä tapaus viittaa siihen, että nämä teoreettiset kyvykkyydet pätevät myös todellisissa ympäristöissä.

Tapaus tekee myös selväksi, että edistyneet mallit voivat löytää ja hyödyntää uusia hyökkäysreittejä todellisissa järjestelmissä ilman pääsyä lähdekoodiin. Se korostaa, että edistyneitä kyberkyvykkyyksiä on kehitettävä yhdessä vahvempien suojatoimien ja puolustustyökalujen kanssa.

Uskomme, että edistyneitä kyberkyvykkyyksiä sisältävien mallien on autettava tietoturvatiimejä löytämään heikkoudet ennen hyökkääjiä, ymmärtämään, miten haavoittuvuuksia voidaan ketjuttaa, ja korjaamaan ne koneen nopeudella. Hyödynnämme näitä kyvykkyyksiä jatkaaksemme infrastruktuurin määritysten ja mallien arviointiympäristöjen suojausten vahvistamista. Jaamme havaintomme ja parhaat käytäntömme sitä mukaa kuin opimme. Kannustamme muita puolustajia hakemaan luotettua käyttöoikeutta⁠ ja kokeilemaan näitä malleja jo nyt, jotta nämä kyvykkyydet voidaan muuttaa paremmaksi ennaltaehkäisyksi, nopeammaksi havaitsemiseksi ja tehokkaammaksi poikkeamiin reagoinniksi.