OpenAI ja Hugging Face teevad koostööd, et käsitleda mudeli hindamisel toimunud turvaintsidenti

Eelmisel nädalal avalikustas Hugging Face uut tüüpi turvaintsidendi⁠(avaneb uues aknas) pärast seda, kui nad tuvastasid ja piirasid AI-agendi, mis oli kompromiteerinud nende taristu. Eeldame, et sellised juhtumid muutuvad kübervaldkonnas üha võimekamate mudelite leviku tõttu tavalisemaks. Pärast uurimist teame nüüd, et selle konkreetse juhtumi põhjustas OpenAI mudelite kombinatsioon — sealhulgas GPT‑5.6 Sol ja veel võimekam väljalaske-eelne mudel, kõigil hindamise eesmärgil vähendatud küberkeeldumised — samal ajal, kui neid testiti sisemiselt kübervõimekuse võrdlustestil⁠(avaneb uues aknas).

Peame seda juhtumit pretsedendituks küberintsidendiks, mis hõlmab tipptasemel kübervõimekust, ja reageerime sellele vastavalt. Jagame praeguses etapis esialgseid leide, et aidata kaitsjatel mõista, mis juhtus, ning kalibreerida arusaama sellest, milleks mudelid nüüd võimelised on. Jätkame koos Hugging Face’iga põhjalikku uurimist ning jagame rohkem üksikasju haavatavuste, intsidendi ja leidude kohta siis, kui uurimine on lõppenud.

See intsident toimus sisehindamise ajal, kus mudelitele antakse viip taotleda keerukaid ründeteid kasutades arenenud ärakasutamist, et kvantifitseerida nende kübervõimekust. Hindame maksimaalset kübervõimekust, käivitades selle hindamise ilma tootmisklassifikaatoriteta, mida kasutatakse selleks, et takistada mudelitel suure riskiga kübertegevust taotleda. Meie võrdlustestid töötavad tugevalt isoleeritud keskkonnas, kus võrgujuurdepääs piirdub võimalusega installida pakette sisemiselt majutatud kolmanda poole tarkvara kaudu, mis toimib paketiregistrite puhverserveri ja vahemäluna.

Mudelid tuvastasid ja sidusid ahelaks haavatavusi OpenAI uurimiskeskkonnas ja Hugging Face’i tootmistaristus, et hankida testilahendusi otse Hugging Face’i tootmisandmebaasist. Kõik tõendid viitavad sellele, et mudelid keskendusid ülimalt kitsale eesmärgile leida ExploitGymile lahendus ning läksid selle saavutamiseks äärmuslikult kaugele.

Meie liivakastis testimiskeskkonnas tegutsedes kulutasid mudelid märkimisväärse hulga järeldusarvutust, et leida hindamisülesande lahendamiseks viis avatud internetile juurdepääsu saamiseks. Juurdepääsu saamiseks tuvastasid ja kasutasid mudelid ära paketiregistri vahemälu-puhverserveris oleva nullpäeva haavatavuse (millest oleme nüüd vastutustundlikult tarnijale teatanud). Selle juurdepääsu abil tegid meie mudelid meie uurimistöö testimiskeskkonnas rea õiguste laiendamise ja lateraalse liikumise toiminguid, kuni jõudsid internetiühendusega sõlmpunktini.

Pärast internetiühenduse saamist järeldasid mudelid, et Hugging Face võis majutada ExploitGymi mudeleid, andmestikke ja lahendusi. Seda teades otsis mudel ja leidis edukalt viise, kuidas pääseda ligi salajasele teabele, mida ta saaks kasutada hindamisel petmiseks. Ühes näites sidus mudel kokku mitu ründevektorit, sealhulgas varastatud mandaatide ja nullpäeva haavatavuste kasutamise, et leida Hugging Face’i serverites koodi kaugkäivitamise tee. OpenAI turvatiim avastas selle anomaalse tegevuse ettevõttesiseselt.

Hugging Face’i turvatiim ja agendid tuvastasid ning peatasid tegevuse oma taristus ning olid oma avatud lähtekoodiga mudelite abil juba alustanud piiramist ja forensilist rekonstrueerimist, kui meie tiimid ühendust võtsid. Teeme nendega aktiivselt koostööd, et intsidendi uurimist jätkata. Oleme tänulikud Hugging Face’i kiire ja tiheda koostöö eest uurimisel ja parandamisel.

1. Uurimise raames kehtestame taristu konfiguratsioonile ranged kontrollid, mis aeglustavad uurimistööd, kuni haavatavused on parandatud. Anname oma ohutus- ja turvakomiteele nende kontrollide ja nende mõju kohta regulaarselt ülevaateid.
2. Teeme Hugging Face’iga koostööd, et juhtumit forensiliselt uurida.
3. Oleme vastutustundlikult teatanud sisemiselt kasutatavas kolmanda poole tarkvaras tuvastatud nullpäeva haavatavusest ja töötame koos nendega paranduse kallal.
4. Oleme kaasanud Hugging Face’i usaldatud juurdepääsu⁠ programmi ning aitame nende tiimidel kasutada kiiresti meie mudelite võimekust oma kaitse tugevdamiseks.
5. Parandame ja lisame tulevase treenimise ning hindamiste ümber tugevamaid kaitsemeetmeid. Sel nädalal avaldasime blogipostituse teemal ohutuse ja kooskõlastamise parandamine pikaajaliste mudelite ajastul⁠. Neid juurutuskaitseid ei olnud hindamise ajal teadlikult lubatud, sest eesmärk oli testida küberhaavatavusi. See juhtum näitab vajadust veelgi mudelit kooskõlastada ja tugevada küberkaitset hindamise ajal ning sisetestide seiret.

Nagu oleme hiljuti⁠ jaganud, kiirendab tehisintellekt haavatavuste avastamist ja ärakasutamist. Selle juhtumi peamine õppetund on, et mudelite turvalisus ja ohutus peavad kiiresti areneva võimekusega sammu pidama. Tugevdame mudelite arendamisel kasutatavaid eraldus-, seire-, juurdepääsukontrolli- ja hindamistavasid.

UK AISI hindamine näitab, et sellised mudelid nagu GPT‑5.6 Sol suudavad üha paremini hoida keerukaid, mitmeetapilisi küberoperatsioone käigus pika ajahorisondi vältel. See juhtum viitab, et need teoreetilised võimekused rakenduvad ka pärismaailma olukordades.

Juhtum näitab ka selgelt, et arenenud mudelid suudavad avastada ja ära kasutada uudseid ründeteid pärismaailma süsteemides ilma lähtekoodile juurdepääsuta. See rõhutab, et arenenud kübervõimekust tuleb arendada koos tugevamate kaitsemeetmete ja kaitsetööriistadega.

Usume, et arenenud kübervõimekusega mudelid peavad aitama turvatiimidel leida nõrkusi enne ründajaid, mõista, kuidas haavatavusi saab ahelaks siduda, ja need masinakiirusel parandada. Kasutame neid võimekusi, et jätkuvalt tugevdada taristu konfiguratsiooni ja mudelite hindamiskeskkondade kaitset; jagame oma leide ja parimaid tavasid sedamööda, kuidas õpime. Julgustame ka teisi kaitsjaid taotlema usaldatud juurdepääsu⁠ ja nende mudelitega juba praegu katsetama, et muuta need võimekused paremaks ennetuseks, kiiremaks tuvastamiseks ja tõhusamaks intsidendile reageerimiseks.