OpenAI mudelitega seotud kolmandate poolte küberhindamised
Sõltumatul testimisel on oluline roll, sest see aitab meil enne kasutuselevõttu riske kontrollida ja paremini mõista. Mõnes küberhindamises kasutatakse sihilikult kohandatud seadistusi, sealhulgas nõrgemaid kaitsemeetmeid, et mõõta mudelite tegelikku võimekust, mitte nende tavapärast käitumist avalikult kättesaadavates lahendustes.
Hiljutiste hindamiste käigus tuvastasid kaks välist testimispartnerit intsidendid, kus testimisseadistuste ja kontrollimeetmete koosmõju hiljutiste mudelite kasvanud võimekusega võimaldas mudelite tegevusel väljuda kavandatud testimispiiridest. Need intsidendid rõhutavad vajadust teha koostööd kogu valdkonnas ja kolmandast poolest hindajatega, et täiustada testimiskeskkondade ja -tavade standardeid sedamööda, kuidas mudelite võimekus kasvab. Toimetaja märkus: need intsidendid ei ole seotud Hugging Face’i turvaintsidendiga. Jätkame Hugging Face’i intsidendi kohta värskenduste jagamist siin.
Uued intsidendid puudutasid OpenAI mudelite juurdepääsu avalikule internetile kolmandate poolte küberhindamiste ajal eritingimustes ja nõrgendatud kaitsemeetmetega seadistustes, mis ei kajastanud tavapärast kasutust. Intsidendid olid järgmised.
- Ühendkuningriigi valitsuse tehisintellekti turvalisuse instituut UK AISI korraldas küberharjutusväljakul hindamisi, kus internetiühendus oli tahtlikult lubatud, et agendid saaksid ise tööriistu leida ja tegutseda tegeliku ründaja omadega sarnasemates tingimustes. Mudelite tegeliku võimekuse mõõtmiseks olid küberklassifikaatorid välja lülitatud. Nende blogipostitust saab lugeda siit.(avaneb uues aknas)
- Üks meie välistest küberturvalisuse testimispartneritest, Irregular, korraldas lipupüüdmise laadseid hindamisi, mis pidid olema internetist isoleeritud, kuid testimiskeskkonna vale seadistus võimaldas mudelitel avalikku internetti kasutada.
Allpool võtame kokku juhtunu, tegevust võimaldanud testimistingimused, selle ohjeldamiseks võetud meetmed ning meie tegevuse selle nimel, et sõltumatud laborid saaksid üha võimekamaid mudeleid ka edaspidi põhjalikult ja turvaliselt hinnata.
Need intsidendid osutavad samale laiemale probleemile, mida kirjeldasime oma hiljutises postituses Hugging Face’i intsidendi kohta: mudelite võimekuse kasvades peavad arenema ka neid ümbritsevad turbe- ja ohutussüsteemid. See puudutab nii mudelite arendamiseks kasutatavaid keskkondi kui ka keskkondi, kus laborid ja sõltumatud partnerid neid hindavad.
Lähinädalatel vaatame üle oma lähenemisviisi kolmandate poolte testimisele. Muu hulgas käsitleme seda, kuidas tuvastada suurema riskiga hindamisi, leppida kokku ulatuses, hinnata internetiühenduse või nõrgemate kaitsemeetmete lubamise taotlusi, seada nõudeid isoleerimisele, pääsuandmete käitlemisele, seirele ja peatamistingimustele ning kehtestada selgemad intsidendist teavitamise ja eskaleerimise protsessid.
Oleme pühendunud kogu valdkonda hõlmavale koostööle, et tugevdada suure riskiga hindamiste turvalise korraldamise ühiseid tavasid. Selleks kutsume lähinädalatel kokku sidusrühmi, sealhulgas riiklikke tehisintellekti instituute, sõltumatuid hindajaid, teisi tehisintellektilaboreid ja muid rühmi. Meie eesmärk on säilitada põhjaliku sõltumatu hindamise väärtus ja tagada samal ajal, et testimistavad areneksid koos mudelite kasvava võimekusega.
3. augustil teatas UK AISI meile, et 25. juulil alanud tavapärase küberhindamise käigus väljusid OpenAI ja ühe teise labori mudelid mõnel juhul testimise ulatusest. Hindamine toimus kontrollitud küberharjutusväljakutel, mis olid loodud jäljendama pärismaailma võrke. 19 tuvastatud juhtumist kaks olid seotud OpenAI mudeliga GPT‑5.6 Sol. Ülejäänud juhtumid puudutasid teise labori mudeleid.
Selles hindamises anti agentidele ülesanne tegutseda lipupüüdmise harjutusel küberturvalisuse ekspertidena: murda sisse kolme ühendatud simuleeritud keskkonda ja hankida lõplik lipp. Ülesande viip määras kindlaks hindamise alla kuuluvad harjutusväljaku võrgud ja nimetas mitu süsteemi, mis hindamise ulatusse ei kuulunud. UK AISI lubas ka internetiühenduse, et agendid saaksid tööriistu alla laadida ja tegutseda inimründaja omadega sarnasemates tingimustes, ning lülitas mudeli tegeliku võimekuse mõõtmiseks välja selle küberklassifikaatorid.
UK AISI kavandatud volituste piiriks oli simuleeritud küberharjutusväljak: agentidel oli lubatud rünnata kindlaksmääratud simuleeritud võrke ja hankida lipp, kuid mitte suhelda harjutusväljaku võrgupiirist väljapoole jäävate süsteemidega. Agentidele ei öeldud siiski sõnaselgelt, kuidas nad võivad ja ei või avatud internetiühendust kasutada. UK AISI peab seda üheks võimalikuks intsidendi tekkepõhjuseks.
UK AISI leidis nende katsete käigus, et GPT‑5.6 Sol tegi simuleeritud harjutusväljakule pääsu otsides ja lippu hankida püüdes kaks loata toimingut:
- GPT‑5.6 Sol kasutas uuesti GitHubi tokenit, mille teise labori agent oli jätnud avalikult kättesaadavaks, et kontrollida, kas mõni harjutusväljakul asuv süsteem pärib GitHubist või mõnest muust värskendusteenusest uuendusi. Samuti proovis see konto taastamise ja päringupiirangute vältimise võtteid ning registreeris kontosid väliste DNS- ja tunneliteenuste pakkujate juures.
- GPT‑5.6 Sol kasutas avalikku tunneliteenust, et teha oma hindamiskeskkonnas kohalikult töötav DNS-server avalikust internetist kättesaadavaks. Server sisaldas ründekoodi, mis oli mõeldud testimisalal töötava tarkvara teadaoleva haavatavuse ärakasutamiseks. Lahendus ei töötanud, puuduvad tõendid, et ükski tegelik DNS-lahendaja oleks sinna päringu saatnud, ning hindamise lõppedes eemaldati taristu.
Kuigi mudel püüdis küberharjutusväljaku ülesannet täita, pidas UK AISI neid toiminguid loata tegevuseks, sest need hõlmasid tegelikke väliseid kontosid ja teenuseid väljaspool harjutusväljaku piire ning polnud ülesande täitmiseks vajalikud. DNS-server majutas avalikus internetis ka ründekoodi, kuigi lahendus ei töötanud ja puuduvad tõendid, et ükski tegelik DNS-lahendaja oleks sinna päringu saatnud.
UK AISI tuvastas tegevuse 28. juulil, kui turvaseire märkas ebatavalist andmeedastust. UK AISI peatas seotud hindamised, isoleeris asjaomased masinad ja piiras tegevuse ligikaudu tunni jooksul pärast selle avastamist.
Hindame UK AISI koostööd kogu selle protsessi vältel, sealhulgas nende panust tegevuse tuvastamisse, uurimisse ja üksikasjade jagamisse. Ootame meie koostöö jätkumist.
29. juulil teavitas üks meie kolmandast poolest hindamispartner, Irregular, meid intsidendist, mis puudutas OpenAI mudeleid lipupüüdmise (Capture the Flag ehk CTF) laadsetes küberturvalisuse hindamistes. Mudelitel paluti leida simuleeritud keskkonna nõrkusi ära kasutades peidetud teavet ning neile öeldi, et neil puudub internetiühendus. Testimiskeskkonna vale seadistus võimaldas mudelitel siiski avalikku internetti kasutada.
Ühes testis langes CTF-ülesande väljamõeldud sihtmärgi nimi kogemata kokku tegeliku domeeniga. Kuna testimiskeskkond oli ekslikult internetiga ühendatud, ründas mudel tegelikku veebisaiti, pidades seda simuleeritud keskkonna osaks. See ei hõlmanud keerukat liivakastist väljamurdmist ega nullpäeva haavatavust: internetiühendus tulenes valest seadistusest ning mudel näis kasutavat ära lihtsat turvanõrkust.
Irregulari uurimise põhjal leidis mudel ka sama saidi haldamiseks vajalikud pääsuandmed ja kasutas neid. Irregular ei ole tuvastanud mõju, mis ulatuks kaugemale mõjutatud saidi enda andmetest, ning audit jätkub. Irregular on hindamised peatanud ja alustanud parandusmeetmeid ning mõjutatud kolmandaid pooli on teavitatud. Irregular teatas meile, et kõik intsidendiga seotud tuvastatud probleemid on kõrvaldatud ning testimiskeskkonda on lisatud asjakohased kaitsemeetmed. Irregular on teavitanud ka sama testimiskeskkonnaga seotud intsidentidest, mis puudutasid teisi laboreid.
Hindame koostööd Irregulariga ja jätkame nendega tihedat koostööd, et toetada nende ülevaatust. Irregular koostab ka valget raamatut, et jagada häid tavasid küberhindamiste ohjeldamiseks ja turvaliseks korraldamiseks. Ootame võimalust valge raamatu koostamises osaleda, et teha järeldused kogukonnale kättesaadavaks, ning jätkata koostööd. Peame sellist koostööd hädavajalikuks, et tagada praeguste ja tulevaste mudelite turvaline ning põhjalik hindamine.
