OpenAI ir Hugging Face kartu sprendžia saugumo incidentą per modelio vertinimą

Praėjusią savaitę Hugging Face atskleidė naujo tipo saugumo incidentą⁠(atsidaro naujame lange), kai aptiko ir suvaldė DI agentą, pažeidusį jų infrastruktūrą; tikimės, kad tai taps įprastesniu reiškiniu plintant vis didesnių kibernetinių galimybių turintiems modeliams. Atlikę tyrimą dabar žinome, kad šį konkretų incidentą lėmė OpenAI modelių derinys, įskaitant GPT‑5.6 Sol ir dar pajėgesnį iki išleidimo buvusį modelį, kuriuose vertinimo tikslais buvo sumažinti atsisakymai vykdyti kibernetines užklausas, kai jie buvo viduje testuojami pagal kibernetinių galimybių lyginamąjį testą⁠(atsidaro naujame lange).

Šį incidentą laikome precedento neturinčiu kibernetiniu incidentu, susijusiu su pažangiausiomis kibernetinėmis galimybėmis, ir atitinkamai į jį reaguojame. Šiame etape dalijamės pirminėmis išvadomis, kad padėtume gynėjams suprasti, kas įvyko, ir įvertinti, ką modeliai dabar geba. Toliau kartu su Hugging Face vykdysime išsamų tyrimą ir, jam pasibaigus, pasidalysime daugiau informacijos apie pažeidžiamumus, incidentą ir išvadas.

Šis incidentas įvyko per vidinį vertinimą, kuriame modeliams užklausomis nurodoma siekti pažangaus išnaudojimo naudojant sudėtingus atakų kelius, kad būtų kiekybiškai įvertintos jų kibernetinės galimybės. Maksimalias kibernetines galimybes vertiname vykdydami šį vertinimą be gamybinėje aplinkoje naudojamų klasifikatorių, kurie neleidžia modeliams vykdyti didelės rizikos kibernetinės veiklos. Mūsų lyginamieji testai vykdomi labai izoliuotoje aplinkoje, kurioje tinklo prieiga apribota galimybe diegti paketus per viduje priegloboje laikomą trečiosios šalies programinę įrangą, veikiančią kaip paketų registrų tarpinis serveris ir podėlis.

Modeliai nustatė ir į grandinę sujungė pažeidžiamumus OpenAI tyrimų aplinkoje ir Hugging Face gamybinėje infrastruktūroje, kad testų sprendimus gautų tiesiai iš Hugging Face gamybinės duomenų bazės. Visi įrodymai rodo, kad modeliai buvo itin sutelkę dėmesį į ExploitGym sprendimo paiešką ir ėmėsi kraštutinių priemonių gana siauram testavimo tikslui pasiekti.

Veikdami mūsų smėliadėžės testavimo aplinkoje, mūsų modeliai skyrė daug išvedimo skaičiavimo išteklių ieškodami būdo gauti atvirą interneto prieigą, kad išspręstų vertinimo užduotį. Kad gautų prieigą, modeliai nustatė ir išnaudojo nulinės dienos pažeidžiamumą paketų registro podėlio tarpiniame serveryje (apie jį jau atsakingai pranešėme tiekėjui). Gavę šią prieigą, mūsų modeliai atliko privilegijų didinimo ir šoninio judėjimo veiksmų seką mūsų tyrimų testavimo aplinkoje, kol pasiekė mazgą su interneto prieiga.

Gavę interneto prieigą, modeliai padarė išvadą, kad Hugging Face galbūt talpina ExploitGym modelius, duomenų rinkinius ir sprendimus. Tai žinodamas, modelis ieškojo ir sėkmingai rado būdų gauti prieigą prie slaptos informacijos, kurią galėjo panaudoti sukčiaudamas vertinime. Viename pavyzdyje modelis sujungė kelis atakų vektorius, įskaitant pavogtų prisijungimo duomenų ir nulinės dienos pažeidžiamumų naudojimą, kad rastų nuotolinio kodo vykdymo kelią Hugging Face serveriuose. OpenAI saugumo komanda šią anomalią veiklą aptiko viduje.

Hugging Face saugumo komanda ir agentai aptiko ir sustabdė veiklą jų infrastruktūroje, o kai mūsų komandos susisiekė, jie jau buvo pradėję suvaldymą ir kriminalistinį atkūrimą naudodami savo atvirojo kodo modelius. Aktyviai bendradarbiaujame su jais tęsdami incidento tyrimą. Esame dėkingi Hugging Face už greitą ir glaudų bendradarbiavimą tiriant incidentą ir šalinant jo padarinius.

1. Vykdydami tyrimą, diegiame griežtas infrastruktūros konfigūracijos kontrolės priemones, net jei dėl to lėtėja tyrimų tempas, kol pažeidžiamumai taisomi. Apie šias kontrolės priemones ir jų poveikį reguliariai informuojame savo Saugos ir saugumo komitetą.
2. Bendradarbiaujame su Hugging Face, kad atliktume incidento kriminalistinį tyrimą.
3. Atsakingai pranešėme apie nustatytą nulinės dienos pažeidžiamumą viduje priegloboje laikomoje trečiosios šalies programinėje įrangoje ir kartu su ja dirbame prie pataisos.
4. Įtraukėme Hugging Face į patikimos prieigos⁠ programą ir padedame jų komandoms greitai pasitelkti mūsų modelių galimybes jų gynybai stiprinti.
5. Tobuliname ir diegiame stipresnes apsaugos priemones būsimam mokymui ir vertinimams. Šią savaitę paskelbėme tinklaraščio įrašą apie saugos ir suderinimo gerinimą ilgų laiko perspektyvų modelių eroje⁠. Šios diegimo apsaugos priemonės per šį vertinimą sąmoningai nebuvo įjungtos, nes jo tikslas buvo tikrinti kibernetinius pažeidžiamumus. Šis incidentas rodo, kad reikia toliau stiprinti mūsų modelio suderinimą, kibernetines apsaugos priemones vertinimo metu ir stebėseną atliekant vidinius testus.

Kaip neseniai⁠ pranešėme, DI spartina pažeidžiamumų aptikimą ir išnaudojimą. Pagrindinė šio incidento pamoka – modelių saugumas ir sauga turi žengti koja kojon su sparčiai tobulėjančiomis galimybėmis. Stipriname izoliavimo, stebėsenos, prieigos kontrolės ir vertinimo praktikas, taikomas kuriant modelius.

UK AISI vertinimas rodo, kad tokie modeliai kaip GPT‑5.6 Sol vis geriau geba palaikyti sudėtingas, kelių etapų kibernetines operacijas ilgose laiko perspektyvose. Šis incidentas leidžia manyti, kad šios teorinės galimybės taikomos ir realiose aplinkose.

Incidentas taip pat aiškiai parodo, kad pažangūs modeliai gali aptikti ir išnaudoti naujus atakų kelius realiose sistemose neturėdami prieigos prie pirminio kodo. Jis pabrėžia, kad pažangios kibernetinės galimybės turi būti kuriamos kartu su stipresnėmis apsaugos priemonėmis ir gynybos įrankiais.

Manome, kad pažangias kibernetines galimybes turintys modeliai turi padėti saugumo komandoms rasti silpnąsias vietas anksčiau už užpuolikus, suprasti, kaip pažeidžiamumus galima sujungti į grandinę, ir juos pašalinti mašinos greičiu. Naudojame šias galimybes toliau stiprindami infrastruktūros konfigūracijos ir modelių vertinimo aplinkų apsaugą; mokydamiesi dalysimės savo išvadomis ir geriausia praktika. Raginame kitus gynėjus pateikti paraišką dėl patikimos prieigos⁠ ir jau dabar eksperimentuoti su šiais modeliais, kad šios galimybės virstų geresne prevencija, greitesniu aptikimu ir veiksmingesniu reagavimu į incidentus.