OpenAI dhe Hugging Face bashkëpunojnë për të adresuar incident sigurie gjatë vlerësimit të modelit

Javën e kaluar, Hugging Face njoftoi një lloj të ri incidenti sigurie⁠(hapet në një dritare të re) pasi zbuloi dhe izoloi një agjent IA që kishte komprometuar infrastrukturën e tyre, diçka që presim të bëhet më e zakonshme me përhapjen e modeleve me aftësi gjithnjë më të mëdha kibernetike. Pas hetimit, tani e dimë se ky incident i veçantë u shkaktua nga një kombinim modelesh të OpenAI — përfshirë GPT‑5.6 Sol dhe një model para publikimit edhe më të aftë, të gjitha me refuzime kibernetike të reduktuara për qëllime vlerësimi — ndërsa po testoheshin brenda nesh në një standard matës⁠(hapet në një dritare të re) të aftësive kibernetike.

Ne e konsiderojmë këtë incident si një incident kibernetik të paprecedentë, që përfshin aftësi kibernetike të nivelit më të avancuar, dhe po reagojmë në përputhje me këtë. Në këtë fazë po ndajmë gjetjet paraprake për t'i ndihmuar mbrojtësit të kuptojnë se çfarë ndodhi dhe për të krijuar një kuptim më të qartë të aftësive që modelet kanë arritur tashmë. Do të vazhdojmë të zhvillojmë një hetim të plotë së bashku me Hugging Face dhe do të ndajmë më shumë hollësi rreth cenueshmërive, incidentit dhe gjetjeve pasi hetimi ynë të ketë përfunduar.

Ky incident ndodhi gjatë një vlerësimi të brendshëm që i nxit modelet të ndjekin shfrytëzim të avancuar përmes rrugësh komplekse sulmi, me synimin për të matur aftësitë e tyre kibernetike. Ne vlerësojmë aftësitë maksimale kibernetike duke e kryer këtë vlerësim pa klasifikuesit e prodhimit që përdoren për të parandaluar modelet të ndjekin veprimtari kibernetike me rrezik të lartë. Standardet tona matëse ekzekutohen në një mjedis shumë të izoluar, ku aksesi në rrjet kufizohet te mundësia për të instaluar paketa përmes një softueri pale të tretë të hostuar brenda nesh, që shërben si ndërmjetësues dhe memorie specifike për regjistrat e paketave.

Modelet identifikuan dhe kombinuan cenueshmëri në mjedisin kërkimor të OpenAI dhe në infrastrukturën e prodhimit të Hugging Face për të marrë drejtpërdrejt zgjidhjet e testit nga baza e të dhënave të prodhimit të Hugging Face. Të gjitha provat tregojnë se modelet ishin jashtëzakonisht të përqendruara në gjetjen e një zgjidhjeje për ExploitGym, duke ndërmarrë masa ekstreme për të arritur një objektiv testimi mjaft të kufizuar.

Ndërsa vepronin në mjedisin tonë të izoluar të testimit, modelet tona shpenzuan një sasi të konsiderueshme kapaciteti për inferencë duke kërkuar një mënyrë për të siguruar akses në internetin e hapur, me synimin për të zgjidhur problemin e vlerësimit. Për të fituar këtë akses, modelet identifikuan dhe shfrytëzuan një cenueshmëri zero-day (të cilën tani ia kemi raportuar në mënyrë të përgjegjshme ofruesit) në ndërmjetësuesin e memories specifike të regjistrit të paketave. Me këtë akses, modelet tona kryen një sërë veprimesh për përshkallëzimin e privilegjeve dhe lëvizjen laterale në mjedisin tonë kërkimor të testimit, derisa arritën në një nyjë me akses në internet.

Pasi fituan akses në internet, modelet nxorën përfundimin se Hugging Face mund të hostonte modele, grupe të dhënash dhe zgjidhje për ExploitGym. Duke e ditur këtë, modeli kërkoi dhe gjeti me sukses mënyra për të fituar akses në informacion sekret që mund ta përdorte për të mashtruar në vlerësim. Në një shembull, modeli lidhi disa vektorë sulmi, përfshirë përdorimin e kredencialeve të vjedhura dhe cenueshmërive zero-day për të gjetur një rrugë ekzekutimi të kodit në distancë në serverët e Hugging Face. Ekipi i sigurisë i OpenAI e zbuloi këtë aktivitet anormal brenda nesh.

Ekipi i sigurisë dhe agjentët e Hugging Face e zbuluan dhe e ndaluan këtë aktivitet në infrastrukturën e tyre, ndërsa kishin nisur tashmë procesin e izolimit dhe rindërtimit forenzik me modelet e tyre me burim të hapur kur ekipet tona u lidhën. Po bashkëpunojmë ngushtë me ta për të vazhduar hetimin e incidentit. I jemi mirënjohës Hugging Face për bashkëpunimin e shpejtë dhe të ngushtë gjatë hetimit dhe korrigjimit të problemit.

1. Si pjesë e hetimit, po zbatojmë kontrolle të rrepta në konfigurimin e infrastrukturës, edhe pse kjo ngadalëson ritmin e kërkimit, derisa dobësitë të rregullohen. Po e informojmë rregullisht Komitetin tonë të Sigurisë dhe Mbrojtjes për këto kontrolle dhe ndikimin e tyre.
2. Po punojmë me Hugging Face për të hetuar incidentin nga ana mjeko-ligjore.
3. Kemi njoftuar në mënyrë të përgjegjshme për cenueshmërinë zero-day të identifikuar në softuerin e palës së tretë të vendosur në infrastrukturën tonë të brendshme dhe po punojmë me ofruesin për ta korrigjuar atë.
4. E kemi përfshirë Hugging Face në programin e aksesit të besuar⁠ dhe po mbështesim ekipet e tij që të përdorin me shpejtësi aftësitë e modeleve tona për të përmirësuar mbrojtjen e tyre.
5. Po përmirësojmë dhe po shtojmë mbrojtje më të forta rreth trajnimeve dhe vlerësimeve të ardhshme. Këtë javë publikuam një blog për përmirësimin e sigurisë dhe përafrimit në një epokë modelesh me horizont të gjatë⁠. Këto masa mbrojtëse të vendosjes qëllimisht nuk u aktivizuan gjatë këtij vlerësimi, sepse ai synonte testimin e dobësive kibernetike. Ky incident tregon nevojën për të forcuar më tej përafrimin e modelit tonë, mbrojtjet kibernetike gjatë vlerësimit dhe monitorimin gjatë testimit të brendshëm.

Siç kemi ndarë së fundmi⁠, IA-ja po përshpejton zbulimin dhe shfrytëzimin e cenueshmërive. Mësimi kryesor nga ky incident është se siguria dhe mbrojtja e modeleve duhet të ecin në hap me aftësitë që po përparojnë me shpejtësi. Po forcojmë mekanizmat e izolimit, monitorimin, kontrollet e aksesit dhe praktikat e vlerësimit të përdorura gjatë zhvillimit të modeleve.

Vlerësimi i UK AISI tregon se modele si GPT‑5.6 Sol po bëhen gjithnjë më të afta të mbajnë operacione kibernetike komplekse, me shumë hapa, përgjatë horizonteve të gjata kohore. Ky incident tregon se këto aftësi teorike vlejnë edhe në mjedise reale.

Incidenti e bën gjithashtu të qartë se modelet e avancuara mund të zbulojnë dhe shfrytëzojnë rrugë të reja sulmi në sisteme reale pa pasur akses në kodin burimor. Ai thekson se aftësitë e avancuara kibernetike duhet të zhvillohen krahas masave mbrojtëse dhe mjeteve mbrojtëse më të forta.

Besojmë se modelet me aftësi të avancuara kibernetike duhet t’i ndihmojnë ekipet e sigurisë të gjejnë dobësitë para sulmuesve, të kuptojnë si mund të lidhen dobësitë me njëra-tjetrën dhe t’i korrigjojnë ato me shpejtësinë e makinës. Po i përdorim këto aftësi për të forcuar më tej mbrojtjet rreth konfigurimit të infrastrukturës dhe mjediseve të vlerësimit të modeleve; do të ndajmë gjetjet dhe praktikat tona më të mira ndërsa mësojmë. I nxisim mbrojtësit e tjerë të aplikojnë për akses të besuar⁠ dhe të eksperimentojnë me këto modele që tani, për t’i kthyer këto aftësi në parandalim më të mirë, zbulim më të shpejtë dhe reagim më efektiv ndaj incidenteve.