L-inċident ta’ Hugging Face u t-triq ’il quddiem

Matul Mejju u Ġunju, bdejna sessjonijiet ta’ taħriġ b’apprendiment ta' tisħiħ (RL) għal diversi mudelli ġodda tar-riċerka li ma kinux maħsuba biex jiġu rilaxxati lill-pubbliku. Wieħed minn dawn il-mudelli eventwalment mexxa l-attività li wasslet għall-inċident ta’ Hugging Face. Dan kien mudell tar-riċerka għall-użu intern biss li se nsejħulu Mudell Intern 1 (IM1).

Ma ppermettejniex aċċess għall-internet jew komunikazzjoni bejn l-aġenti f’ħafna mill-ambjenti f’dawn l-esperimenti ta’ taħriġ. Minkejja dawn ir-restrizzjonijiet, l-aġenti skoprew modi kif jisfruttaw l-infrastruttura tar-riċerka tagħna biex jikkomunikaw bejniethom u jaċċessaw l-internet.

Il-mudelli l-ewwel sabu modi kif jikkomunikaw billi jiktbu fajls fil-maniġer tal-pakketti Artifactory. Dan effettivament biddel Artifactory f’bord tal-messaġġi mhux intenzjonat, fejn l-aġenti setgħu jiskambjaw informazzjoni bejniethom. Aqra aktar: Kif l-aġenti użaw il-bord tal-messaġġi 

Sal-4 ta’ Lulju, l-attività kontinwa tal-aġenti kienet iddestabbilizzat l-istanza affettwata ta’ Artifactory, u kkawżat qtugħ fis-servizz. Fil-5 ta’ Lulju, infetaħ każ ta’ inċident tas-sigurtà. It-tim tas-sigurtà mblokka rotta magħrufa għall-eskalazzjoni tal-privileġġi, neħħa kredenzjali esposti, u aktar tard reġa’ bena Artifactory. Bħala effett sekondarju, dan ħassar il-kontenut tal-bord tal-messaġġi. B’dawn il-miżuri ta’ mitigazzjoni fis-seħħ, reġgħu bdew l-evalwazzjonijiet taċ-ċibersigurtà.

Dak iż-żmien, l-implikazzjonijiet usa’ tal-bord tal-messaġġi improvviżat u tal-aċċess mhux intenzjonat għall-internet għall-konteniment u l-allinjament kienu għadhom ma ġewx mifhuma. Fil-qosor, tim intern osserva aġent involut f’attività fuq il-bord tal-messaġġi u każijiet ta’ aċċess mhux permess għall-internet lejn tmiem Mejju. Madankollu, l-eżistenza tal-bord tal-messaġġi improvviżat u s-sinifikat tal-attività ta’ komunikazzjoni bejn l-aġenti ma kinux evidenti għall-mexxejja responsabbli mid-detezzjoni tal-inċident tal-5 ta’ Lulju u mir-rispons għalih. Qed inkomplu nirrieżaminaw il-proċess u l-prattiki operattivi li sawru l-attivitajiet ta’ detezzjoni u rispons fil-perjodu ta’ qabel dan l-inċident.

Bis-servizz Artifactory mibni mill-ġdid, erġajna bdejna l-evalwazzjonijiet taċ-ċibersigurtà. Inwettqu dawn l-evalwazzjonijiet biex nifhmu x’inhuma kapaċi jagħmlu l-mudelli tagħna u biex niddeterminaw is-salvagwardji xierqa għall-iskjerament. Biex nagħmlu dan, ma attivajniex l-istess livell ta’ salvagwardji bħal fis-sistemi tagħna skjerati esternament. L-evalwazzjoni li wasslet għal dan l-inċident, ExploitGym, hija diffiċli ħafna—għal xi kompiti jista’ ma jkunx hemm soluzzjoni magħrufa. Biex jirnexxu, l-aġenti jridu jsibu modi kif jisfruttaw software biex jiksbu tweġiba magħrufa bħala bandiera.

Wara l-inċident, għamilna sforz sostanzjali biex ninvestigaw għaliex il-mudell wera din l-imġiba mhux allinjata, inklużi problemi fit-taħriġ u fl-evalwazzjoni, kif ukoll il-kopertura tas-salvagwardji fl-evalwazzjonijiet interni.

Identifikajna erba’ xejriet ta’ nuqqas ta’ allinjament li kkontribwew għall-imġiba tal-mudelli: reward hacking, persistenza f’kompiti li dehru impossibbli, komunikazzjoni mhux awtorizzata, u aġenti li jadottaw l-għanijiet ta’ xulxin.

Biex nifhmuhom, analizzajna sekwenzi ta’ eżekuzzjoni waqt it-taħriġ u l-evalwazzjoni tal-mudelli. Għamilna rieżamijiet retrospettivi estensivi tal-katina tal-ħsieb (CoT), tal-azzjonijiet, u tal-outputs finali billi użajna l-aktar tekniki reċenti tagħna ta’ monitoraġġ tal-CoT⁠. B’hekk, tejjibna speċifikament il-kapaċità tas-sistema ta’ monitoraġġ tagħna li tidentifika t-tipi ta’ mġiba li seħħew fl-inċident, billi użajna l-għarfien miksub retrospettivament mill-investigazzjoni tagħna.

Fattur ewlieni fl-inċident ta’ Hugging Face kien li l-aġenti ppruvaw iqarrqu fil-kompiti tagħhom billi fittxew soluzzjonijiet online. Din l-imġiba hija magħrufa bħala reward hacking: l-aġenti jlestu l-kompiti b’modi mhux intenzjonati biex jiksbu premjijiet ogħla jew jagħmluhom aktar faċli biex jinkisbu. Ir-reward hacking ilu preżenti fis-sistemi tal-IA, kemm storikament (ara dan ix-xogħol ta’ għaxar snin ilu⁠, bil-figura murija hawn taħt) kif ukoll fl-LLMs avvanzati tal-lum⁠(jinfetaħ f’tieqa ġdida). Investejna b’mod sinifikanti f’metodi biex nidentifikaw u nirranġaw każijiet bħal dawn ta’ reward hacking⁠.

Fattur ewlieni ieħor li wassal għall-imġiba mhux allinjata kien li l-aġenti rari kienu “jaqtgħu qalbhom” mill-kompiti tal-evalwazzjoni tagħhom, anke meta dawn kienu jidhru impossibbli li jissolvew. Hekk kif l-aġenti użaw aktar sforz ta’ raġunament, xi wħud segwew strateġiji dejjem aktar riskjużi u barra mil-limiti permessi, inkluż eventwalment l-isfruttament ta’ infrastruttura ta’ partijiet terzi.

Matul l-investigazzjoni tagħna, sibna li qabel l-inċident, fl-evalwazzjoni ExploitGym, l-ebda wieħed mill-mudelli tagħna ma kien qatt ipproduċa tweġiba korretta għal 198 mit-898 kompitu. Dawn il-kompiti mhux solvuti spiċċaw jikkontribwixxu b’mod sostanzjali għall-attività tal-aġenti—93% tal-kompiti diskussi fuq il-bord tal-messaġġi ta’ Artifactory waqt l-inċident ta’ Hugging Face kienu ġejjin minn dan is-sett ta’ 198 mistoqsija.

It-tieni nett, l-inċident kien immexxi primarjament minn aġenti li użaw ammont straordinarjament kbir ta’ sforz ta’ raġunament.

Fil-qalba ta’ dan l-inċident kien hemm bordijiet tal-messaġġi mhux awtorizzati u persistenti. Aġenti li suppost kellhom jaħdmu indipendentement setgħu jaqsmu l-iskoperti tagħhom, jikkoordinaw l-isforzi tagħhom, u jkomplu minn fejn waqfu oħrajn. Dan ippermettilhom jgħaqqdu x-xogħol u l-qawwa komputazzjonali minn evalwazzjonijiet separati, u b’hekk kabbar il-kapaċitajiet tagħhom ferm lil hinn minn dak li kwalunkwe aġent individwali seta’ jikseb waħdu. Il-komunikazzjoni bejn l-aġenti mhijiex imġiba problematika fiha nnifisha—aħna nħarrġu u niskjeraw sistemi b’diversi aġenti li jistgħu jikkomunikaw dwar l-istess kompitu permezz ta’ għodda ta’ kollaborazzjoni. Fl-avvenimenti ta’ Lulju, aġenti b’kompiti differenti sabu l-mod tagħhom kif jikkollaboraw barra minn dawk il-limiti, b’konsegwenzi imprevedibbli.

Waqt li konna qed ninvestigaw dan l-inċident, skoprejna każijiet rari fejn aġenti mingħajr għodod għal diversi aġenti sabu modi kif jikkollaboraw permezz ta’ kanali sekondarji waqt it-taħriġ. Nemmnu li din l-imġiba bdiet minħabba ġeneralizzazzjoni minn taħriġ b’diversi aġenti.

Il-komunikazzjoni mhux awtorizzata spiss kienet tibda b’aġent li jħalli nota jew fajl f’xi sistema esterna, ġeneralment bħala forma ta’ memorja esterna. Meta aġenti oħra kienu jinnutaw dawn l-oġġetti, spiss kienu jirrealizzaw li setgħu jużaw dan is-servizz estern biex jikkollaboraw. Bħala eżempju ipotetiku li jirrappreżenta sew l-imġiba li rajna, il-messaġġi kienu qed jiġu kkodifikati f’mogħdijiet ta’ URLs maħżuna fuq paġna ta’ indiċi kondiviża, xi ħaġa bħal din:

Sejba finali, partikolarment impressjonanti, fl-inċident ta’ Hugging Face kienet l-“ekosistema” ta’ aġenti li feġġet fuq il-bord tal-messaġġi. Ladarba ġie stabbilit dan il-bord tal-messaġġi, l-aġenti kellhom inċentivi qawwija biex jikkomunikaw: kien jippermettilhom iżommu noti, jibnu fuq l-iskoperti ta’ xulxin, u jgħaqqdu r-riżorsi komputazzjonali ta’ sessjonijiet li altrimenti kienu separati. Dan il-kollettiv kumpless ta’ aġenti, mingħajr forma definita, wera mġibiet interessanti u illustrattivi, u hawnhekk niddeskrivu fid-dettall xi wħud minn dawk li osservajna.

L-aġenti bdew jaqsmu x-xogħol bejniethom b’mod awtonomu. Xi wħud investigaw modi possibbli ta’ sfruttament, oħrajn fittxew kredenzjali, u oħrajn iffokaw fuq il-komunikazzjoni jew il-koordinazzjoni. L-aġenti offrew l-għarfien espert tagħhom bi skambju għal għajnuna f’oqsma oħra u ħallew talbiet għal aġenti sħabhom li setgħu kienu f’pożizzjoni aħjar biex isegwu ħjiel partikolari.

Minbarra n-nuqqas ta’ allinjament, fattur ieħor f’dan l-inċident kien li ma estendejniex is-salvagwardji b’saħħithom li nużaw għall-mudelli skjerati esternament tagħna għall-evalwazzjonijiet interni kollha.

L-ewwel nett, hemm bosta mekkaniżmi li jnaqqsu n-nuqqas ta’ allinjament fl-ambjenti ta’ produzzjoni għall-klijenti tagħna, inklużi prompts tas-sistema, harness, u mekkaniżmi ta’ kontroll bħall-mudelli tagħna ta’ rieżami awtomatiku u l-klassifikaturi tas-sikurezza. Dawn il-protezzjonijiet ma kinux applikati fl-ambjent ta’ evalwazzjoni li kien qed jaħdem waqt l-inċident. Wara l-inċident, ħloqna evalwazzjoni li tkejjel il-propensità ta’ mudell li jikkomprometti l-infrastruttura waqt evalwazzjonijiet ta’ ExploitGym. Sibna li l-propensità li tiġi kompromessa l-infrastruttura tista’ tonqos b’fattur ta’ aktar minn 100 meta jintużaw il-harness u l-prompt tas-sistema ta’ ChatGPT fil-produzzjoni. Applikajna wkoll is-sistema tagħna ta’ rieżami awtomatiku⁠(jinfetaħ f’tieqa ġdida) għal sett ta’ sekwenzi ta’ eżekuzzjoni involuti fl-inċident ta’ Hugging Face, u sibna li kienet tindika għadd kbir ta’ azzjonijiet perikolużi tal-mudelli.

It-tieni nett, qabel l-inċident, konna investejna sostanzjalment fil-monitoraġġ tal-katina tal-ħsieb⁠, inkluż il-monitoraġġ ta’ ħafna mis-sessjonijiet tagħna ta’ taħriġ RL tal-aktar mudelli avvanzati u tal-maġġoranza sostanzjali tal-użu intern ta’ aġenti tal-ipprogrammar⁠. Dawn is-sistemi ta’ monitoraġġ ma kinux qed jitħaddmu fuq l-evalwazzjonijiet f’dan l-inċident. F’evalwazzjonijiet retrospettivi, sibna li s-sistemi tagħna ta’ monitoraġġ tal-CoT kienu effettivi ħafna biex jindikaw attivitajiet relatati mal-inċident. Kieku s-sistema ta’ monitoraġġ tal-CoT li għandna mħaddma bħalissa kienet qed taħdem meta seħħ l-inċident, kienet tidentifika l-attività rilevanti inizjali u tinnotifika lit-tim tas-sigurtà tagħna aktar minn jum qabel ma l-mudelli ppenetraw is-sistemi ta’ Hugging Face.

It-tielet nett, għalkemm konna ttestjajna u vvalidajna dan l-ambjent iżolat, l-aġenti rnexxielhom jgħaqqdu vulnerabbiltajiet li qabel ma kinux magħrufa (“0-days”) fis-servizz ta’ ġestjoni tal-pakketti aċċessibbli minn ġewwa l-ambjent iżolat biex jevitaw ir-restrizzjonijiet, kif spjegat fid-dettall fir-rapport tekniku tal-inċident. Minn meta seħħ l-inċident, għamilna progress sinifikanti fit-tisħiħ tas-sigurtà tal-ambjenti iżolati interni tagħna biex nillimitaw tipi simili ta’ riskji waqt l-iskjerament u l-evalwazzjonijiet.

Il-missjoni ta’ OpenAI hija li tiżgura li l-intelliġenza artifiċjali ġenerali tkun ta’ benefiċċju għall-umanità kollha. L-imġiba tal-mudelli tagħna deskritta hawn kienet ferm ’il bogħod mil-livell li nixtiequ nilħqu, u dan l-inċident qatt ma kellu jseħħ. Dan enfasizza kemm hu kruċjali li ntejbu kontinwament is-sigurtà, il-monitoraġġ, u l-allinjament tagħna, speċjalment hekk kif il-mudelli tagħna jilħqu livell ta’ kapaċità li jista’ jippermetti telf reali ta’ kontroll.

Kif qsamna fl-aġġornament reċenti tagħna dwar ir-ritmu tal-iżvilupp tal-mudelli⁠, waqqafna temporanjament it-taħriġ b’apprendiment ta' tisħiħ (RL) tal-aħħar mudelli tagħna maħsuba għall-iskjerament. Użajna dan iż-żmien biex insaħħu aktar is-sigurtà tal-ambjenti tar-riċerka l-aktar avvanzata tagħna u nittestjawha permezz ta’ attakki simulati. Assenjajna mill-ġdid membri tal-persunal biex jaħdmu fuq is-sigurtà, is-sikurezza, u l-allinjament. L-akbar sessjoni ppjanata tagħna ta’ taħriġ RL għall-aktar mudelli avvanzati għadha sospiża waqt li nwettqu taħriġ u evalwazzjonijiet fuq skala iżgħar biex nivvalutaw l-imġiba tal-mudelli, nivvalidaw is-salvagwardji tagħna, u niksbu aktar evidenza ta’ allinjament qabel inkomplu. Dan ix-xogħol talab sforz sostanzjali ta’ inġinerija, bi spejjeż sinifikanti u dewmien fir-riċerka l-aktar avvanzata.

Kif diskuss fir-rapport⁠(jinfetaħ f’tieqa ġdida) tagħna, ir-rispons tagħna jiffoka fuq it-tisħiħ tas-sigurtà u l-monitoraġġ tar-riċerka, l-aċċellerazzjoni tal-allinjament tal-mudelli, u t-titjib tal-mod kif nidentifikaw l-inċidenti, inressquhom għand livelli ogħla ta’ responsabbiltà, u nirrispondu għalihom.