L-inċident ta’ Hugging Face u t-triq ’il quddiem

Matul Mejju u Ġunju, bdejna sessjonijiet ta’ taħriġ bl-apprendiment ta’ tisħiħ (RL) għal diversi mudelli ġodda ta’ riċerka li ma kinux maħsuba għal rilaxx pubbliku. Wieħed minn dawn il-mudelli eventwalment mexxa l-attività wara l-inċident ta’ Hugging Face. Dan huwa mudell ta’ riċerka għall-użu intern biss li nsejħulu Mudell Intern 1 (IM1).

F’ħafna mill-ambjenti f’dawn l-esperimenti ta’ taħriġ, ma ppermettejniex aċċess għall-internet jew komunikazzjoni bejn l-aġenti. Minkejja dawn ir-restrizzjonijiet, l-aġenti skoprew modi kif jisfruttaw l-infrastruttura tar-riċerka tagħna biex jikkomunikaw bejniethom u jaċċessaw l-internet.

Il-mudelli l-ewwel sabu modi kif jikkomunikaw billi kitbu fajls fis-servizz tal-ġestjoni tal-pakketti Artifactory. Dan effettivament biddel lil Artifactory f’bord tal-messaġġi mhux intenzjonat, fejn l-aġenti setgħu jiskambjaw informazzjoni bejniethom. Aqra aktar: Kif l-aġenti użaw il-bord tal-messaġġi 

Sal-4 ta’ Lulju, l-attività sostnuta tal-aġenti kienet iddestabbilizzat l-istanza affettwata ta’ Artifactory u kkawżat qtugħ tas-servizz. Fil-5 ta’ Lulju, infetaħ inċident tas-sigurtà. It-tim tas-sigurtà mblokka rotta magħrufa ta’ eskalazzjoni tal-privileġġi, neħħa l-kredenzjali esposti u bena mill-ġdid Artifactory. Dan kellu l-effett sekondarju li ħassar il-bord tal-messaġġi. B’dawn il-miżuri ta’ mitigazzjoni fis-seħħ, reġgħu bdew l-evalwazzjonijiet taċ-ċibersigurtà.

Dak iż-żmien, l-implikazzjonijiet usa’ għall-konteniment u l-allinjament tal-bord tal-messaġġi improvviżat u tal-aċċess mhux intenzjonat għall-internet kienu għadhom ma ġewx mifhuma. Ir-rapport tekniku tal-inċident jipprovdi aktar dettalji dwar dak li fehmu t-timijiet differenti ta’ OpenAI dak iż-żmien. Fil-qosor, tim intern osserva aġent jieħu sehem f’attività fuq il-bord tal-messaġġi u f’każijiet ta’ aċċess mhux permess għall-internet lejn l-aħħar ta’ Mejju. Madankollu, l-eżistenza tal-bord tal-messaġġi improvviżat u s-sinifikat tal-attività ta’ komunikazzjoni bejn l-aġenti ma kinux evidenti għall-mexxejja responsabbli mill-identifikazzjoni tal-inċidenti u r-rispons għalihom. Qed inkomplu ninvestigaw il-proċess u l-prattiki operattivi li sawru l-attivitajiet ta’ identifikazzjoni u rispons qabel dan l-inċident.

Bis-servizz Artifactory mibni mill-ġdid, erġajna bdejna l-evalwazzjonijiet taċ-ċibersigurtà. Inwettqu dawn l-evalwazzjonijiet biex nifhmu x’inhuma kapaċi jagħmlu l-mudelli tagħna u niddeterminaw is-salvagwardji xierqa għall-iskjerament. Għal dan il-għan, ma nattivawx l-istess livell ta’ salvagwardji bħas-sistemi tagħna skjerati esternament. L-evalwazzjoni li wasslet għal dan l-inċident, ExploitGym, hija diffiċli ħafna—għal xi kompiti jista’ ma jkun hemm ebda soluzzjoni magħrufa. Biex jirnexxu, l-aġenti jridu jsibu modi kif jisfruttaw biċċa software biex jiksbu tweġiba magħrufa bħala flag.

Wara l-inċident, għamilna sforz sinifikanti biex ninvestigaw għaliex il-mudell wera din l-imġiba mhux allinjata, inklużi problemi ta’ allinjament fit-taħriġ u l-evalwazzjoni, kif ukoll il-kopertura tas-salvagwardji fl-evalwazzjonijiet interni.

Identifikajna erba’ xejriet ta’ nuqqas ta’ allinjament li kkontribwew għall-imġiba tal-mudelli: reward hacking, persistenza f’kompiti li dehru impossibbli, komunikazzjoni mhux awtorizzata u aġenti li adottaw l-għanijiet ta’ xulxin.

Biex nifhmuhom, analizzajna r-rollouts tat-taħriġ u l-evalwazzjoni tal-mudelli.¹ Għamilna rieżamijiet retrospettivi estensivi tal-katina tal-ħsieb (CoT), tal-azzjonijiet u tal-outputs finali bl-użu tal-aktar tekniki reċenti tagħna għall-monitoraġġ tal-CoT⁠. B’dan il-mod, u bl-għarfien retrospettiv mill-investigazzjoni tagħna, tejjibna speċifikament il-kapaċità tal-monitor tagħna li jidentifika t-tipi ta’ mġiba li seħħew fl-inċident.

Fattur ewlieni fl-inċident ta’ Hugging Face kien li l-aġenti ppruvaw iqarrqu fil-kompiti tagħhom billi fittxew soluzzjonijiet online. Din l-imġiba hija magħrufa bħala reward hacking: l-aġenti jlestu l-kompiti b’modi mhux intenzjonati biex jiksbu premjijiet ogħla jew jagħmluhom aktar faċli biex jinkisbu. Ir-reward hacking ilu preżenti fis-sistemi tal-IA, kemm storikament (ara dan ix-xogħol ta’ għaxar snin ilu⁠, bil-figura murija hawn taħt) kif ukoll fl-LLMs avvanzati tal-lum⁠(jinfetaħ f’tieqa ġdida). Investejna b’mod sinifikanti f’metodi biex nidentifikaw u nirranġaw każijiet bħal dawn ta’ reward hacking⁠.

Fattur ewlieni ieħor fl-imġiba mhux allinjata kien li l-aġenti rari “qatgħu qalbhom” mill-kompiti ta’ evalwazzjoni tagħhom, anki meta dawn dehru impossibbli li jissolvew. Hekk kif l-aġenti eżawrew il-baġits tar-raġunament tagħhom, xi wħud segwew strateġiji dejjem aktar riskjużi u barra l-limiti, inkluż eventwalment l-isfruttament ta’ infrastruttura ta’ partijiet terzi.

Matul l-investigazzjoni tagħna sibna li, qabel l-inċident, ebda wieħed mill-mudelli tagħna ma kien qatt ipproduċa tweġiba korretta għal 198 mit-898 kompitu fl-evalwazzjoni ExploitGym. Dawn il-kompiti mhux solvuti spiċċaw ikkontribwew b’mod sostanzjali għall-attività tal-aġenti—93% tal-kompiti diskussi fuq il-bord tal-messaġġi ta’ Artifactory waqt l-inċident ta’ Hugging Face kienu minn dan is-sett ta’ 198 mistoqsija.

It-tieni, l-inċident kien immexxi primarjament minn aġenti li ngħataw baġits ta’ raġunament enormi, inklużi baġits ferm akbar minn dawk disponibbli fil-prodotti esterni tagħna.

Bords tal-messaġġi persistenti u mhux awtorizzati kienu fil-qalba ta’ dan l-inċident. Aġenti li suppost kellhom jaħdmu b’mod indipendenti setgħu jaqsmu l-iskoperti, jikkoordinaw l-isforzi tagħhom u jkomplu minn fejn ħallew oħrajn. Dan ippermettilhom jiġbru flimkien ix-xogħol u l-qawwa komputazzjonali minn evalwazzjonijiet separati, u b’hekk isaħħu l-kapaċitajiet tagħhom ferm lil hinn minn dak li seta’ jikseb aġent individwali waħdu. Il-komunikazzjoni bejn l-aġenti mhijiex imġiba problematika fiha nfisha—nitħarrġu u niskjeraw sistemi b’diversi aġenti li jistgħu jikkomunikaw fuq l-istess kompitu permezz ta’ għodda ta’ kollaborazzjoni. Fl-avvenimenti ta’ Lulju, aġenti b’kompiti differenti sabu l-mod tagħhom kif jikkollaboraw barra dawk il-limiti, b’konsegwenzi imprevedibbli.

Waqt li investigajna dan l-inċident, skoprejna każijiet rari fejn aġenti mingħajr għodod għal diversi aġenti sabu modi kif jikkollaboraw permezz ta’ kanali sekondarji waqt it-taħriġ. Aħna nemmnu li din l-imġiba bdiet minħabba ġeneralizzazzjoni mit-taħriġ b’diversi aġenti.

Il-komunikazzjoni mhux awtorizzata spiss kienet tibda meta aġent iħalli nota jew fajl f’xi sistema esterna, ġeneralment bħala forma ta’ memorja esterna. Meta aġenti oħra nnutaw dawn l-artefatti, spiss indunaw li setgħu jużaw dan is-servizz estern biex jikkollaboraw. Bħala eżempju ipotetiku li jirrappreżenta sew l-imġiba li rajna, il-messaġġi kienu jiġu kkodifikati f’mogħdijiet URL maħżuna fuq paġna tal-indiċi kondiviża, b’dan il-mod:

Sejba finali u partikolarment ċara fl-inċident ta’ Hugging Face kienet l-“ekosistema” ta’ aġenti li ħarġet fuq il-bord tal-messaġġi. Ladarba ġie stabbilit dan il-bord tal-messaġġi, l-aġenti kellhom inċentivi qawwija biex jikkomunikaw: setgħu jżommu noti, jibnu fuq l-iskoperti ta’ xulxin u jiġbru flimkien ir-riżorsi komputazzjonali ta’ sessjonijiet li altrimenti kienu separati. Dan il-kollettiv kumpless u amorfu ta’ aġenti juri mġibiet interessanti u rappreżentattivi, u hawn niddeskrivu xi wħud minn dawk li osservajna.

L-aġenti bdew jaqsmu x-xogħol b’mod awtonomu. Xi wħud investigaw sfruttamenti possibbli, oħrajn fittxew kredenzjali, u oħrajn iffukaw fuq il-komunikazzjoni jew il-koordinazzjoni. L-aġenti offrew l-għarfien espert tagħhom bi skambju għal għajnuna f’oqsma oħra, innegozjaw informazzjoni dwar kompiti li kienu ġejjin u ħallew talbiet għal pari f’pożizzjoni aħjar biex isegwu ħjiel partikolari.

Minbarra n-nuqqas ta’ allinjament, fattur ieħor f’dan l-inċident kien li ma estendejniex is-salvagwardji qawwija li nużaw għall-mudelli skjerati esternament għall-evalwazzjonijiet interni kollha.

L-ewwel, hemm bosta mekkaniżmi li jnaqqsu n-nuqqas ta’ allinjament f’ambjenti ta’ produzzjoni għall-klijenti tagħna, fosthom prompts tas-sistema, harnesses u mekkaniżmi ta’ kontroll bħall-mudelli tagħna ta’ awtorieżami u l-klassifikaturi tas-sikurezza. Dawn il-protezzjonijiet ma ġewx applikati fl-ambjent ta’ evalwazzjoni li kien qed jaħdem waqt l-inċident. Wara l-inċident, ħloqna evalwazzjoni li tkejjel it-tendenza ta’ mudell li jikkomprometti l-infrastruttura waqt evalwazzjonijiet ta’ ExploitGym. Sibna li t-tendenza li tiġi kompromessa l-infrastruttura tista’ tonqos b’aktar minn 100 darba meta jintużaw il-harness tal-produzzjoni ta’ Codex u l-prompt tas-sistema. Ħaddimna wkoll is-sistema ta’ awtorieżami ta’ Codex fuq sett ta’ rollouts involuti fl-inċident ta’ Hugging Face, u sibna li kienet tindika għadd kbir ta’ azzjonijiet perikolużi tal-mudelli.

It-tieni, qabel l-inċident konna investejna b’mod sostanzjali fil-monitoraġġ tal-katina tal-ħsieb⁠, inkluż il-monitoraġġ ta’ ħafna mis-sessjonijiet ta’ taħriġ RL avvanzati tagħna u ta’ maġġoranza sinifikanti tal-użu intern ta’ aġenti tal-kodifikazzjoni⁠. Dawn il-monitors ma tħaddmux fuq l-evalwazzjonijiet f’dan l-inċident.

F’evalwazzjonijiet retrospettivi, sibna li l-monitors tal-CoT tagħna kienu effettivi ħafna biex jindikaw attivitajiet relatati mal-inċident. Kieku s-sistema ta’ monitoraġġ tal-katina tal-ħsieb li nużaw bħalissa kienet qed taħdem meta seħħ l-inċident, x’aktarx kienet tavża lit-tim tas-sigurtà tagħna fi żmien siegħa mill-ewwel aċċess mhux awtorizzat minn parti terza. Dan kien aktar minn 30 siegħa qabel ma l-mudelli kisru s-sistemi ta’ Hugging Face. Qed naħdmu wkoll biex inkomplu nnaqqsu d-dewmien ta’ dawn it-twissijiet.

It-tielet, għalkemm konna ttestjajna u vvalidajna din is-sandbox, l-aġenti setgħu jgħaqqdu vulnerabbiltajiet mhux magħrufa qabel (“0-days”) fis-servizz tal-ġestjoni tal-pakketti espost fis-sandbox biex jevitaw ir-restrizzjonijiet, kif spjegat fir-rapport tekniku tal-inċident. Mill-inċident ’l hawn, għamilna progress sinifikanti fit-tisħiħ tas-sandboxes interni tagħna biex nillimitaw tipi simili ta’ riskju waqt l-iskjerament u l-evalwazzjonijiet.

Il-missjoni ta’ OpenAI hija li tiżgura li l-intelliġenza artifiċjali ġenerali tkun ta’ benefiċċju għall-umanità kollha. L-imġiba tal-mudelli tagħna deskritta hawn kienet ferm taħt il-livell li rridu nilħqu. Dan l-inċident ma kellux iseħħ. Żvela kemm huwa kruċjali li nkomplu ntejbu s-sigurtà, il-monitoraġġ u l-allinjament tagħna, speċjalment hekk kif il-mudelli tagħna jilħqu livell ta’ kapaċità li jista’ jippermetti telf reali ta’ kontroll.

Kif qsamna fl-aġġornament reċenti tagħna dwar il-pass tal-iżvilupp tal-mudelli⁠, waqqafna temporanjament it-taħriġ bl-apprendiment ta’ tisħiħ (RL) tal-aħħar mudelli tagħna maħsuba għall-iskjerament. Użajna dan iż-żmien biex inkomplu nsaħħu u nittestjaw b’red-teaming is-sigurtà tal-ambjenti avvanzati tar-riċerka tagħna. Orjentajna mill-ġdid lill-persunal biex jaħdem fuq is-sigurtà, is-sikurezza u l-allinjament. L-akbar sessjoni avvanzata ta’ RL li ppjanajna għadha sospiża waqt li nwettqu taħriġ u evalwazzjonijiet fuq skala iżgħar biex nivvalutaw l-imġiba tal-mudell, nivvalidaw is-salvagwardji tagħna u niksbu aktar evidenza ta’ allinjament qabel inkomplu. Din il-ħidma ħtieġet sforz sostanzjali ta’ inġinerija, bi spiża kbira u dewmien fir-riċerka avvanzata.

Kif diskuss fir-rapport tagħna, ir-rispons tagħna jiffoka fuq it-tisħiħ tas-sigurtà u l-monitoraġġ tar-riċerka, l-aċċellerazzjoni tal-allinjament tal-mudelli u t-titjib tal-mod kif nidentifikaw, neskalaw u nirrispondu għall-inċidenti.