Ir-ritmu tal-iżvilupp tal-mudelli f’era ta’ kapaċitajiet ċiberkritiċi

Matul dawn l-aħħar ġimgħat, żewġ żviluppi enfasizzaw ir-riskji dejjem akbar marbuta ma’ sistemi tal-IA dejjem aktar kapaċi: l-inċident bejn OpenAI u Hugging Face u, separatament, evidenza preliminari li wieħed mill-mudelli li se nniedu dalwaqt, Astra, jista’ jilħaq il-livell limitu ta’ kapaċità kritika taċ-ċibersigurtà skont il-Qafas tat-Tħejjija tagħna. Flimkien, dawn l-iżviluppi u l-progress rapidu fir-riċerka interna tagħna żiedu l-urġenza tal-ħidma tagħna biex insaħħu s-salvagwardji ta’ monitoraġġ, allinjament u trażżin fl-istadji kollha tal-proċess tat-taħriġ.

Aktar ma l-mudelli jsiru kapaċi, aktar jikbru wkoll ir-riskji marbuta mal-iżvilupp u l-ittestjar intern tagħhom. L-istandards tagħna għall-monitoraġġ, l-allinjament u s-sigurtà jridu jibqgħu pass ’il quddiem minn dawk ir-riskji. Ridna nieħdu ż-żmien meħtieġ biex nilħqu dawk l-istandards, għalhekk naqqasna temporanjament ir-ritmu tal-espansjoni. Dan inkluda waqfa ta’ ġimagħtejn fit-taħriġ bl-apprendiment ta' tisħiħ (RL) tal-aħħar mudelli tagħna maħsuba għat-tnedija, filwaqt li komplejna nsaħħu u nittestjaw b’timijiet ħomor l-ambjenti tar-riċerka tagħna u nwessgħu l-kopertura tas-sistemi ta’ monitoraġġ. L-akbar eżekuzzjoni ppjanata tagħna ta’ RL fuq mudell avvanzat għadha sospiża waqt li nwettqu taħriġ u evalwazzjonijiet fuq skala iżgħar biex nivvalutaw l-imġiba tal-mudell, nivvalidaw is-salvagwardji tagħna u niġbru aktar evidenza ta’ allinjament qabel inkomplu.

L-allinjament—il-ħidma biex is-sistemi tal-IA jġibu ruħhom kif maħsub u jirrispondu għas-sorveljanza umana—ilu fil-qalba tal-programm ta’ riċerka tagħna. Issa neħtieġu evidenza aktar b’saħħitha ta’ mġiba allinjata matul it-taħriġ kollu, abbażi tar-riċerka u l-evalwazzjonijiet li diġà għaddejjin. Li nżommu sistemi dejjem aktar kapaċi allinjati hija sfida li l-qasam kollu se jkollu jindirizza. Is-sinjali li qed naraw mill-progress tal-mudelli li ġejjin juru ċar li neħtieġu approċċ usa’—wieħed li jibni fuq il-Qafas tat-Tħejjija attwali u jmur lil hinn minnu.

Nemmnu li huwa importanti li nkunu trasparenti dwar kif qed jinbidel l-approċċ tagħna. Hawn taħt niddeskrivu l-bidliet li diġà għamilna fil-proċessi u fl-infrastruttura tar-riċerka tagħna, kif ukoll il-ħidma li għadha għaddejja.

L-approċċ tagħna għall-iżvilupp ta’ mudelli aktar kapaċi huwa msejjes fuq tliet salvagwardji li jsaħħu lil xulxin:

1. Monitoraġġ, li jidentifika mġiba inkwetanti u jippermettilna nirreaġixxu għaliha.
2. Allinjament, li jnaqqas il-probabbiltà ta’ azzjonijiet dannużi jew mhux awtorizzati.
3. Miżuri ta’ sigurtà, li jillimitaw dak li s-sistemi tal-IA jistgħu jaċċessaw jew jaffettwaw.

Nistennew li dalwaqt il-mudelli jwettqu l-biċċa l-kbira tal-ħidma tas-sigurtà, inkluża d-difiża kontra mudelli oħra. Dan se jippermetti li t-tliet salvagwardji jikbru skont il-kapaċità tal-mudell, u dan inqisuh kruċjali.

Aħna napplikaw dawn is-salvagwardji fir-riċerka u fit-tnedija, filwaqt li nadattawhom għall-kapaċitajiet, l-ambjent operattiv u l-livell ta’ riskju ta’ kull mudell.

Hekk kif il-mudelli avvanzati jiksbu kapaċitajiet taċ-ċibersigurtà aktar b’saħħithom, qed ngħollu l-istandards tas-sigurtà għall-ambjenti fejn inħarrġuhom u nevalwawhom. Biex nilħqu dawn l-istandards kien hemm bżonn ħidma sostanzjali ta’ inġinerija, bi spejjeż kbar u dewmien fir-riċerka avvanzata. Immedjatament wara l-inċident bejn OpenAI u Hugging Face*, waqqafna l-inferenza ta’ mudelli avvanzati fil-clusters tar-riċerka għal eżekuzzjonijiet li setgħu jħaddmu kodiċi jew jużaw għodod b’aċċess għall-internet. Erġajna pprovdejna pjuttost malajr rotta aktar limitata u sigura għall-eżekuzzjoni tal-kodiċi, imbagħad eżaminajna kull tagħbija tax-xogħol individwalment biex niddeċiedu jekk setgħetx titkompla b’mod sikur. Xi tagħbijiet tax-xogħol tar-riċerka tkomplew taħt dawn il-kontrolli ġodda, filwaqt li oħrajn kellhom bżonn bidliet addizzjonali.

Fil-ġimgħat ta’ wara, iddefinejna u bdejna nimplimentaw rekwiżiti tas-sigurtà aktar stretti għat-tagħbijiet tax-xogħol tar-riċerka avvanzata. Pereżempju:

• Iżolament tat-tagħbijiet tax-xogħol: Issa neħtieġu iżolament aktar b’saħħtu (“sandboxes”) għal tagħbijiet tax-xogħol li jħaddmu kodiċi ġġenerat minn mudell jew kodiċi ieħor mhux fdat. Dan japplika wkoll għal software li jista’ jiġi kompromess waqt l-ipproċessar tal-outputs tal-mudell.
• Iżolament tan-network: Implimentajna aktar kontrolli biex niżolaw mill-internet tagħbijiet tax-xogħol b’riskju ogħla u dawk mhux fdati. Iddisinjajna dawn il-kontrolli biex kompromess wieħed ta’ tagħbija tax-xogħol jew servizz ta’ appoġġ ma jkunx biżżejjed, waħdu, biex jippermetti aċċess mhux awtorizzat għall-internet jew għal networks interni oħra.
• Ittestjar kontinwu tas-sigurtà: Ikkonfigurajna mill-ġdid l-ambjent tagħna biex inneħħu servizzi kondiviżi li jistgħu jkunu vulnerabbli, innaqqsu l-privileġġi permanenti u ntejbu l-konfini tas-sigurtà u tal-fiduċja. Qed intejbu wkoll il-kapaċità tagħna li niġbru u nimmonitorjaw ir-reġistri tas-sigurtà. Fl-aħħar nett, qed ninvestu fl-awtomatizzazzjoni billi nużaw il-mudelli tagħna biex nittestjaw kontinwament dawn il-konfini kontra attakki simulati.

Flimkien, dawn il-kontrolli jipprovdu difiża f’diversi saffi u jgħinu jipproteġu l-ambjent tar-riċerka tagħna kontra l-attakki. Illum neħtieġu l-ogħla livell ta’ salvagwardji tas-sigurtà għal tagħbijiet tax-xogħol li jinvolvu Astra jew mudelli ċibernetiċi, peress li ddeterminajna li l-mudelli Astra jista’ jkollhom livell kritiku ta’ kapaċità ċibernetika. Dawn is-salvagwardji japplikaw ukoll għat-tagħbijiet tax-xogħol l-oħra kollha relatati maċ-ċibersigurtà.

Għalkemm parti mit-taħriġ u mill-evalwazzjonijiet ta’ Astra tissodisfa dawk ir-rekwiżiti, għadd sinifikanti ta’ tagħbijiet tax-xogħol għadhom sospiżi sakemm jiġu migrati għalkollox u msaħħa biex jilħqu l-istandard il-ġdid tas-sigurtà. Qed nagħtu prijorità lill-migrazzjoni tat-tagħbijiet tax-xogħol tas-sikurezza u tal-allinjament lejn dawn l-ambjenti ġodda.

Il-monitoraġġ ilu parti importanti mill-proċess tal-iżvilupp tal-mudelli tagħna, inkluż il-monitoraġġ tal-aġenti interni tal-ikkowdjar u ta’ sessjonijiet fit-tul. L-isforzi ta’ monitoraġġ tagħna kienu ffukati b’mod partikolari fuq it-tnedijiet interni ta’ mudelli avvanzati u eżekuzzjonijiet ta’ taħriġ RL avvanzat, li qisniehom bħala t-tagħbijiet tax-xogħol bl-ogħla riskju għax jistgħu jgħaqqdu kapaċitajiet avvanzati tal-mudell ma’ aċċess għal għodod, sistemi sensittivi u networks interni jew esterni. Dawn ma kinux japplikaw għall-eżekuzzjonijiet kollha ta’ inferenza u taħriġ li jużaw l-għodod. Irrevedejna u wessajna l-approċċ tagħna bis-sistema l-ġdida ta’ monitoraġġ.

Din is-sistema ġdida ta’ monitoraġġ għandha diversi stadji. Tibda bi klassifikaturi tal-attivazzjoni (detetturi li jeżaminaw l-attività interna ta’ mudell), li jitħaddmu ma’ kull token fil-kampjun u jgħaddu tħassib potenzjali lil investigaturi awtomatizzati dejjem aktar sofistikati u li jużaw ħafna riżorsi komputazzjonali. Dawk is-sistemi jeżaminaw l-azzjonijiet tal-għodod, ir-raġunament disponibbli u s-sekwenza sħiħa tal-attività għal aċċess mhux awtorizzat, serq ta’ data, imġiba distruttiva u tentattivi biex jingħelbu s-salvagwardji. L-għan tagħna huwa li noħorġu twissija fi żmien 30 minuta minn meta s-sistema ta’ monitoraġġ tagħna tinduna b’attività inkwetanti. Jekk is-sistema ta’ monitoraġġ tidentifika ksur probabbli ta’ konfini kritiċi tas-sigurtà, tiġġenera twissija bl-ogħla prijorità. Fl-implimentazzjoni attwali tagħna, jintbagħat avviż lit-timijiet tas-sikurezza, tas-sigurtà u tar-riċerka. Jekk fi żmien 30 minuta ma jkunux jistgħu jikkonkludu b’mod definittiv li s-sinjal kien pożittiv falz, dawk it-timijiet huma mistennija jwaqqfu l-attività.

Dan il-monitoraġġ huwa meħtieġ għat-taħriġ u l-evalwazzjonijiet RL kollha li jinvolvu għodod għal mudelli bil-kapaċità ta’ Sol jew ogħla. Wara li fis-7 ta’ Awwissu ddeterminajna li Astra jista’ jkollha kapaċitajiet ċibernetiċi kritiċi, żidna rekwiżit addizzjonali ta’ monitoraġġ għall-inferenza kollha ta’ Astra bl-għodod (mhux biss għat-taħriġ u l-evalwazzjonijiet RL).

Dawn is-salvagwardji jeħtieġu riżorsi komputazzjonali sinifikanti. Skont l-istimi attwali tagħna, il-piż addizzjonali tal-monitoraġġ huwa madwar 20% tar-riżorsi komputazzjonali tal-inferenza li tkun qed tiġi mmonitorjata, għalkemm l-ispiża tvarja b’mod sostanzjali bejn it-tagħbijiet tax-xogħol tat-taħriġ u tal-evalwazzjoni. Se naqsmu aktar dettalji dwar din is-sistema f’artiklu li se nippubblikaw dalwaqt fuq il-blog.

Ir-riċerka dwar l-allinjament hija fil-qalba tal-missjoni tagħna. Il-missjoni tagħna hija li niżguraw li l-intelliġenza artifiċjali ġenerali tkun ta’ benefiċċju għall-umanità kollha. Hekk kif il-mudelli jiksbu kapaċitajiet avvanzati, bħall-abbiltà li jwettqu attakki ċibernetiċi, u joperaw f’ambjenti aktar kumplessi, imġibiet mhux allinjati bħar-reward hacking (is-sejba ta’ modi biex jinkisbu premjijiet għoljin fit-taħriġ mingħajr ma fil-fatt jintlaħaq ir-riżultat maħsub), il-qerq jew l-aċċess mhux awtorizzat se joħolqu riskji dejjem aktar serji.

Għall-eżekuzzjonijiet RL fuq l-aktar mudelli kapaċi, issa qed napplikaw it-tekniki ewlenin tagħna tal-allinjament f’aktar stadji tal-proċess tat-taħriġ. Dan jinkludi t-titjib tal-mudelli tal-premju biex jidentifikaw u jiskoraġġixxu aħjar l-imġiba mhux sikura f’diversi kompiti u ambjenti; it-taħriġ tal-mudelli biex ikunu aktar onesti dwar l-azzjonijiet, il-kapaċitajiet u l-limitazzjonijiet tagħhom; u t-tnaqqis ta’ mġibiet li jisfruttaw dgħufijiet fil-premjijiet, fil-gradaturi, fl-għodod jew fis-sorveljanza. Qed inżidu wkoll il-kopertura tat-taħriġ għal imġibiet li jistgħu jikkawżaw ħsara meta l-mudelli jinteraġixxu ma’ sistemi jew riżorsi esterni.

Qed inkomplu ninvestu b’mod qawwi fir-riċerka dwar l-allinjament, inwessgħu l-kopertura tal-evalwazzjonijiet u nużaw dak li nitgħallmu biex niggwidaw it-taħriġ u s-salvagwardji. Fil-futur qrib qed nippjanaw li naqsmu ħafna aktar tagħrif dwar ir-riċerka tagħna fl-allinjament, inkluż dak li qed nitgħallmu dwar l-imġiba tal-mudelli u kwalunkwe sfida ġdida li niskopru.

Se niżviluppaw il-Qafas tat-Tħejjija tagħna biex jgħaqqad dawn is-salvagwardji fit-taħriġ u fit-tnedija, u biex jirrifletti aħjar il-kapaċitajiet tal-mudelli futuri u l-ambjenti li joperaw fihom. L-iżvilupp ta’ metodi li jistgħu jikbru ma’ dawk il-kapaċitajiet se jeħtieġ investiment sostnut f’sigurtà assistita mill-mudelli, monitoraġġ aktar effettiv u avvanzi kontinwi fir-riċerka dwar l-allinjament. Biħsiebna ninvolvu organizzazzjonijiet esterni u naqsmu aktar minn dak li nitgħallmu hekk kif jiżviluppa l-approċċ tagħna.

Il-kapaċitajiet tal-mudelli avvanzati qed jikbru b’ritmu mgħaġġel. Il-kapaċità tagħna li nifhmuhom, nallinjawhom u niżgurawhom trid tibqa’ pass ’il quddiem.

*Fil-ġimgħat li ġejjin se nippubblikaw rapport tekniku dwar dak li tgħallimna.