Lejn argumentazzjonijiet tas-sikurezza għat-taħriġ ta’ IA mill-aktar avvanzata

Nemmnu li qed nidħlu f’era ġdida li fiha għandha tkun meħtieġa dokumentazzjoni strutturata tas-sikurezza qabel ma jitkompla kwalunkwe ċiklu ta’ taħriġ mill-aktar avvanzat bl-apprendiment ta' tisħiħ. Idealment, din id-dokumentazzjoni tilħaq il-livell ta’ “argumentazzjonijiet tas-sikurezza”: argumenti komprensivi, strutturati u bbażati fuq l-evidenza dwar ir-riskju, kif jintużaw f’industriji oħra fejn is-sikurezza hija kritika. Inqisu l-argumentazzjonijiet tas-sikurezza bħala għan ambizzjuż li jiggwida l-ħidma tagħna. Fl-istess ħin, nagħrfu l-isfidi biex dawn ikunu rigorużi għall-mudelli tal-IA daqskemm huma għall-avjazzjoni jew għall-enerġija nukleari, minħabba l-kumplessità li toħroġ ma’ kull livell ġdid ta’ kapaċità tal-IA. Qed naħdmu fuq qafas biex nikkodifikaw dawn il-prattiki.

Hawn taħt hawn xi linji gwida inizjali li naħsbu li għandhom ikunu parti minn dawn l-argumentazzjonijiet tas-sikurezza għat-taħriġ ta’ IA mill-aktar avvanzata. Dawn l-aħjar prattiki jirriflettu dak li tgħallimna s’issa, u nistennew li jevolvu hekk kif inkomplu nirfinaw il-proċessi interni tagħna għal żvilupp bil-għaqal. Qed naqsmuhom issa biex inkunu trasparenti dwar il-ħsieb attwali tagħna u nistiednu lill-komunità tagħtina l-kummenti tagħha. Innotaw li dan id-dokument jiffoka fuq taħriġ mill-aktar avvanzat bl-apprendiment ta' tisħiħ; l-użu intern u estern jeħtieġ li jitqies sett ferm usa’ ta’ proprjetajiet tal-allinjament.

L-argumentazzjonijiet tas-sikurezza għandhom ikopru tliet aspetti tas-sistema teknika: it-taħriġ għall-allinjament, il-konteniment u l-monitoraġġ. Dawn is-salvagwardji jgħinu biex jiġi żgurat li l-mudell ma jipprovax jieħu azzjonijiet mhux allinjati u li, anki jekk jipprova, ikun diffiċli għalih li jaħrab mill-konteniment u l-monitoraġġ jaqbdu qabel ma tkun tista’ ssir ħsara.

• Allinjament tal-mudelli: L-ewwel linja ta’ difiża għandha tkun it-taħriġ tal-mudelli biex ikunu allinjati, jiġifieri biex jaġixxu b’mod affidabbli kif nixtiequ aħna. Dan jista’ jinkludi:

  • Ambjenti tat-taħriġ u għoti ta’ punteġġi: Naqqsu r-riskji li l-mudelli jiżviluppaw imġiba mhux allinjata billi tipprevjenu t-tisħiħ pożittiv tal-manipulazzjoni tal-mekkaniżmi ta’ premju waqt it-taħriġ. Dan jista’ jinkludi:

    • Rieżamijiet awtomatizzati tas-settijiet tad-data: Użaw aġenti biex isibu u jirranġaw ambjenti RL difettużi li jistgħu jippermettu li sekwenzi ta’ azzjonijiet mhux allinjati jirċievu premju għoli billi jisfruttaw dgħufijiet minflok bl-imġiba maħsuba. B’hekk jonqsu l-opportunitajiet biex in-nuqqas ta’ allinjament jissaħħaħ waqt it-taħriġ.

    • Rieżamijiet manwali tas-settijiet tad-data: Issupplimentaw ir-red teaming awtomatizzat b’rieżami manwali u kontrolli tal-kwalità tas-settijiet tad-data biex jiġu identifikati kompiti difettużi li jistgħu jsaħħu mġiba mhux allinjata mingħajr ma jkun maħsub.

    • Irfinar tas-sistemi tal-għoti ta’ punteġġi: Irfinaw dawn is-sistemi biex jippenalizzaw it-tentattivi tal-mudell li jisfrutta jew jimmanipula l-ambjenti RL waqt it-taħriġ.

    • Analiżi ta’ ċikli preċedenti: Applikaw klassifikaturi għar-rekords tal-eżekuzzjoni minn esperimenti preċedenti biex tiżguraw li s-sistemi tal-għoti ta’ punteġġi qed jaħdmu kif maħsub.

  • Kejl tal-allinjament: Wettqu evalwazzjonijiet li jsegwu t-tendenzi tal-mudell lejn nuqqas ta’ allinjament biex titkejjel l-effettività tat-taħriġ għall-allinjament. Dan jista’ jinkludi:

    • Evalwazzjonijiet offline tal-allinjament: Wettqu evalwazzjonijiet tal-allinjament waqt ċikli ta’ taħriġ mill-aktar avvanzati biex tivvalutaw jekk it-taħriġ hux qed jaħdem kif maħsub, u investigaw kull rigressjoni sostanzjali.

    • Ittestjar retrospettiv: Ittestjaw l-evalwazzjonijiet tal-allinjament fuq inċidenti preċedenti biex tikkonfermaw li jidentifikaw mudelli li qabel ma kinux allinjati u li mhumiex qed jiġu adattati żżejjed għal inċidenti partikolari.

    • Segwitu tal-manipulazzjoni tal-evalwazzjonijiet: Segwu l-għarfien tal-evalwazzjoni jew il-manipulazzjoni strateġika tat-testijiet (meta l-mudelli jagħrfu li qed jiġu ttestjati) li jistgħu jwasslu għal bidla fl-imġiba. Pereżempju, attivaw sistemi li jimmonitorjaw dawn it-tendenzi fl-evalwazzjonijiet tal-allinjament, b’limiti speċifiċi li meta jinqabżu jimblukkaw il-proċess.

    • Testijiet ta’ stress għall-agħar xenarju: Ipprovokaw l-agħar imġiba possibbli u ċċekkjaw li mill-inqas evalwazzjoni waħda tkun tista’ taqbadha.

  • Prevenzjoni tat-taħriġ fuq il-katina tal-ħsieb: Tħallux is-sistemi awtomatizzati tal-għoti ta’ punteġġi jaraw il-katina tal-ħsieb waqt l-apprendiment ta' tisħiħ, biex il-mudelli ma jevolvux b’mod li jevadu s-sistemi ta’ monitoraġġ tal-katina tal-ħsieb.

• Konteniment: Agħmlu l-iżolament f’ambjent ristrett u s-sigurtà b’saħħithom biżżejjed biex jipprevjenu azzjonijiet ta’ ħsara jekk mudell ma jibqax allinjat. Dan jista’ jinkludi:

  • Diversi saffi ta’ sigurtà tal-infrastruttura: Investu bis-sħiħ fit-tisħiħ kemm tal-ambjent ristrett li fih jitħaddem il-mudell kif ukoll tal-infrastruttura tar-riċerka li tospitah, biex niżguraw li jkollna saff addizzjonali ta’ protezzjoni f’każ ta’ ħarba minn dan l-ambjent.

  • Red teaming tal-konteniment: Tejbu s-sigurtà tal-ambjent ristrett, tal-infrastruttura tar-riċerka u tal-perimetru permezz ta’ red teaming iterattiv ta’ dawn is-sistemi, billi tużaw verżjonijiet tal-mudell salvati f’punti differenti ta’ ċikli ta’ taħriġ mill-aktar avvanzati, soġġetti għal analiżi tas-sikurezza, biex issibu u tagħlqu kwalunkwe lakuna. Wettqu wkoll testijiet avversarjali fuq is-servizzi kollha li l-mudell jista’ jaċċessa waqt it-taħriġ (eż., il-cache tal-internet).

  • Komunikazzjoni bejn il-kampjuni: Illimitaw il-komunikazzjoni b’wisa’ tal-banda għolja bejn il-kampjuni għal kanali approvati, bħal għodod għal sistemi b’diversi aġenti, u agħlqu l-kanali sekondarji tal-infrastruttura li għandhom wisa’ tal-banda għolja u li l-aġenti jistgħu jiskopru faċilment.

  • Traskrizzjonijiet immutabbli: Għat-taħriġ RL kollu, l-evalwazzjoni kollha u kull użu intern, issejvjaw it-traskrizzjonijiet tal-aġenti b’mod li ma jistgħux jinbidlu għal perjodu raġonevoli (pereżempju, f’kontijiet ta’ ħażna fejn id-data tinkiteb darba biss), biex l-investigazzjonijiet tal-inċidenti jkunu affidabbli u jiġu evitati bidliet mhux intenzjonati.

• Monitoraġġ: Żommu sistema ta’ monitoraġġ f’ħin reali biex, jekk il-mudelli jibdew jieħdu azzjonijiet mhux allinjati, taqbad kwalunkwe nuqqas potenzjali ta’ allinjament u tindirizza malajr il-problemi prijoritarji qabel ma jkun jista’ jseħħ inċident serju. Dan jista’ jinkludi:

  • Garanzija tal-kapaċità ta’ monitoraġġ: Żguraw li l-mudelli jibqgħu jistgħu jiġu mmonitorjati, kif imkejjel b’evalwazzjonijiet tal-kapaċità ta’ monitoraġġ u tal-evażjoni tiegħu b’limiti ċari, biex imġiba inkwetanti tinqabad kmieni.

  • Rata għolja ta’ sejbien ta’ problemi magħrufa: Żguraw li s-sistema ta’ monitoraġġ taqbad proporzjon għoli ta’ inċidenti tal-passat f’evalwazzjoni b’data miżmuma apparti mit-taħriġ.

  • Evalwazzjonijiet aġġornati għas-sistemi ta’ monitoraġġ: Oħolqu punti tad-data għall-evalwazzjonijiet li jirrappreżentaw riskji għalkollox ġodda għal ċikli ġodda, biex il-kejl tar-rata ta’ sejbien u tal-preċiżjoni tal-monitoraġġ ma jibqax ibbażat fuq informazzjoni skaduta.

  • Rispons rapidu: Implimentaw twissijiet prijoritarji li jwasslu għal azzjoni fiż-żmien definit fi ftehim dwar il-livell ta’ servizz (SLA), jew billi tiġi avżata persuna disponibbli fuq sejħa jew billi jiġi sospiż awtomatikament iċ-ċiklu affettwat, qabel ma l-mudell jikkawża ħsara (eż., matul il-jum, avżaw lill-persuna tas-sigurtà disponibbli fuq sejħa u lir-responsabbli taċ-ċiklu dwar l-inċidenti; billejl, issospendu ċ-ċikli awtomatikament jekk ħadd ma jikkonferma li rċieva t-twissijiet).

Flimkien mar-rakkomandazzjonijiet dwar is-salvagwardji tekniċi, ilna naħdmu fuq l-aħjar prattiki operattivi għall-argumentazzjonijiet tas-sikurezza għal ċiklu ta’ taħriġ ta’ IA mill-aktar avvanzata. Dawn jistgħu jinkludu:

• Opinjonijiet kuntrarji (analiżijiet ta’ fallimenti potenzjali): Wara li titfassal argumentazzjoni tas-sikurezza, membru ta’ tim ieħor għandu jikteb opinjoni kuntrarja biex jidentifika lakuni potenzjali fiha u jippreżenta valutazzjoni meqjusa tar-riskju. It-tim tat-taħriġ għandu mbagħad jindirizzaha biex l-argumentazzjonijiet tas-sikurezza jkunu aktar sodi.

• Approvazzjonijiet: L-argumentazzjoni tas-sikurezza għandha tiġi rieżaminata minn membri tat-tmexxija għolja, li kull wieħed minnhom għandu jkollu s-setgħa li jivveta ċ-ċiklu. Dan jiżgura li jkun hemm diversi kontrolli interni fuqu (eż., il-kap jew il-viċi president tal-organizzazzjoni tar-riċerka, il-Kap tas-Sikurezza u x-Xjenzat Ewlieni).

• Obbligu ta’ rendikont: Il-mexxej anzjan responsabbli għal ċiklu ta’ taħriġ (eż., il-kap tal-organizzazzjoni tar-riċerka jew il-viċi president tar-riċerka) għandu jagħti rendikont tal-argumentazzjoni tas-sikurezza u ta’ kull rispons għal inċident, anki fir-rieżamijiet tal-prestazzjoni. B’hekk, it-timijiet tat-taħriġ ikollhom ukoll inċentiv biex jippromwovu s-sikurezza u l-allinjament.

• Sospensjoni: Jekk jinstabu problemi li jinvalidaw argumentazzjoni tas-sikurezza (eż., problema ġdida ta’ sigurtà), għandu jiġi żgurat li jkun hemm proċeduri operattivi, kontrolli tekniċi u ftehimiet dwar il-livell ta’ servizz (SLAs) biex jiġu sospiżi ċ-ċikli kollha koperti minnha.

• Trasparenza interna: L-argumentazzjonijiet tas-sikurezza għandhom ikunu disponibbli għall-gruppi ta’ sorveljanza interni (eż., il-Kumitat tas-Sikurezza u s-Sigurtà).

• Awditi: L-awdituri għandhom jingħataw aċċess biżżejjed biex jivverifikaw li l-istqarrijiet fl-argumentazzjoni tas-sikurezza huma validi u fondati, u biex jirrapportaw kull lakuna li jsibu.

• Eskalazzjoni: Għandu jkun hemm proċess ċar biex każijiet ta’ nuqqas ta’ allinjament jitressqu għal-livelli ogħla, b’tabella ta’ livelli definiti ta’ severità u persuna disponibbli fuq sejħa għal dawn il-każijiet, li tkun tista’ tavża lid-diriġenti (eż., il-Kap Eżekuttiv) meta ċiklu jilħaq ċertu livell ta’ severità.

• Kontrolli tekniċi: Għandu jkun diffiċli għall-bnedmin u għall-aġenti li jibdew ċikli mhux konformi. Il-funzjonijiet tas-sikurezza, bħall-monitoraġġ u s-sospensjoni awtomatika, għandhom jimblukkaw it-tħaddim jekk ifallu (eż., ma għandux ikun possibbli li jinbdew ċikli mingħajr monitoraġġ xieraq attivat, jew li s-sistema ta’ monitoraġġ tiġi diżattivata minn ġewwa t-taħriġ RL, l-evalwazzjoni jew l-użu intern).

• Kapaċità ta’ treġġigħ lura: Għandu jkun faċli li jiġu identifikati l-użi sussegwenti kollha ta’ mudell mhux allinjat fil-proċess tat-taħriġ (pereżempju, il-ġenerazzjoni tad-data jew l-għoti ta’ punteġġi), biex ikun jista’ jitreġġa’ lura l-effett tar-riżultati mhux allinjati jekk ikun meħtieġ.

• Kopertura sħiħa tar-riskji residwi: L-argumentazzjonijiet tas-sikurezza għandhom jelenkaw, bl-aktar mod komprensiv possibbli, ir-riskji residwi li mhumiex koperti mill-miżuri ta’ mitigazzjoni fis-seħħ, biex id-deċiżjonijiet dwar l-aċċettazzjoni tar-riskju jkunu infurmati.

Dawn huma r-rakkomandazzjonijiet attwali tagħna u qegħdin jiġu implimentati f’OpenAI. Nistennew li l-prattiki tagħna jkomplu jevolvu fil-ġimgħat li ġejjin.

Ilna niżviluppaw ukoll xi prattiki tajbin għall-investigazzjoni ta’ inċidenti serji ta’ nuqqas ta’ allinjament tal-IA. Il-laboratorji għandhom ifittxu li jitgħallmu kemm jista’ jkun minn inċidenti individwali (bħal fil-prattiki ta’ investigazzjoni⁠(jinfetaħ f’tieqa ġdida) f’industriji oħra fejn il-konsegwenzi jistgħu jkunu serji), biex ikunu jistgħu jipprevjenu każijiet simili fil-futur. Xi eżempji ta’ azzjonijiet bħal dawn jistgħu jinkludu:

• Trasparenza interna: Billi investigazzjoni tista’ tieħu żmien konsiderevoli biex titlesta, għandhom jiġu ppreżentati aġġornamenti interni perjodiċi dwar l-investigazzjonijiet tal-inċidenti (eż., aġġornamenti ta’ kuljum għal investigazzjonijiet li jkunu għaddejjin). L-impjegati għandu jkollhom proċeduri definiti biex jiksbu aktar aċċess, inkluż għal traskrizzjonijiet mhux ipproċessati u għat-teħid ta’ kampjuni minn mudelli mhux allinjati, jekk dan ikun sikur u rilevanti għal xogħolhom.

• Kawża ewlenija tan-nuqqas ta’ allinjament: Ir-riċerkaturi għandhom jidentifikaw il-kawżi ewlenin fid-dinamika tat-taħriġ (eż., permezz ta’ esperimenti mmirati li jneħħu ċerti komponenti jew jieħdu kampjuni mill-ġdid), biex jifhmu kif ġiet introdotta mġiba mhux allinjata. Dan jgħin biex ix-xjenza tan-nuqqas ta’ allinjament tinftiehem aħjar u biex dan jiġi evitat aħjar fil-futur.

• Analiżi wara l-inċident: Għandha ssir analiżi operattiva u kulturali wara l-inċident biex jinftiehmu l-kawżi kollha li kkontribwew għalih, bħal għaliex ġew introdotti problemi u għaliex dawn ma nstabux jew ma tressqux għal-livelli ogħla qabel l-inċident.

• Sejbien: Għandna niżviluppaw metodi ta’ ttestjar tal-allinjament li jistgħu jidentifikaw it-tendenza li jiġi kkawżat l-inċident, mingħajr ma jiġu ottimizzati b’mod iterattiv direttament fuq informazzjoni miksuba minnu (eż., traskrizzjonijiet jew sommarji tal-inċident). Għandhom jinħolqu evalwazzjonijiet ibbażati fuq l-inċidenti bħala “testijiet ta’ rigressjoni”, biex jiġi żgurat li mudelli futuri ma jurux tendenza għal nuqqas ta’ allinjament f’inċidenti simili ħafna.

• Żvelar pubbliku: Ir-riżultati tal-investigazzjoni, l-analiżijiet ta’ wara l-inċident u l-bidliet operattivi għandhom jinqasmu mal-pubbliku wara li tintemm l-investigazzjoni. Il-partijiet terzi affettwati għandhom jiġu nnotifikati mill-aktar fis possibbli.