Prijoritajiet u prinċipji għal valutazzjonijiet effettivi minn partijiet terzi
Il-laboratorji tal-IA fil-fruntiera għandhom responsabbiltà enormi li jħarrġu, jivvalutaw u jużaw il-mudelli b’mod sikur. Il-valutazzjonijiet minn partijiet terzi huma essenzjali biex tiġi bbilanċjata dik ir-responsabbiltà, jiżdiedu l-opportunitajiet għal kontribut dwar is-sikurezza tal-IA, id-dinja tinżamm infurmata u l-laboratorji jinżammu responsabbli għal dikjarazzjonijiet ċari dwar is-sikurezza sostnuti b’mod indipendenti.
Bħala parti mill-isforzi tagħna biex inżommu l-pass mal-fruntiera, OpenAI hija impenjata li tappoġġja valutazzjonijiet indipendenti b’aċċess profond għat-taħriġ, il-valutazzjoni u l-użu operattiv. Dak l-aċċess għandu jippermetti lill-valutaturi jisfidaw is-suppożizzjonijiet tagħna, jidentifikaw riskji li forsi ma ndunajniex bihom u jaslu għall-konklużjonijiet tagħhom dwar l-effettività tas-salvagwardji tagħna.
Ilna naħdmu ma’ valutaturi terzi f’diversi stadji tal-proċess tal-iżvilupp u l-użu operattiv tal-mudell. Inkorporajna wkoll valutazzjonijiet minn partijiet terzi fil-prattiki tal-Qafas tat-Tħejjija tagħna u appoġġjajna organizzazzjonijiet u leġiżlazzjoni li jippromwovu proċess aktar rigoruż u responsabbli. Matul dawn l-impenji, ipprovdejna forom estensivi ta’ aċċess, inkluża informazzjoni dwar is-salvagwardji tekniċi tagħna, aċċess għall-katina tal-ħsieb viżibbli, u livelli bla preċedent ta’ data kunfidenzjali u aċċess għall-użu operattiv intern għar-rispons għall-inċidenti u r-red teaming tal-monitoraġġ. Il-prijoritajiet u l-prinċipji ppreżentati hawnhekk jiffokaw fuq l-involviment tagħna ma’ organizzazzjonijiet indipendenti ta’ valutazzjoni fis-settur privat u f’dak mingħajr skop ta’ qligħ, fir-rigward ta’ valutazzjonijiet tekniċi tas-sikurezza. Dawn jikkomplementaw il-ħidma tagħna mal-gvernijiet dwar l-ittestjar u l-valutazzjoni, fejn rwoli u responsabbiltajiet distinti jistgħu jeħtieġu approċċi differenti.
Biex dawn il-valutazzjonijiet ikunu effettivi, huma meħtieġa mekkaniżmi sodi ta’ indipendenza, rigorożità xjentifika, prattiki robusti ta’ sigurtà u responsabbiltajiet ċari. Il-laboratorji għandhom ir-responsabbiltà li jippermettu skrutinju sinifikanti filwaqt li jipproteġu l-informazzjoni sensittiva. Il-laboratorji u l-valutaturi indipendenti jaqsmu r-responsabbiltà li dan isir sew, u għandhom joperaw bi standards internazzjonali kondiviżi għall-prattiki tas-sikurezza u s-sigurtà. Hawn taħt nipproponu erba’ oqsma prijoritarji għal valutazzjoni aktar profonda, flimkien ma’ prinċipji għal xogħol rigoruż, sigur u indipendenti.
Il-valutazzjonijiet minn partijiet terzi huma l-aktar utli meta jindirizzaw mistoqsijiet speċifiċi u sinifikanti: L-evidenza ssostni l-każ tas-sikurezza u d-dikjarazzjonijiet dwar is-sikurezza ta’ laboratorju? Il-valutazzjonijiet jittestjaw b’mod adegwat ir-riskji li huma maħsuba biex ikejlu? Is-salvagwardji jaħdmu f’kundizzjonijiet realistiċi?
Il-valutazzjonijiet deskritti hawnhekk huma maħsuba biex jieħdu forom differenti skont il-kwistjonijiet tas-sikurezza li jkunu qed jiġu eżaminati. Nistennew li nappoġġjaw diversi valutazzjonijiet b’mod parallel u fuq perjodi differenti, b’uħud idumu ġimgħat u oħrajn diversi xhur. Għalkemm il-valutazzjonijiet minn partijiet terzi jistgħu jkunu wkoll parti mix-xogħol ta’ qabel l-użu operattiv u jinfurmaw id-deċiżjonijiet dwaru, ix-xogħol deskritt hawnhekk ġeneralment huwa fuq żmien itwal u indipendenti mit-tnedija—iffukat fuq eżami fil-fond u tul iż-żmien ta’ dikjarazzjonijiet speċifiċi dwar is-sikurezza.
Fil-prijoritajiet u l-prinċipji tagħna, nirreferu għal dikjarazzjonijiet dwar is-sikurezza u każijiet tas-sikurezza. B’dawn it-termini nifhmu dan li ġej:
Dikjarazzjoni dwar is-sikurezza: Stqarrija speċifika dwar il-kapaċitajiet, l-imġiba jew is-salvagwardji ta’ mudell jew sistema, li hija rilevanti għas-sikurezza tiegħu u tista’ tiġi vvalutata abbażi tal-evidenza. Dikjarazzjoni għandha tidentifika r-riskji u l-kundizzjonijiet li tindirizza, flimkien mas-suppożizzjonijiet u l-limitazzjonijiet rilevanti.
Każ tas-sikurezza: Argument strutturat u sostnut mill-evidenza li jispjega għaliex ir-riskji ta’ mudell jew sistema huma ġestiti b’mod adegwat għal attività speċifika, bħat-taħriġ, il-valutazzjoni jew l-użu operattiv. Każ tas-sikurezza jgħaqqad id-dikjarazzjonijiet individwali dwar is-sikurezza mal-evidenza li ssostnihom u jiddikjara b’mod espliċitu s-suppożizzjonijiet, l-inċertezzi u r-riskji li jibqa’ u li jistgħu jaffettwaw il-konklużjonijiet tiegħu.
Nipproponu erba’ oqsma prijoritarji għal valutazzjoni aktar profonda, flimkien ma’ prinċipji għal xogħol rigoruż, sigur u indipendenti.
Valutazzjoni indipendenti tal-każijiet tas-sikurezza, li tkopri t-taħriġ, il-valutazzjoni, l-użu operattiv intern u dak estern.
Il-valutazzjoni tal-każijiet tas-sikurezza teħtieġ għarfien espert dwar l-allinjament, metodi ta’ kontroll bħall-monitoraġġ, iċ-ċibersigurtà, l-użu ħażin bijoloġiku u kimiku, u r-red teaming. Il-każijiet tas-sikurezza jikkonsistu f’dikjarazzjonijiet li jinkludu t-taħriġ, il-valutazzjonijiet tal-kapaċitajiet u s-salvagwardji, u jistgħu jiġu vvalutati flimkien jew f’partijiet (ara l-prijoritajiet 2 u 3 hawn taħt). X’aktarx li diversi valutaturi jkollhom jeżaminaw partijiet differenti tal-każijiet, billi jużaw l-għarfien espert rispettiv tagħhom. Flimkien, il-valutazzjonijiet tagħhom għandhom iwieġbu mistoqsijiet bħal dawn:
L-evidenza għall-każijiet tas-sikurezza tat-taħriġ, tal-valutazzjoni u tal-użu operattiv hija sostanzjata? Il-kundizzjonijiet tal-każ tas-sikurezza ġew segwiti matul it-taħriġ, il-valutazzjoni u l-użu operattiv?
Il-każijiet tas-sikurezza tagħna jkopru l-aktar riskji urġenti identifikati matul valutazzjoni? Id-dikjarazzjonijiet dwar is-sikurezza jsostnu l-każ tas-sikurezza ġenerali? Hemm xi nuqqasijiet jew oqsma li jistgħu jittejbu?
Jintużaw metodi effettivi biex jiġu identifikati u mnaqqsa l-inċentivi fit-taħriġ li jistgħu jippremjaw il-qerq, ir-reward hacking, l-azzjonijiet distruttivi jew l-evażjoni tar-restrizzjonijiet?
Valutazzjoni tas-salvagwardji kritiċi fl-użu operattiv intern u estern
Is-sett ta’ salvagwardji tagħna qed jevolvi kontinwament biex ilaħħaq mal-kapaċitajiet u x-xenarju li qed jinbidlu. Is-salvagwardji tagħna jkopru t-taħriġ, l-użu operattiv intern u l-użu operattiv estern. Bħalissa dawn jinkludu salvagwardji fil-livell tal-mudell, salvagwardji tal-infurzar u salvagwardji tas-sigurtà, kif ukoll moniters tan-nuqqas ta’ allinjament—li jkopru firxa wiesgħa ta’ riskji, bħat-telf tal-kontroll u l-użu ħażin f’riskji ċibernetiċi, bijoloġiċi u kimiċi. Is-sħubijiet tekniċi jistgħu jidentifikaw id-dgħufijiet attwali fis-salvagwardji, filwaqt li jtejbu l-metodi ta’ valutazzjoni u jħaffu l-iżvilupp tal-istandards. B’hekk jipprovdu bażi teknika aktar b’saħħitha għal politiki pubbliċi futuri biex iżommu l-pass mal-fruntiera—b’mod partikolari għall-użu operattiv intern, fejn l-istandards tas-sikurezza u s-sigurtà għadhom fi stadju bikri.
Il-valutazzjonijiet indipendenti għandhom jeżaminaw kemm jaħdmu tajjeb dawn is-salvagwardji u fejn jistgħu ma jkunux biżżejjed, pereżempju:
Bl-użu ta’ aċċess “grey box”, is-salvagwardji huma reżistenti għall-ittestjar avversarju (jailbreaks) u jipproteġu biżżejjed kontra żieda fil-kapaċitajiet f’oqsma ta’ riskju għoli, pereżempju dawk ċibernetiċi u bijoloġiċi? L-ittestjar avversarju u r-red teaming tagħna jkopru l-aktar riskji importanti?
F’ittestjar awtorizzat taħt kundizzjonijiet operattivi realistiċi, kif jinteraġixxu l-aġenti ma’ difiżi ċibernetiċi bħall-kontrolli tal-aċċess, is-sandboxing u s-sistemi ta’ detezzjoni u rispons? Liema difiżi jipprevjenu, jidentifikaw jew jillimitaw azzjonijiet dannużi, u fejn ifallu?
Il-moniters tan-nuqqas ta’ allinjament tagħna għandhom xi lakuni kritiċi li jistgħu jwasslu għal telf ta’ kontroll jew nuqqas serju ta’ allinjament, kemm fl-użu operattiv intern kif ukoll f’dak estern? Kemm huwa affidabbli l-monitoraġġ tal-katina tal-ħsieb bħala sors ta’ evidenza għas-sikurezza jew għall-allinjament hekk kif jitjiebu l-kapaċitajiet tal-mudell?
Ġie implimentat monitoraġġ xieraq fit-taħriġ, fil-valutazzjonijiet u fl-użu operattiv rilevanti kollha, b’mod li ma jistax jiġi diżattivat faċilment?
Is-salvagwardji implimentati huma proporzjonati mal-kapaċitajiet?
Valutazzjoni tal-kapaċitajiet li tkopri l-kategoriji ta’ riskju tat-Tħejjija (Riskji Kimiċi u Bijoloġiċi, Ċibersigurtà, Awto-Titjib tal-IA) u valutazzjonijiet tal-allinjament għar-riskji ta’ nuqqas ta’ allinjament
Il-Qafas tat-Tħejjija tagħna jeħtieġ valutazzjonijiet li jeżaminaw oqsma ewlenin tar-riskju tal-fruntiera. Hekk kif jinqabżu l-limiti u l-valutazzjonijiet jilħqu l-punt ta’ saturazzjoni, huwa importanti li jiġu aġġornati b’mod konsistenti u li jiġu żgurati l-kopertura u l-kwalità tal-valutazzjonijiet li jeżaminaw il-kapaċitajiet fl-oqsma ta’ riskju tat-Tħejjija, kif ukoll tal-valutazzjonijiet tal-allinjament li jfittxu li jivvalutaw riskji serji ta’ nuqqas ta’ allinjament.
Il-mistoqsijiet rilevanti jinkludu:
Il-valutazzjonijiet tar-riskji tat-Tħejjija jkopru b’mod adegwat id-definizzjoni tal-limitu tar-riskju tat-Tħejjija? Il-limiti għal dawn il-valutazzjonijiet huma stabbiliti b’mod korrett?
Il-valutazzjonijiet jiġu aġġornati meta l-mudelli jiksbu b’mod konsistenti l-ogħla punteġġi, u t-testijiet il-ġodda jkejlu b’mod sinifikanti kapaċitajiet aktar avvanzati?
Il-valutazzjonijiet tal-allinjament tagħna jkopru b’mod adegwat ir-riskji serji ta’ nuqqas ta’ allinjament, u liema mġibiet jew kundizzjonijiet importanti jistgħu ma jidentifikawx?
Investigazzjoni indipendenti ta’ inċidenti kritiċi ta’ nuqqas ta’ allinjament
Investigazzjoni indipendenti tista’ tkun siewja għal firxa ta’ inċidenti kritiċi tas-sikurezza tal-IA. Hawnhekk niffokaw fuq in-nuqqas ta’ allinjament tal-mudelli, inklużi mudelli li jaġixxu mingħajr awtorizzazzjoni jew jevitaw is-sorveljanza, u li jistgħu jikxfu dgħufijiet fil-metodi tal-allinjament u fis-salvagwardji anki mingħajr użu ħażin intenzjonat.
F’ċerti ċirkostanzi, bħall-inċident ta’ OpenAI Hugging Face, jista’ jkun ta’ benefiċċju li tiddaħħal parti terza indipendenti għal investigazzjonijiet indipendenti ta’ inċidenti ta’ nuqqas ta’ allinjament. Huwa essenzjali li l-partijiet terzi involuti fl-investigazzjoni tal-inċidenti jkollhom l-għarfien espert meħtieġ, inkluż, fejn applikabbli, għarfien fil-forensika ċibernetika u fl-allinjament, analiżi fuq skala kbira tal-katina tal-ħsieb, kif ukoll il-persunal u r-riżorsi biex iwettqu l-investigazzjoni fil-ħin. Ir-rispons għall-inċidenti jista’ jinvolvi aċċess għal data interna sensittiva u data ta’ partijiet terzi; għalhekk, xi dettalji jistgħu jkunu sensittivi wisq biex jiġu ppubblikati jew aċċessati. Is-sejbiet minn investigazzjonijiet indipendenti jistgħu wkoll jinfurmaw il-każ tas-sikurezza ta’ mudell billi jipprovdu evidenza biex jiġu vvalutati dikjarazzjonijiet dwar l-allinjament tiegħu u l-effettività tal-miżuri meħuda biex jiġi rrimedjat nuqqas ta’ allinjament osservat qabel.
Fil-kuntest ta’ inċidenti ta’ nuqqas ta’ allinjament, nagħtu prijorità lil valutazzjonijiet indipendenti dwar:
Liema mġiba tal-mudell jew problemi ta’ nuqqas ta’ allinjament seħħew matul l-inċident, u liema kienu l-fatturi ewlenin li kkontribwew għalihom?
Is-salvagwardji u r-rimedju jnaqqsu b’mod effettiv ir-riskju ta’ inċidenti simili fil-futur?
Dikjarazzjonijiet b’ambitu ċar u miftiehma b’mod reċiproku għall-valutazzjoni: Il-valutazzjonijiet għandhom jibdew b’ambitu miftiehem b’mod reċiproku, segwit minn dikjarazzjonijiet dwar is-sikurezza definiti b’mod ċar u rreġistrati minn qabel, qabel ma jibdew l-attivitajiet ta’ valutazzjoni. Il-partijiet terzi u l-laboratorji għandhom jiċċaraw jekk dawn humiex dikjarazzjonijiet li l-kumpanija vvalutata tixtieq tippreżenta għall-valutazzjoni, jew dikjarazzjonijiet li l-valutatur terz irid jivvaluta b’mod indipendenti u li l-laboratorju jaqbel li jiġi vvalutat skonthom. Hemm ħafna raġunijiet għaliex xi dikjarazzjonijiet jistgħu jkunu barra mill-ambitu, fosthom l-impossibbiltà li partijiet terzi jaċċessaw id-data, in-nuqqas ta’ għarfien espert tal-valutatur jew limiti raġonevoli ta’ żmien meta valutazzjoni tkun urġenti. Il-laboratorji u l-valutaturi għandhom jistabbilixxu proċess biex jikkunsidraw riskji sinifikanti identifikati barra mill-ambitu oriġinali, inkluż jekk tkunx meħtieġa aktar investigazzjoni. Il-konklużjonijiet għandhom jiċċaraw x’ġie u x’ma ġiex ivvalutat fir-rigward tal-ambitu miftiehem b’mod reċiproku.
Aċċess proporzjonat: Fejn ikun possibbli, il-valutaturi għandu jkollhom aċċess proporzjonat biex jivvalutaw id-dikjarazzjonijiet miftiehma, fil-limiti tar-restrizzjonijiet legali, tas-sigurtà u tal-proprjetà intellettwali. Meta l-aċċess dirett ma jkunx prattiku jew possibbli, il-valutaturi jistgħu jaħdmu ma’ rappreżentant maħtur tal-kumpanija jew jesploraw mekkaniżmi ta’ aċċess indirett jew li jħarsu l-privatezza biex jipproteġu l-informazzjoni sottostanti.
Metodoloġija u standards trasparenti: Il-valutaturi għandhom jispjegaw il-metodi, il-kriterji ta’ valutazzjoni u l-inċertezzi tagħhom, filwaqt li jibbażaw fuq standards stabbiliti fejn dawn ikunu disponibbli. Fejn għad ma jeżistux standards, għandhom jiġġustifikaw b’mod ċar il-kriterji li jużaw. Ir-rapporti għandhom jiddistingwu s-sejbiet diretti mill-interpretazzjoni, jispjegaw l-inċertezza u jiċċaraw liema konklużjonijiet huma sostnuti mill-evidenza.
Għarfien espert u indipendenza: Il-valutaturi għandhom juru għarfien tekniku rilevanti u jidentifikaw, jiżvelaw u jindirizzaw il-kunflitti ta’ interess organizzattivi u individwali, inklużi l-inċentivi finanzjarji, ir-relazzjonijiet mal-iżviluppaturi u l-involviment preċedenti fix-xogħol li jkun qed jiġi vvalutat. Is-salvagwardji għandhom jitfasslu biex jiżguraw li l-pressjonijiet kummerċjali u l-arranġamenti ta’ kumpens ma jinfluwenzawx is-sejbiet, u jistgħu jinkludu r-rikuża jew perjodi xierqa ta’ esklużjoni.
Sigurtà u kunfidenzjalità: Il-valutaturi għandhom juru prattiki ta’ sigurtà tal-informazzjoni u protezzjonijiet infurzabbli tal-kunfidenzjalità li jkopru lill-persunal tagħhom, proporzjonati mas-sensittività tas-sistemi u tal-informazzjoni aċċessati. Dawn il-protezzjonijiet għandhom ikopru l-proprjetà intellettwali, l-informazzjoni sensittiva u r-rekords tal-valutazzjoni. Meta l-valutaturi ma jkunux jistgħu jissodisfaw ir-rekwiżiti tas-sigurtà fl-ambjenti tagħhom stess, jew id-data aċċessata tkun partikolarment sensittiva, jista’ jkun xieraq li l-aċċess jingħata minn apparat jew bini ġestit mill-kumpanija.
Sejbiet azzjonabbli u żmien għar-rimedju: Il-valutazzjonijiet għandhom jidentifikaw nuqqasijiet speċifiċi u jipprovdu biżżejjed dettall biex il-laboratorji jkunu jistgħu jindirizzawhom. Fejn ikun xieraq, il-laboratorji għandu jkollhom perjodu raġonevoli biex jirrimedjaw il-problemi qabel il-pubblikazzjoni. Fejn ikun rilevanti, ir-rapporti għandhom jispjegaw ukoll it-tagħlimiet għall-iżviluppaturi, għall-operaturi u għad-difensuri tal-aġenti, flimkien ma’ rakkomandazzjonijiet prattiċi għall-implimentazzjoni.
Prattiki responsabbli ta’ pubblikazzjoni: Ir-rapporti tal-valutazzjoni għandhom ikunu bbażati fuq l-evidenza u kondiviżi bl-aktar mod miftuħ possibbli, filwaqt li jipproteġu l-informazzjoni sensittiva u kunfidenzjali. Meta l-iżvelar pubbliku sħiħ ma jkunx possibbli, rapportar kunfidenzjali lill-korpi xierqa ta’ sorveljanza, bħal korpi ta’ governanza jew bordijiet tal-kumpaniji, jista’ jsaħħaħ ir-responsabbiltà. Għandhom jiġu stabbiliti protezzjonijiet u politiki ta’ redazzjoni msejsa fuq prinċipji, kif ukoll aspettattivi ċari dwar ir-rispons u l-korrezzjoni ta’ ineżattezzi, biex jinżamm il-bilanċ bejn l-indipendenza u l-kunfidenzjalità. Il-valutaturi għandhom iżommu l-indipendenza editorjali, filwaqt li jiżguraw li jinżammu l-protezzjonijiet tal-kunfidenzjalità u tal-proprjetà intellettwali. Il-valutaturi għandhom jadottaw politiki ċari ta’ redazzjoni li jippermettu lil-laboratorji jitolbu r-redazzjoni ta’ informazzjoni sensittiva, filwaqt li l-valutaturi jistgħu jindikaw fejn saru redazzjonijiet sostanzjali u l-effett tagħhom fuq ir-rapport tal-valutazzjoni.
Aħna impenjati li nappoġġjaw lill-valutaturi indipendenti u nistabbilixxu standards internazzjonali aktar ċari u kondiviżi—kemm permezz ta’ liġijiet futuri kif ukoll ta’ istituzzjonijiet privati ta’ governanza—għal valutazzjonijiet effettivi minn partijiet terzi. Għalkemm l-ekosistema tal-valutazzjoni indipendenti għadha qed tikber, se ngħinuha tikber billi nappoġġjaw u naħdmu ma’ komunità diversa ta’ valutaturi indipendenti b’għarfien profond dwar kwistjonijiet tas-sikurezza fil-fruntiera. L-ebda parti terza waħda ma tista’ jew ma għandha tkopri b’mod komprensiv il-kwistjonijiet urġenti tas-sikurezza fil-fruntiera. Se naġixxu b’mod deliberat u maħsub biex inkabbru l-kapaċità tagħna u ngħinu lill-ekosistema dejjem tikber tal-partijiet terzi taqbel dwar l-aħjar prattiki u prinċipji. Qed niddiskutu ma’ diversi partijiet terzi proposti li huma konformi mal-oqsma prijoritarji msemmija hawn fuq.
