Kumment dwar il-Politika tal-Accountability tal-IA tan-NTIA

OpenAI hija kuntenta twieġeb għat-talba għal kummenti (RFC) tat-13 ta’ April 2023 min-National Telecommunications and Information Administration (NTIA) dwar il-Politika tal-Accountability tal-IA.

F’dan il-kumment, niddeskrivu l-ħsieb tagħna dwar l-accountability tal-IA abbażi tal-prattiki ta’ sigurtà li napplikaw għas-servizzi li nipprovdu llum, u l-prattiki li nippjanaw napplikaw għal servizzi li nantiċipaw li noffru fil-futur. Nilqgħu d-deċiżjoni tan-NTIA li tfassal din id-diskussjoni f’termini ta’ “ekosistema” tal-accountability tal-IA. Kif josserva l-RFC, il-partijiet interessati fil-politika qed jesploraw “firxa ta’ għanijiet ta’ sistemi ta’ IA affidabbli u kuntesti ta’ implimentazzjoni.”¹ Il-politiki u l-prattiki mfassla biex jiksbu accountability se jvarjaw kif xieraq. Fl-istess ħin, miżuri speċifiċi ta’ accountability se jkollhom jeżistu flimkien ma’ xulxin, u dak li jgħodd l-aktar huwa l-impatt li jkollhom flimkien.

Aħna nemmnu li ekosistema matura għall-accountability tal-IA se tinkludi kemm elementi orizzontali kif ukoll vertikali. Jiġifieri, nistennew kemm li jkun hemm xi elementi li japplikaw għal ċerti sistemi ta’ IA f’diversi oqsma ta’ applikazzjoni, kif ukoll xi elementi mfassla għal oqsma partikolari. Aħna involuti fl-iżvilupp u l-implimentazzjoni ta’ foundation models b’kapaċità għolja—mudelli li jitgħallmu minn ammont kbir ta’ dejta sabiex ikunu jistgħu jwettqu firxa wiesgħa ta’ kompiti sussegwenti. Fil-fehma tagħna, żviluppaturi tal-IA bħalna għandhom jaġixxu b’mod responsabbli u jieħdu approċċ kawt u ffukat fuq is-sigurtà għall-iżvilupp u l-implimentazzjoni tal-aktar kapaċitajiet avvanzati. Dan huwa minnu irrispettivament mill-oqsma partikolari li fihom jistgħu jintużaw dawn il-mudelli.

Firxa wiesgħa ta’ liġijiet eżistenti diġà tapplika għall-IA—inkluż għall-prodotti tagħna—u l-pajsaġġ legali qed jevolvi malajr, b’inizjattivi leġiżlattivi fil-Kungress, l-AI Act li qed jiġi żviluppat fl-Ewropa, u inizjattivi leġiżlattivi u ta’ politika li qed jiżvolġu madwar id-dinja. Fl-istess ħin, korpi ta’ liġi, regolamentazzjoni, u aspettattivi oħra stabbiliti għal żmien twil f’oqsma bħall-mediċina, l-edukazzjoni, u l-impjiegi diġà qed jiġu interpretati u adattati b’modi li se jsawru r-rwol li għandha l-IA f’dawn l-oqsma. Aħna naraw dawn l-isforzi speċifiċi għas-settur, infurmati minn għarfien profond tal-qasam, bħala parti kritika mill-pajsaġġ tal-accountability tal-IA.

Nappoġġjaw b’mod qawwi l-isforzi biex jiġu armonizzati l-aspettattivi emerġenti tal-accountability għall-IA, inklużi l-isforzi tan-NIST AI Risk Management Framework, il-U.S.-E.U. Trade and Technology Council, u firxa ta’ inizjattivi globali oħra. Filwaqt li dawn l-isforzi jkomplu javvanzaw, u anki qabel ma liġijiet ġodda jiġu implimentati b’mod sħiħ, aħna naraw rwol għalina nfusna u għal kumpaniji oħra biex nagħmlu impenji volontarji fuq kwistjonijiet bħal testijiet qabel l-implimentazzjoni, il-provenjenza tal-kontenut, u trust and safety.

L-approċċ attwali tagħna għall-inġinerija jeħtieġ skala unika ta’ riżorsi ta’ komputazzjoni, u nqisu dan bħala bażi promettenti biex jiġu definiti aspettattivi addizzjonali u distintivi ta’ accountability li japplikaw għal atturi bħalna. Nappoġġjaw li kwalunkwe regolamentazzjoni ġdida għal foundation models b’kapaċità għolja tiġi ddefinita bir-reqqa sabiex tinżamm il-kapaċità tal-atturi kollha li jikkompetu u jinnovaw b’mod ġust.

L-accountability għandha rwol tul iċ-ċiklu tal-ħajja tat-teknoloġija. L-isforzi tagħna biex nagħmlu l-mudelli tagħna sikuri u affidabbli jibdew qabel ma jibda l-iżvilupp, ikomplu matul l-implimentazzjoni u l-operat tal-mudelli tagħna, u jindirizzaw kemm lill-ħallieqa kif ukoll lill-utenti ta’ foundation models b’kapaċità għolja. Nipprovdu lill-iżviluppaturi kapaċitajiet minn ta’ quddiem fid-dinja għall-applikazzjonijiet tagħhom, u nipprovdu kapaċitajiet qawwija direttament lill-miljuni ta’ nies li jużaw ChatGPT u s-servizzi l-oħra tagħna kuljum. Il-politiki tal-użu tagħna japplikaw għall-utenti kollha tal-mudelli, l-għodod, u s-servizzi tagħna.² Aħna nikkonformaw mal-liġijiet eżistenti, u nirrikjedu li l-iżviluppaturi u l-utenti tagħna jikkonformaw meta jużaw is-servizzi tagħna.

Aħna niffukaw il-bqija ta’ dan il-kumment fuq l-approċċi attwali tagħna lejn l-accountability tal-IA, u niddeskrivu oqsma importanti fejn aħna u oħrajn qed naħdmu biex insaħħu l-ekosistema. Ninnotaw li l-politikanti fl-Istati Uniti u madwar id-dinja qed jikkunsidraw firxa wiesgħa ta’ politiki u miżuri maħsuba biex jiksbu accountability tal-IA, inklużi leġiżlazzjoni, regolamenti, ftehimiet internazzjonali, programmi ta’ awtoregolamentazzjoni, u standards tekniċi u oħrajn infurzabbli. Napprezzaw dawn l-isforzi u ninsabu lesti li nissieħbu ma’ partijiet interessati oħra biex niżviluppaw u nimplimentaw approċċi effettivi għall-accountability tal-IA.

Aħna qed nirfinaw il-prattiki tagħna flimkien mal-konversazzjoni pubblika usa’ li qed tevolvi. Hawnhekk nipprovdu dettalji dwar diversi aspetti tal-approċċ tagħna.

It-trasparenza hija element importanti biex jinbnew sistemi ta’ IA responsabbli. Parti ewlenija mill-approċċ tagħna lejn l-accountability hija l-pubblikazzjoni ta’ dokument li bħalissa nsejħulu System Card, għal sistemi ġodda ta’ IA li nħaddmu. L-approċċ tagħna jieħu ispirazzjoni minn xogħol ta’ riċerka preċedenti fuq model cards u system cards.³ Sal-lum, OpenAI ippubblikat żewġ system cards: il-GPT‑4 System Card u d-DALL-E 2 System Card.⁴

Aħna nemmnu li fil-biċċa l-kbira tal-każijiet, huwa importanti li dawn id-dokumenti janalizzaw u jiddeskrivu l-impatti ta’ sistema – aktar milli jiffokaw biss fuq il-mudell innifsu – għax l-impatti ta’ sistema jiddependu parzjalment fuq fatturi oħra minbarra l-mudell, inklużi l-każ ta’ użu, il-kuntest, u l-interazzjonijiet fid-dinja reali. Bl-istess mod, l-impatti ta’ sistema ta’ IA jiddependu fuq mitigazzjonijiet tar-riskju bħal politiki tal-użu, kontrolli tal-aċċess, u monitoraġġ għall-abbuż. Aħna nemmnu li huwa raġonevoli li partijiet interessati esterni jistennew informazzjoni dwar dawn is-suġġetti, u li jkollhom l-opportunità jifhmu l-approċċ tagħna.

Is-System Cards tagħna għandhom l-għan li jinfurmaw lill-qarrejja dwar fatturi ewlenin li jaffettwaw l-imġiba tas-sistema, speċjalment f’oqsma rilevanti għal użu responsabbli. Sibna li l-valur tas-System Cards u dokumenti simili ġej mhux biss mill-ħarsa ġenerali lejn kwistjonijiet tal-prestazzjoni tal-mudell li jipprovdu, iżda wkoll mill-eżempji illustrattivi li joffru. Eżempji bħal dawn jistgħu jagħtu lill-utenti u lill-iżviluppaturi fehim aktar konkret tal-prestazzjoni u r-riskji tas-sistema deskritta, u tal-passi li nieħdu biex nimmitigaw dawk ir-riskji. It-tħejjija ta’ dawn id-dokumenti tgħin ukoll biex tifforma l-prattiki interni tagħna, u turi dawk il-prattiki lil oħrajn li qed ifittxu modi kif jagħmlu approċċi responsabbli lejn l-IA operazzjonali.

Ir-red teaming huwa l-proċess li bih nittestjaw b’mod kwalitattiv il-mudelli u s-sistemi tagħna f’varjetà ta’ oqsma biex noħolqu stampa aktar olistika tal-profil ta’ sigurtà tal-mudelli tagħna. Aħna nwettqu red teaming internament mal-istaff tagħna stess bħala parti mill-iżvilupp tal-mudell, kif ukoll ma’ nies li joperaw b’mod indipendenti mit-tim li jibni s-sistema li qed tiġi ttestjata. Minbarra li jeżaminaw il-kapaċitajiet u r-reżiljenza tal-organizzazzjoni tagħna kontra attakki, ir-red teams jużaw ukoll metodi ta’ stress testing u boundary testing, li jiffokaw fuq l-identifikazzjoni ta’ każijiet fil-marġni u modi oħra ta’ falliment potenzjali li jistgħu jikkawżaw ħsara.

Ir-red teaming jikkumplimenta l-evalwazzjonijiet awtomatizzati u kwantitattivi tal-kapaċitajiet u r-riskji tal-mudell li nwettqu wkoll, li niddeskrivu fit-taqsima li jmiss. Jista’ jitfa’ dawl fuq riskji li għadhom mhumiex kwantifikabbli, jew fuq dawk li għalihom għadhom ma ġewx żviluppati evalwazzjonijiet aktar standardizzati. Ix-xogħol preċedenti tagħna fuq red teaming huwa deskritt fid-DALL-E 2 System Card u l-GPT‑4 System Card.

Ir-red teaming u t-testijiet tagħna ġeneralment isiru matul il-fażi tal-iżvilupp ta’ mudell jew sistema ġdida. Separatament mit-testijiet interni tagħna stess, aħna nirreklutaw testers barra minn OpenAI u nagħtuhom aċċess bikri għal sistema li tkun għadha qed tiġi żviluppata. It-testers jintgħażlu minn OpenAI abbażi ta’ xogħol preċedenti fl-oqsma ta’ interess (riċerka jew għarfien prattiku), u kellhom it-tendenza li jkunu taħlita ta’ riċerkaturi akkademiċi u professjonisti tal-industrija (eż., nies b’esperjenza ta’ xogħol f’ambjenti ta’ Trust & Safety). Aħna nevalwaw u nivvalidaw ir-riżultati ta’ dawn it-testijiet, u nieħdu passi biex nagħmlu aġġustamenti u nimplimentaw mitigazzjonijiet fejn xieraq.

OpenAI tkompli tieħu passi biex ittejjeb il-kwalità, id-diversità, u l-esperjenza tat-testers esterni għal valutazzjonijiet li għaddejjin u futuri.

Minbarra r-red teaming kwalitattiv deskritt hawn fuq, noħolqu evalwazzjonijiet awtomatizzati u kwantitattivi għal diversi kapaċitajiet u riskji orjentati lejn is-sigurtà, inklużi riskji li nsibu permezz ta’ metodi bħal red teaming. Dawn l-evalwazzjonijiet jippermettulna nqabblu verżjonijiet differenti tal-mudelli tagħna ma’ xulxin, niteraw fuq metodoloġiji ta’ riċerka li jtejbu s-sigurtà, u fl-aħħar mill-aħħar jaġixxu bħala input fit-teħid ta’ deċiżjonijiet dwar liema verżjonijiet tal-mudell nagħżlu li nħaddmu. L-evalwazzjonijiet eżistenti jkopru suġġetti bħal kontenut erotiku, kontenut ta’ mibegħda, u kontenut relatat mal-awtoħsara fost oħrajn, u jkejlu l-propensità tal-mudelli li jiġġeneraw tali kontenut.

OpenAI ma tippermettix l-użu tal-mudelli u l-għodod tagħna għal ċerti attivitajiet u kontenut, kif stabbilit fil-politiki tal-użu tagħna.⁵ Dawn il-politiki huma mfassla biex jipprojbixxu l-użu tal-mudelli u l-għodod tagħna b’modi li jikkawżaw ħsara individwali jew soċjali. Aħna naġġornaw dawn il-politiki b’rispons għal riskji ġodda u informazzjoni aġġornata dwar kif qed jintużaw il-mudelli tagħna. L-aċċess għal u l-użu tal-mudelli tagħna huma wkoll soġġetti għat-Termini tal-Użu ta’ OpenAI li, fost affarijiet oħra, jipprojbixxu l-użu tas-servizzi tagħna biex issir ħsara lid-drittijiet tan-nies, u jipprojbixxu li output mis-servizzi tagħna jiġi ppreżentat bħala maħluq minn bniedem meta ma jkunx hekk.⁶

Nieħdu passi biex nillimitaw l-użu tal-mudelli tagħna għal attivitajiet ta’ ħsara billi ngħallmu lill-mudelli jirrifjutaw li jwieġbu għal ċerti tipi ta’ talbiet li jistgħu jwasslu għal tweġibiet potenzjalment ta’ ħsara. Barra minn hekk, nużaw taħlita ta’ reviżuri u sistemi awtomatizzati biex nidentifikaw u nieħdu azzjoni kontra l-użu ħażin tal-mudelli tagħna. Is-sistemi awtomatizzati tagħna jinkludu sett ta’ detezzjonijiet ta’ klassifikaturi bbażati fuq machine learning u regoli, iddisinjati biex jidentifikaw kontenut li jista’ jikser il-politiki tagħna. Meta utent ripetutament juża prompt mal-mudelli tagħna b’kontenut li jikser il-politika, nieħdu azzjonijiet bħal noħorġu twissija, nissospendu lill-utent temporanjament, jew f’każijiet serji, nipprojbixxu lill-utent.

Kif diskuss fl-RFC, hemm ħafna mistoqsijiet importanti relatati mal-Accountability tal-IA li għadhom mhux solvuti. Fit-taqsimiet li ġejjin, nipprovdu perspettiva addizzjonali dwar diversi minn dawn il-mistoqsijiet.

Foundation models b’kapaċità għolja għandhom kemm kapaċitajiet ta’ benefiċċju, kif ukoll il-potenzjal li jikkawżaw ħsara. Hekk kif il-kapaċitajiet ta’ dawn il-mudelli jsiru aktar avvanzati, hekk ukoll tiżdied l-iskala u s-severità tar-riskji li jistgħu joħolqu, partikolarment jekk ikunu taħt id-direzzjoni ta’ attur malizzjuż jew jekk il-mudell ma jkunx allinjat sew mal-valuri umani.

Il-kejl rigoruż tal-avvanzi f’kapaċitajiet potenzjalment perikolużi huwa essenzjali biex ir-riskju jiġi vvalutat u ġestit b’mod effettiv. Aħna qed nindirizzaw dan billi nesploraw u nibnu evalwazzjonijiet għal kapaċitajiet potenzjalment perikolużi li jvarjaw minn għodod sempliċi, skalabbli, u awtomatizzati sa evalwazzjonijiet speċjalizzati u intensivi mwettqa minn esperti umani. Aħna qed nikkollaboraw ma’ esperti akkademiċi u tal-industrija, u fl-aħħar mill-aħħar għandna l-għan li nikkontribwixxu għall-iżvilupp ta’ sett divers ta’ evalwazzjonijiet li jistgħu jikkontribwixxu għall-formazzjoni ta’ l-aħjar prattiki għall-valutazzjoni ta’ riskji emerġenti f’foundation models b’kapaċità għolja. Aħna nemmnu li evalwazzjonijiet ta’ kapaċitajiet perikolużi huma element dejjem aktar importanti għall-accountability u l-governanza fl-iżvilupp tal-IA fruntiera.

Valutazzjonijiet indipendenti tal-mudelli u s-sistemi, inkluż minn partijiet terzi, jistgħu jsiru dejjem aktar ta’ valur hekk kif il-kapaċitajiet tal-mudelli jkomplu jiżdiedu. Valutazzjonijiet bħal dawn jistgħu jsaħħu l-accountability u t-trasparenza dwar l-imġibiet u r-riskji tas-sistemi ta’ IA.

Xi forom ta’ valutazzjoni jistgħu jseħħu fi ħdan organizzazzjoni waħda, bħal meta tim jevalwa x-xogħol tiegħu stess jew meta tim jew parti tal-organizzazzjoni tipproduċi mudell u tim jew parti oħra, li taġixxi b’mod indipendenti, tittestja dak il-mudell. Approċċ differenti huwa li parti terza esterna twettaq valutazzjoni. Kif deskritt hawn fuq, bħalissa niddependu fuq taħlita ta’ evalwazzjonijiet interni u esterni tal-mudelli tagħna.

Il-valutazzjonijiet minn partijiet terzi jistgħu jiffokaw fuq implimentazzjonijiet speċifiċi, mudell jew sistema f’xi mument fiż-żmien, il-governanza organizzattiva u l-prattiki tal-ġestjoni tar-riskju, applikazzjonijiet speċifiċi ta’ mudell jew sistema, jew xi kombinazzjoni minn dawn. Il-ħsieb u l-oqfsa potenzjali li għandhom jintużaw f’valutazzjonijiet bħal dawn qed ikomplu jevolvu b’pass mgħaġġel, u aħna qed nissorveljaw u nikkunsidraw l-approċċ tagħna stess għall-valutazzjonijiet.

Għal kwalunkwe valutazzjoni minn parti terza, il-proċess tal-għażla ta’ awdituri/valutaturi bl-għarfien xieraq u bi strutturi ta’ inċentivi xierqa jibbenefika minn aktar ċarezza. Barra minn hekk, l-għażla tal-aspettattivi xierqa li fuqhom għandhom jiġu vvalutati l-organizzazzjonijiet jew il-mudelli hija qasam miftuħ ta’ esplorazzjoni li se jeħtieġ input minn partijiet interessati differenti. Fl-aħħar nett, se jkun importanti li l-valutazzjonijiet iqisu kif is-sistemi jistgħu jevolvu maż-żmien u jibnu dan fil-proċess ta’ valutazzjoni / awditu.

Nappoġġjaw l-iżvilupp ta’ rekwiżiti ta’ reġistrazzjoni u liċenzjar għal ġenerazzjonijiet futuri tal-aktar foundation models b’kapaċità għolja. Mudelli bħal dawn jista’ jkollhom kapaċitajiet biżżejjed perikolużi biex joħolqu riskji sinifikanti għas-sigurtà pubblika; jekk jagħmlu hekk, aħna nemmnu li għandhom ikunu soġġetti għal rekwiżiti ta’ accountability proporzjonati.

Jista’ jkun xieraq li jiġu kkunsidrati aspettattivi ta’ żvelar u reġistrazzjoni għal proċessi ta’ taħriġ li huma mistennija jipproduċu foundation models b’kapaċità għolja. Żvelar bħal dan jista’ jgħin biex dawk li jfasslu l-politika jkollhom il-viżibilità meħtieġa biex jiddisinjaw soluzzjonijiet regolatorji effettivi, u jkunu pass ’il quddiem mix-xejriet fil-fruntiera tal-progress tal-IA. Huwa kruċjali li kwalunkwe reġim bħal dan jagħti prijorità lis-sigurtà tal-informazzjoni żvelata.

L-iżviluppaturi tal-IA jistgħu jkunu meħtieġa jirċievu liċenzja biex joħolqu foundation models b’kapaċità għolja li x’aktarx juru li huma aktar kapaċi minn mudelli li qabel intwera li huma sikuri. Il-liċenzjar huwa komuni f’kuntesti kritiċi għas-sigurtà u oħrajn ta’ riskju għoli, bħall-ivvjaġġar bl-ajru, il-ġenerazzjoni tal-enerġija, il-manifattura tal-mediċini, u l-banek. Id-detenturi tal-liċenzja jistgħu jkunu meħtieġa jwettqu valutazzjonijiet tar-riskju qabel l-implimentazzjoni u jadottaw salvagwardji tal-ogħla livell għas-sigurtà u l-implimentazzjoni; fil-fatt, ħafna mill-prattiki ta’ accountability li n-NTIA se tkun qed tikkunsidra jistgħu jkunu rekwiżiti xierqa għal-liċenzjar. L-introduzzjoni ta’ rekwiżiti ta’ liċenzjar fil-livell tal-fornitur tal-komputazzjoni tista’ wkoll tkun għodda kumplimentari qawwija għall-infurzar.

Għad fadal ħafna mistoqsijiet miftuħa fit-tfassil ta’ mekkaniżmi ta’ reġistrazzjoni u liċenzjar biex tinkiseb accountability fil-fruntiera tal-iżvilupp tal-IA. Nistennew bil-ħerqa li nikkollaboraw ma’ dawk li jfasslu l-politika biex nindirizzaw dawn il-mistoqsijiet.