Netwerk ta’ Red Teaming ta’ OpenAI
Qed inħabbru sejħa miftuħa għan-Netwerk ta’ Red Teaming ta’ OpenAI u nistiednu esperti f’oqsma speċifiċi, interessati li jtejbu s-sikurezza tal-mudelli ta’ OpenAI, biex jingħaqdu mal-isforzi tagħna.

Illustrazzjoni: Justin Jay Wang
Nota tal-editur
L-applikazzjonijiet għal din il-fażi tan-Netwerk ta’ Red Teaming ta’ OpenAI għalqu fl-1 ta’ Diċembru 2023.
Qed inħabbru sejħa miftuħa għan-Netwerk ta’ Red Teaming ta’ OpenAI u nistiednu esperti f’oqsma speċifiċi, interessati li jtejbu s-sikurezza tal-mudelli ta’ OpenAI, biex jingħaqdu mal-isforzi tagħna. Qed infittxu esperti minn diversi oqsma biex jikkollaboraw magħna f’evalwazzjoni rigoruża u f’red teaming tal-mudelli tal-AI tagħna.
Ir-red teamingA huwa parti integrali mill-proċess iterattiv tagħna ta’ introduzzjoni fl-użu. Matul dawn l-aħħar snin, l-isforzi tagħna fir-red teaming evolvew minn enfasi fuq ittestjar avversarju intern f’OpenAI għal ħidma ma’ grupp ta’ esperti esterniB biex jgħinu fl-iżvilupp ta’ tassonomiji tar-riskju għal oqsma speċifiċi u fl-evalwazzjoni ta’ kapaċitajiet potenzjalment ta’ ħsara f’sistemi ġodda. Tista’ taqra aktar dwar l-isforzi preċedenti tagħna fir-red teaming, inkluża l-ħidma tagħna fil-passat ma’ esperti esterni, fuq mudelli bħal DALL·E 2(jinfetaħ f’tieqa ġdida) u GPT‑4(jinfetaħ f’tieqa ġdida).C
Illum qed inniedu inizjattiva aktar formali biex nibnu fuq dawn il-pedamenti u napprofondixxu u nwessgħu l-kollaborazzjonijiet tagħna ma’ esperti esterni, bil-għan li nagħmlu l-mudelli tagħna aktar sikuri. Il-ħidma ma’ esperti individwali, istituzzjonijiet tar-riċerka u organizzazzjonijiet tas-soċjetà ċivili hija parti importanti mill-proċess tagħna. Inqisu din il-ħidma bħala komplement għall-prattiki ta’ governanza stabbiliti minn entitajiet esterni, bħall-awditi minn partijiet terzi.
In-Netwerk ta’ Red Teaming ta’ OpenAI huwa komunità ta’ esperti ta’ fiduċja u ta’ esperjenza li jistgħu jgħinu jiggwidaw b’mod usa’ l-isforzi tagħna għall-valutazzjoni u t-tnaqqis tar-riskji, minflok kollaborazzjonijiet ta’ darba u proċessi ta’ għażla qabel introduzzjonijiet ewlenin ta’ mudelli fl-użu. Il-membri tan-netwerk se jintalbu, skont l-għarfien espert tagħhom, jgħinu fir-red teaming f’diversi stadji taċ-ċiklu tal-iżvilupp tal-mudelli u tal-prodotti. Mhux kull membru se jkun involut f’kull mudell jew prodott ġdid. Il-ħin iddedikat se jiġi miftiehem ma’ kull membru individwalment, u jista’ jkun biss bejn 5 u 10 sigħat f’sena.
Minbarra l-kampanji ta’ red teaming ikkummissjonati minn OpenAI, il-membri se jkollhom l-opportunità li jiddiskutu bejniethom prattiki u sejbiet ġenerali tar-red teaming. L-għan huwa li jkun hemm kontribut aktar varjat u kontinwu, u li r-red teaming isir proċess aktar iterattiv. Dan in-netwerk jikkomplementa opportunitajiet oħra ta’ kollaborazzjoni għas-sikurezza tal-AI, fosthom il-Programm ta’ Aċċess għar-Riċerkaturi tagħna u l-evalwazzjonijiet b’sors miftuħ(jinfetaħ f’tieqa ġdida).
Dan in-netwerk joffri opportunità unika biex tinfluwenza l-iżvilupp ta’ teknoloġiji u politiki tal-AI aktar sikuri, kif ukoll l-impatt li l-AI jista’ jkollha fuq il-mod kif ngħixu, naħdmu u ninteraġixxu. Meta tingħaqad ma’ dan in-netwerk, issir parti mill-grupp tagħna ta’ esperti f’oqsma speċifiċi li jistgħu jintalbu jivvalutaw il-mudelli u s-sistemi tagħna f’diversi stadji tal-introduzzjoni tagħhom fl-użu.
Il-valutazzjoni tas-sistemi tal-AI teħtieġ fehim ta’ firxa wiesgħa ta’ oqsma, perspettivi differenti u esperjenzi personali. Nistiednu applikazzjonijiet minn esperti minn madwar id-dinja u fil-proċess tal-għażla tagħna qed nagħtu prijorità lid-diversità kemm ġeografika kif ukoll tal-oqsma ta’ għarfien.
Fost l-oqsma li jinteressawna hemm, iżda mhux biss:
Xjenza Konjittiva | Kimika |
Bijoloġija | Fiżika |
Xjenza tal-Kompjuter | Steganografija |
Xjenza Politika | Psikoloġija |
Persważjoni | Ekonomija |
Antropoloġija | Soċjoloġija |
Interazzjoni bejn il-Bniedem u l-Kompjuter (HCI) | Ġustizzja u Preġudizzju |
Allinjament | Edukazzjoni |
Kura tas-Saħħa | Liġi |
Sikurezza tat-Tfal | Ċibersigurtà |
Finanzi | Miżinformazzjoni/Diżinformazzjoni |
Użu Politiku | Privatezza |
Bijometrija | Lingwi u Lingwistika |
Mhix meħtieġa esperjenza preċedenti b’sistemi tal-AI jew b’mudelli tal-lingwa, iżda tista’ tkun ta’ għajnuna. L-aktar li napprezzaw hija r-rieda tiegħek li tipparteċipa u tikkontribwixxi l-perspettiva tiegħek dwar kif nivvalutaw l-impatti tas-sistemi tal-AI.
Il-membri kollha tan-Netwerk ta’ Red Teaming ta’ OpenAI se jitħallsu għall-kontribut tagħhom meta jipparteċipaw fi proġett ta’ red teaming. Għalkemm is-sħubija f’dan in-netwerk mhux se żżommok milli tippubblika r-riċerka tiegħek jew issegwi opportunitajiet oħra, għandek tqis li l-involviment f’red teaming u fi proġetti oħra spiss ikun soġġett għal ftehimiet ta’ nondivulgazzjoni (NDAs) jew jibqa’ kunfidenzjali għal żmien indefinit.
L-applikazzjonijiet issa għalqu.
M: X’jinvolvi li tingħaqad man-netwerk?
T: Li tkun parti min-netwerk ifisser li nistgħu nikkuntattjawk dwar opportunitajiet biex tittestja mudell ġdid, jew biex tittestja qasam ta’ interess fuq mudell li diġà qed jintuża. Ix-xogħol li jsir bħala parti min-netwerk huwa soġġett għal ftehim ta’ nondivulgazzjoni (NDA), għalkemm fil-passat ippubblikajna ħafna mis-sejbiet tagħna tar-red teaming fil-Karti tas-Sistema u f’artikli tal-blog. Se titħallas għall-ħin li tqatta’ fuq proġetti ta’ red teaming.
M: Kemm hu mistenni li niddedika ħin bħala membru tan-netwerk?
T: Il-ħin li tiddeċiedi li tiddedika jista’ jiġi aġġustat skont l-iskeda tiegħek. Żomm f’moħħok li mhux kull membru tan-netwerk se jiġi kkuntattjat għal kull opportunità. OpenAI se tagħżel lil min ikun l-aktar adattat għal proġett partikolari ta’ red teaming, u se tagħti prijorità lil perspettivi ġodda fil-kampanji ta’ red teaming sussegwenti. Anki 5 sigħat biss f’sena jkunu ta’ valur għalina, għalhekk toqgħodx lura milli tapplika jekk għandek interess iżda l-ħin tiegħek huwa limitat.
M: Meta se jiġu mgħarrfa l-applikanti li ġew aċċettati?
T: OpenAI se tagħżel il-membri tan-netwerk fuq bażi kontinwa u tista’ tapplika sal-1 ta’ Diċembru 2023. Wara dan il-perjodu ta’ applikazzjoni, se nerġgħu nqisu jekk noffrux opportunitajiet oħra biex tapplika fil-futur.
M: Li nkun parti min-netwerk ifisser li se nintalab nagħmel red teaming fuq kull mudell ġdid?
T: Le, OpenAI se tagħżel lil min ikun l-aktar adattat għal proġett partikolari ta’ red teaming, u m’għandekx tistenna li tittestja kull mudell ġdid.
M: X’inhuma xi wħud mill-kriterji li tfittxu fil-membri tan-netwerk?
T: Xi wħud mill-kriterji li nfittxu huma:
Għarfien espert jew esperjenza ppruvati f’qasam partikolari rilevanti għar-red teaming
Passjoni għat-titjib tas-sikurezza tal-AI
Ebda kunflitt ta’ interess
Sfondi differenti u gruppi li tradizzjonalment mhumiex rappreżentati biżżejjed
Rappreżentanza ġeografika diversa
Ħeffa f’aktar minn lingwa waħda
Ħiliet tekniċi (mhux meħtieġa)
M: X’opportunitajiet oħra hemm biex nikkollabora fil-qasam tas-sikurezza?
T: Minbarra li tingħaqad man-netwerk, hemm opportunitajiet oħra ta’ kollaborazzjoni biex tikkontribwixxi għas-sikurezza tal-AI. Pereżempju, tista’ tfassal jew twettaq evalwazzjonijiet tas-sikurezza fuq sistemi tal-AI u tanalizza r-riżultati.
Ir-repożitorju b’sors miftuħ ta’ OpenAI, Evals(jinfetaħ f’tieqa ġdida) (ippubblikat bħala parti mit-tnedija ta’ GPT‑4), joffri mudelli lesti faċli biex jintużaw u eżempji ta’ metodi biex jgħinuk tibda dan il-proċess.
L-evalwazzjonijiet jistgħu jvarjaw minn testijiet sempliċi ta’ mistoqsijiet u tweġibiet sa simulazzjonijiet aktar kumplessi. Bħala eżempji konkreti, dawn huma xi evalwazzjonijiet żviluppati minn OpenAI biex jevalwaw l-imġiba tal-AI minn diversi angoli:
Persważjoni
MakeMeSay(jinfetaħ f’tieqa ġdida): Kemm hi kapaċi sistema tal-AI tqarraq b’sistema oħra tal-AI biex iġġegħelha tgħid kelma sigrieta?
MakeMePay(jinfetaħ f’tieqa ġdida): Kemm hi kapaċi sistema tal-AI tikkonvinċi sistema oħra tal-AI biex tagħti flus bħala donazzjoni?
Proposta għall-Vot(jinfetaħ f’tieqa ġdida): Kemm hi kapaċi sistema tal-AI tinfluwenza l-appoġġ ta’ sistema oħra tal-AI għal proposta politika?
Steganografija (messaġġi moħbija)
Steganografija(jinfetaħ f’tieqa ġdida): Kemm hi kapaċi sistema tal-AI tgħaddi messaġġi sigrieti mingħajr ma tinkixef minn sistema oħra tal-AI?
Kompressjoni tat-Test(jinfetaħ f’tieqa ġdida): Kemm hi kapaċi sistema tal-AI tikkompressa u tiddekompressa messaġġi biex tippermetti li jinħbew messaġġi sigrieti?
Punt ta’ Schelling(jinfetaħ f’tieqa ġdida): Kemm hi kapaċi sistema tal-AI tikkoordina ma’ sistema oħra tal-AI mingħajr komunikazzjoni diretta?
Inħeġġu l-kreattività u l-esperimentazzjoni fl-evalwazzjoni tas-sistemi tal-AI. Meta tkun lesta, nistiednuk iżżid l-evalwazzjoni tiegħek mar-repożitorju b’sors miftuħ Evals(jinfetaħ f’tieqa ġdida) biex tkun tista’ tintuża mill-komunità usa’ tal-AI.
Tista’ wkoll tapplika għall-Programm ta’ Aċċess għar-Riċerkaturi tagħna, li jipprovdi krediti biex jappoġġja riċerkaturi li jużaw il-prodotti tagħna biex jistudjaw oqsma marbuta mal-introduzzjoni responsabbli tal-AI fl-użu u mat-tnaqqis tar-riskji assoċjati.
Noti ta’ qiegħ il-paġna
- A
It-terminu red teaming intuża biex ikopri firxa wiesgħa ta’ metodi għall-valutazzjoni tar-riskji tas-sistemi tal-AI, fosthom l-identifikazzjoni kwalitattiva tal-kapaċitajiet, l-ittestjar tal-miżuri ta’ mitigazzjoni taħt pressjoni, red teaming awtomatizzat permezz ta’ mudelli tal-lingwa, u l-għoti ta’ feedback dwar il-livell ta’ riskju ta’ vulnerabbiltà partikolari, eċċ. Biex innaqqsu l-konfużjoni marbuta mat-terminu “tim ta’ red teaming”, ngħinu lil min jaqra dwar il-metodi tagħna jqegħedhom aħjar fil-kuntest u jifhimhom, u speċjalment biex nevitaw li nagħtu sens falz ta’ sigurtà, qed naħdmu biex nadottaw terminoloġija aktar ċara, kif irrakkomandat f’Khlaaf, 2023(jinfetaħ f’tieqa ġdida). Madankollu, għal raġunijiet ta’ sempliċità u biex nużaw lingwaġġ konsistenti ma’ dak li użajna mal-kollaboraturi tagħna, nużaw it-terminu “tim ta’ red teaming”.
- B
- C
Irċevejna wkoll feedback dwar il-profil tar-riskju tas-sistemi tagħna permezz ta’ mezzi oħra, bħall-Programm Bug Bounty u l-Konkors ta’ Feedback dwar ChatGPT.


