Rețeaua de red teaming OpenAI

Anunțăm deschiderea înscrierilor în rețeaua de red teaming OpenAI și invităm experții interesați să îmbunătățească siguranța modelelor OpenAI să se alăture eforturilor noastre. Căutăm experți din diverse domenii care să colaboreze cu noi la evaluarea riguroasă și testarea prin red teaming a modelelor noastre de IA.

Activitatea de red teaming^A este o parte integrantă a procesului nostru de implementare iterativă⁠. În ultimii ani, eforturile noastre de red teaming s-au extins de la testarea adversarială internă la OpenAI la colaborarea cu un grup de experți externi^B, pentru a contribui la dezvoltarea unor taxonomii ale riscurilor specifice fiecărui domeniu și la evaluarea capabilităților potențial dăunătoare ale noilor sisteme. Poți citi mai multe despre eforturile noastre anterioare de red teaming, inclusiv despre colaborările cu experți externi, pentru modele precum DALL·E 2⁠(se deschide într-o fereastră nouă) și GPT‑4⁠(se deschide într-o fereastră nouă).^C

Astăzi lansăm o inițiativă mai formală, care pornește de la aceste baze și urmărește să aprofundeze și să extindă colaborările cu experți externi, pentru a ne face modelele mai sigure. Colaborarea cu experți independenți, instituții de cercetare și organizații ale societății civile reprezintă o parte importantă a procesului nostru. Considerăm că această activitate completează practicile de guvernanță stabilite din exterior, precum auditurile efectuate de terți.

Rețeaua de red teaming OpenAI este o comunitate de experți de încredere, cu experiență, care pot contribui mai amplu la eforturile noastre de evaluare și reducere a riscurilor, în locul colaborărilor punctuale și al proceselor de selecție desfășurate înaintea unor implementări majore de modele. Vom apela la membrii rețelei în funcție de expertiza lor, pentru a contribui la activitățile de red teaming în diverse etape ale ciclului de dezvoltare a modelelor și produselor. Nu toți membrii vor participa la fiecare model sau produs nou, iar timpul alocat va fi stabilit împreună cu fiecare membru în parte și poate fi de numai 5–10 ore pe an.

În afara campaniilor de red teaming solicitate de OpenAI, membrii vor avea ocazia să discute între ei despre practici și constatări generale din domeniul red teaming. Scopul este de a permite contribuții mai diverse și continue și de a face din red teaming un proces mai iterativ. Această rețea completează alte oportunități de colaborare pentru siguranța IA, inclusiv Programul de acces pentru cercetători⁠ și evaluările open-source⁠(se deschide într-o fereastră nouă).

Această rețea oferă o oportunitate unică de a contribui la dezvoltarea unor tehnologii și politici de IA mai sigure și de a influența impactul pe care IA îl poate avea asupra modului în care trăim, lucrăm și interacționăm. Alăturându-te acestei rețele, vei face parte din grupul nostru de experți de specialitate, la care putem apela pentru a ne evalua modelele și sistemele în mai multe etape ale implementării lor.

Evaluarea sistemelor de IA necesită înțelegerea unei game largi de domenii, perspective diverse și experiențe de viață. Invităm experți din întreaga lume să se înscrie și acordăm prioritate atât diversității geografice, cât și celei a domeniilor de expertiză în procesul de selecție. 

Printre domeniile care ne interesează se numără, fără a ne limita la acestea:

Experiența anterioară cu sisteme de IA sau modele lingvistice nu este obligatorie, dar poate fi utilă. Ceea ce apreciem cel mai mult este dorința ta de a te implica și de a contribui cu propria perspectivă la modul în care evaluăm impactul sistemelor de IA.

Toți membrii rețelei de red teaming OpenAI vor fi remunerați pentru contribuțiile lor atunci când participă la un proiect de red teaming. Deși apartenența la această rețea nu te va împiedica să îți publici cercetările sau să explorezi alte oportunități, trebuie să ai în vedere că participarea la activități de red teaming și la alte proiecte este adesea supusă unor acorduri de confidențialitate (NDA) sau rămâne confidențială pe o perioadă nedeterminată.

Înscrierile s-au încheiat.

Î: Ce presupune aderarea la rețea?

R: Ca membru al rețelei, este posibil să te contactăm pentru a-ți oferi ocazia de a testa un model nou sau un anumit aspect al unui model deja implementat. Activitatea din cadrul rețelei se desfășoară în baza unui acord de confidențialitate (NDA), deși, în trecut, am publicat multe dintre constatările noastre de red teaming în fișe de sistem și articole pe blog. Vei primi o remunerație pentru timpul dedicat proiectelor de red teaming.

Î: Cât timp trebuie să aloc ca membru al rețelei? 

R: Timpul pe care decizi să îl aloci poate fi ajustat în funcție de programul tău. Reține că nu toți membrii rețelei vor fi contactați pentru fiecare oportunitate. OpenAI va selecta persoanele potrivite pentru fiecare proiect de red teaming și va pune accentul pe perspective noi în campaniile ulterioare de red teaming. Chiar și numai 5 ore pe an ne-ar fi de folos, așa că nu ezita să te înscrii dacă te interesează, dar ai puțin timp la dispoziție.

Î: Când vor fi anunțați candidații că au fost acceptați?

R: OpenAI va selecta membrii rețelei pe măsură ce primește candidaturile, iar înscrierile sunt deschise până pe 1 decembrie 2023. După această perioadă, vom reevalua posibilitatea de a deschide noi sesiuni de înscriere.

Î: Dacă fac parte din rețea, voi fi invitat să testez prin red teaming fiecare model nou?

R: Nu. OpenAI va selecta persoanele potrivite pentru fiecare proiect de red teaming, așa că nu ar trebui să te aștepți să testezi fiecare model nou.

Î: Care sunt câteva dintre criteriile de selecție a membrilor rețelei?

R: Printre criteriile pe care le urmărim se numără:

• Expertiză sau experiență dovedită într-un anumit domeniu relevant pentru red teaming

• Pasiune pentru îmbunătățirea siguranței IA

• Absența conflictelor de interese

• Proveniență din medii diverse și din grupuri în mod tradițional subreprezentate

• Reprezentare geografică diversă 

• Cunoașterea fluentă a mai multor limbi

• Competențe tehnice (nu sunt obligatorii)

Î: Ce alte oportunități de colaborare în domeniul siguranței există?

R: Pe lângă aderarea la rețea, există și alte oportunități de colaborare pentru a contribui la siguranța IA. De exemplu, o opțiune este să concepi sau să realizezi evaluări ale siguranței sistemelor de IA și să analizezi rezultatele.

Depozitul open-source Evals⁠(se deschide într-o fereastră nouă) al OpenAI (publicat odată cu lansarea GPT‑4⁠) oferă șabloane ușor de utilizat și exemple de metode pentru a facilita primii pași în acest proces.

Evaluările pot varia de la teste simple cu întrebări și răspunsuri până la simulări mai complexe. Iată câteva exemple concrete de evaluări dezvoltate de OpenAI pentru a analiza comportamentul IA din mai multe perspective:

Persuasiune

• MakeMeSay⁠(se deschide într-o fereastră nouă): Cât de bine poate un sistem de IA să păcălească un alt sistem de IA să spună un cuvânt secret?

• MakeMePay⁠(se deschide într-o fereastră nouă): Cât de bine poate un sistem de IA să convingă un alt sistem de IA să doneze bani?

• Propunere supusă votului⁠(se deschide într-o fereastră nouă): Cât de bine poate un sistem de IA să influențeze sprijinul acordat de un alt sistem de IA unei propuneri politice?

Steganografie (mesaje ascunse)

• Steganografie⁠(se deschide într-o fereastră nouă): Cât de bine poate un sistem de IA să transmită mesaje secrete fără a fi detectat de un alt sistem de IA?

• Comprimarea textului⁠(se deschide într-o fereastră nouă): Cât de bine poate un sistem de IA să comprime și să decomprime mesaje, pentru a permite ascunderea unor mesaje secrete?

• Punctul Schelling⁠(se deschide într-o fereastră nouă): Cât de bine se poate coordona un sistem de IA cu un alt sistem de IA, fără comunicare directă?

Încurajăm creativitatea și experimentarea în evaluarea sistemelor de IA. După ce finalizezi evaluarea, te invităm să o adaugi în depozitul open-source Evals⁠(se deschide într-o fereastră nouă), pentru a putea fi folosită de întreaga comunitate IA.

De asemenea, te poți înscrie în Programul de acces pentru cercetători⁠, care oferă credite pentru a sprijini cercetătorii ce folosesc produsele noastre pentru a studia domenii legate de implementarea responsabilă a IA și reducerea riscurilor asociate.