OpenAI mreža za red teaming

Objavljujemo javni poziv za OpenAI mrežu za red teaming i pozivamo stručnjake zainteresirane za unapređenje sigurnosti modela kompanije OpenAI da nam se pridruže. Tražimo stručnjake iz različitih oblasti koji će s nama sarađivati na rigoroznoj evaluaciji i red teamingu naših AI modela.

Red teaming^A sastavni je dio našeg iterativnog procesa uvođenja u upotrebu⁠. Tokom proteklih nekoliko godina naš rad na red teamingu proširio se s internog adversarijalnog testiranja u kompaniji OpenAI na saradnju s grupom vanjskih stručnjaka^B, koji pomažu u razvoju taksonomija rizika za pojedine oblasti i procjeni potencijalno štetnih sposobnosti novih sistema. Više o našem dosadašnjem radu na red teamingu, uključujući saradnju s vanjskim stručnjacima, možete pročitati u dokumentaciji za modele kao što su DALL·E 2⁠(otvara se u novom prozoru) i GPT‑4⁠(otvara se u novom prozoru).^C

Danas pokrećemo formalniju inicijativu kojom ćemo nadograditi ove temelje te produbiti i proširiti saradnju s vanjskim stručnjacima kako bismo naše modele učinili sigurnijim. Saradnja s pojedinačnim stručnjacima, istraživačkim ustanovama i organizacijama civilnog društva važan je dio našeg procesa. Ovaj rad vidimo kao dopunu praksama upravljanja koje se definiraju izvan naše organizacije, poput revizija koje provode treće strane.

OpenAI mreža za red teaming zajednica je pouzdanih i iskusnih stručnjaka koji mogu pružiti širi doprinos našoj procjeni i ublažavanju rizika, umjesto jednokratnih angažmana i postupaka odabira prije uvođenja važnih modela u upotrebu. Članove mreže pozivat ćemo na osnovu njihove stručnosti da pomognu u red teamingu u različitim fazama životnog ciklusa razvoja modela i proizvoda. Neće svaki član učestvovati u radu na svakom novom modelu ili proizvodu. Vrijeme angažmana dogovarat ćemo sa svakim članom pojedinačno, a ono može iznositi svega 5–10 sati godišnje.

Izvan kampanja red teaminga koje naručuje OpenAI, članovi će imati priliku međusobno razmjenjivati iskustva o općim praksama i nalazima red teaminga. Cilj je omogućiti raznovrsniji i kontinuiran doprinos te red teaming učiniti procesom koji se češće ponavlja i unapređuje. Ova mreža dopunjuje druge mogućnosti saradnje na sigurnosti AI-ja, uključujući naš Program pristupa za istraživače⁠ i evaluacije otvorenog koda⁠(otvara se u novom prozoru).

Ova mreža pruža jedinstvenu priliku da oblikujete razvoj sigurnijih AI tehnologija i politika, kao i utjecaj koji AI može imati na način na koji živimo, radimo i komuniciramo. Pridruživanjem ovoj mreži postajete dio našeg kruga stručnjaka koje možemo pozvati da procijene naše modele i sisteme u različitim fazama njihovog uvođenja u upotrebu.

Procjena AI sistema zahtijeva razumijevanje širokog spektra oblasti, različitih perspektiva i životnih iskustava. Pozivamo stručnjake iz cijelog svijeta da se prijave, a pri odabiru dajemo prednost geografskoj raznolikosti i raznovrsnosti stručnih oblasti. 

Neke od oblasti koje nas zanimaju uključuju, ali nisu ograničene na:

Prethodno iskustvo s AI sistemima ili jezičkim modelima nije obavezno, ali može biti korisno. Najviše cijenimo vašu spremnost da se uključite i vlastitom perspektivom doprinesete našem načinu procjene utjecaja AI sistema.

Svi članovi OpenAI mreže za red teaming dobit će naknadu za svoj doprinos kada učestvuju u projektu red teaminga. Iako vas članstvo u ovoj mreži neće ograničavati u objavljivanju istraživanja ili prihvatanju drugih prilika, imajte na umu da učešće u red teamingu i drugim projektima često podliježe ugovorima o povjerljivosti (NDA) ili ostaje povjerljivo na neodređeno vrijeme.

Prijave su zatvorene.

P: Šta podrazumijeva pridruživanje mreži?

O: Članstvo u mreži znači da vas možemo kontaktirati radi testiranja novog modela ili ispitivanja određene oblasti na modelu koji je već u upotrebi. Rad u okviru mreže podliježe ugovoru o povjerljivosti (NDA), iako smo dosad mnoge nalaze red teaminga objavljivali u karticama sistema i na blogu. Dobit ćete naknadu za vrijeme provedeno na projektima red teaminga.

P: Koliko vremena se očekuje da članovi posvete mreži? 

O: Vrijeme koje odlučite posvetiti možete prilagoditi svom rasporedu. Imajte na umu da nećemo kontaktirati sve članove mreže za svaku priliku. OpenAI će birati članove prema tome koliko odgovaraju određenom projektu red teaminga, a u narednim kampanjama naglasak će biti na novim perspektivama. Čak bi nam i samo 5 sati godišnje bilo dragocjeno, zato se slobodno prijavite ako ste zainteresirani, ali imate malo vremena.

P: Kada će kandidati biti obaviješteni da su primljeni?

O: OpenAI će članove mreže birati kontinuirano, a prijaviti se možete do 1. decembra 2023. Nakon isteka ovog roka razmotrit ćemo mogućnost ponovnog otvaranja prijava.

P: Znači li članstvo u mreži da ću učestvovati u red teamingu svakog novog modela?

O: Ne. OpenAI će birati članove prema tome koliko odgovaraju određenom projektu red teaminga, pa ne trebate očekivati da ćete testirati svaki novi model.

P: Koji su neki od kriterija za odabir članova mreže?

O: Neki od kriterija koje uzimamo u obzir su:

• Dokazana stručnost ili iskustvo u određenoj oblasti relevantnoj za red teaming

• Snažna posvećenost unapređenju sigurnosti AI-ja

• Odsustvo sukoba interesa

• Različita iskustva i porijeklo te zastupljenost tradicionalno nedovoljno zastupljenih grupa

• Geografska raznolikost 

• Tečno poznavanje više od jednog jezika

• Tehničke vještine (nisu obavezne)

P: Koje druge mogućnosti postoje za saradnju na sigurnosti?

O: Osim pridruživanja mreži, postoje i druge mogućnosti za zajednički doprinos sigurnosti AI-ja. Naprimjer, možete osmisliti ili provesti sigurnosne evaluacije AI sistema i analizirati rezultate.

OpenAI repozitorij otvorenog koda Evals⁠(otvara se u novom prozoru) (objavljen prilikom predstavljanja modela GPT‑4⁠) nudi jednostavne predloške i primjere metoda koji olakšavaju početak ovog procesa.

Evaluacije mogu obuhvatati sve od jednostavnih testova s pitanjima i odgovorima do složenijih simulacija. Evo konkretnih primjera evaluacija koje je OpenAI razvio za procjenu ponašanja AI-ja iz različitih uglova:

Uvjeravanje

• MakeMeSay⁠(otvara se u novom prozoru): Koliko uspješno AI sistem može prevariti drugi AI sistem da izgovori tajnu riječ?

• MakeMePay⁠(otvara se u novom prozoru): Koliko uspješno AI sistem može uvjeriti drugi AI sistem da donira novac?

• Prijedlog za glasanje⁠(otvara se u novom prozoru): Koliko uspješno AI sistem može utjecati na podršku drugog AI sistema nekom političkom prijedlogu?

Steganografija (skrivena komunikacija)

• Steganografija⁠(otvara se u novom prozoru): Koliko uspješno AI sistem može prenositi tajne poruke, a da ga drugi AI sistem ne otkrije?

• Kompresija teksta⁠(otvara se u novom prozoru): Koliko uspješno AI sistem može komprimirati i dekomprimirati poruke kako bi omogućio skrivanje tajnih poruka?

• Schellingova tačka⁠(otvara se u novom prozoru): Koliko uspješno AI sistem može uskladiti djelovanje s drugim AI sistemom bez direktne komunikacije?

Potičemo kreativnost i eksperimentiranje pri evaluaciji AI sistema. Kada završite evaluaciju, pozivamo vas da je dodate u repozitorij otvorenog koda Evals⁠(otvara se u novom prozoru) kako bi je mogla koristiti šira AI zajednica.

Možete se prijaviti i za naš Program pristupa za istraživače⁠, koji dodjeljuje kredite za podršku istraživačima koji koriste naše proizvode za proučavanje odgovornog uvođenja AI-ja u upotrebu i ublažavanja povezanih rizika.