Mreža OpenAI za simulirano iskanje šibkih točk v nadzorovanem okolju

Objavljamo javni poziv za vključitev v mrežo OpenAI za simulirano iskanje šibkih točk v nadzorovanem okolju. Strokovnjake, ki želijo izboljšati varnost modelov OpenAI, vabimo, da se nam pridružijo pri teh prizadevanjih. Iščemo strokovnjake z različnih področij, ki bi z nami sodelovali pri temeljitem vrednotenju naših modelov umetne inteligence in simuliranem iskanju njihovih šibkih točk v nadzorovanem okolju.

Simulirano iskanje šibkih točk v nadzorovanem okolju^A je sestavni del našega iterativnega procesa uvajanja⁠. V zadnjih nekaj letih smo simulirano iskanje šibkih točk v nadzorovanem okolju razširili: sprva smo se osredotočali na interno nasprotniško preizkušanje pri OpenAI, zdaj pa sodelujemo tudi s skupino zunanjih strokovnjakov^B, ki pomagajo razvijati klasifikacije tveganj za posamezna področja in ocenjevati potencialno škodljive zmožnosti novih sistemov. Več o našem dosedanjem simuliranem iskanju šibkih točk v nadzorovanem okolju, vključno s preteklim sodelovanjem z zunanjimi strokovnjaki, lahko preberete v gradivih o modelih, kot sta DALL·E 2⁠(odpre se v novem oknu) in GPT‑4⁠(odpre se v novem oknu).^C

Danes začenjamo bolj formalno pobudo, s katero bomo nadgradili te temelje ter poglobili in razširili sodelovanje z zunanjimi strokovnjaki, da bi bili naši modeli varnejši. Sodelovanje s posameznimi strokovnjaki, raziskovalnimi ustanovami in organizacijami civilne družbe je pomemben del našega procesa. To delo razumemo kot dopolnitev zunanje določenih praks upravljanja, kot so neodvisne revizije.

Mreža OpenAI za simulirano iskanje šibkih točk v nadzorovanem okolju je skupnost zaupanja vrednih in izkušenih strokovnjakov, ki lahko širše prispevajo k našim prizadevanjem za ocenjevanje in zmanjševanje tveganj. Tako sodelovanje presega enkratna sodelovanja in izbirne postopke pred pomembnejšimi uvedbami modelov. Člane mreže bomo glede na njihovo strokovno znanje vabili k sodelovanju pri simuliranem iskanju šibkih točk v nadzorovanem okolju v različnih fazah razvojnega življenjskega cikla modelov in izdelkov. Vsak član ne bo sodeloval pri vsakem novem modelu ali izdelku. O obsegu sodelovanja se bomo dogovorili z vsakim članom posebej; znaša lahko tudi zgolj 5–10 ur na leto.

Člani bodo lahko tudi zunaj preizkusov simuliranega iskanja šibkih točk v nadzorovanem okolju, ki jih naroči OpenAI, med seboj izmenjevali splošne prakse in ugotovitve tovrstnega iskanja. Cilj je omogočiti bolj raznolike in stalne prispevke ter simulirano iskanje šibkih točk v nadzorovanem okolju oblikovati v bolj iterativen proces. Ta mreža dopolnjuje druge možnosti sodelovanja na področju varnosti umetne inteligence, vključno z našim programom dostopa za raziskovalce⁠ in odprtokodnimi vrednotenji⁠(odpre se v novem oknu).

Ta mreža ponuja edinstveno priložnost za sooblikovanje razvoja varnejših tehnologij umetne inteligence in politik na tem področju ter vpliva, ki ga ima lahko umetna inteligenca na naš način življenja, dela in medsebojnega sporazumevanja. Z vključitvijo v mrežo boste postali del naše skupine področnih strokovnjakov, ki jih lahko povabimo k ocenjevanju naših modelov in sistemov v različnih fazah njihovega uvajanja.

Ocenjevanje sistemov umetne inteligence zahteva razumevanje številnih področij, raznolikih pogledov in življenjskih izkušenj. K prijavi vabimo strokovnjake z vsega sveta, pri izboru pa dajemo prednost tako geografski kot področni raznolikosti. 

Med drugim nas zanimajo naslednja področja:

Predhodne izkušnje s sistemi umetne inteligence ali jezikovnimi modeli niso potrebne, so pa lahko koristne. Najbolj cenimo vašo pripravljenost za sodelovanje in prispevanje lastnega pogleda k našemu ocenjevanju vplivov sistemov umetne inteligence.

Vsi člani mreže OpenAI za simulirano iskanje šibkih točk v nadzorovanem okolju bodo za svoj prispevek pri sodelovanju v projektih simuliranega iskanja šibkih točk v nadzorovanem okolju prejeli plačilo. Članstvo v tej mreži vas ne bo omejevalo pri objavljanju raziskav ali iskanju drugih priložnosti. Vseeno upoštevajte, da za sodelovanje pri simuliranem iskanju šibkih točk v nadzorovanem okolju in drugih projektih pogosto veljajo sporazumi o nerazkritju informacij (NDA) ali obveznost varovanja zaupnosti za nedoločen čas.

Prijave so zaključene.

V: Kaj pomeni sodelovanje v mreži?

O: Kot člana mreže vas lahko obvestimo o priložnostih za preizkušanje novega modela ali preizkušanje določenega področja pri modelu, ki je že v uporabi. Za delo v okviru mreže velja sporazum o nerazkritju informacij (NDA), čeprav smo v preteklosti številne ugotovitve simuliranega iskanja šibkih točk v nadzorovanem okolju objavili v sistemskih karticah in blogovskih objavah. Za čas, namenjen projektom simuliranega iskanja šibkih točk v nadzorovanem okolju, boste prejeli plačilo.

V: Koliko časa naj bi namenili sodelovanju v mreži? 

O: Obseg sodelovanja lahko prilagodite svoji razpoložljivosti. Upoštevajte, da k vsaki priložnosti ne bomo povabili vseh članov mreže. OpenAI bo sodelujoče izbiral glede na njihovo ustreznost za posamezen projekt simuliranega iskanja šibkih točk v nadzorovanem okolju, pri nadaljnjih tovrstnih preizkusih pa bo poudarek na novih pogledih. Tudi zgolj 5 ur na leto bi nam veliko pomenilo, zato se brez zadržkov prijavite, če vas sodelovanje zanima, a imate malo časa.

V: Kdaj bodo prijavljeni obveščeni o sprejemu?

O: OpenAI bo člane mreže izbiral sproti, prijavite pa se lahko do 1. decembra 2023. Po zaključku tega prijavnega obdobja bomo znova preučili možnosti za prihodnje prijave.

V: Ali članstvo v mreži pomeni, da bom povabljen k simuliranemu iskanju šibkih točk v nadzorovanem okolju pri vsakem novem modelu?

O: Ne. OpenAI bo sodelujoče izbiral glede na njihovo ustreznost za posamezen projekt simuliranega iskanja šibkih točk v nadzorovanem okolju, zato ne pričakujte, da boste preizkušali vsak nov model.

V: Katera merila upoštevate pri izbiri članov mreže?

O: Med merili, ki jih upoštevamo, so:

• Izkazano strokovno znanje ali izkušnje na področju, pomembnem za simulirano iskanje šibkih točk v nadzorovanem okolju

• Zavzetost za izboljšanje varnosti umetne inteligence

• Odsotnost nasprotij interesov

• Raznolikost okolij, iz katerih prihajajo člani, in zastopanost tradicionalno premalo zastopanih skupin

• Geografska raznolikost 

• Tekoče znanje več kot enega jezika

• Tehnično znanje (ni obvezno)

V: Katere druge možnosti sodelovanja na področju varnosti so na voljo?

O: Poleg vključitve v mrežo obstajajo tudi druge možnosti sodelovanja, s katerimi lahko prispevate k varnosti umetne inteligence. Ena od možnosti je denimo priprava ali izvajanje varnostnih vrednotenj sistemov umetne inteligence in analiza rezultatov.

Odprtokodni repozitorij OpenAI Evals⁠(odpre se v novem oknu) (objavljen ob predstavitvi GPT‑4⁠) ponuja uporabniku prijazne predloge in primere metod, ki vam olajšajo začetek.

Vrednotenja lahko segajo od preprostih preizkusov z vprašanji in odgovori do bolj zapletenih simulacij. Tukaj je nekaj konkretnih primerov vrednotenj, ki jih je OpenAI razvil za ocenjevanje vedenja umetne inteligence z različnih vidikov:

Prepričevanje

• MakeMeSay⁠(odpre se v novem oknu): Kako uspešno lahko sistem umetne inteligence z ukano pripravi drug sistem umetne inteligence do tega, da izreče skrivno besedo?

• MakeMePay⁠(odpre se v novem oknu): Kako uspešno lahko sistem umetne inteligence prepriča drug sistem umetne inteligence, naj donira denar?

• Predlog za glasovanje⁠(odpre se v novem oknu): Kako uspešno lahko sistem umetne inteligence vpliva na to, ali drug sistem umetne inteligence podpira politični predlog?

Steganografija (prikrito sporočanje)

• Steganografija⁠(odpre se v novem oknu): Kako uspešno lahko sistem umetne inteligence prenaša skrivna sporočila, ne da bi ga drug sistem umetne inteligence pri tem odkril?

• Stiskanje besedila⁠(odpre se v novem oknu): Kako uspešno lahko sistem umetne inteligence stiska in razširja sporočila, da omogoči skrivanje skrivnih sporočil?

• Schellingova točka⁠(odpre se v novem oknu): Kako uspešno se lahko sistem umetne inteligence usklajuje z drugim sistemom umetne inteligence brez neposrednega sporazumevanja?

Pri vrednotenju sistemov umetne inteligence spodbujamo ustvarjalnost in eksperimentiranje. Ko vrednotenje dokončate, vas vabimo, da ga prispevate v odprtokodni repozitorij Evals⁠(odpre se v novem oknu), kjer ga bo lahko uporabljala širša skupnost na področju umetne inteligence.

Prijavite se lahko tudi v naš program dostopa za raziskovalce⁠, ki s točkami podpira raziskovalce, ki z našimi izdelki preučujejo področja, povezana z odgovornim uvajanjem umetne inteligence in zmanjševanjem s tem povezanih tveganj.