OpenAI lööktestimise võrgustik

Kuulutame välja avatud konkursi OpenAI lööktestimise võrgustikuga liitumiseks ning kutsume koostööle eri valdkondade eksperte, kes soovivad aidata muuta OpenAI mudeleid ohutumaks. Otsime eri valdkondade eksperte, et teha koostööd meie tehisintellektimudelite põhjalikul hindamisel ja lööktestimisel.

Lööktestimine^A on meie iteratiivse kasutuselevõtuprotsessi⁠ lahutamatu osa. Viimaste aastate jooksul on meie lööktestimine laienenud OpenAI-siseselt vastandtestimiselt koostööle välisekspertidega^B, kes aitavad välja töötada valdkonnapõhiseid riskiliigitusi ja hinnata uute süsteemide potentsiaalselt kahjulikke võimeid. Meie varasema lööktestimise, sealhulgas välisekspertidega tehtud koostöö kohta saad lähemalt lugeda näiteks mudelite DALL·E 2⁠(avaneb uues aknas) ja GPT‑4⁠(avaneb uues aknas) materjalidest.^C

Täna alustame senisele kogemusele toetuvat ametlikumat algatust, et süvendada ja laiendada koostööd välisekspertidega ning muuta meie mudelid ohutumaks. Koostöö sõltumatute ekspertide, teadusasutuste ja kodanikuühiskonna organisatsioonidega on meie tööprotsessi oluline osa. Näeme seda tööd täiendusena väljastpoolt kehtestatud juhtimistavadele, näiteks kolmandate osapoolte audititele.

OpenAI lööktestimise võrgustik on usaldusväärsete ja kogenud ekspertide kogukond, mis saab toetada meie riskihindamist ja -maandamist laiemalt, mitte üksnes ühekordse kaasamise ja valikuprotsesside kaudu enne oluliste mudelite kasutuselevõttu. Võrgustiku liikmeid kaasatakse nende asjatundlikkuse põhjal lööktestimisse mudelite ja toodete arenduse elutsükli eri etappides. Kõiki liikmeid ei kaasata iga uue mudeli või toote juurde. Ajaline panus lepitakse iga liikmega eraldi kokku ning see võib olla vaid 5–10 tundi aastas.

Väljaspool OpenAI tellitud lööktestimise voorusid saavad liikmed omavahel arutada üldisi lööktestimise tavasid ja tulemusi. Eesmärk on saada mitmekesisemat ja pidevat sisendit ning muuta lööktestimine iteratiivsemaks protsessiks. Võrgustik täiendab teisi tehisintellekti ohutusega seotud koostöövõimalusi, sealhulgas meie teadlaste juurdepääsuprogrammi⁠ ja avatud lähtekoodiga hindamisi⁠(avaneb uues aknas).

Võrgustik pakub ainulaadset võimalust kujundada ohutumate tehisintellektitehnoloogiate ja põhimõtete väljatöötamist ning tehisintellekti võimalikku mõju sellele, kuidas me elame, töötame ja suhtleme. Võrgustikuga liitudes saad üheks meie valdkonnaekspertidest, keda võime kaasata oma mudelite ja süsteemide hindamisse nende kasutuselevõtu eri etappides.

Tehisintellektisüsteemide hindamine eeldab paljude valdkondade tundmist, erinevaid vaatenurki ja isiklikke elukogemusi. Ootame kandideerima eksperte kogu maailmast ning peame valikuprotsessis oluliseks nii geograafilist kui ka valdkondlikku mitmekesisust. 

Meid huvitavad muu hulgas järgmised valdkonnad:

Varasem kogemus tehisintellektisüsteemide või keelemudelitega pole nõutav, kuid võib kasuks tulla. Kõige enam hindame sinu valmisolekut kaasa lüüa ja tuua oma vaatenurk sellesse, kuidas me tehisintellektisüsteemide mõju hindame.

Kõik OpenAI lööktestimise võrgustiku liikmed saavad lööktestimise projektis osaledes oma panuse eest tasu. Kuigi võrgustiku liikmesus ei piira sinu võimalusi oma teadustööd avaldada ega teisi võimalusi kasutada, tuleb arvestada, et lööktestimises ja muudes projektides osalemisele kehtivad sageli konfidentsiaalsuslepingud (NDA-d) või jääb see tähtajatult konfidentsiaalseks.

Kandideerimine on lõppenud.

K: Mida võrgustikuga liitumine kaasa toob?

V: Võrgustiku liikmena võid saada kutse testida uut mudelit või mõnd huvipakkuvat valdkonda juba kasutusele võetud mudelil. Võrgustikus tehtavale tööle kehtib konfidentsiaalsusleping (NDA), kuigi oleme seni avaldanud palju oma lööktestimise tulemusi süsteemikaartides ja blogipostitustes. Lööktestimise projektidele kulutatud aja eest makstakse sulle tasu.

K: Kui palju aega võrgustikus osalemine eeldab? 

V: Saad panustatavat aega oma ajakava järgi kohandada. Pane tähele, et iga võimaluse puhul ei võeta ühendust kõigi võrgustiku liikmetega. OpenAI valib osalejad konkreetse lööktestimise projekti vajaduste järgi ning seab järgmistes lööktestimise voorudes esikohale uued vaatenurgad. Ka vaid 5 tundi aastas oleks meile väärtuslik panus, seega ära kõhkle kandideerimast, kui oled huvitatud, aga sul on vähe aega.

K: Millal saavad kandidaadid teada, kas nad on vastu võetud?

V: OpenAI valib võrgustiku liikmeid jooksvalt ning kandideerida saab kuni 1. detsembrini 2023. Pärast selle kandideerimisperioodi lõppu hindame uuesti, kas avada tulevikus uusi kandideerimisvoore.

K: Kas võrgustiku liikmena kutsutakse mind iga uut mudelit lööktestima?

V: Ei. OpenAI valib osalejad konkreetse lööktestimise projekti vajaduste järgi ning iga uue mudeli testimise võimalusega ei tasu arvestada.

K: Milliste kriteeriumide alusel võrgustiku liikmeid otsite?

V: Lähtume muu hulgas järgmistest kriteeriumidest:

• Tõendatud asjatundlikkus või kogemus mõnes lööktestimise seisukohalt olulises valdkonnas

• Suur huvi tehisintellekti ohutuse parandamise vastu

• Huvide konfliktide puudumine

• Erineva taustaga inimeste ja seni alaesindatud rühmade esindatus

• Eri geograafiliste piirkondade esindatus 

• Rohkem kui ühe keele ladus valdamine

• Tehnilised oskused (pole nõutavad)

K: Milliseid muid koostöövõimalusi on ohutuse parandamiseks?

V: Lisaks võrgustikuga liitumisele on tehisintellekti ohutusse panustamiseks ka muid koostöövõimalusi. Näiteks saab koostada või läbi viia tehisintellektisüsteemide ohutuse hindamisi ja analüüsida tulemusi.

OpenAI avatud lähtekoodiga Evalsi⁠(avaneb uues aknas) varamu, mis avaldati koos GPT‑4 turuletoomisega⁠, pakub alustamiseks kasutajasõbralikke malle ja näidismeetodeid.

Hindamised võivad ulatuda lihtsatest küsimuste ja vastuste testidest keerukamate simulatsioonideni. Siin on mõned konkreetsed näited OpenAI väljatöötatud hindamistest, millega saab tehisintellekti käitumist eri vaatenurkadest hinnata:

Veenmine

• MakeMeSay⁠(avaneb uues aknas): kui hästi suudab tehisintellektisüsteem meelitada teist tehisintellektisüsteemi ütlema salajast sõna?

• MakeMePay⁠(avaneb uues aknas): kui hästi suudab tehisintellektisüsteem veenda teist tehisintellektisüsteemi raha annetama?

• Hääletusettepanek⁠(avaneb uues aknas): kui hästi suudab tehisintellektisüsteem mõjutada teise tehisintellektisüsteemi toetust poliitilisele ettepanekule?

Steganograafia (peidetud sõnumite edastamine)

• Steganograafia⁠(avaneb uues aknas): kui hästi suudab tehisintellektisüsteem edastada salajasi sõnumeid nii, et teine tehisintellektisüsteem seda ei avasta?

• Teksti tihendamine⁠(avaneb uues aknas): kui hästi suudab tehisintellektisüsteem sõnumeid tihendada ja lahti pakkida, et võimaldada salajaste sõnumite peitmist?

• Schellingi punkt⁠(avaneb uues aknas): kui hästi suudab tehisintellektisüsteem oma tegevust teise tehisintellektisüsteemiga koordineerida ilma vahetu suhtluseta?

Julgustame tehisintellektisüsteemide hindamisel loovust ja katsetamist. Kui sinu hindamine on valmis, ootame sind seda avatud lähtekoodiga Evalsi⁠(avaneb uues aknas) varamusse lisama, et ka laiem tehisintellektikogukond saaks seda kasutada.

Võid kandideerida ka meie teadlaste juurdepääsuprogrammi⁠, mis pakub krediite teadlastele, kes kasutavad meie tooteid tehisintellekti vastutustundliku kasutuselevõtu ja sellega seotud riskide maandamise uurimiseks.