Tengslanet rauðteyma OpenAI

Við auglýsum nú eftir umsóknum í tengslanet rauðteyma OpenAI og bjóðum sérfræðingum sem hafa áhuga á að auka öryggi líkana OpenAI að taka þátt í starfinu. Við leitum að sérfræðingum á ýmsum sviðum til að vinna með okkur að ítarlegu mati og prófunum rauðteyma á gervigreindarlíkönum okkar.

Starf rauðteyma^A er óaðskiljanlegur hluti af innleiðingarferli okkar í endurteknum skrefum⁠. Á undanförnum árum hefur starf rauðteyma okkar þróast frá því að beinast að innanhússprófunum hjá OpenAI, þar sem reynt var að finna veikleika, yfir í samstarf við hóp utanaðkomandi sérfræðinga^B. Þeir aðstoða við að þróa flokkunarkerfi fyrir áhættu á tilteknum sviðum og meta getu nýrra kerfa sem gæti valdið skaða. Þú getur lesið meira um fyrra starf rauðteyma okkar, þar á meðal samstarf við utanaðkomandi sérfræðinga, við líkön á borð við DALL·E 2⁠(opnast í nýjum glugga) og GPT‑4⁠(opnast í nýjum glugga).^C

Í dag hefjum við formlegra starf sem byggir á þessum grunni og miðar að því að dýpka og víkka samstarf okkar við utanaðkomandi sérfræðinga til að gera líkön okkar öruggari. Samstarf við einstaka sérfræðinga, rannsóknastofnanir og samtök borgaralegs samfélags er mikilvægur hluti af ferli okkar. Við lítum á þetta starf sem viðbót við stjórnarhætti sem utanaðkomandi aðilar skilgreina, svo sem úttektir óháðra aðila.

Tengslanet rauðteyma OpenAI er samfélag traustra og reyndra sérfræðinga sem geta veitt víðtækari stuðning við áhættumat okkar og mótvægisaðgerðir. Það kemur í stað þess að leita til sérfræðinga í stök verkefni og velja þá sérstaklega fyrir hverja stóra innleiðingu líkana. Meðlimir tengslanetsins verða kallaðir til eftir sérþekkingu sinni til að aðstoða við prófanir rauðteyma á ýmsum stigum þróunarferlis líkana og vara. Ekki munu allir meðlimir koma að hverju nýju líkani eða hverri nýrri vöru. Samið verður við hvern og einn um tímaframlag, sem gæti verið allt niður í 5–10 klukkustundir á ári.

Utan prófunarlota rauðteyma á vegum OpenAI gefst meðlimum kostur á að ræða saman um almennar aðferðir og niðurstöður rauðteyma. Markmiðið er að fá fjölbreyttara og stöðugra framlag og gera starf rauðteyma að ferli sem er endurtekið og endurbætt jafnt og þétt. Tengslanetið er viðbót við önnur tækifæri til samstarfs um öryggi gervigreindar, þar á meðal aðgangsáætlun okkar fyrir rannsakendur⁠ og matsaðferðir með opnum hugbúnaði⁠(opnast í nýjum glugga).

Tengslanetið býður upp á einstakt tækifæri til að móta þróun öruggari gervigreindartækni og stefnu á því sviði, sem og áhrif gervigreindar á líf okkar, störf og samskipti. Með því að ganga í tengslanetið verðurðu hluti af hópi sérfræðinga okkar sem hægt er að kalla til við mat á líkönum og kerfum á ýmsum stigum innleiðingar þeirra.

Mat á gervigreindarkerfum krefst skilnings á fjölmörgum sviðum, ólíkum sjónarhornum og lífsreynslu. Við bjóðum sérfræðingum hvaðanæva að úr heiminum að sækja um og leggjum áherslu á fjölbreytni bæði í landfræðilegum uppruna og sérsviðum þegar við veljum þátttakendur. 

Meðal sviða sem við höfum áhuga á eru:

Ekki er krafist fyrri reynslu af gervigreindarkerfum eða tungumálalíkönum, en hún getur komið að gagni. Það sem við metum mest er vilji þinn til að taka þátt og leggja þitt sjónarhorn til mats okkar á áhrifum gervigreindarkerfa.

Allir meðlimir tengslanets rauðteyma OpenAI fá greitt fyrir framlag sitt þegar þeir taka þátt í verkefnum rauðteyma. Aðild að tengslanetinu takmarkar ekki möguleika þína á að birta rannsóknir þínar eða nýta önnur tækifæri. Þú ættir þó að hafa í huga að þátttaka í rauðteymum og öðrum verkefnum er oft háð trúnaðarsamningum eða bundin trúnaði um óákveðinn tíma.

Umsóknarfrestur er nú liðinn.

Spurning: Hvað felst í aðild að tengslanetinu?

Svar: Aðild að tengslanetinu þýðir að við gætum haft samband við þig með tækifæri til að prófa nýtt líkan eða kanna tiltekið svið í líkani sem þegar er í notkun. Vinna á vegum tengslanetsins er háð trúnaðarsamningi (NDA), þótt við höfum hingað til birt margar niðurstöður rauðteyma okkar í kerfislýsingum og bloggfærslum. Þú færð greitt fyrir þann tíma sem þú ver í verkefni rauðteyma.

Spurning: Hve mikinn tíma er ætlast til að meðlimir verji í tengslanetið? 

Svar: Hægt er að laga tímann sem þú ákveður að leggja af mörkum að þinni dagskrá. Athugaðu að ekki verður haft samband við alla meðlimi tengslanetsins vegna hvers verkefnis. OpenAI velur þá sem henta best í tiltekið verkefni rauðteymis og leggur áherslu á ný sjónarhorn í síðari prófunarlotum rauðteyma. Jafnvel aðeins 5 klukkustundir á ári væru okkur dýrmætar, svo ekki hika við að sækja um ef þú hefur áhuga en lítinn tíma aflögu.

Spurning: Hvenær fá umsækjendur að vita hvort þeir hafi fengið aðild?

Svar: OpenAI mun velja meðlimi tengslanetsins jafnóðum og hægt er að sækja um til 1. desember 2023. Að umsóknarfrestinum liðnum munum við meta hvort opnað verði aftur fyrir umsóknir síðar.

Spurning: Þýðir aðild að tengslanetinu að ég verði beðin(n) um að taka þátt í prófunum rauðteyma á hverju nýju líkani?

Svar: Nei, OpenAI velur þá sem henta best í tiltekið verkefni rauðteymis og þú ættir ekki að búast við að prófa hvert nýtt líkan.

Spurning: Hvaða eiginleikum leitið þið að hjá meðlimum tengslanetsins?

Svar: Meðal þess sem við horfum til er:

• Sannanleg sérþekking eða reynsla á tilteknu sviði sem nýtist í starfi rauðteyma

• Brennandi áhugi á að auka öryggi gervigreindar

• Engir hagsmunaárekstrar

• Fjölbreyttur bakgrunnur og aðild að hópum sem hafa jafnan átt fáa fulltrúa

• Fulltrúar frá fjölbreyttum landsvæðum 

• Gott vald á fleiri en einu tungumáli

• Tæknifærni (ekki skilyrði)

Spurning: Hvaða önnur tækifæri eru til samstarfs um öryggi?

Svar: Auk aðildar að tengslanetinu eru önnur tækifæri til að leggja sitt af mörkum til öryggis gervigreindar í samstarfi við okkur. Til dæmis er hægt að hanna eða framkvæma öryggismat á gervigreindarkerfum og greina niðurstöðurnar.

Evals⁠(opnast í nýjum glugga)-geymsla OpenAI með opnum hugbúnaði, sem var gefin út samhliða útgáfu GPT‑4⁠, býður upp á notendavæn sniðmát og dæmi um aðferðir til að koma þessu ferli af stað.

Matið getur verið allt frá einföldum prófum með spurningum og svörum til flóknari hermilíkana. Hér eru nokkur áþreifanleg dæmi um matsaðferðir sem OpenAI hefur þróað til að meta hegðun gervigreindar frá ýmsum sjónarhornum:

Sannfæring

• MakeMeSay⁠(opnast í nýjum glugga): Hversu vel getur gervigreindarkerfi platað annað gervigreindarkerfi til að segja leyniorð?

• MakeMePay⁠(opnast í nýjum glugga): Hversu vel getur gervigreindarkerfi sannfært annað gervigreindarkerfi um að gefa fé?

• Tillaga til atkvæðagreiðslu⁠(opnast í nýjum glugga): Hversu vel getur gervigreindarkerfi haft áhrif á stuðning annars gervigreindarkerfis við pólitíska tillögu?

Hulduritun (falin skilaboð)

• Hulduritun⁠(opnast í nýjum glugga): Hversu vel getur gervigreindarkerfi komið leynilegum skilaboðum áleiðis án þess að annað gervigreindarkerfi komist að því?

• Textaþjöppun⁠(opnast í nýjum glugga): Hversu vel getur gervigreindarkerfi þjappað skilaboðum og afþjappað þeim svo hægt sé að fela leynileg skilaboð?

• Schelling-punktur⁠(opnast í nýjum glugga): Hversu vel getur gervigreindarkerfi samhæft aðgerðir sínar við annað gervigreindarkerfi án beinna samskipta?

Við hvetjum til sköpunar og tilrauna við mat á gervigreindarkerfum. Þegar matsaðferðin er tilbúin er þér velkomið að bæta henni við Evals⁠(opnast í nýjum glugga)-geymsluna með opnum hugbúnaði svo gervigreindarsamfélagið geti nýtt sér hana.

Þú getur einnig sótt um í aðgangsáætlun okkar fyrir rannsakendur⁠, sem veitir inneignir til stuðnings rannsakendum sem nota vörur okkar til að rannsaka ábyrga innleiðingu gervigreindar og leiðir til að draga úr tengdri áhættu.