OpenAI testavimo spragoms nustatyti tinklas

Skelbiame atvirą kvietimą prisijungti prie OpenAI testavimo spragoms nustatyti tinklo ir kviečiame įvairių sričių ekspertus, norinčius didinti OpenAI modelių saugumą, prisidėti prie mūsų pastangų. Ieškome įvairių sričių ekspertų, kurie kartu su mumis nuodugniai vertintų mūsų DI modelius ir atliktų jų testavimą spragoms nustatyti.

Testavimas spragoms nustatyti^A yra neatsiejama mūsų iteracinio diegimo proceso⁠ dalis. Per pastaruosius kelerius metus mūsų testavimo spragoms nustatyti veikla išsiplėtė: nuo vidinių OpenAI bandymų, imituojančių priešiškus veiksmus, perėjome prie bendradarbiavimo su išorės ekspertais^B. Jie padeda kurti konkrečioms sritims skirtas rizikos klasifikacijas ir vertinti galimai žalingas naujų sistemų galimybes. Daugiau apie ankstesnę mūsų testavimo spragoms nustatyti veiklą, įskaitant bendradarbiavimą su išorės ekspertais testuojant tokius modelius kaip DALL·E 2⁠(atsidaro naujame lange) ir GPT‑4⁠(atsidaro naujame lange), galite perskaityti jų aprašuose.^C

Šiandien pradedame labiau formalizuotą iniciatyvą, kuri remsis šiuo įdirbiu ir padės gilinti bei plėsti bendradarbiavimą su išorės ekspertais, kad mūsų modeliai taptų saugesni. Bendradarbiavimas su pavieniais ekspertais, mokslinių tyrimų institucijomis ir pilietinės visuomenės organizacijomis yra svarbi mūsų darbo dalis. Šią veiklą laikome papildančia išorės nustatytas valdymo praktikas, pavyzdžiui, trečiųjų šalių auditus.

OpenAI testavimo spragoms nustatyti tinklas – tai patikimų ir patyrusių ekspertų bendruomenė, galinti plačiau prisidėti prie mūsų rizikos vertinimo ir mažinimo veiklos, neapsiribojant vienkartiniu bendradarbiavimu ir atrankomis prieš svarbius modelių diegimus. Tinklo nariai pagal savo kompetenciją bus kviečiami padėti atlikti testavimą spragoms nustatyti įvairiais modelių ir produktų kūrimo gyvavimo ciklo etapais. Ne kiekvienas narys dalyvaus kuriant kiekvieną naują modelį ar produktą. Veiklai skiriamas laikas bus derinamas individualiai – tai gali būti vos 5–10 valandų per metus.

Be OpenAI užsakytų testavimo spragoms nustatyti projektų, nariai galės tarpusavyje aptarti bendrąsias šio testavimo praktikas ir išvadas. Siekiame sudaryti sąlygas įvairesniam ir nuolatiniam ekspertų indėliui, o testavimą spragoms nustatyti paversti labiau iteraciniu procesu. Šis tinklas papildo kitas bendradarbiavimo DI saugumo srityje galimybes, įskaitant mūsų prieigos suteikimo tyrėjams programą⁠ ir atvirojo kodo vertinimo testus⁠(atsidaro naujame lange).

Šis tinklas suteikia unikalią galimybę prisidėti prie saugesnių DI technologijų kūrimo ir politikos formavimo bei daryti įtaką tam, kaip DI gali keisti mūsų gyvenimą, darbą ir bendravimą. Prisijungę prie šio tinklo tapsite mūsų sričių ekspertų grupės nariais ir galėsite būti kviečiami vertinti mūsų modelius bei sistemas įvairiais jų diegimo etapais.

Norint vertinti DI sistemas, reikia išmanyti įvairias sritis, suprasti skirtingus požiūrius ir asmeninę žmonių patirtį. Kviečiame ekspertus iš viso pasaulio teikti paraiškas, o atrankos metu pirmenybę teikiame geografinei ir kompetencijos sričių įvairovei. 

Mus dominančios sritys apima, be kita ko:

Ankstesnė darbo su DI sistemomis ar kalbos modeliais patirtis nebūtina, tačiau gali būti naudinga. Labiausiai vertiname jūsų norą įsitraukti ir pasidalyti savo požiūriu į tai, kaip vertiname DI sistemų poveikį.

Visiems OpenAI testavimo spragoms nustatyti tinklo nariams bus atlyginama už indėlį dalyvaujant testavimo spragoms nustatyti projektuose. Nors narystė šiame tinkle neapribos jūsų galimybių skelbti savo tyrimus ar imtis kitų veiklų, atkreipkite dėmesį, kad dalyvaujant testavimo spragoms nustatyti ir kituose projektuose dažnai taikomi konfidencialumo susitarimai (NDA) arba informacija lieka konfidenciali neribotą laiką.

Paraiškos nebepriimamos.

K.: Ką reikės daryti prisijungus prie tinklo?

A.: Tapę tinklo nariu galite sulaukti kvietimo išbandyti naują modelį arba patikrinti jau įdiegto modelio veikimą jus dominančioje srityje. Tinklo veikla vykdoma pagal konfidencialumo susitarimą (NDA), nors iki šiol daugelį testavimo spragoms nustatyti išvadų skelbėme sistemų aprašuose ir tinklaraščio įrašuose. Jums bus atlyginama už laiką, skirtą testavimo spragoms nustatyti projektams.

K.: Kiek laiko tikimasi, kad tinklo nariai skirs šiai veiklai? 

A.: Laiko, kurį nuspręsite skirti, apimtį galima derinti prie jūsų tvarkaraščio. Atkreipkite dėmesį, kad ne visi tinklo nariai bus kviečiami dalyvauti kiekvienoje veikloje. OpenAI atrinks tinkamiausius dalyvius konkrečiam testavimo spragoms nustatyti projektui, o per vėlesnius testavimo etapus ypatingą dėmesį skirs naujiems požiūriams. Net ir vos 5 valandos per metus mums būtų vertingos, todėl nedvejodami teikite paraišką, jei jus domina ši veikla, bet turite nedaug laiko.

K.: Kada pareiškėjams bus pranešta apie priėmimą?

A.: OpenAI tinklo narius atrinks nuolat, o paraiškas galite teikti iki 2023 m. gruodžio 1 d. Pasibaigus šiam paraiškų teikimo laikotarpiui, iš naujo įvertinsime galimybę ateityje vėl skelbti kvietimus.

K.: Ar narystė tinkle reiškia, kad būsiu kviečiamas testuoti kiekvieną naują modelį ir ieškoti jo spragų?

A.: Ne. OpenAI atrinks tinkamiausius dalyvius konkrečiam testavimo spragoms nustatyti projektui, todėl nereikėtų tikėtis, kad testuosite kiekvieną naują modelį.

K.: Pagal kokius kriterijus atrenkate tinklo narius?

A.: Štai keletas kriterijų, į kuriuos atsižvelgiame:

• Įrodyta kompetencija ar patirtis konkrečioje srityje, svarbioje testavimui spragoms nustatyti

• Didelis noras gerinti DI saugumą

• Interesų konfliktų nebuvimas

• Įvairi patirtis ir atstovavimas tradiciškai menkai atstovaujamoms grupėms

• Geografinė įvairovė 

• Laisvas daugiau nei vienos kalbos mokėjimas

• Techniniai gebėjimai (nebūtini)

K.: Kaip dar galima bendradarbiauti DI saugumo srityje?

A.: Be narystės tinkle, yra ir kitų galimybių bendradarbiauti bei prisidėti prie DI saugumo. Pavyzdžiui, galite kurti DI sistemų saugumo vertinimo metodus arba atlikti tokius vertinimus ir analizuoti rezultatus.

OpenAI atvirojo kodo Evals⁠(atsidaro naujame lange) saugykloje (paskelbtoje pristatant GPT‑4⁠) rasite lengvai naudojamų šablonų ir metodų pavyzdžių, kurie padės pradėti.

Vertinimai gali būti įvairūs – nuo paprastų klausimų ir atsakymų testų iki sudėtingesnių simuliacijų. Štai keli konkretūs OpenAI sukurtų testų pavyzdžiai, skirti DI elgsenai vertinti įvairiais aspektais:

Įtikinėjimas

• MakeMeSay⁠(atsidaro naujame lange): kaip gerai DI sistema geba apgaule paskatinti kitą DI sistemą ištarti slaptą žodį?

• MakeMePay⁠(atsidaro naujame lange): kaip gerai DI sistema geba įtikinti kitą DI sistemą paaukoti pinigų?

• Balsavimui teikiamas pasiūlymas⁠(atsidaro naujame lange): kaip gerai DI sistema geba paveikti kitos DI sistemos pritarimą politiniam pasiūlymui?

Steganografija (paslėptų pranešimų perdavimas)

• Steganografija⁠(atsidaro naujame lange): kaip gerai DI sistema geba perduoti slaptus pranešimus taip, kad kita DI sistema jų neaptiktų?

• Teksto glaudinimas⁠(atsidaro naujame lange): kaip gerai DI sistema geba glaudinti ir išskleisti pranešimus, kad juose būtų galima paslėpti slaptas žinutes?

• Schellingo taškas⁠(atsidaro naujame lange): kaip gerai DI sistema geba suderinti veiksmus su kita DI sistema tiesiogiai nebendraudama?

Vertinant DI sistemas skatiname kūrybiškumą ir eksperimentavimą. Baigę kviečiame įkelti savo vertinimo testą į atvirojo kodo Evals⁠(atsidaro naujame lange) saugyklą, kad juo galėtų naudotis platesnė DI bendruomenė.

Taip pat galite teikti paraišką dalyvauti mūsų prieigos suteikimo tyrėjams programoje⁠. Pagal ją skiriami kreditai tyrėjams, kurie naudodami mūsų produktus tiria atsakingą DI diegimą ir su juo susijusios rizikos mažinimą.