Sieť OpenAI pre red teaming

Otvárame prihlasovanie do siete OpenAI pre red teaming a pozývame odborníkov, ktorí chcú prispieť k vyššej bezpečnosti modelov OpenAI, aby sa k nám pridali. Hľadáme odborníkov z rôznych oblastí, ktorí s nami budú spolupracovať na dôkladnom hodnotení a red teamingu našich modelov AI.

Red teaming^A je neoddeliteľnou súčasťou nášho iteratívneho procesu nasadzovania⁠. Za posledných niekoľko rokov sa náš red teaming rozšíril z interného adverzariálneho testovania v OpenAI na spoluprácu so skupinou externých odborníkov^B. Pomáhajú nám vytvárať taxonómie rizík pre konkrétne oblasti a hodnotiť potenciálne škodlivé schopnosti nových systémov. Viac o našom doterajšom red teamingu vrátane spolupráce s externými odborníkmi si môžete prečítať pri modeloch ako DALL·E 2⁠(otvorí sa v novom okne) a GPT‑4⁠(otvorí sa v novom okne).^C

Dnes spúšťame formálnejšiu iniciatívu, ktorá nadviaže na tieto základy a prehĺbi aj rozšíri našu spoluprácu s externými odborníkmi, aby boli naše modely bezpečnejšie. Spolupráca s jednotlivými odborníkmi, výskumnými inštitúciami a organizáciami občianskej spoločnosti je dôležitou súčasťou nášho postupu. Túto prácu vnímame ako doplnok externe stanovených postupov riadenia a dohľadu, napríklad auditov vykonávaných tretími stranami.

Sieť OpenAI pre red teaming je komunitou dôveryhodných a skúsených odborníkov, ktorí nám môžu poskytovať širšie podklady pre hodnotenie a zmierňovanie rizík. Nahrádza tak jednorazové spolupráce a výberové procesy pred významnými nasadeniami modelov. Členov siete budeme oslovovať na základe ich odbornosti, aby pomáhali s red teamingom v rôznych fázach životného cyklu vývoja modelov a produktov. Nie každý člen sa zapojí do práce na každom novom modeli či produkte. Časový rozsah spolupráce dohodneme s každým členom individuálne a môže ísť aj o iba 5 až 10 hodín ročne.

Mimo red teamingu zadávaného spoločnosťou OpenAI budú mať členovia možnosť navzájom diskutovať o všeobecných postupoch a zisteniach v tejto oblasti. Cieľom je získavať rozmanitejšie podnety priebežne a posilniť iteratívny charakter red teamingu. Táto sieť dopĺňa ďalšie možnosti spolupráce v oblasti bezpečnosti AI vrátane nášho programu prístupu pre výskumníkov⁠ a hodnotení s otvoreným zdrojovým kódom⁠(otvorí sa v novom okne).

Táto sieť ponúka jedinečnú príležitosť ovplyvniť vývoj bezpečnejších technológií a pravidiel v oblasti AI, ako aj to, ako môže AI meniť spôsob, akým žijeme, pracujeme a komunikujeme. Zapojením sa do tejto siete sa stanete súčasťou nášho okruhu odborníkov, ktorých môžeme osloviť, aby hodnotili naše modely a systémy v rôznych fázach ich nasadzovania.

Hodnotenie systémov AI si vyžaduje porozumenie širokej škále oblastí, rôznorodým pohľadom a osobným skúsenostiam. Pozývame odborníkov z celého sveta, aby sa prihlásili. Pri výbere kladieme dôraz na geografickú aj odbornú rozmanitosť. 

Medzi oblasti, ktoré nás zaujímajú, patria okrem iného:

Predchádzajúce skúsenosti so systémami AI alebo jazykovými modelmi nie sú podmienkou, no môžu byť užitočné. Najviac si ceníme vašu ochotu zapojiť sa a priniesť vlastný pohľad na to, ako hodnotíme vplyv systémov AI.

Všetci členovia siete OpenAI pre red teaming dostanú za svoj prínos pri účasti na projekte red teamingu odmenu. Členstvo v tejto sieti vás nebude obmedzovať v publikovaní výskumu ani vo využívaní iných príležitostí. Mali by ste však počítať s tým, že účasť na red teamingu a ďalších projektoch často podlieha dohodám o mlčanlivosti (NDA) alebo zostáva dôverná na neurčitý čas.

Prijímanie prihlášok sa skončilo.

Otázka: Čo obnáša členstvo v sieti?

Odpoveď: Ako člena siete vás môžeme osloviť s príležitosťou otestovať nový model alebo konkrétnu oblasť na modeli, ktorý je už nasadený. Práca v rámci siete podlieha dohode o mlčanlivosti (NDA), hoci mnohé z našich doterajších zistení z red teamingu sme zverejnili v systémových kartách a blogových príspevkoch. Za čas venovaný projektom red teamingu dostanete odmenu.

Otázka: Koľko času sa očakáva od členov siete? 

Odpoveď: Rozsah zapojenia sa dá prispôsobiť vašim časovým možnostiam. Nie všetkých členov siete oslovíme pri každej príležitosti. OpenAI bude vyberať tých, ktorých odbornosť najlepšie zodpovedá konkrétnemu projektu red teamingu, a pri ďalších kolách red teamingu bude klásť dôraz na nové pohľady. Aj päť hodín ročne by pre nás malo hodnotu. Ak teda máte záujem, ale málo času, neváhajte sa prihlásiť.

Otázka: Kedy sa uchádzači dozvedia o prijatí?

Odpoveď: OpenAI bude členov siete vyberať priebežne a prihlásiť sa môžete do 1. decembra 2023. Po skončení tohto obdobia zvážime, či v budúcnosti znovu otvoríme prihlasovanie.

Otázka: Znamená členstvo v sieti, že ma požiadate o red teaming každého nového modelu?

Odpoveď: Nie. OpenAI bude vyberať účastníkov podľa toho, ako ich odbornosť zodpovedá konkrétnemu projektu red teamingu. Nemali by ste preto očakávať, že budete testovať každý nový model.

Otázka: Aké kritériá zohľadňujete pri výbere členov siete?

Odpoveď: Medzi naše kritériá patria:

• Preukázaná odbornosť alebo skúsenosti v konkrétnej oblasti relevantnej pre red teaming

• Nadšenie pre zvyšovanie bezpečnosti AI

• Žiadny konflikt záujmov

• Rôznorodé zázemie a zastúpenie tradične málo zastúpených skupín

• Rôznorodé geografické zastúpenie 

• Plynulé ovládanie viac ako jedného jazyka

• Technické zručnosti (nie sú podmienkou)

Otázka: Aké sú ďalšie možnosti spolupráce v oblasti bezpečnosti?

Odpoveď: Okrem členstva v sieti existujú aj ďalšie možnosti, ako spolupracovať na zvyšovaní bezpečnosti AI. Môžete napríklad vytvárať alebo vykonávať bezpečnostné hodnotenia systémov AI a analyzovať ich výsledky.

Repozitár OpenAI s otvoreným zdrojovým kódom Evals⁠(otvorí sa v novom okne) (zverejnený pri uvedení GPT‑4⁠) ponúka ľahko použiteľné šablóny a vzorové metódy, ktoré vám pomôžu začať.

Hodnotenia môžu siahať od jednoduchých testov vo forme otázok a odpovedí až po zložitejšie simulácie. Tu je niekoľko konkrétnych príkladov hodnotení, ktoré OpenAI vyvinula na posudzovanie správania AI z rôznych uhlov pohľadu:

Presviedčanie

• MakeMeSay⁠(otvorí sa v novom okne): Ako dobre dokáže systém AI pomocou triku prinútiť iný systém AI, aby vyslovil tajné slovo?

• MakeMePay⁠(otvorí sa v novom okne): Ako dobre dokáže systém AI presvedčiť iný systém AI, aby daroval peniaze?

• Návrh na hlasovanie⁠(otvorí sa v novom okne): Ako dobre dokáže systém AI ovplyvniť podporu politického návrhu zo strany iného systému AI?

Steganografia (skryté správy)

• Steganografia⁠(otvorí sa v novom okne): Ako dobre dokáže systém AI odovzdávať tajné správy bez toho, aby ho odhalil iný systém AI?

• Kompresia textu⁠(otvorí sa v novom okne): Ako dobre dokáže systém AI komprimovať a dekomprimovať správy tak, aby umožnil ukrývanie tajných správ?

• Schellingov bod⁠(otvorí sa v novom okne): Ako dobre dokáže systém AI koordinovať svoje konanie s iným systémom AI bez priamej komunikácie?

Pri hodnotení systémov AI podporujeme tvorivosť a experimentovanie. Po dokončení môžete svoje hodnotenie pridať do repozitára s otvoreným zdrojovým kódom Evals⁠(otvorí sa v novom okne), aby ho mohla využívať širšia komunita AI. Vaše príspevky vítame.

Môžete sa tiež prihlásiť do nášho programu prístupu pre výskumníkov⁠. Poskytuje kredity na podporu výskumníkov, ktorí používajú naše produkty na skúmanie zodpovedného nasadzovania AI a zmierňovania súvisiacich rizík.