Síť OpenAI pro red-teaming

Otevíráme přihlášky do sítě OpenAI pro red-teaming a zveme odborníky, kteří chtějí zlepšovat bezpečnost modelů OpenAI, aby se k nám připojili. Hledáme odborníky z různých oborů, kteří s námi budou spolupracovat na důkladném hodnocení a red-teamingu našich modelů AI.

Red-teaming^A je nedílnou součástí našeho procesu postupného nasazování⁠. V posledních několika letech se náš red-teaming rozšířil z interního adversariálního testování v OpenAI na spolupráci se skupinou externích odborníků^B. Ti nám pomáhají vytvářet klasifikace rizik pro jednotlivé obory a hodnotit potenciálně škodlivé schopnosti nových systémů. Více o našem dosavadním red-teamingu, včetně spolupráce s externími odborníky, si můžete přečíst v materiálech k modelům, jako jsou DALL·E 2⁠(otevře se v novém okně) a GPT‑4⁠(otevře se v novém okně).^C

Dnes zahajujeme systematičtější iniciativu, která na tyto základy naváže a prohloubí i rozšíří naši spolupráci s externími odborníky, aby byly naše modely bezpečnější. Spolupráce s jednotlivými odborníky, výzkumnými institucemi a organizacemi občanské společnosti je důležitou součástí našeho postupu. Tuto práci vnímáme jako doplněk externě stanovených postupů správy a dohledu, například auditů třetích stran.

Síť OpenAI pro red-teaming je komunitou důvěryhodných a zkušených odborníků, kteří nám mohou v širším rozsahu pomáhat s hodnocením a zmírňováním rizik. Nahrazuje tak jednorázovou spolupráci a výběr účastníků před významnými nasazeními modelů. Členy sítě budeme podle jejich odbornosti oslovovat, aby pomáhali s red-teamingem v různých fázích vývoje modelů a produktů. Ne každý člen se zapojí do práce na každém novém modelu či produktu. Časový rozsah spolupráce dohodneme s každým zvlášť – může jít i o pouhých 5–10 hodin ročně.

I mimo red-teamingové projekty zadané OpenAI budou mít členové možnost vzájemně sdílet obecné postupy a poznatky z red-teamingu. Cílem je získávat rozmanitější podněty průběžně a umožnit, aby red-teaming v dalších kolech lépe navazoval na předchozí poznatky. Tato síť doplňuje další možnosti spolupráce na bezpečnosti AI, včetně našeho programu přístupu pro výzkumníky⁠ a hodnocení s otevřeným zdrojovým kódem⁠(otevře se v novém okně).

Tato síť nabízí jedinečnou příležitost ovlivnit vývoj bezpečnějších technologií AI i souvisejících pravidel a také dopad, který může mít AI na to, jak žijeme, pracujeme a komunikujeme. Zapojením do sítě se stanete součástí našeho okruhu odborníků, na které se můžeme obracet s žádostí o hodnocení našich modelů a systémů v různých fázích jejich nasazování.

Hodnocení systémů AI vyžaduje znalosti z nejrůznějších oborů, rozmanité pohledy a osobní zkušenosti. K podání přihlášky zveme odborníky z celého světa. Při výběru klademe důraz na geografickou i oborovou rozmanitost. 

Zajímají nás mimo jiné tyto oblasti:

Předchozí zkušenosti se systémy AI nebo jazykovými modely nejsou podmínkou, ale mohou být užitečné. Nejvíce si ceníme vaší ochoty zapojit se a přispět vlastním pohledem k tomu, jak hodnotíme dopady systémů AI.

Všichni členové sítě OpenAI pro red-teaming dostanou za svou práci na projektech red-teamingu odměnu. Členství v této síti vás nebude omezovat v publikování vlastního výzkumu ani ve využívání jiných příležitostí. Měli byste však počítat s tím, že účast na red-teamingu a dalších projektech často podléhá dohodám o mlčenlivosti (NDA) nebo zůstává důvěrná po neomezenou dobu.

Příjem přihlášek byl uzavřen.

Otázka: Co obnáší zapojení do sítě?

Odpověď: Jako členy sítě vás můžeme oslovit s příležitostí otestovat nový model nebo prozkoumat určitou oblast u modelu, který je již nasazen. Na práci v rámci sítě se vztahuje dohoda o mlčenlivosti (NDA). Mnoho poznatků z red-teamingu jsme však v minulosti zveřejnili v systémových kartách a článcích na blogu. Za čas věnovaný projektům red-teamingu dostanete odměnu.

Otázka: Kolik času zabere účast v síti? 

Odpověď: Čas, který se rozhodnete věnovat spolupráci, lze přizpůsobit vašim možnostem. Ne každý člen sítě bude osloven při každé příležitosti. OpenAI bude účastníky vybírat podle toho, jak jejich odbornost odpovídá konkrétnímu projektu red-teamingu, a v dalších kolech bude klást důraz na nové pohledy. I pouhých 5 hodin ročně pro nás bude přínosem. Pokud tedy máte zájem, ale málo času, neváhejte se přihlásit.

Otázka: Kdy se uchazeči dozvědí o přijetí?

Odpověď: OpenAI bude členy sítě vybírat průběžně a přihlášky lze podávat do 1. prosince 2023. Po skončení této lhůty posoudíme, zda v budoucnu otevřeme další kolo přihlášek.

Otázka: Znamená členství v síti, že budu osloven k red-teamingu každého nového modelu?

Odpověď: Ne. OpenAI bude účastníky vybírat podle toho, jak jejich odbornost odpovídá konkrétnímu projektu red-teamingu. Neměli byste tedy očekávat, že budete testovat každý nový model.

Otázka: Podle jakých kritérií vybíráte členy sítě?

Odpověď: Mezi naše kritéria patří:

• Prokazatelné odborné znalosti nebo zkušenosti v oblasti relevantní pro red-teaming

• Nadšení pro zlepšování bezpečnosti AI

• Žádný střet zájmů

• Rozmanité zázemí a zastoupení tradičně opomíjených skupin

• Zastoupení různých částí světa 

• Plynulá znalost více než jednoho jazyka

• Technické dovednosti (nejsou podmínkou)

Otázka: Jaké jsou další možnosti spolupráce na bezpečnosti?

Odpověď: Kromě zapojení do sítě existují i další možnosti spolupráce, kterými můžete přispět k bezpečnosti AI. Můžete například navrhovat či provádět hodnocení bezpečnosti systémů AI a analyzovat jejich výsledky.

Úložiště OpenAI s otevřeným zdrojovým kódem Evals⁠(otevře se v novém okně) (zveřejněné při uvedení GPT‑4⁠) nabízí snadno použitelné šablony a ukázkové metody, které vám pomohou začít.

Hodnocení mohou sahat od jednoduchých testů s otázkami a odpověďmi až po složitější simulace. Zde je několik konkrétních příkladů hodnocení, která OpenAI vyvinula ke zkoumání chování AI z různých úhlů pohledu:

Přesvědčování

• MakeMeSay⁠(otevře se v novém okně): Jak dobře dokáže systém AI lstí přimět jiný systém AI, aby vyslovil tajné slovo?

• MakeMePay⁠(otevře se v novém okně): Jak dobře dokáže systém AI přesvědčit jiný systém AI, aby daroval peníze?

• Návrh k hlasování⁠(otevře se v novém okně): Jak dobře dokáže systém AI ovlivnit podporu jiného systému AI pro politický návrh?

Steganografie (skryté zprávy)

• Steganografie⁠(otevře se v novém okně): Jak dobře dokáže systém AI předávat tajné zprávy, aniž by ho jiný systém AI odhalil?

• Komprese textu⁠(otevře se v novém okně): Jak dobře dokáže systém AI komprimovat a dekomprimovat zprávy, aby do nich bylo možné skrýt tajné zprávy?

• Schellingův bod⁠(otevře se v novém okně): Jak dobře dokáže systém AI koordinovat své jednání s jiným systémem AI bez přímé komunikace?

Při hodnocení systémů AI podporujeme tvořivost a experimentování. Budeme rádi, když své dokončené hodnocení přidáte do úložiště s otevřeným zdrojovým kódem Evals⁠(otevře se v novém okně), aby ho mohla využívat širší komunita AI.

Můžete se také přihlásit do našeho programu přístupu pro výzkumníky⁠, který poskytuje kredity na podporu výzkumníků využívajících naše produkty ke studiu odpovědného nasazování AI a zmírňování souvisejících rizik.