Мрежа црвене команде OpenAI

Објављујемо јавни позив за Мрежу црвене команде OpenAI и позивамо стручњаке из различитих области који желе да унапреде безбедност модела компаније OpenAI да нам се придруже. Тражимо стручњаке из различитих области који ће с нама темељно процењивати наше моделе вештачке интелигенције и тестирати их у оквиру црвене команде.

Рад црвене команде^A саставни је део нашег итеративног процеса увођења у употребу⁠. Током протеклих неколико година, рад наше црвене команде проширио се са интерних тестирања нападима у компанији OpenAI на сарадњу са групом спољних стручњака^B. Они нам помажу да развијемо класификације ризика за поједине области и проценимо потенцијално штетне способности нових система. Можете прочитати више о досадашњем раду наше црвене команде, укључујући сарадњу са спољним стручњацима, на моделима као што су DALL·E 2⁠(отвара се у новом прозору) и GPT‑4⁠(отвара се у новом прозору).^C

Данас покрећемо формалнију иницијативу која се ослања на те темеље и продубљује и проширује нашу сарадњу са спољним стручњацима како бисмо наше моделе учинили безбеднијим. Сарадња са појединачним стручњацима, истраживачким установама и организацијама цивилног друштва важан је део нашег процеса. Овај рад видимо као допуну праксама управљања које су дефинисане ван компаније, као што су независне ревизије.

Мрежа црвене команде OpenAI је заједница поузданих и искусних стручњака који могу да допринесу нашем ширем раду на процени и ублажавању ризика, уместо једнократних ангажмана и поступака избора уочи важних увођења модела у употребу. Чланове мреже позиваћемо на основу њихове стручности да помогну у раду црвене команде у различитим фазама развоја модела и производа. Неће сваки члан бити укључен у рад на сваком новом моделу или производу. Временски ангажман договараћемо са сваким чланом појединачно, а он може износити и само 5–10 сати годишње.

И ван циклуса тестирања црвене команде које наручује OpenAI, чланови ће моћи да међусобно размењују искуства о општим праксама и налазима црвене команде. Циљ је да омогућимо разноврсније и континуиране доприносе и да рад црвене команде учинимо процесом који се унапређује кроз понављање. Ова мрежа допуњује друге могућности за сарадњу на безбедности вештачке интелигенције, укључујући наш Програм приступа за истраживаче⁠ и алате отвореног кода за процену⁠(отвара се у новом прозору).

Ова мрежа пружа јединствену прилику да утичете на развој безбеднијих технологија и политика у области вештачке интелигенције, као и на њен утицај на начин на који живимо, радимо и комуницирамо. Приступањем овој мрежи постаћете део нашег круга стручњака које можемо позвати да процене наше моделе и системе у различитим фазама њиховог увођења у употребу.

Процена система вештачке интелигенције захтева разумевање бројних области, различитих гледишта и личних животних искустава. Позивамо стручњаке из целог света да се пријаве, а при избору дајемо предност географској разноврсности и разноврсности области стручности. 

Неке од области које нас занимају, али не и једине, јесу:

Претходно искуство са системима вештачке интелигенције или језичким моделима није неопходно, али може бити корисно. Највише ценимо вашу спремност да се укључите и својим погледом допринесете начину на који процењујемо утицај система вештачке интелигенције.

Сви чланови Мреже црвене команде OpenAI добијаће накнаду за свој допринос када учествују у пројекту црвене команде. Чланство у овој мрежи неће вас спречавати да објављујете своја истраживања или прихватате друге ангажмане. Ипак, имајте у виду да је учешће у раду црвене команде и другим пројектима често обухваћено уговорима о поверљивости (NDA) или остаје поверљиво на неодређено време.

Пријаве су затворене.

П: Шта подразумева чланство у мрежи?

О: Као члана мреже, можемо вас контактирати поводом прилике да тестирате нови модел или одређену област на моделу који је већ у употреби. Рад у оквиру мреже обухваћен је уговором о поверљивости (NDA), мада смо до сада многе налазе црвене команде објављивали у извештајима о системима и на блогу. Добијаћете накнаду за време проведено на пројектима црвене команде.

П: Колико времена се очекује да чланови посвете мрежи? 

О: Време које одлучите да посветите раду може се прилагодити вашем распореду. Имајте у виду да неће сви чланови мреже бити позвани за сваки ангажман. OpenAI ће бирати чланове чија стручност највише одговара конкретном пројекту црвене команде, а у наредним циклусима тестирања нагласак ће бити на новим гледиштима. Чак и само 5 сати годишње било би нам драгоцено, па се слободно пријавите ако сте заинтересовани, али имате мало времена.

П: Када ће кандидати бити обавештени да су примљени?

О: OpenAI ће бирати чланове мреже у континуитету, а можете се пријавити до 1. децембра 2023. Након тог рока размотрићемо могућност поновног отварања пријава.

П: Да ли чланство у мрежи значи да ћу бити позван да у оквиру црвене команде тестирам сваки нови модел?

О: Не. OpenAI ће бирати чланове чија стручност највише одговара конкретном пројекту црвене команде, па не треба да очекујете да ћете тестирати сваки нови модел.

П: Који су неки од критеријума за избор чланова мреже?

О: Неки од критеријума су:

• Доказана стручност или искуство у одређеној области релевантној за рад црвене команде

• Посвећеност унапређењу безбедности вештачке интелигенције

• Непостојање сукоба интереса

• Различита порекла и искуства, уз заступљеност традиционално недовољно заступљених група

• Заступљеност различитих географских подручја 

• Течно познавање више од једног језика

• Техничке вештине (нису обавезне)

П: Које још могућности постоје за сарадњу на безбедности?

О: Поред придруживања мрежи, постоје и друге могућности да кроз сарадњу допринесете безбедности вештачке интелигенције. На пример, можете осмишљавати или спроводити процене безбедности система вештачке интелигенције и анализирати резултате.

Депо отвореног кода Evals⁠(отвара се у новом прозору) компаније OpenAI (објављен приликом представљања модела GPT‑4⁠) нуди шаблоне једноставне за коришћење и примере метода који вам помажу да започнете овај процес.

Процене могу бити у распону од једноставних тестова с питањима и одговорима до сложенијих симулација. Ево неколико конкретних примера процена које је OpenAI развио за испитивање понашања вештачке интелигенције из различитих углова:

Убеђивање

• MakeMeSay⁠(отвара се у новом прозору): Колико успешно један систем вештачке интелигенције може да наведе други да изговори тајну реч?

• MakeMePay⁠(отвара се у новом прозору): Колико успешно један систем вештачке интелигенције може да убеди други да донира новац?

• Предлог за гласање⁠(отвара се у новом прозору): Колико успешно један систем вештачке интелигенције може да утиче на подршку другог система неком политичком предлогу?

Стеганографија (скривено слање порука)

• Стеганографија⁠(отвара се у новом прозору): Колико успешно један систем вештачке интелигенције може да преноси тајне поруке, а да га други систем не открије?

• Компресија текста⁠(отвара се у новом прозору): Колико успешно систем вештачке интелигенције може да компримује и декомпримује поруке како би омогућио скривање тајних порука?

• Шелингова тачка⁠(отвара се у новом прозору): Колико успешно један систем вештачке интелигенције може да усклади своје поступке са другим системом без непосредне комуникације?

Подстичемо креативност и експериментисање при процени система вештачке интелигенције. Када завршите, позивамо вас да своју процену додате у депо отвореног кода Evals⁠(отвара се у новом прозору) како би је користила шира заједница у области вештачке интелигенције.

Можете се пријавити и за наш Програм приступа за истраживаче⁠, који додељује кредите као подршку истраживачима који користе наше производе за проучавање одговорног увођења вештачке интелигенције у употребу и ублажавања повезаних ризика.