Мрежа за тестирање на отпорноста на OpenAI

Објавуваме отворен повик за Мрежата за тестирање на отпорноста на OpenAI и ги покануваме експертите од различни области што сакаат да ја подобрат безбедноста на моделите на OpenAI да ни се придружат во овие напори. Бараме експерти од различни области што ќе соработуваат со нас во темелното оценување и тестирање на отпорноста на нашите модели за вештачка интелигенција.

Тестирањето на отпорноста^A е составен дел од нашиот итеративен процес на пуштање во употреба⁠. Во изминатите неколку години, нашите напори за тестирање на отпорноста се проширија: од внатрешни тестирања со симулирани напади во OpenAI преминавме кон соработка со група надворешни експерти^B, кои помагаат во развојот на класификации на ризици за конкретни области и во оценувањето на потенцијално штетните способности на новите системи. Можете да прочитате повеќе за нашите претходни активности за тестирање на отпорноста, вклучувајќи ја и соработката со надворешни експерти, кај модели како DALL·E 2⁠(се отвора во нов прозорец) и GPT‑4⁠(се отвора во нов прозорец).^C

Денес започнуваме поформална иницијатива за да ги надградиме овие основи и да ја продлабочиме и прошириме соработката со надворешни експерти, со цел нашите модели да станат побезбедни. Соработката со поединечни експерти, истражувачки институции и граѓански организации е важен дел од нашиот процес. Оваа работа ја гледаме како дополнување на практиките за управување утврдени од надворешни чинители, како што се ревизиите од трети страни.

Мрежата за тестирање на отпорноста на OpenAI е заедница на доверливи и искусни експерти што може да придонесе кон нашите пошироки напори за процена и намалување на ризиците, наместо да се ограничуваме на еднократни ангажмани и постапки за избор пред пуштањето на значајни модели во употреба. Членовите на мрежата ќе бидат повикувани според својата стручност да помогнат во тестирањето на отпорноста во различни фази од развојниот циклус на моделите и производите. Нема секој член да биде вклучен во секој нов модел или производ. Временскиот ангажман ќе се договара поединечно со секој член и може да изнесува само 5–10 часа годишно.

Покрај тестирањата на отпорноста нарачани од OpenAI, членовите ќе имаат можност меѓусебно да разменуваат искуства за општите практики и наодите од тестирањето на отпорноста. Целта е да се овозможат поразновидни и континуирани придонеси и тестирањето на отпорноста да стане процес што се повторува и подобрува низ повеќе циклуси. Оваа мрежа ги дополнува другите можности за соработка во областа на безбедноста на вештачката интелигенција, меѓу кои се нашата Програма за пристап за истражувачи⁠ и евалуациите со отворен код⁠(се отвора во нов прозорец).

Оваа мрежа нуди единствена можност да го обликувате развојот на побезбедни технологии и политики за вештачка интелигенција, како и влијанието што вештачката интелигенција може да го има врз начинот на кој живееме, работиме и комуницираме. Со приклучувањето на оваа мрежа, ќе станете дел од нашиот круг експерти од различни области, кои можеме да ги повикаме да ги оценуваат нашите модели и системи во повеќе фази од нивното пуштање во употреба.

Оценувањето на системите за вештачка интелигенција бара разбирање на широк спектар области, различни перспективи и лични животни искуства. Ги покануваме експертите од целиот свет да се пријават, а при изборот им даваме предност на географската разновидност и на разновидноста на стручните области. 

Некои од областите што нè интересираат се наведени подолу, но не се ограничуваме само на нив:

Претходно искуство со системи за вештачка интелигенција или јазични модели не е задолжително, но може да биде корисно. Најмногу ја цениме вашата подготвеност да се вклучите и со својата перспектива да придонесете кон начинот на кој ги проценуваме влијанијата на системите за вештачка интелигенција.

Сите членови на Мрежата за тестирање на отпорноста на OpenAI ќе добијат надомест за својот придонес кога учествуваат во проект за тестирање на отпорноста. Иако членството во оваа мрежа нема да ве ограничи во објавувањето на вашите истражувања или во искористувањето други можности, треба да имате предвид дека учеството во тестирање на отпорноста и во други проекти често подлежи на договори за доверливост (NDA) или останува доверливо на неодредено време.

Пријавувањето е завршено.

П: Што подразбира членството во мрежата?

О: Како член на мрежата, може да бидете контактирани за можности да тестирате нов модел или одредена област од интерес кај модел што веќе е пуштен во употреба. Работата во рамките на мрежата се врши под договор за доверливост (NDA), иако досега објавувавме многу од наодите од тестирањето на отпорноста во картички за системите и во блог-објави. Ќе добиете надомест за времето посветено на проектите за тестирање на отпорноста.

П: Колку време се очекува да посветам како член на мрежата? 

О: Времето што ќе одлучите да го посветите може да се приспособи на вашиот распоред. Имајте предвид дека нема да ги контактираме сите членови на мрежата за секоја можност. OpenAI ќе ги избира учесниците според нивната соодветност за конкретниот проект за тестирање на отпорноста, а во следните циклуси на тестирање ќе става акцент на нови перспективи. Дури и само 5 часа годишно би ни биле вредни, па не двоумете се да се пријавите ако сте заинтересирани, но имате ограничено време.

П: Кога кандидатите ќе бидат известени дека се примени?

О: OpenAI ќе ги избира членовите на мрежата тековно, а можете да се пријавите до 1 декември 2023 година. По истекот на овој рок, ќе ја разгледаме можноста за повторно отворање на пријавувањето во иднина.

П: Дали членството во мрежата значи дека ќе бидам повикан да ја тестирам отпорноста на секој нов модел?

О: Не, OpenAI ќе ги избира учесниците според нивната соодветност за конкретниот проект за тестирање на отпорноста, па не треба да очекувате дека ќе го тестирате секој нов модел.

П: Кои се некои од критериумите за избор на членови на мрежата?

О: Некои од критериумите што ги земаме предвид се:

• Докажана стручност или искуство во одредена област релевантна за тестирањето на отпорноста

• Силна посветеност на подобрувањето на безбедноста на вештачката интелигенција

• Отсуство на судир на интереси

• Разновидни искуства и припадност на традиционално недоволно застапени групи

• Разновидна географска застапеност 

• Течно владеење со повеќе од еден јазик

• Технички вештини (не се задолжителни)

П: Кои други можности за соработка во областа на безбедноста постојат?

О: Покрај приклучувањето на мрежата, постојат и други можности за соработка преку кои можете да придонесете за безбедноста на вештачката интелигенција. На пример, една можност е да осмислувате или спроведувате безбедносни евалуации на системи за вештачка интелигенција и да ги анализирате резултатите.

Репозиториумот со отворен код Evals⁠(се отвора во нов прозорец) на OpenAI (објавен при лансирањето на GPT‑4⁠) нуди шаблони лесни за употреба и примери на методи што ќе ви помогнат да го започнете овој процес.

Евалуациите може да опфаќаат од едноставни тестови со прашања и одговори до посложени симулации. Еве неколку конкретни примери на евалуации што ги разви OpenAI за оценување на однесувањето на вештачката интелигенција од различни аспекти:

Убедување

• MakeMeSay⁠(се отвора во нов прозорец): Колку успешно еден систем за вештачка интелигенција може да измами друг таков систем да изговори таен збор?

• MakeMePay⁠(се отвора во нов прозорец): Колку успешно еден систем за вештачка интелигенција може да убеди друг таков систем да донира пари?

• Предлог за гласање⁠(се отвора во нов прозорец): Колку успешно еден систем за вештачка интелигенција може да влијае врз поддршката што друг таков систем ја дава на политички предлог?

Стеганографија (скриено пренесување пораки)

• Стеганографија⁠(се отвора во нов прозорец): Колку успешно еден систем за вештачка интелигенција може да пренесува тајни пораки без да биде откриен од друг таков систем?

• Компресија на текст⁠(се отвора во нов прозорец): Колку успешно еден систем за вештачка интелигенција може да компресира и декомпресира пораки за да овозможи криење тајни пораки?

• Шелингова точка⁠(се отвора во нов прозорец): Колку успешно еден систем за вештачка интелигенција може да се координира со друг таков систем без директна комуникација?

Ги охрабруваме креативноста и експериментирањето при оценувањето на системите за вештачка интелигенција. Откако ќе ја завршите евалуацијата, ве покануваме да ја споделите во репозиториумот со отворен код Evals⁠(се отвора во нов прозорец), за да може да ја користи пошироката заедница за вештачка интелигенција.

Можете да се пријавите и за нашата Програма за пристап за истражувачи⁠, која обезбедува кредити за поддршка на истражувачите што ги користат нашите производи за проучување области поврзани со одговорното пуштање на вештачката интелигенција во употреба и намалувањето на поврзаните ризици.