Мрежа на OpenAI за стрес тестове с червен отбор
Обявяваме отворен прием на кандидатури за мрежата на OpenAI за стрес тестове с червен отбор и каним експерти в различни области, които искат да подобрят безопасността на моделите на OpenAI, да се включат в усилията ни.
Илюстрация: Джъстин Джей Уанг
Бележка на редактора
Приемът на кандидатури за този етап от мрежата на OpenAI за стрес тестове с червен отбор приключи на 1 декември 2023 г.
Обявяваме отворен прием на кандидатури за мрежата на OpenAI за стрес тестове с червен отбор и каним експерти в различни области, които искат да подобрят безопасността на моделите на OpenAI, да се включат в усилията ни. Търсим експерти от различни области, с които да си сътрудничим при задълбоченото оценяване и провеждането на стрес тестове с червен отбор на нашите модели с ИИ.
Стрес тестовете с червен отборA са неразделна част от нашия итеративен процес на внедряване. През последните няколко години разширихме дейността си по стрес тестове с червен отбор. От вътрешни тестове в OpenAI, симулиращи атаки, преминахме към сътрудничество с група външни експертиB, които помагат за разработването на класификации на рисковете по области и за оценката на потенциално вредни способности в новите системи. Можете да прочетете повече за досегашните ни стрес тестове с червен отбор, включително работата ни с външни експерти, върху модели като DALL·E 2(отваря се в нов прозорец) и GPT‑4(отваря се в нов прозорец).C
Днес поставяме началото на по-структурирана инициатива, която да надгради постигнатото досега и да задълбочи и разшири сътрудничеството ни с външни експерти, за да направим моделите си по-безопасни. Сътрудничеството с отделни експерти, изследователски институции и организации на гражданското общество е важна част от нашия процес. Разглеждаме тази работа като допълнение към външно определени практики за управление и контрол, като одити от трети страни.
Мрежата на OpenAI за стрес тестове с червен отбор е общност от надеждни и опитни експерти, които могат да подпомагат по-широко усилията ни за оценка и намаляване на риска, вместо да разчитаме на еднократни ангажименти и подбор преди внедряването на значими нови модели. Членовете на мрежата ще бъдат канени според експертните си познания да помагат при стрес тестове с червен отбор на различни етапи от разработването на модели и продукти. Не всеки член ще участва в работата по всеки нов модел или продукт. Времето за участие ще се договаря индивидуално и може да бъде само 5–10 часа годишно.
Извън кампаниите за стрес тестове с червен отбор, възложени от OpenAI, членовете ще могат да обменят опит помежду си относно общи практики и резултати от такива тестове. Целта е да получаваме по-разнообразна и постоянна обратна връзка и да превърнем стрес тестовете с червен отбор в процес с повече цикли на тестване и подобряване. Тази мрежа допълва други възможности за сътрудничество в областта на безопасността на ИИ, включително нашата Програма за достъп на изследователи и тестовете за оценка с отворен код(отваря се в нов прозорец).
Тази мрежа предлага уникална възможност да повлияете на разработването на по-безопасни технологии и политики за ИИ, както и на въздействието, което ИИ може да има върху начина, по който живеем, работим и общуваме. Като се присъедините към тази мрежа, ще станете част от нашия кръг от експерти, към които можем да се обръщаме за оценка на моделите и системите ни на различни етапи от внедряването им.
Оценяването на системи с ИИ изисква познания в широк кръг от области, разнообразни гледни точки и житейски опит. Каним експерти от цял свят да кандидатстват, като при подбора даваме приоритет на разнообразието както по географски произход, така и по област на компетентност.
Сред областите, които ни интересуват, са:
Когнитивна наука | Химия |
Биология | Физика |
Компютърни науки | Стеганография |
Политология | Психология |
Убеждаване | Икономика |
Антропология | Социология |
Взаимодействие човек–компютър | Справедливост и пристрастия |
Съгласуване на ИИ с човешките цели и ценности | Образование |
Здравеопазване | Право |
Безопасност на децата | Киберсигурност |
Финанси | Невярна информация и дезинформация |
Използване за политически цели | Неприкосновеност на личния живот |
Биометрия | Езици и лингвистика |
Предишен опит със системи с ИИ или езикови модели не се изисква, но може да е полезен. Най-много ценим желанието ви да се включите и да допринесете със своята гледна точка за начина, по който оценяваме въздействието на системите с ИИ.
Всички членове на мрежата на OpenAI за стрес тестове с червен отбор ще получават възнаграждение за приноса си, когато участват в проект за такива тестове. Членството в тази мрежа няма да ви ограничава да публикувате изследванията си или да се възползвате от други възможности. Имайте предвид обаче, че участието в стрес тестове с червен отбор и други проекти често е обвързано със споразумения за неразкриване на информация (NDA) или остава поверително за неопределен срок.
Приемът на кандидатури приключи.
В: Какво включва участието в мрежата?
О: Като член на мрежата може да получите покана да тествате нов модел или да проверите вече внедрен модел в конкретна област, която представлява интерес. Работата в рамките на мрежата се извършва по споразумение за неразкриване на информация (NDA), макар че досега сме публикували много от резултатите от стрес тестовете с червен отбор в системни карти и публикации в блога. Ще получавате възнаграждение за времето, отделено за проекти за стрес тестове с червен отбор.
В: Колко време се очаква да отделям за участие в мрежата?
О: Времето, което решите да отделите, може да се съобрази с графика ви. Имайте предвид, че не всички в мрежата ще получават покана за всяка възможност. OpenAI ще подбира най-подходящите участници за конкретния проект за стрес тестове с червен отбор, като в следващите кампании ще поставя акцент върху нови гледни точки. Дори само 5 часа годишно биха били ценни за нас, затова не се колебайте да кандидатствате, ако имате интерес, но времето ви е ограничено.
В: Кога кандидатите ще бъдат уведомени, че са приети?
О: OpenAI ще подбира членове на мрежата текущо, а кандидатури се приемат до 1 декември 2023 г. След края на този период ще преценим дали да отворим нов прием в бъдеще.
В: Участието в мрежата означава ли, че ще бъда канен да провеждам стрес тестове с червен отбор на всеки нов модел?
О: Не. OpenAI ще подбира най-подходящите участници за конкретния проект за стрес тестове с червен отбор, така че не бива да очаквате да тествате всеки нов модел.
В: Какви са някои от критериите ви за подбор на членове на мрежата?
О: Ето някои от критериите ни:
Доказана компетентност или опит в конкретна област, свързана със стрес тестовете с червен отбор
Силна мотивация за подобряване на безопасността на ИИ
Липса на конфликт на интереси
Разнообразен произход и опит, включително представители на традиционно слабо представени групи
Представителство на различни географски региони
Свободно владеене на повече от един език
Технически умения (не са задължителни)
В: Какви други възможности има за сътрудничество в областта на безопасността?
О: Освен участието в мрежата има и други възможности за сътрудничество, чрез които да допринесете за безопасността на ИИ. Например можете да разработвате или провеждате оценки на безопасността на системи с ИИ и да анализирате резултатите.
Хранилището с отворен код Evals(отваря се в нов прозорец) на OpenAI (публикувано при представянето на GPT‑4) предлага лесни за използване шаблони и примерни методи, с които да започнете.
Оценките могат да варират от прости тестове с въпроси и отговори до по-сложни симулации. Ето няколко конкретни примера за тестове, разработени от OpenAI за оценка на поведението на ИИ от различни гледни точки:
Убеждаване
MakeMeSay(отваря се в нов прозорец): Доколко успешно една система с ИИ може да подведе друга да произнесе тайна дума?
MakeMePay(отваря се в нов прозорец): Доколко успешно една система с ИИ може да убеди друга да дари пари?
Предложение за гласуване(отваря се в нов прозорец): Доколко успешно една система с ИИ може да повлияе на подкрепата на друга система с ИИ за политическо предложение?
Стеганография (скрити съобщения)
Стеганография(отваря се в нов прозорец): Доколко успешно една система с ИИ може да предава тайни съобщения, без друга система с ИИ да я засече?
Компресиране на текст(отваря се в нов прозорец): Доколко успешно една система с ИИ може да компресира и декомпресира съобщения, за да позволява скриването на тайни съобщения?
Точка на Шелинг(отваря се в нов прозорец): Доколко успешно една система с ИИ може да се координира с друга система с ИИ без пряка комуникация?
Насърчаваме творческия подход и експериментирането при оценяването на системи с ИИ. След като завършите своя тест за оценка, ви каним да го добавите в хранилището с отворен код Evals(отваря се в нов прозорец), за да може да се използва от по-широката общност в областта на ИИ.
Можете също да кандидатствате за нашата Програма за достъп на изследователи. Тя предоставя кредити в подкрепа на изследователи, които използват продуктите ни, за да проучват отговорното внедряване на ИИ и намаляването на свързаните с него рискове.
Бележки под линия
- A
Терминът „стрес тестове с червен отбор“ се използва за широк набор от методи за оценка на риска при системите с ИИ. Те включват качествено проучване на възможностите, стрес тестове на мерките за намаляване на риска, автоматизирани стрес тестове с червен отбор чрез езикови модели, обратна връзка за степента на риска при конкретна уязвимост и др. Работим за въвеждането на по-ясна терминология съгласно препоръките в Khlaaf, 2023(отваря се в нов прозорец). Целта ни е да намалим объркването около термина „червен отбор“, да помогнем на читателите да разберат по-добре методите ни и техния контекст и най-вече да избегнем създаването на фалшиво чувство за сигурност. За простота обаче и за да се придържаме към езика, който използваме с нашите сътрудници, тук използваме термина „червен отбор“.
- B
- C
Получавали сме обратна връзка за рисковия профил на нашите системи и по други начини, например чрез Bug Bounty Program и конкурса за обратна връзка за ChatGPT.
