Сеть экспертов OpenAI по red teaming

Мы объявляем открытый набор в сеть экспертов OpenAI по red teaming и приглашаем специалистов, заинтересованных в повышении безопасности моделей OpenAI, присоединиться к нашей работе. Мы ищем экспертов из разных областей для совместной работы над тщательной оценкой наших моделей ИИ и проведением red teaming.

Red teaming^A — неотъемлемая часть нашего процесса итеративного внедрения⁠. За последние несколько лет наша работа по red teaming вышла за рамки внутреннего состязательного тестирования в OpenAI. Теперь мы сотрудничаем с группой внешних экспертов^B, которые помогают разрабатывать классификации рисков для отдельных областей и оценивать потенциально опасные возможности новых систем. Подробнее о нашей прежней работе по red teaming, в том числе с привлечением внешних экспертов, можно прочитать в материалах о таких моделях, как DALL·E 2⁠(открывается в новом окне) и GPT‑4⁠(открывается в новом окне).^C

Сегодня мы запускаем более организованную программу, чтобы развить этот опыт, углубить и расширить сотрудничество с внешними экспертами и сделать наши модели безопаснее. Сотрудничество с отдельными экспертами, исследовательскими институтами и организациями гражданского общества — важная часть нашей работы. Мы рассматриваем эту работу как дополнение к механизмам контроля, установленным извне, например независимым аудитам.

Сеть экспертов OpenAI по red teaming — это сообщество проверенных и опытных специалистов, которые могут помогать нам оценивать и снижать риски на более широкой основе, а не только в рамках разового сотрудничества и отбора перед крупными запусками моделей. Участников сети будут привлекать с учётом их специализации для помощи в проведении red teaming на разных этапах жизненного цикла разработки моделей и продуктов. Не каждый участник будет работать с каждой новой моделью или продуктом. Объём времени будет согласовываться индивидуально и может составлять всего 5–10 часов в год.

Помимо кампаний по red teaming, проводимых по заказу OpenAI, участники смогут обсуждать друг с другом общие подходы и результаты red teaming. Наша цель — регулярно получать мнения более широкого круга экспертов и сделать red teaming более итеративным процессом. Эта сеть дополняет другие возможности совместной работы над безопасностью ИИ, включая нашу программу доступа для исследователей⁠ и тесты с открытым исходным кодом⁠(открывается в новом окне).

Эта сеть даёт уникальную возможность влиять на разработку более безопасных технологий ИИ и правил их использования, а также на то, как ИИ может менять нашу жизнь, работу и общение. Присоединившись к сети, вы войдёте в круг профильных экспертов, которых мы можем привлекать к оценке наших моделей и систем на разных этапах внедрения.

Для оценки систем ИИ нужны знания из самых разных областей, разнообразие точек зрения и жизненного опыта. Мы приглашаем экспертов со всего мира подавать заявки и при отборе уделяем особое внимание разнообразию как регионов, так и областей знаний. 

Вот некоторые из интересующих нас областей — этот список не исчерпывающий:

Опыт работы с системами ИИ или языковыми моделями не обязателен, но может быть полезен. Больше всего мы ценим вашу готовность участвовать в работе и привносить свою точку зрения в оценку влияния систем ИИ.

Все участники сети экспертов OpenAI по red teaming будут получать вознаграждение за свой вклад в проекты по red teaming. Участие в сети не ограничивает ваши возможности публиковать исследования или заниматься другими проектами. Однако следует учитывать, что участие в red teaming и других проектах часто регулируется соглашениями о неразглашении (NDA) или предполагает соблюдение конфиденциальности в течение неопределённого срока.

Приём заявок закрыт.

Вопрос: Что предполагает участие в сети?

Ответ: Если вы состоите в сети, мы можем связаться с вами и предложить протестировать новую модель или проверить определённый аспект уже развёрнутой модели. Работа в рамках сети ведётся на условиях соглашения о неразглашении (NDA), хотя многие результаты red teaming мы ранее публиковали в системных карточках и статьях блога. Вы будете получать вознаграждение за время, потраченное на проекты по red teaming.

Вопрос: Сколько времени нужно будет уделять участию в сети? 

Ответ: Вы можете выбирать, сколько времени уделять работе, в зависимости от своего расписания. Обратите внимание: не все участники сети будут получать приглашения в каждый проект. OpenAI будет подбирать экспертов с учётом задач конкретного проекта по red teaming, а в последующих кампаниях делать акцент на новых точках зрения. Даже 5 часов в год будут для нас ценным вкладом, поэтому смело подавайте заявку, если вам интересно участие, но у вас мало времени.

Вопрос: Когда кандидаты узнают, что их приняли?

Ответ: OpenAI будет отбирать участников сети по мере поступления заявок. Подать заявку можно до 1 декабря 2023 года. После окончания этого периода мы рассмотрим возможность нового набора.

Вопрос: Означает ли участие в сети, что меня будут приглашать на red teaming каждой новой модели?

Ответ: Нет. OpenAI будет подбирать экспертов с учётом задач конкретного проекта по red teaming, поэтому не стоит ожидать, что вы будете тестировать каждую новую модель.

Вопрос: По каким критериям вы отбираете участников сети?

Ответ: Вот некоторые из наших критериев:

• Подтверждённые знания или опыт в определённой области, значимой для red teaming

• Искреннее стремление повысить безопасность ИИ

• Отсутствие конфликта интересов

• Разнообразие опыта и участие представителей традиционно мало представленных групп

• Представительство разных регионов мира 

• Свободное владение несколькими языками

• Технические навыки (не обязательны)

Вопрос: Какие ещё есть возможности для совместной работы над безопасностью ИИ?

Ответ: Помимо участия в сети, есть и другие возможности сотрудничества, позволяющие внести вклад в безопасность ИИ. Например, можно разрабатывать или проводить тесты безопасности систем ИИ и анализировать результаты.

В репозитории OpenAI с открытым исходным кодом Evals⁠(открывается в новом окне), опубликованном при запуске GPT‑4⁠, есть удобные шаблоны и примеры методов, которые помогут начать работу.

Проверки могут быть самыми разными: от простых тестов в формате вопросов и ответов до сложных симуляций. Вот несколько конкретных примеров тестов, разработанных OpenAI для оценки различных аспектов поведения ИИ:

Убеждение

• MakeMeSay⁠(открывается в новом окне): насколько успешно система ИИ может хитростью заставить другую систему ИИ произнести секретное слово?

• MakeMePay⁠(открывается в новом окне): насколько успешно система ИИ может убедить другую систему ИИ пожертвовать деньги?

• Предложение на голосовании⁠(открывается в новом окне): насколько успешно система ИИ может повлиять на поддержку политического предложения другой системой ИИ?

Стеганография (скрытая передача сообщений)

• Стеганография⁠(открывается в новом окне): насколько успешно система ИИ может передавать секретные сообщения так, чтобы другая система ИИ этого не обнаружила?

• Сжатие текста⁠(открывается в новом окне): насколько успешно система ИИ может сжимать и восстанавливать сообщения, чтобы скрывать в них секретную информацию?

• Точка Шеллинга⁠(открывается в новом окне): насколько успешно система ИИ может координировать действия с другой системой ИИ без прямого общения?

Мы приветствуем творческий подход и эксперименты при оценке систем ИИ. Когда ваш тест будет готов, приглашаем добавить его в репозиторий с открытым исходным кодом Evals⁠(открывается в новом окне), чтобы им могло пользоваться всё сообщество ИИ.

Вы также можете подать заявку на участие в нашей программе доступа для исследователей⁠. Она предоставляет кредиты исследователям, которые используют наши продукты для изучения вопросов ответственного внедрения ИИ и снижения связанных с ним рисков.