Мережа OpenAI з перевірки на вразливості та ризики

Ми оголошуємо відкритий набір до Мережі OpenAI з перевірки на вразливості та ризики й запрошуємо фахівців, зацікавлених у підвищенні безпеки моделей OpenAI, долучитися до нашої роботи. Ми шукаємо фахівців із різних галузей для спільного ретельного оцінювання наших моделей ШІ та їх перевірки на вразливості та ризики.

Перевірка на вразливості та ризики^A — невіддільна частина нашого ітеративного процесу впровадження⁠. За останні кілька років наша робота з перевірки на вразливості та ризики вийшла за межі внутрішнього змагального тестування в OpenAI. Тепер ми співпрацюємо з групою зовнішніх експертів^B, які допомагають розробляти класифікації ризиків для окремих галузей і оцінювати потенційно шкідливі можливості нових систем. Докладніше про нашу попередню роботу з перевірки на вразливості та ризики, зокрема про співпрацю із зовнішніми експертами, можна прочитати в матеріалах про такі моделі, як DALL·E 2⁠(відкривається у новому вікні) і GPT‑4⁠(відкривається у новому вікні).^C

Сьогодні ми започатковуємо більш структуровану ініціативу, щоб розвинути ці напрацювання, поглибити й розширити співпрацю із зовнішніми експертами та зробити наші моделі безпечнішими. Співпраця з окремими експертами, дослідницькими установами й організаціями громадянського суспільства — важлива складова нашої роботи. Ми розглядаємо цю роботу як доповнення до встановлених ззовні практик управління, як-от незалежні аудити.

Мережа OpenAI з перевірки на вразливості та ризики — це спільнота досвідчених експертів, яким ми довіряємо. Вона допоможе нам оцінювати й знижувати ризики на ширшій основі, а не лише через разове залучення та відбір фахівців перед важливими впровадженнями моделей. Учасників мережі залучатимуть відповідно до їхніх фахових знань для допомоги з перевіркою на вразливості та ризики на різних етапах життєвого циклу розробки моделей і продуктів. Не кожен учасник працюватиме з кожною новою моделлю чи продуктом. Час участі узгоджуватиметься індивідуально й може становити лише 5–10 годин на рік.

Поза кампаніями перевірки на вразливості та ризики, організованими OpenAI, учасники матимуть змогу обговорювати між собою загальні підходи до такої перевірки та її результати. Мета — забезпечити постійне надходження різноманітніших думок і зробити перевірку на вразливості та ризики більш ітеративним процесом. Ця мережа доповнює інші можливості співпраці у сфері безпеки ШІ, зокрема нашу Програму доступу для дослідників⁠ та тести для оцінювання з відкритим кодом⁠(відкривається у новому вікні).

Ця мережа дає унікальну можливість впливати на розробку безпечніших технологій і політик у сфері ШІ, а також на те, як ШІ змінюватиме наше життя, роботу та взаємодію. Долучившись до мережі, ви ввійдете до кола галузевих експертів, яких ми можемо залучати до оцінювання наших моделей і систем на різних етапах їх впровадження.

Оцінювання систем ШІ потребує знань із багатьох галузей, урахування різних поглядів і життєвого досвіду. Ми запрошуємо експертів з усього світу подавати заявки й під час відбору надаємо пріоритет географічному та галузевому різноманіттю. 

Нас цікавлять, зокрема, такі галузі:

Попередній досвід роботи із системами ШІ або мовними моделями не обов’язковий, але може бути корисним. Найбільше ми цінуємо вашу готовність долучитися до оцінювання впливу систем ШІ та поділитися власним баченням.

Усі учасники Мережі OpenAI з перевірки на вразливості та ризики отримуватимуть винагороду за свій внесок у проєкти такої перевірки. Участь у цій мережі не обмежуватиме вашу можливість публікувати власні дослідження чи долучатися до інших ініціатив. Однак слід враховувати, що участь у перевірці на вразливості та ризики й інших проєктах часто регулюється угодами про нерозголошення (NDA) або залишається конфіденційною протягом невизначеного терміну.

Прийом заявок завершено.

Запитання: Що передбачає участь у мережі?

Відповідь: Якщо ви учасник мережі, ми можемо звернутися до вас із пропозицією протестувати нову модель або перевірити певний аспект роботи вже впровадженої моделі. Робота в межах мережі регулюється угодою про нерозголошення (NDA), хоча раніше ми публікували багато результатів перевірки на вразливості та ризики в картках систем і дописах у блозі. Ви отримуватимете винагороду за час, витрачений на проєкти перевірки на вразливості та ризики.

Запитання: Скільки часу потрібно приділяти участі в мережі? 

Відповідь: Ви можете визначати, скільки часу приділяти цій роботі, залежно від свого графіка. Зверніть увагу: не всіх учасників мережі запрошуватимуть до кожного проєкту. OpenAI добиратиме їх відповідно до потреб конкретного проєкту перевірки на вразливості та ризики, а в наступних кампаніях такої перевірки приділятиме особливу увагу новим поглядам. Навіть 5 годин на рік будуть для нас цінними, тож не вагайтеся подавати заявку, якщо вам це цікаво, але ви маєте обмаль часу.

Запитання: Коли кандидатам повідомлять про прийняття до мережі?

Відповідь: OpenAI відбиратиме учасників мережі в міру надходження заявок. Подати заявку можна до 1 грудня 2023 року. Після завершення цього періоду ми розглянемо можливість відкрити прийом заявок знову.

Запитання: Чи означає участь у мережі, що мене залучатимуть до перевірки кожної нової моделі на вразливості та ризики?

Відповідь: Ні, OpenAI добиратиме учасників відповідно до потреб конкретного проєкту перевірки на вразливості та ризики, тож не варто очікувати, що ви тестуватимете кожну нову модель.

Запитання: За якими критеріями ви добираєте учасників мережі?

Відповідь: Ось деякі з наших критеріїв:

• Підтверджені фахові знання або досвід у певній галузі, дотичній до перевірки на вразливості та ризики

• Щире прагнення підвищувати безпеку ШІ

• Відсутність конфліктів інтересів

• Різноманітний досвід і представництво традиційно недостатньо представлених груп

• Представництво різних географічних регіонів 

• Вільне володіння кількома мовами

• Технічні навички (не обов’язково)

Запитання: Які ще є можливості співпраці у сфері безпеки?

Відповідь: Окрім участі в мережі, є й інші можливості спільно працювати над безпекою ШІ. Наприклад, можна розробляти чи проводити оцінювання безпеки систем ШІ та аналізувати результати.

Репозиторій OpenAI з відкритим кодом Evals⁠(відкривається у новому вікні), опублікований під час запуску GPT‑4⁠, містить зручні шаблони та приклади методів, які допоможуть розпочати цю роботу.

Оцінювання може охоплювати як прості тести у форматі запитань і відповідей, так і складніші симуляції. Ось конкретні приклади тестів, розроблених OpenAI для оцінювання різних аспектів поведінки ШІ:

Переконування

• MakeMeSay⁠(відкривається у новому вікні): Наскільки успішно система ШІ може обманом змусити іншу систему ШІ сказати секретне слово?

• MakeMePay⁠(відкривається у новому вікні): Наскільки успішно система ШІ може переконати іншу систему ШІ пожертвувати гроші?

• Пропозиція для голосування⁠(відкривається у новому вікні): Наскільки успішно система ШІ може вплинути на підтримку політичної пропозиції іншою системою ШІ?

Стеганографія (приховані повідомлення)

• Стеганографія⁠(відкривається у новому вікні): Наскільки успішно система ШІ може передавати секретні повідомлення так, щоб інша система ШІ їх не виявила?

• Стиснення тексту⁠(відкривається у новому вікні): Наскільки успішно система ШІ може стискати й розпаковувати повідомлення, щоб приховувати секретну інформацію?

• Точка Шеллінга⁠(відкривається у новому вікні): Наскільки успішно система ШІ може координувати дії з іншою системою ШІ без прямого спілкування?

Ми заохочуємо творчий підхід та експерименти в оцінюванні систем ШІ. Після завершення роботи запрошуємо вас додати свій тест до репозиторію з відкритим кодом Evals⁠(відкривається у новому вікні), щоб ним могла користуватися ширша спільнота фахівців із ШІ.

Ви також можете подати заявку до нашої Програми доступу для дослідників⁠. Вона надає кредити дослідникам, які використовують наші продукти для вивчення питань відповідального впровадження ШІ та зниження пов’язаних із ним ризиків.