OpenAI レッドチーミングネットワーク

OpenAI レッドチーミングネットワークの公募を開始します。OpenAI のモデルの安全性向上に関心を持つ各分野の専門家の皆様に、ぜひご参加いただきたいと考えています。私たちの AI モデルに対する厳格な評価とレッドチーミングに協力してくださる、さまざまな分野の専門家を募集しています。

レッドチーミング^Aは、私たちの反復的な導入プロセス⁠に欠かせない取り組みです。ここ数年、私たちのレッドチーミングは、OpenAI 内部での敵対的テストを中心とした取り組みから、外部の専門家^Bとの協働へと広がってきました。専門家の協力を得ながら、分野ごとのリスク分類体系を構築し、新しいシステムが持つ潜在的に有害な能力を評価しています。外部の専門家との協働を含む、これまでのレッドチーミングの取り組みについては、DALL·E 2⁠（新しいウィンドウで開く） や GPT‑4⁠（新しいウィンドウで開く） などのモデルに関する資料で詳しくご覧いただけます。^C

本日、これまでに築いた基盤を生かし、モデルの安全性を高めるために外部の専門家との協働をさらに深め、広げる、より体系的な取り組みを開始します。個人の専門家、研究機関、市民社会団体との協働は、私たちのプロセスの重要な一部です。私たちはこの取り組みを、第三者監査など、外部で定められたガバナンスの実践を補完するものと位置づけています。

OpenAI レッドチーミングネットワークは、信頼できる経験豊富な専門家のコミュニティです。主要なモデルの導入前に一度限りの選考と協力依頼を行うのではなく、リスク評価と軽減の取り組みに、より幅広く知見を生かしていただくことを目指しています。ネットワークのメンバーには、それぞれの専門性に応じて、モデルや製品の開発ライフサイクルのさまざまな段階でレッドチーミングへの協力をお願いします。すべてのメンバーが、新しいモデルや製品のすべてに関わるわけではありません。参加に充てる時間は個別に相談して決め、年間 5～10 時間程度となる場合もあります。

OpenAI が依頼するレッドチーミング活動以外でも、メンバー同士でレッドチーミング全般の手法や知見について交流する機会があります。多様な意見を継続的に取り入れ、レッドチーミングをさらに反復的なプロセスにしていくことが目標です。このネットワークは、研究者アクセスプログラム⁠やオープンソースの評価⁠（新しいウィンドウで開く）など、AI の安全性向上に協力できる他の機会を補完するものです。

このネットワークでは、より安全な AI 技術の開発や政策の策定に関わり、AI が私たちの暮らしや働き方、人との関わり方に与える影響をよりよい方向に導く、貴重な機会を得られます。ネットワークに参加すると、各分野の専門家チームの一員となり、モデルやシステムの導入におけるさまざまな段階で、評価への協力をお願いすることがあります。

AI システムの評価には、幅広い分野への理解、多様な視点、そして実体験が必要です。世界中の専門家からの応募を歓迎しており、選考では地域と専門分野の両面で多様性を重視しています。 

関心を寄せている分野には以下がありますが、これらに限りません。

AI システムや言語モデルに関する経験は必須ではありませんが、役立つ場合があります。私たちが最も重視するのは、AI システムの影響を評価する取り組みに積極的に関わり、ご自身の視点を生かそうとする意欲です。

OpenAI レッドチーミングネットワークのメンバーがレッドチーミングのプロジェクトに参加した場合、その貢献に対して全員に報酬をお支払いします。このネットワークへの参加によって、研究の発表や他の活動が制限されることはありません。ただし、レッドチーミングやその他のプロジェクトへの参加には、秘密保持契約（NDA）が適用されたり、無期限の機密保持が求められたりすることが多い点にご留意ください。

募集は終了しました。

Q：ネットワークに参加すると、どのような活動を行いますか？

A：ネットワークに参加すると、新しいモデルのテストや、すでに導入されているモデルの特定分野でのテストについて、ご協力をお願いすることがあります。ネットワークでの活動は秘密保持契約（NDA）の下で行われます。ただし、これまでもレッドチーミングで得られた多くの知見を、システムカードやブログ記事で公開してきました。レッドチーミングのプロジェクトに費やした時間に対して、報酬をお支払いします。

Q：ネットワークへの参加には、どのくらいの時間が必要ですか？ 

A：参加に充てる時間は、ご自身の都合に合わせて調整できます。なお、すべての機会についてネットワークの全員にご連絡するわけではありません。OpenAI は、個々のレッドチーミングプロジェクトに適した方を選び、その後の取り組みでは新たな視点を重視します。年間わずか 5 時間でも、私たちにとって貴重な貢献です。関心はあるものの時間が限られているという方も、ぜひご応募ください。

Q：選考結果はいつ通知されますか？

A：OpenAI はネットワークのメンバーを随時選考します。応募期限は 2023 年 12 月 1 日です。今回の応募期間が終了した後、今後の追加募集について改めて検討します。

Q：ネットワークに参加すると、すべての新しいモデルでレッドチーミングを依頼されますか？

A：いいえ。OpenAI は個々のレッドチーミングプロジェクトに適した方を選ぶため、すべての新しいモデルのテストに参加できるわけではありません。

Q：ネットワークのメンバーには、どのような条件を求めていますか？

A：以下のような点を重視しています。

• レッドチーミングに関連する特定分野での、実績に裏付けられた専門知識や経験

• AI の安全性向上への熱意

• 利益相反がないこと

• 多様な経歴を持つ方や、これまで十分に参加の機会がなかった層の参加

• 多様な地域からの参加 

• 複数言語を流暢に使えること

• 技術的なスキル（必須ではありません）

Q：安全性向上に協力できる機会は、他にもありますか？

A：ネットワークへの参加以外にも、AI の安全性向上に協力できる機会があります。たとえば、AI システムの安全性評価を設計・実施し、その結果を分析するという方法があります。

OpenAI のオープンソースの Evals⁠（新しいウィンドウで開く） リポジトリ（GPT‑4 の公開⁠に合わせてリリース）では、こうした取り組みをすぐに始められるよう、使いやすいテンプレートや手法のサンプルを提供しています。

評価には、簡単な質疑応答テストから、より複雑なシミュレーションまで、さまざまな方法があります。具体例として、AI の振る舞いをさまざまな角度から評価するために OpenAI が開発した評価手法を紹介します。

説得

• MakeMeSay⁠（新しいウィンドウで開く）：AI システムは、別の AI システムをどの程度うまく誘導して、秘密の単語を言わせることができるか

• MakeMePay⁠（新しいウィンドウで開く）：AI システムは、別の AI システムをどの程度うまく説得して、寄付させることができるか

• 投票提案⁠（新しいウィンドウで開く）：AI システムは、別の AI システムによる政治的提案への支持にどの程度影響を与えられるか

ステガノグラフィー（隠されたメッセージ）

• ステガノグラフィー⁠（新しいウィンドウで開く）：AI システムは、別の AI システムに気づかれずに、どの程度うまく秘密のメッセージを伝えられるか

• テキスト圧縮⁠（新しいウィンドウで開く）：AI システムは、秘密のメッセージを隠せるように、どの程度うまくメッセージを圧縮・復元できるか

• シェリングポイント⁠（新しいウィンドウで開く）：AI システムは、直接やり取りせずに、別の AI システムとどの程度うまく協調できるか

AI システムの評価では、創造的な発想や実験的な試みを歓迎します。評価手法が完成したら、AI コミュニティ全体で活用できるよう、ぜひオープンソースの Evals⁠（新しいウィンドウで開く） リポジトリにご提供ください。

また、研究者アクセスプログラム⁠にも応募できます。このプログラムでは、OpenAI の製品を使って AI の責任ある導入や関連リスクの軽減について研究する方を支援するため、クレジットを提供しています。