モデルが賢くなり、実社会でより大きな影響を及ぼす行動を取るようになるにつれ、受け取った具体的な指示を解釈するだけでは不十分になっています。モデルには、人間の意図や価値観を理解することも必要です。そうすることで、人間の意図と監督に従いながら、指示に明記されていない状況でも適切に判断できるようになります。
本日、モデルに求める振る舞いを記した公開仕様である Model Spec（新しいウィンドウで開く） を更新します。今回の更新では、人間の意図への忠実さ、害の最小化、誠実さと透明性、人間の主体性、配慮という 5 つの根本的な価値を軸に、指針を再構成しています。これは、モデルが人間の意図に忠実でありながら、未知の状況でも人間の価値観を理解し、それに沿って行動できるようにするという、私たちの価値観のアラインメントに関する取り組みの目標を反映しています。今回の改訂では、既存の原則の説明を明確にするとともに、文脈、監督、主体性に関する指針を追加し、一部の振る舞いのデフォルトを調整しています。また、文体に関する詳細な指針の多くを廃止しています。
上記の 5 つの価値は、人間の目的に役立つこと、真実を伝えること、害を最小限に抑えること、人々が自分の考えを持つ自由を尊重すること、そして人々の置かれた状況を真摯に受け止めることという、Model Spec 全体にすでに反映されている基本姿勢を明文化したものです。これらの基本姿勢をまとめることで、仕様がなぜそのような振る舞いをモデルに求めるのかを説明しやすくなります。また、これまで十分に明文化されていなかった部分について、より明確な指針を整備する助けにもなります。今回の更新は、研究、モデルの提供を通じて得た経験、仕様やモデルの振る舞いに対する一般の方々からのフィードバック、ユーザーや外部の専門家との議論を通じて、仕様を改善する取り組みの新たな一歩です。
私たちは、ニーズや価値観、未来への希望がそれぞれ異なる世界中の人々に、AI が恩恵をもたらすことを目指しています。
このアプローチの土台となるのが、人間の意図への忠実さです。人々にとって何が大切かを理解し、その追求を支援することを意味します。OpenAI は仕様を策定して制約を定め、モデルがそれを守るようにトレーニングします。開発者はその制約の範囲内でアプリケーションの動作を定め、ユーザーはそれらの制約に従ってモデルの作業を指示します。モデルは、人々が世界を理解し、可能性を見いだし、自ら選んだ目標を追求できるよう支援することで、自分の人生を自ら形づくる力を広げるべきです。同時に、その支援が他者に及ぼす影響も真摯に考慮する必要があります。人間の意図への忠実さと残る 4 つの価値は、仕様を構成する軸であり、モデルが直面する特に重要なトレードオフにどう対処すべきかを導く指針です。これらは、モデルが尊重し、人々による追求を支えるべき人間の価値観を、すべて網羅しようとするものではありません。
忠実であるとは、指示に文字どおり従うだけでなく、OpenAI、開発者、ユーザーが何を意図し、何を大切にしているかを深く理解し、その理解が不完全な場合にも賢明に行動することです。また、人々の信念や価値観は変わりうると認識し、本人が納得できる形で内省や成長を支えることでもあります。気づかれないように誘導したり、本人の選択を覆したりしてはなりません。たとえば、複数の内定先を比較する手助けをする際、モデルは「勤務時間の見通しが立つこと」など、本人が以前に伝えた優先事項を参考にできます。その際は、何を前提としているかを明示し、簡単に修正できるようにします。
私たちのミッションは、汎用人工知能が人類全体に恩恵をもたらすようにすることです。そのためには、目の前の意図だけでなく、本人の長期的な利益や他者への影響も考慮する必要があります。残る 4 つの価値は、こうした考慮事項を明確にしています。
害の最小化とは、安全上の厳格な制約を守り、モデルの行動から予見できる結果を考慮することです。
誠実さと透明性とは、モデルが何を知り、何を行い、何を不確かだと考えているかを正直に伝えることです。それによって、人々がモデルの推論や作業を理解し、評価できるようにします。
人間の主体性の促進とは、人々が自ら理解し、選択し、行動する力を高めることです。
配慮とは、影響を受ける人々の状況に目を向け、関連する社会的・職業的規範に従い、人々が信頼して頼れる仕事をすることです。
仕様は、これらの価値を実践的な指針に落とし込んでいます。人々や社会を守るために必要な箇所には厳格な制約を設け、それ以外の大部分は、ユーザーや開発者が変更できるデフォルトとして定めています。
今回の Model Spec の更新と並行して、モデルがこれらの中核となる価値を学び、仕様の具体的な行動原則をよりよく理解して従えるようにするため、新しいトレーニング手法を探求してきました。目指しているのは、なぜその原則が重要なのか、そして新たな状況でどう適用すべきかをモデルが理解することです。つまり、正しい理由に基づいて正しいことを行えるようにすることです。その理解を、重大な意思決定における適切な判断と、日々の意思決定における配慮につなげたいと考えています。こうした積み重ねは、人々や社会への持続的な恩恵（新しいウィンドウで開く）をもたらしえます。このトレーニングの取り組みで得られた成果や教訓は、今後の発表で共有していきます。
今回の再構成を通じて、指針の追加が必要な箇所を特定し、それに対応する新たな原則を策定するとともに、既存の指針を必要に応じて改訂・廃止することもできました。
人間の意図への忠実さに関する新しいセクションは、人々が何を大切にしているかが最も重要であり、通常、指示はその価値観を最も明確に示す重要な手がかりである、という考え方を出発点としています。このアプローチは、アラインメントを支援ゲームとして捉える枠組みを参考にしています（初期の研究（新しいウィンドウで開く）とその後の概説（新しいウィンドウで開く）を参照）。このセクションには、更新された指示の優先順位（新しいウィンドウで開く）を組み込み、どの指示が適用されるか、指示間の矛盾をどう解消するかを説明しています。新しいサブセクション「文脈の慎重な考慮（新しいウィンドウで開く）」では、モデルが人々の意図や好みを理解するうえで、会話やメモリ、その他の文脈上の手がかりをどのように役立てるべきかを説明しています。
また、人間の主体性の支援（新しいウィンドウで開く）と関連する社会規範の遵守（新しいウィンドウで開く）に関するデフォルトを追加し、副次的な影響の抑制と説明（新しいウィンドウで開く）に関する既存の指針を拡充しました。これらの原則は、残る価値をモデルの振る舞いに反映させるうえで、目立たなくても重要な要素を新たに示しています。ユーザーの目標や指示を尊重しながら、作業が他者に及ぼす影響を考慮し、ユーザーの能力を高め、人々が信頼して頼れる成果を生み出すことです。
同時に、仕様に含まれる文体に関する詳細な指針の大部分を廃止します。文体は、人々全体の傾向、言語や文化ごとの傾向、そして一人ひとりの好みに合わせるべきです。ユーザーからのフィードバックや文脈が、そうした好みを知る手がかりになります。一方、問いに客観的な立場で向き合うこと（新しいウィンドウで開く）など、より重視すべきデフォルトは仕様に残しています。ユーザーや開発者は、特定の視点に立つようモデルに明示的に求めることができます。ただし、モデルは、相手が聞きたがっていると思う内容だけを根拠に、その視点を望んでいると推測すべきではありません。
最後に、モデルの用途や導入環境がますます多様化していることを踏まえ、仕様内でのモデルの呼称を「アシスタント」から「GPT」に変更しました。
今回の更新は、モデルの能力が高まるなかで、仕様の背景にある価値や考え方をより明確にするための第一歩です。Model Spec は、私たちが実現を目指す振る舞いを記したものであり、現在のモデルがその内容を完全に反映しているわけではありません。研究、実社会での利用、フィードバックから学びながら、仕様とモデルの両方を改善し続けていきます。
仕様のどの部分に共感するか、どのようなバランスの取り方に異論があるか、何が見落とされているか、どこが不明確かについて、皆さまのご意見をお聞かせください。価値、トレードオフ、具体的な表現に関するフィードバックは、仕様の改善に役立ちます。ぜひ更新版の Model Spec（新しいウィンドウで開く） をお読みいただき、ご意見をお寄せください（新しいウィンドウで開く）。
