ルールベース報酬によるモデルの安全性向上

ルールベース報酬（Rule-Based Rewards：RBR）は AI システムの安全性を大幅に強化し、一般の方や開発者の方の日常使用においてより安全で信頼性の高いシステムとなることが当社研究によって明らかになりました。これは、AI を安全なものとするための当社 AI の適用⁠の方法を検討する当社の取り組みの一環です。 

従来は、人間のフィードバックによる強化学習（RLHF）⁠を用いるファインチューニング言語モデルが、正確に AI を指示に従わせる⁠ための最も一般的な手法でした。OpenAI は、よりスマートで安全な AI モデルを作るために、主導的立場でこのようなアライメント手法の開発を行っています。

当社は AI システムの安全な挙動および人間の価値観との一致を確保するために、望ましい挙動を定義し、人間のフィードバックを収集して、「報酬モデル」を学習させました。このモデルは、望ましい行動を信号で知らせることで AI を指導します。しかし、日常的・反復的なタスクに対して人間のフィードバックを収集することは、多くの場合で非効率的です。さらに、当社の安全ポリシーが変更されると、すでに収集されているフィードバックがそれに適合しなくなり、新しいデータが必要になる可能性があります。

そこで、望ましい安全な挙動とモデルの挙動を一致させるための OpenAI の安全性スタックの重要要素として、ルールベース報酬（RBR）が導入されました。人間のフィードバックと異なり、RBR はモデルの出力が安全性基準に適合しているかの評価において、明確かつ簡潔で段階的なルールを使用します。RBR を標準的な RLHF パイプラインに組み込むことで、反復的な人間の入力による非効率を招くことなく、モデルの安全かつ効果的な挙動を確保するための有用性と危害防止のバランスが維持されます。当社では、GPT‑4⁠（GPT‑4o mini⁠ を含む）のローンチ以来、安全性スタックの一環として RBR を使用しており、今後のモデルにも実装していく予定です。

RBR の実装プロセスとして、一連の命題の定義が行われます。ここで言う命題とは、「判断的であること」「許可されていない内容を含むこと」「安全ポリシーに言及すること」「免責事項」など、モデルの応答の望ましい、または望ましくない側面に関する簡潔なステートメントのことです。次に、これらの命題を用いて、様々な状況における安全で適切な応答のニュアンスを捉えられるように慎重にルールを作成します。例えば、安全でないリクエストを受けた際には、「申し訳ありませんが、これについてはお手伝いできません」という拒否がモデルにとって望ましい応答であり、これに関連するルールには、（拒否の際には）「短いお詫びの言葉を含めるべき」と「従えないことを伝えるべき」と規定されています。 

当社は、有害またはデリケートなトピックを扱う際に望ましいモデルの挙動として、3つのカテゴリーを設計しました。安全ポリシーに応じて、リクエストは個別に、対応するモデルの応答タイプにマッピングされます。

この下に、命題によって、各応答タイプにおける理想的・非理想的な挙動がどのようにマッピングされるかの簡略化した例を示します。

この下の表では、命題の実例として、実験で学習させたモデルの補完例を示します。各補完に対する命題の値と、どのタイプにマッピングされたかを取り上げています。

固定言語モデルのグレーダーが、ルールにどの程度従っているかに基づいて応答のスコアを出し、RBR アプローチの新しいルールや安全ポリシーへの柔軟な適応を可能にします。RBR はこれらのスコアを使用して、既知の理想的応答タイプを含むプロンプトの小規模なデータセット、および対応する望ましい補完と望ましくない補完で学習させた重みパラメーターで線形モデルを適合させます。次に、RBR 報酬は有用のみ報酬モデル（helpful-only reward model）からの報酬と組み合わされ、PPO アルゴリズム⁠の追加の信号として使用されるとモデルが安全挙動ポリシーに従うよう働きかけます。この手法により、モデルの挙動をきめ細かく制御できるようになり、単に有害なコンテンツを忌避させるだけではなく、それを敬意と有用性をもって行わせるようにできるのです。

当社の実験では、RBR で学習したモデルは、人間のフィードバックで学習したモデルと同等の安全性能を示しました。また、一般的な性能ベンチマーク評価の数値を下げることなく、安全なリクエストを誤って拒否する（「過剰拒否」）事例も低減させました。RBR は、広範な人間データの必要性も大幅に減らし、学習プロセスをより迅速かつコスト効率の高いものにします。さらに、モデルの性能と安全ガイドラインの進化に応じて、RBR の更新は大規模な再学習を必要とすることなく、新たなルールの変更または追加によって迅速に行うことができます。

当社は、有用性と有害性の間のトレードオフを簡単に追跡できるフレームワークでモデルの安全な挙動を評価しています。安全性は、モデルがすべてを拒否するならば簡単に確保できますが、その場合モデルの有用性はゼロです。その一方で、有用性を最大限とする最適化がされているが、安全でない有害モデルを構築することは望みません。最適に整合されたモデルは、有用性と有害性のバランスをとる難事を成し遂げるべきなのです。

RBR は、明確で単純なルールを持つタスクにはうまく機能しますが、質の高い論文記述などの主観性の高いタスクにおいて機能させるのは難しい場合があります。ただし、RBR と人間のフィードバックを組み合わせることで、この問題への対処が可能です。例えば、RBR に特定のガイドライン（「スラングを使わない」など、または Model Spec⁠ のルール）に従わせる一方で、より繊細な面（全体の一貫性など）への対処には人間のフィードバックを用いるということができます。RBR の強みは、安全性の選好を正しく適用しながら、最終的な報酬スコアは必要以上に下げないように（ここにおいて、文体などに関して RLHF 報酬モデルに果たしてもらう重要な役割がまだ存在します）、最適化されていることなのです。

倫理的考慮事項：安全性チェックが人間から AI に移行されると、AI の安全性に対する人間の監視が減り、バイアスのあるモデルが RBR の報酬提供に使用された場合、モデル内の潜在的なバイアスが増幅される可能性があります。この対処として、研究者は RBR を慎重に設計して公平性と正確性を確保し、リスクを最小限に抑えるための RBR と人間のフィードバックを組み合わせた使用について検討する必要があります。

当社は、言語モデルの安全性学習に、ルールベースの報酬（RBR）を使用した新しい選好モデリングアプローチを導入しました。この手法はコストと時間の効率が高く、安全性と有用性のバランスを維持しながら、必要とする人間データは最小限で、モデルの望ましい挙動の内容が変化した場合でも簡単に更新できます。

RBR の役割は安全性学習に制限されません。明示的なルールで望ましい挙動を定義できる場合には、特定のアプリケーション向けにモデルの応答の個性や形式をカスタマイズするなどの様々なタスクに適応可能です。今後は、様々な RBR コンポーネントをより包括的に理解するための広範なアブレーション研究、ルール開発のための合成データの使用、安全性以外の領域を含む多様なアプリケーションにおける RBR の有効性検証のための人による評価を実施する予定です。

研究者や開発者の皆様には、ご自身の研究における RBR の可能性の探求をお願いしたく思います。インサイトの共有とベストプラクティスへの協力によって、安全で整合した AI の分野を皆で前進させ、この強力なツールがより良いサービスを人に提供するようにできるでしょう。