AI エージェントが、より複雑で自律的なタスクをこなせるようになるにつれて、その振る舞いを確実に監督することの重要性は高まっています。私たちは反復的なデプロイという原則に基づき、システムが実環境でどのように振る舞うかを調査し、能力の向上に合わせて安全対策を継続的に改善しています。その一環として、OpenAI の安全性への取り組みでは、多層防御（defense-in-depth）を採用し、安全性トレーニング、行動テスト、エージェントによるコードレビュー（新しいウィンドウで開く）、思考の連鎖（CoT）モニタリング など、複数の補完的な防御レイヤーを組み合わせています。CoT モニタリングでは、エージェントがタスクを進める際に生成する推論ステップを解析します。こうした推論の軌跡は、学習時とデプロイ時の両方で有用なシグナルとなり、モニタリングシステムがエージェントの振る舞いが安全でない可能性や、ユーザーの意図した目標とずれている可能性を検知するのに役立ちます。
現在のところ、モデルの推論は概ね解釈可能であり、モニタリングしやすいことが分かっています。しかし将来は、さまざまな理由（新しいウィンドウで開く）からモニタリングのしやすさが損なわれる可能性があります。本稿では、そのうちの1つの経路に焦点を当てます。すなわち、エージェントが自分がモニタリングされていると知ったときに、意図的に自らの推論を作り替えたり、あいまいにしたりできるようになると、評価がシステムのアラインメントや安全性を過大評価してしまい、モニタリングシステムの信頼性が下がり得る、という可能性です。
本研究では、現在のリーズニングモデルが、モニタリングのしやすさを下げる形で自らの思考の連鎖を制御できるかどうかを調べます。この能力を理解することは、AI システムの能力が向上しても CoT モニタリングが堅牢な安全策であり続けることを確かめるうえで重要です。私たちは、現在のリーズニングモデルは、モニタリングされていると伝えられた場合であっても、自らの CoT をうまく制御できていないことを見出しました。より大きなモデルでは制御性が高い一方で、より長く推論させた場合や、追加のポストトレーニングを行った場合には制御性が低下します。これらの結果から、現時点では CoT の制御性が CoT モニタリングに対して大きなリスクとなっている可能性は低いものの、モデルの高度化に伴い継続的な評価が重要になることが示唆されます。
思考の連鎖（chain-of-thought）とは、AI エージェントがタスクを解く際に生成する中間的な推論ステップを指します。こうした推論の軌跡は有用な安全性シグナルとなり、モニタリングシステムがエージェントの振る舞いが安全かどうか、アラインしているかどうかを評価するのに役立ちます。
CoT の制御性とは、リーズニングモデルが、自らの CoT の性質をモニタリングのしやすさを下げる方向に制御できる能力のことです。実際に起こり得る、モニタリング回避のインセンティブがフルに働く状況すべてにわたってこの能力を測定するのは困難です。その代わりに、私たちは実用的な代理指標を用います。すなわち、モデルが自らの CoT に関するユーザーの指示にどれだけ従えるかを測定します。例えば、内部の推論に影響する指示——小文字のみを使う、特定のキーワードを避ける、特定のフレーズを追加する——などに従えるかどうかをテストします。これは、単に外から見える出力だけを変えるのとは異なります。
この研究のために、私たちはリーズニングモデルの CoT 制御性を測定するためのオープンソース評価スイートである CoT-Control を導入しました。CoT-Control には、GPQA、MMLU-Pro、HLE、BFCL、SWE-Bench Verified といった既存ベンチマークから構成された 13,000 を超えるタスクが含まれます。各タスクは、ベンチマーク問題と 1 つの CoT 指示を組み合わせて作成されます。例えば、CoT 内で問題に関連する特定のキーワードを避ける、小文字のみを使う、各文の末尾に指定された単語を付け加える、といった指示です。
私たちは 13 個のリーズニングモデルを評価し、いずれのモデルも自らの CoT を安定して制御するのに苦戦していることを確認しました。制御性は、モデルが CoT 指示に成功裏に従えた推論軌跡の割合として測定します。最先端モデル全体で見ると、CoT 制御性スコアは低く、0.1％から始まり、今回評価したどのフロンティアモデルでも 15.4％を超えることはありませんでした。
このできなさは、タスクを理解していないことが原因ではありません。モデルはしばしば、自分が与えられた CoT 指示に従えていないことを CoT の中で認識しており——その事実に気づいた後でさえ——なお失敗し続けます。この驚くほど低いパフォーマンスは、CoT モニタリングにとっては良いニュースです。モデルは、モニタリングを回避するために自らの推論をあいまいにする能力も同様に欠いている可能性が示唆されるからです。
複数のフロンティアモデルにおける、出力と CoT を制御する能力を示しています。CoT 制御性が低いほどモニタリング性が高くなり、その結果として安全性も高まります。
CoT 制御性が失敗した例
質問文は簡潔にするために言い換えています。
GPT-5.2 Thinking
GPT‑5.2 Thinking は、自分が使ってはいけない単語（赤）を使ってしまったことに気づきますが、その後も動揺しながら同じ単語をさらに4回使い続けてしまいます。
制御性がモデルサイズとともに高まる一方で、ポストトレーニングの量やテスト時の計算量が増えると、制御性は急速に低下することも分かりました。2 つのオープンウェイトモデルファミリーを比較すると、より大きなモデルの方が思考の連鎖をややうまく制御できましたが、その効果はサイズが大きくなるにつれて頭打ちになりました。一方で、モデルにより長く考えさせると、その思考の連鎖を制御する能力は低下しました。OLMo-3-7B-RL-Zero-Math の RL トレーニングでも同様の傾向が見られ、学習の過程で制御性スコアが 10 倍以上低下しました。
オープンウェイトモデルでは、スケールが大きくなると制御性は高まりますが、推論を長くしたり、RL トレーニングを増やしたりすると劣化します。
現実的なモニタリング回避インセンティブを模擬するために、モデルに対して「モニタリングされている」「評価されている」と伝えた場合の制御性も測定しました。これは制御性をわずかに（しかし目に見える程度には）高めます。また、自動プロンプト最適化を用いて、高い制御性を引き出せるプロンプトを探索しました。最適化器は学習用データセット上では制御性を高められますが、その効果は、新しい種類の指示（例えば単語間のスペースを一切使わないといった指示）にはあまりうまく転移しませんでした。
CoT 制御性は、敵対的な条件下で測定しています。「Monitor awareness」は、モデルに対して CoT がモニタリングされていることを知らせる設定を指します。「Eval Awareness」は、CoT 制御性について評価されていることをモデルに知らせる設定を指します。
CoT-Control のタスクは、あくまで実用的な代理指標です。理想的な CoT 制御性評価は、本来であれば、自然に非アラインな目標を追求するモデルが、モニタリングを回避するために自らの CoT を制御できるかどうかをテストする必要があります。代わりに私たちは、エージェントが自らの CoT に関する指示にどれだけ従えるかを測ることで、CoT 制御能力を推定しています。さらに、モデルは CoT のある特徴は他よりもうまく制御できる可能性があり、CoT-Control は限られた種類の制御性しか測っていないため、制御性を過大評価または過小評価している可能性もあります。
CoT 制御性が低いことは、不具合ではなく「特長」です。現在のリーズニングモデルの制御性が低いことは、CoT モニタリングを安全策としてより信頼できるものにします。一方で、なぜ現在のリーズニングモデルの制御性が低いのか、またこの性質がモデルの能力向上後も維持されるのかについては、まだ十分に理解できていません。そのため、CoT 制御性評価は「カナリア評価」として捉えることができます。すなわち、モデルが自らの推論を操作したり隠したりする能力を高めているかどうかを早期に示す警告サインです。
私たちの結果は、現時点では CoT 制御性が CoT モニタリングに対して大きなリスクとなっている可能性は低いことを示唆しています。ただし、制御性が低いという事実だけでは、高いモニタリング性が保証されるわけではありません。CoT に対する直接的な最適化圧など、他のメカニズムによってモニタリング性が損なわれる可能性は依然としてあるからです。
こうしたダイナミクスを長期的に追跡するため、今後のフロンティアモデル向けの System Card では、CoT モニタリング性と並んで CoT 制御性も報告していく予定です。これは GPT‑5.4 Thinking から開始し、フロンティアリーズニングモデルの CoT に対して直接的な最適化圧をかけないという、継続的なコミットメントの上に構築していきます。
さらに読む
