隨著 AI 智能代理逐漸具備執行更複雜、更加自主任務的能力，如何可靠地監察其行為亦變得越來越重要。按照我們「循序部署」的原則，我們會研究系統在真實環境中的表現，並隨著能力提升持續改進相關安全保障措施。為此，我們的安全方法採用「多層防護」，透過多個互補的安全層共同發揮作用，例如安全訓練、行為測試、智能代理程式碼審查（在新視窗中開啟），以及思路鏈（CoT）監察。CoT 監察會分析智能代理在執行任務時產生的推理步驟。這些推理過程在訓練與實際部署期間都可以提供重要訊號，協助監察系統識別智能代理的行為是否存在安全風險，或是否偏離用戶原本的目標。
目前我們發現，大多數模型的推理過程一般仍然具有可理解性，而且容易監察。不過，未來監察能力可能會因各種原因（在新視窗中開啟）而下降。這次我們探討其中一個可能情況：如果智能代理在知道自己正在被監察時，能夠刻意改變或隱藏自己的推理過程，那麼評估結果可能會高估系統的對齊程度或安全性，而監察系統的可靠性亦可能下降。
在這項研究中，我們探討目前的推理模型是否已具備能力控制自己的思路鏈，從而降低監察效果。理解這種能力十分重要，因為隨著 AI 系統能力提升，我們需要確保 CoT 監察仍然是一項可靠的安全保障。我們發現，目前的推理模型在控制自身 CoT 方面仍然有明顯困難，即使我們已明確告知模型其推理過程正受到監察。雖然較大型模型的可控性略高，但當模型需要進行更長時間的推理，或經過更多後續訓練時，其可控性反而會下降。研究結果顯示，目前 CoT 可控制性對 CoT 監察能力的威脅仍然不大。不過，隨著模型能力持續提升，仍然需要持續進行相關評估。
思路鏈是指 AI 智能代理在解決問題時所產生的中間推理步驟。這些推理過程能提供重要的安全訊號，幫助監察系統判斷智能代理的行為是否安全，或是否符合既定目標。
CoT 可控制性指推理模型能否控制其思路鏈的某些特徵，以降低監察系統對其推理過程的監察程度。在現實情況中，要全面衡量模型在各種動機下（例如試圖避開監察）對 CoT 的控制能力其實十分困難。因此，我們採用一個實際可行的替代方法：測量模型是否能遵循用戶對其 CoT 的指示。例如，我們會測試模型能否按照指示改變其推理方式，例如只使用小寫字母、避免使用某些關鍵字，或在每句說話中加入指定詞語。這些要求針對的是模型的內部推理過程，而不只是表面輸出的改變。
為了研究這個問題，我們推出 CoT-Control，一套開源評估工具，用於測量推理模型的 CoT 可控制性。CoT-Control 包含超過 13,000 個任務，來自多個既有評測基準，GPQA、MMLU-Pro、HLE、BFCL，以及 SWE-Bench Verified。每個任務都將一個基準問題與一條 CoT 指示結合，例如在 CoT 中避免與題目相關的某些關鍵字、只使用小寫字母，或在每句說話後加入指定詞語。
我們對 13 個推理模型進行評估，結果顯示所有模型在可靠控制其 CoT 方面都存在困難。我們將「可控制性」定義為模型成功遵守 CoT 指示的推理過程比例。在目前測試的前沿模型中，CoT 可控制性分數普遍偏低，最低約 0.1%，而最高亦未超過 15.4%。
這種表現並非因為模型未理解任務。實際上，模型往往會在自己的 CoT 中意識到自己未能遵循指示，但即使如此，仍然未能成功修正。這種出乎意料的低表現反而是一件好事。這意味著模型可能同樣缺乏刻意隱藏推理過程、以逃避監察的能力。
多個前沿模型控制其輸出及 CoT 的能力。較低的 CoT 可控制性與較高的可監察性相關，因此亦代表安全性較高。
CoT 可控制性失誤示例
為方便閱讀，問題內容已經過簡化改寫。
GPT-5.2 Thinking
GPT‑5.2 Thinking 發現自己不應該使用被禁止的字詞（紅色），但之後在為已經用過而「驚慌」時，又再用了 4 次。
我們亦觀察到，可控制性會隨模型規模增加而有所提升，但同時也發現它會隨著後續訓練增加和測試時計算量增加而快速下降。在兩個開放權重模型系列中，較大型模型確實稍微更能控制其思考鏈，但這種效果在更大規模時開始減弱。此外，當我們讓模型進行更長時間的推理時，其控制思考鏈的能力反而下降。在 OLMo-3-7B-RL-Zero-Math 的強化學習訓練過程中，我們也觀察到類似情況：其可控制性分數在訓練過程中下降了超過十倍。
總體而言，在開源模型中，可控制性會隨模型規模增加而提升，但會隨推理時間延長與強化學習訓練增加而下降。
為了模擬模型在現實情況下試圖避開監察的動機，我們會明確告知模型正在受監察或評估，然後再測量其可控制性。在這些情況下，可控制性確實略有提升，但幅度仍然有限。我們亦使用自動化提示詞優化方法，尋找能提高可控制性的提示詞。雖然這些方法能在訓練集上提高可控制性，但在新的指示類型上（例如要求單字之間不能有空格）效果並不理想。
CoT 可控制性是指在對抗情境下，對思路鏈的可控制程度。「監察意識」是指模型明確知悉自己的 CoT 正受到監察的情境。「評估意識」則是指模型明確知悉自己正因 CoT 可控性而接受評估的情境。
CoT-Control 所使用的任務屬於實際可行的替代指標。理想的 CoT 可控制性評估，應該測試那些本身具有錯誤目標的模型，是否能透過控制其 CoT 來逃避監察。然而在本研究中，我們是透過測量模型遵循 CoT 指示的能力，來估算其控制 CoT 的能力。此外，模型對不同類型的 CoT 特徵控制能力亦有所不同，而 CoT-Control 只涵蓋有限的控制類型，因此可能會高估或低估實際可控制性。
CoT 可控制性低其實是優點，而不是缺陷。目前推理模型在 CoT 控制方面的能力有限，反而令 CoT 監察作為安全措施更值得信賴。同時，我們仍未完全理解為何目前模型的可控制性如此之低，也不清楚這種特性是否會隨模型能力提升而改變。因此，CoT 可控制性評估可以被視為一種「金絲雀測試」：當模型開始能夠更有效地改變或隱藏推理過程時，這將成為一個重要的早期警號。
研究結果顯示，目前 CoT 可控制性不太可能對 CoT 監察構成重大風險。不過，低可控制性本身並不足以完全確保高監察能力，因為監察效果仍可能因其他機制而下降，例如直接對 CoT 施加優化壓力。
