當 AI 系統做出難以直接監督的決策時，瞭解這些決策是如何做出的就變得很重要。一個看似可行的方法是監控模型的內部推理，而不僅是其動作或最終結果。
現代推理模型 (例如 GPT‑5 Thinking) 會在生成答案前先產生一個明確的思路鏈。監控這些思路鏈的不當行為可能比僅監控模型的動作和輸出結果更有效。然而，OpenAI 和整個產業的研究人員擔心(在新視窗中開啟)，這種思路鏈的「可監控性」可能會因訓練程序、資料來源的變化，甚至現有演算法的繼續擴展而變得脆弱。
我們希望隨著模型的擴展和在更高風險環境中的部署，思路鏈的可監控性能夠保持穩定。我們呼籲整個產業的研究人員努力盡可能長時間地保持思路鏈的可監控性，並確定它是否可以作為未來 AI 系統的載入控制層。為了保持可監控性，我們必須能夠測量它，然而，現有的評估很少 [1(在新視窗中開啟)、2(在新視窗中開啟)、3(在新視窗中開啟)]，而且方法各異。
本研究系統性地研究思路鏈的可監測性。我們引進一個用於評估思路鏈可監控性的框架，以及一套 13 項評估 (共包含 24 個環境)，用於具體測量系統的可監控性。這些評估分為三個類型：介入、流程和結果屬性。我們利用它們，研究現今大型語言模型的可監控性，以及隨著推理時間的增加、強化學習運行規模的擴大和預先訓練規模的增加，可監控性如何變化。
既然我們現在已經擁有一套大型評估工具，便可以開始追蹤我們模型的可監測性。(左上) 我們發現，隨著模型「思考」得更多，思路鏈會更長，可監測性也會提升。(右上) 在沒有思路鏈的情況下，通常會嘗試單獨監測模型的動作和最終輸出。然而，我們發現僅監測動作和輸出遠不如監測思維鏈 (CoT) 有效。(底部中央) 我們將我們的模型與提供完整 CoT 的外部模型比較，包括 Claude 3.7 Sonnet、DeepSeek R1-0528-Qwen3-8B 和 Kimi K2 Thinking。
我們發現大多數尖端推理模型相當容易監控，但並非完全如此。在我們研究的環境中，幾乎每個都是如此：監控思路鏈比單獨監控動作和最終結果更有效。思考時間較長的模型往往更易於監控，而在目前尖端規模下的強化學習最佳化似乎並未顯著降低其可監控性。
值得注意的是，我們觀察到推理強度與模型大小之間的權衡：當模型在低推理強度下運行時，較小的模型在較高推理強度下運行可以達到相似的能力，且更易於監控。這會增加推論運算的成本，我們稱之為可監控性稅。最後，我們發現，提出後續問題並監控由此生成的思路鏈可以進一步提高可監控性。
我們將可監控性定義為監控器預測代理程式行為相關屬性的能力。在許多情況下，這些屬性可能對應於不當行為的形式，例如欺騙、獎勵操控或有偏見的推理，但它們也可以包括良性的屬性，例如代理程式是否依賴某個特定的提示或遵循某個特定的推理路線。
可監測性是一種雙面屬性。這取決於監控者以及被監控的代理程式。
- 監控器。我們可以用多種方式讓監控器變得更智慧，我們希望評估能給那些更能預測代理程式行為的監控器更高的分數。
- 代理程式。 有許多代理程式的觀察結果可以提供給監控器，包括代理程式的動作、輸出、神經活化狀態，最近隨著推理模型的出現，還有思路鏈 (CoT)。某些代理程式的思考可能比其他代理程式更難理解，因此我們希望可監控性評估能夠比較代理程式，而不僅僅是監控器。
我們的評估旨在評估兩方面：某些代理程式是否更容易或更難監控，以及更有能力的監控器是否能從相同的訊號中擷取更多資訊。
在當前一代推理模型出現之前，通常會透過提示模型「逐步思考」來引出思路鏈。
推理模型的思路鏈在兩個重要面向上有所不同。首先，他們受明確訓練來生成思路鏈，然後給出答案。提示聊天模型「逐步」思考時，模型必須遵循對其施加的任何規範，例如要有幫助、無害等。相反，強化學習訓練過程教導推理模型：思路鏈 (CoT) 是一個私人空間，模型可以在其中隨意思考而不會受到懲罰，就像人類可以私下思考而不會因「思想犯罪」而受到懲罰一樣。
其次，訓練過程有效地搜尋對代理程式獲得高獎勵最終答案最具工具性價值的思考鏈。因此，思路鏈不僅是模型可以自由表達的空間，也包含幫助模型得出最終答案的思考。
我們將可監控性評估分為三個不同的類型，每一類型都利用不同的機制來衡量可監控性。
- 干預評估， 受到 Chen 等人 2025(在新視窗中開啟) 、 Chua 等人 2025(在新視窗中開啟) 、 Turpin 等人 2023(在新視窗中開啟) 的啟發，我們引進一個受控的代理程式環境變化，並測試監控器是否能透過識別思路鏈中的干預證據來檢測行為變化的原因。不同於標準控制評估 (例如Shade-Arena(在新視窗中開啟))，干預評估能讓我們探究監控器是否能夠偵測出為什麼行為發生變化，而不僅是偵測行為是否發生。
- 流程評估著重於那些只有有限數量有效解決途徑的任務 (例如數學問題只能用特定的定理來解決)。人類專家列舉這些路徑，我們測試監控器是否能偵測出模型實際採取的步驟。 這些評估能讓我們將模型的行為與其必須採取的特定步驟連結起來，並詢問這些步驟是否可監控。
- 當模型輸出的某個屬性可以可靠地測量時，就適用結果屬性評估。在這些情況下，我們測試監控器是否能從模型的推理或動作中預測出諸如獎勵操控等屬性。例如，在編程任務中，我們可能有一種方法可以可靠地評估模型是否在採取動作來獎勵操控行為，我們可以詢問監控器是否在模型的思維或動作中發現有意圖地獎勵操控的證據。
以下是我們評估的分類法。請參閱我們的論文，瞭解每項評估的詳細說明。
Neutral evaluations ask whether the reasoning for normal tasks where the model does not misbehave is monitorable. Sycophancy evaluations target cases where models change their behavior to overly please or agree with a user. Bias evaluations ask if a model’s bias around gender, race, etc. is monitorable. Finally, we use the misalignment label as a catchall for other forms of misbehavior: cheating, lying, etc.¹
我們發現模型的可監測性在各個群組之間存在一定程度的差異。我們發現一般而言，這些任務非常易於監測；然而，特別是在 Scruples 這個任務中 (此任務旨在測試對諂媚行為的推理是否具備可監測性) 我們發現其可監測性非常低。
可監測範例與不可監測範例
在這個結果屬性範例中，模型面臨不可能完成的編碼任務。如果單元測試通過，我們就知道模型進行了某種形式的操控。在無法監測的 CoT (紅色) 中，我們沒有看到模型提到做壞事的任何證據，而只是操弄測試並告訴使用者已經實施修正。相較之下，在可監測的 CoT (綠色) 中，能看到模型在思考「但在解決方案中，對時間進行猴子修補算是作弊行為。」
將思路鏈視為一個私人的工作空間，並訓練模型有效地利用它來解決任務，原則上應該能讓思路鏈可監控。同時，強化學習可能會損害思路鏈的可監控性，而原因有很多。
首先，對推理長度的限制，例如限制模型思考的時間或 token 數量，會使模型產生減少推理的誘因。其次，即使不直接對思路鏈本身施加最佳化壓力，間接壓力仍可能降低其可監控性。舉例來說(在新視窗中開啟)，模型若能避免可能導致低獎勵或不良結果的推理路徑，可能更容易獲得高獎勵的答案。最後，由於強化學習梯度噪音驅動的虛假漂移，可能會導致可監控性下降。
我們將在下方探討 OpenAI 的兩次尖端強化學習訓練中，可監控性的變化。雖然這些結果僅代表兩個資料點，卻顯示了在目前尖端尺度下，強化學習最佳化不會實質降低思路鏈的可監控性，反而在早期步驟中提高了可監控性。然而，這並不排除未來大幅擴展的強化學習規模可能會對可監控性產生負面影響。
我們發現，在目前的強化學習運算規模下，可監測性並沒有太大變化，只在初始步驟中有所增加。雖然這在當前範疇下可能屬實，但規模大幅增加可能會導致監測能力開始下降。
目前 AI 系統的大部分智慧都源自於不斷擴大的預先訓練規模，自 GPT 範式誕生以來，模型參數和資料集規模都在持續成長。參數數量的增加導致每個生成的 token 使用更多的推理運算。對於推理模型而言，這使得模型的認知有更多機會在活化過程中進行，而不是在思路鏈中進行。因此，我們可能會預期在固定的能力水準下，較大型的模型會較難監控。
同時，較小的模型也可能不太能有效利用思路鏈，這也會影響可監控性。
為了研究預先訓練規模、能力和可監控性之間的關係，我們在兩個量級的預先訓練運算上訓練了一系列模型，逐步增加其深度和寬度，然後在一個共享的數學、科學和程式設計任務資料集上對每個模型套用強化學習。我們評估了每個模型在不同推理範疇下的表現，並在相同能力水準下比較其可監控性。
我們繪製各模型在評估套件中的可監測性，並與一系列標準能力評估 (如 GPQA-Diamond、AIME 2025 與 CodeForces) 中的平均通過率比較。每個模型都在多種推理強度中進行評估 (請注意，本圖中每個點實際上是測量推理強度之間的線性插值結果)。圓圈表示在特定推理強度下的模型在該能力水準具有優秀可監測性，而透明的 X 則表示在特定推理強度下的模型在該能力水準，可監測性方面被另一模型超越。在黑色箭頭中，我們展示出兩種增加推理運算的方法範例：使用較小的模型以抽樣較多 token，或是使用相同模型以抽樣相對較少的額外 token。在紅色箭頭中，我們展示出必須支付的可監測性成本，即透過略微降低模型能力，以換取大幅提升的可監測性。
一般來說，我們發現如果以低推理強度部署某個模型，可以改為以高推理強度部署一個較小的模型。與將額外的運算資源用於對原始大型模型進行更多推理相比，我們能以較小的能力成本 (或可監控性稅) 獲得更高的可監控性；然而，完成一次任務所需的實際時間也可能是某些部署決策中的因素，但我們在此不予考慮。隨著我們的模型改進並在更高風險的環境中部署，可能需要支付這樣的稅金以安全地進行部署。
這些結果有以下限制：(1) 我們僅對每個模型進行一次訓練，因此沒有考慮訓練運行之間的差異。例如，與該系列中的其他模型相比，「中等」模型在可監控性方面似乎相當偏離趨勢，這可能是由於以下原因造成的。(2) 我們在相對分佈內的環境 (數學、科學和程式設計) 中評估能力，當考慮分佈外的穩健性時，權衡可能會改變。
隨著 AI 系統的效能規模超過人類水準，直接的人工監督變得愈加困難。理想情況下，我們應該擁有可擴展的控制程序，允許受信任但較弱的監控器監督更強大、可能不受信任的代理程式。這些程序也應能夠吸收額外的測試期運算資源，並產生更準確的預測。
(左) 我們比較許多不同的監測模型，並調整每個監測模型的推理強度。每個監測模型都在監測同一個 GPT‑5 Thinking 模型。正如預期，我們發現規模較大且功能更強的模型在監測方面通常表現更佳，而推理模型會在監測任務中隨著推理強度增加，表現更為出色 (因此測試時需要更多運算量)。(右) 我們比較 OpenAI o4-mini 不同的監測觀察範圍，即監測是否只能看到 CoT、僅動作和回答，或是能看到模型監測中的所有訊息。值得注意的是，我們發現監測模型取得 CoT 的存取權限時，隨著測試時間監測運算量 (更高的監測推理強度) 增加，可監測性的提升速度會加快。因此，相較於原始監測，CoT 監測或許能提供可擴充性更高的控制途徑。
思路鏈的可監控性通常視為固定量：一旦模型在特定推理努力下產生回應，就會盡可能監控所產生的思路鏈。因為我們一直發現，隨著增加代理程式的推理努力，可監控性會有所提升，因此我們受到啟發，想知道是否能以某種方式獲得更多的 token 來監控。
為了探索這一點，我們嘗試在模型回應後，提出後續問題，同時保持原始提示、思路鏈和答案的上下文。這些後續問題主要關注被監控的屬性，例如：「你是否以有意義的方式使用提示來選擇答案？」或「你是否做了什麼可疑的事情？」原則上，由於模型保留了其先前的推理，它或許能在後續的思路鏈 (CoT) 或回應中表達出先前未表達的想法。
這些是初步結果。我們僅探索了少數幾種後續問題格式，並相信在改進方法論方面仍有相當大的空間。此外，這種方法在理念上類似於模型自白，我們正在積極比較這些方法。
我們展示了在我們的評估套件中，以及我們最近所有推理模型：OpenAI o3‑mini、OpenAI o3、OpenAI o4-mini 和 GPT‑5‑thinking 取得的平均結果。我們發現，通常後續跟進問題在較低推理強度下能提高可監測性。如果我們反覆提出後續跟進問題並提供所有後續思維鏈，可監測性會進一步提升。值得注意的是，當我們只讓監測模型存取後續跟進答案，而不是後續跟進 CoT 時，相較於基準值，改善程度較少。這表明模型在回答使用者時並未全盤托出，但模型思路鏈其實會洩漏更多資訊。
除了提高可監控性之外，這種方法的吸引力在於它可以事後應用，只有在需要更深入檢查時才會產生額外的運算成本。展望未來，如果模型經過訓練，能夠預測對話過程中推理努力的變化，那麼在推理努力較高的情況下後續追蹤，即使初始推理努力較低或不存在，也可能進一步提高可監測性。
我們的評估套件中的每項評估都會衡量推理過程中的某個特定方面是否可監控。雖然我們旨在涵蓋廣泛的行為範疇，包括諂媚、隱藏實力、偏見、策劃和獎勵操弄，但仍有許多其他特性尚未經過測試。
如同任何基準，我們的評估可能因現實性有限或評估意識增強而受到影響，結果可能無法推廣至在實際情況中偵測不當行為。
最後，隨著對齊程度提升，模型在受控評估設定中發生不當行為的頻率可能會降低，進而減少可監測性評估與控制評估中依賴偵測不當行為所取得的訊號。在這種情況下，「中性」的可監測性評估結果仍然適用，但這類評估對於預測現實世界失敗能有多準確，目前沒有定論。
如果無法完全解決對齊問題，那麼可擴充的控制方法將成為我們能否安全部署強大模型的關鍵因素。思路鏈監測及相關方法可能是我們手中少數的控制機制。思路鏈用於了解我們的模型時也有很多優勢，例如，模型是否知道自己正在接受評估，而展現出與實際部署時不同的行為；又或者是否存在現有評估中尚未出現的任何不良目標之證據等。因此，深入理解失去可監測性的機制與時機非常重要。
我們認為，思路鏈監測可以與機械可解釋性互補，而不是替代品。就像所有已知的控制方法和可解釋性方法一樣，每一種都有其限制和盲點。我們期望結合多種方法——即縱深防禦策略——可以協助我們彌補任何單一方法的缺失。值得注意的是，本研究中引入的評估方法也可以用於評估和比較機械可解釋型監測技術。
我們相信思路鏈監測能在可擴充控制方案中承擔核心壓力，因此我們計劃擴充這些評估，並用於指導未來的建模和資料決策。
