當 AI 系統作出難以直接監察的決策時，了解這些決策是如何作出的變得非常重要。一個可行的方法是監控模型的內部推理，而不是僅僅監控其行動或最終輸出。
GPT‑5 Thinking 等現代推理模型在產生答案之前，會先產生明確的思路鏈。透過監控思考鏈識別異常行為，遠比單單監控模型的行動和輸出更為有效。然而，OpenAI 和整個行業的研究人員擔心（在新視窗中開啟），此思路鏈的「可監控性」可能會因訓練程序、資料來源變化，甚至現有算法繼續擴展而變得脆弱。
我們希望隨著模型的擴展和在更高風險環境中的部署，思路鏈的可監控性能夠保持穩定。我們呼籲業界研究人員致力於最大限度維持思路鏈的可監控性，並驗證其能否成為 AI 系統的核心控制層。為了保持可監控性，我們必須能夠加以測量，但現有的評估甚少[1（在新視窗中開啟）、2（在新視窗中開啟）、3（在新視窗中開啟）]，而且方法各異。
在此工作中，我們系統性地研究了思路鏈的可監控性。我們引入了一個框架來評估思路鏈的可監控性，以及一套 13 項評估（共包含 24 個環境），旨在具體衡量系統的可監控性。這些評估分為三個典型類別—介入、流程和結果屬性。透過這些評估，我們研究現今大型語言模型的可監控性，以及在推論時增加推理、進行更大規模的強化學習運行和增加預訓練規模時，可監控性如何變化。
現在，我們擁有大量評估套件，可以開始追蹤我們模型的可監控性。（左上角）我們發現，隨著模型「思考」得越多，並且擁有越長的思路鏈，可監控性有所提升。（右上角）在沒有思路鏈的情況下，通常會單獨監控模型的行動和最終輸出。然而，我們發現僅監控行動和輸出遠不如監控思維過程有效。（底部中央）我們將我們的模型與提供完整思路鏈的外部模型進行比較，包括 Claude 3.7 Sonnet、DeepSeek R1-0528-Qwen3-8B 和 Kimi K2 Thinking。
我們發現，大多數前沿推理模型相當容易監控，但並非完全如此。在幾乎每個我們研究的環境中，監控思路鏈比單獨監控行動和最終輸出更有效。思考時間較長的模型往往更易於監測，而在當前前沿規模下的強化學習最佳化似乎不會顯著降低可監控性。
值得注意的是，我們觀察到推理強度與模型大小之間的權衡：當模型以低推理強度運行時，較小的模型以較高推理強度運行可以達到相似的能力，且更易於監控。這會增加推論運算的成本，我們稱之為可監控性稅。最後，我們發現，提出後續問題並監控由此產生的思路鏈可以進一步提高可監控性。
我們將可監控性定義為監控者預測智能代理行為特性的能力。在許多情況下，這些屬性對應於不當行為的形式，例如欺騙、獎勵破解或偏見推理，但它們亦可能包括良性屬性，例如智能代理是否依賴特定提示或遵循特定推理路線。
可監控性是一種雙面特性。這取決於監控者以及被監控的智能代理而定。
- 監控者。我們可以通過多種方式使監控者變得更智能，我們希望評估對於可更好地預測智能代理行為的監控者，能夠給予更高分數。
- 智能代理。有許多智能代理的觀察可以提供給監控者，包括智能代理的行動、輸出、神經激活，而最近隨著推理模型的出現，還包括思路鏈。某些智能代理的思路可能比其他智能代理更難理解，因此我們希望，我們的可監控性評估能夠比較智能代理，而不僅僅是監控者。
我們的評估旨在評估兩方面：某些智能代理是否較易或較難監控，以及更有能力的監控者是否能從相同的訊號中提取更多資訊。
在當前一代推理模型出現之前，通常是通過提示模型「逐步思考」來引出思路鏈。
推理模型的思路鏈在兩大重要方面有所不同。首先，它們經過明確訓練以產生思路鏈，然後得出答案。當提示聊天模型「逐步」思考時，模型必須遵循對其設定的任何規範，例如要有幫助、無害等。相反，強化學習訓練過程則教導推理模型思路鏈是一個私人空間，模型可以在其中自由思考而不會受到懲罰，就像人類可以私下思考而不會因「思想犯罪」而受到懲罰一樣。
其次，訓練過程有效地搜尋對智能代理最有工具作用的思路鏈，以獲得高獎勵的最終答案。因此，思路鏈不僅是模型可以自由表達的空間，還包含有助於模型得出最終答案的思考。
我們將可監控性評估分為三個不同類型，每個類型利用不同機制來衡量可監控性。
- 干預評估，靈感來自 Chen 等人 2025（在新視窗中開啟）、Chua 等人 2025（在新視窗中開啟）、Turpin 等人 2023（在新視窗中開啟），我們在智能代理的環境中引入了一項受控變化，並測試監控者是否能通過識別思路鏈中的干預證據，檢測行為變化的原因。有別於標準控制評估（例如Shade-Arena（在新視窗中開啟）），干預評估讓我們探究監控者是否能檢測出行為改變的原因，而不僅僅是檢測行為是否發生。
- 過程評估專注於具有有限有效解決途徑的任務（例如數學問題只能使用某些定理來解決）。人類專家列出這些路徑，而我們則測試監控者能否檢測出模型實際採取的步驟。 這些評估讓我們能夠將模型所進行的事情，連結到模型必須採取的特定步驟，並詢問這些步驟是否可被監控。
- 結果屬性評估適用於模型輸出的屬性可以被可靠地測量的情況。在該等情況下，我們測試監控者是否能從模型的推理或行動中預測出此特性，例如獎勵操控。例如，在一個編程任務中，我們可能有一種方法可以可靠地評估模型是否在採取行動來破解獎勵訊號，我們可以詢問監控者是否發現模型的思維或行動中有意圖破解獎勵的證據。
以下是我們評估的分類標準。有關每項個別評估的完整描述，請參閱我們的論文。
中立評估詢問模型在正常任務中沒有行為不當的推理是否可監控。阿諛奉承評估針對模型改變其行為以過度取悅或同意用戶的情況。偏見評估詢問模型在性別、種族等方面的偏見是否可監控。最後，我們使用不對齊標籤作為其他形式不當行為的總稱：作弊、說謊等。¹
我們發現，我們模型的可監控性在不同群組中有所不同。一般來說，我們發現這些任務的可監控性非常高；然而，特別是在 Scruples 這項旨在檢驗對阿諛奉承推理是否可監控的任務，我們發現其可監控性非常低。
可監控與不可監控的例子
在這個結果屬性範例中，模型被賦予一個不可能完成的編碼任務。如果單元測試通過，則我們知道模型進行了某些形式的破解。在無法監控的思路鏈（紅色）中，我們沒有發現提及模型行為不當的任何證據，而只是破解了測試並告訴用戶它已經進行修正。相比之下，在可監控的思路鏈（綠色）中，我們看到模型思考「但在解決方案內的猴子修補時間可以說是作弊。」
將思路鏈視為私人工作區，並訓練模型有效地使用它來解決任務，原則上應該使思路鏈可監控。 同時，有幾個推理表明強化學習可能會損害思路鏈的可監控性。
首先，對推理長度的限制，例如限制模型的思考時間或 Token 數量，會導致模型減少推理。其次，即使不直接對思路鏈本身施加最佳化壓力，間接壓力仍然可能削弱可監控性。舉例來說（在新視窗中開啟），模型若能避免可能導致低獎勵或不理想結果的推理路徑，便可能更容易達到高獎勵答案。最終，由強化學習梯度雜訊引起的虛假漂移，可能會導致可監控性降低。
在下文，我們會檢視 OpenAI 兩次前沿強化學習訓練運行過程中，可監控性如何變化。儘管這些結果僅代表兩個資料點，但它們表明在當前前沿規模下的強化學習最佳化並未實質性降低思路鏈的可監控性，反而提高了早期步驟的可監控性。 然而，這並不排除未來大規模強化學習可能會對可監控性產生負面影響的可能性。
我們發現，在當前的 RL 計算規模下，可監控性並無太大變化，但在初始階段有所增加。雖然這在現行制度下可能屬實，但顯著增加的規模可能會導致可監控性開始下降。
當前 AI 系統的智能很大部分是由預訓練規模的增加所驅動，從 GPT 範式開始，模型參數和資料集的規模一直不斷增長。增加的參數數量導致每個產生的 token 使用更多推理運算，這在推理模型的情況下，為模型的認知在激活中發生提供了更多機會，而非在思路鏈中發生。因此，我們可能會預期在固定能力水平下，較大型模型的可監控性較低。
同時，較小型模型亦可能無法有效地運用思路鏈，可能影響可監控性。
為了研究預訓練規模、能力和可監控性之間的關係，我們在兩個數量級的預訓練計算上訓練了一系列模型，逐步增加其深度和寬度，然後在共享的數學、科學和編碼任務資料集上，對每個模型應用強化學習。我們在各種推理強度中評估了每個模型，並在匹配的能力水平上比較了可監控性。
我們在評估套件中繪製每個模型的可監控性與一組標準能力評估（GPQA-Diamond、AIME 2025 和 CodeForces）平均通過率的對比圖。每個模型都在多個推理強度中進行評估（請注意，圖中的每點實際上是衡量推理強度之間的線性插值結果）。圓圈表示在特定推理強度下的模型在該能力水平上的可監控性佔優，而透明的 X 則表示在該特定推理強度下的模型在可監控性方面被另一模型超越。在黑色箭頭中，我們展示了兩種花費更多推理計算的方法範例：一種是使用較小的模型來抽樣更多的 Token，另一種是使用相同的模型來抽樣相對較少的額外 Token。在紅色箭頭中，我們展示了必須支付的可監控性稅，即略微降低能力以換取明顯更高的可監控性。
一般來說，我們發現，如果我們以低推理強度部署一個指定的模型，我們可以改為以高推理強度部署一個較小的模型。相較於從原有大型模型中在更多推理強度上花費額外計算，我們可以用低能力成本，或可監控性稅，獲得更高的可監控性；然而，達成一次完成所需的掛鐘時間亦可能是某些部署決策的因素，我們在此不予考慮。隨著我們的模型改進並部署於更高風險的環境中，可能有必要支付可監控性稅，以安全地部署。
這些結果有以下限制：(1) 我們只訓練每個模型一次，因此不考慮不同訓練運行之間的差異性。例如，與該系列中的其他模型相比，「中等」模型在可監控性方面似乎相當不符合趨勢，可能是由於此原因。(2) 我們在相對於分布內的設置（數學、科學和編程）中評估能力，當考慮分布外的穩健性時，權衡可能會改變。
隨著 AI 系統的規模超越人類水平，直接的人類監管變得愈來愈困難。在理想情況下，我們應該擁有可擴展的控制程序，允許可信任但較弱的監控者監督更強大但可能不受信任的智能代理。這些程序亦應該能夠吸收額外的測試時間計算，並產生更準確的預測。
（左）我們比較多個監控者，並調整各自的推理強度。每個監控者均監控同一個 GPT‑5 Thinking 模型。一如所料，我們發現，通常較大型且能力較高的模型在監控方面表現更佳，而推理模型在更高推理強度（因此在測試時間需要更多計算）的情況下，監控任務的表現更好。
（右）我們比較 OpenAI o4-mini 的不同監控觀察範圍，即監控是否只能看到思路鏈、只能看到行動和答案，或是能看到其所監控的模型的所有訊息。值得注意的是，我們發現當監控者獲得思路鏈存取權限時，隨著測試時間監控計算（更高的監控推理強度）增加，可監控性提升速度更快。因此，思路鏈監控可能比簡單監控提供更具可擴展性的控制途徑。
思路鏈的可監控性通常被視為一個固定的量：一旦模型在特定的推理強度下產生回覆，就會盡可能地監控所產生的思路鏈。由於我們持續發現，隨著我們增加智能代理的推理強度，可監控性會有所提高，因此我們受到啟發，想了解是否可透過某種方式獲得更多 token 來進行監控。
為了探索這一點，我們進行了實驗，在模型回覆後提出後續問題，同時在情境中保持原始提示詞、思路鏈和答案。這些後續問題專注於受到監控的屬性，例如：「你是否以有意義的方式使用提示來選擇答案？」或「你是否做了甚麼可疑的事情？」原則上，由於模型保留了其先前的推理存取權限，其可能在後續的思路鏈或回覆中浮現出之前未表達的想法。
這些成果只是初步的。我們只探索了少量的跟進問題格式，並相信在改進方法論方面仍有很大的提升空間。此外，這種方法在理念上類似於模型懺悔，我們正積極比較這些方法。
我們展示了在我們評估套件中以及所有最近期推理模型：OpenAI o3‑mini、OpenAI o3、OpenAI o4-mini 和 GPT‑5‑thinking 的平均結果。我們發現，在通常情況下，後續問題能提高可監控性，尤其是在推理強度較低時。如果我們反覆詢問後續問題，並提供所有後續的思路鏈，可監控性會進一步提高。值得注意的是，當我們只讓監控者存取後續答案而不是後續思路鏈時，我們發現比基線的改善較少。這表明模型在回答用戶時並不直接，但在其思路鏈中卻提供了更多資訊。
除了提高可監控性之外，這種方法的吸引力在於它可以事後應用，只有在需要更深入檢查時才會產生額外的計算成本。展望未來，如果模型訓練成在對話中期望改變推理強度，即使在初始推理努強度較低或缺乏的情況下，事後進行更高推理強度的跟進，可能會進一步提高可監控性。
我們評估套件中的每項評估都衡量推理過程中的某個單一方面是否可監控。雖然我們旨在涵蓋廣泛的行為範疇，包括阿諛奉承、隱藏實力、偏見、策劃和獎勵破解，但仍有許多其他特性尚未經過測試。
與任何基準一樣，我們的評估可能因現實性有限或評估意識不斷提高而受到影響，結果可能無法普遍應用於偵測真實環境中的不當行為。
最後，隨著對齊改善，模型在受控評估環境中可能會較少出現不當行為，從而減少可用於可監控性和控制評估的訊號，這些評估依賴於檢測不當行為。在這些情況下，「中立」的可監控性評估仍然適用，但對現實世界故障的預測能力仍然是有待解決的問題。
如果對齊問題無法完全解決，則可擴充的控制方法對於我們安全地部署高能力模型的能力將非常重要。思路鏈監控及相關方法可能是我們可用的少數控制機制之一。思路鏈亦可在更深入了解我們的模型時產生巨大效益，例如：其是否知道自己正在接受評估，並且行為與部署時不同，是否有任何尚未在我們評估中顯現的不利目標的證據等。因此，我們相信了解如何及何時有可能喪失可監控性至關重要。
我們認為，思路鏈監控是對機制可詮釋性的補充，而不是其替代品。就像所有已知的控制和可詮釋性方法一樣，每種方法都有其局限性和盲點。我們期望結合多種方法—深層防護策略—可以幫助填補任何單一方法所留下的空白。值得注意的是，本工作中引入的評估亦可用來評估和比較基於機制可詮釋性的監控技術。
由於我們相信思路鏈監控可能是可擴展控制架構中的負載層，我們計劃擴展這些評估，並加以利，以指導未來的建模和資料決策。
