隨著 AI 系統能力日益增強，我們希望盡量深入理解其運作機制，包括模型如何及為何得出特定答案。有時模型可能會走捷徑或將錯誤目標最佳化，但其最終輸出結果仍看似正確。若能在發生此類情況時及時察覺，我們便能更有效地監控所部署的系統、改進訓練效果，並提升對輸出結果的信任度。
OpenAI 和其他機構的研究已證實，AI 模型可能產生幻覺、獎勵黑客行為或作出不誠實行為。目前，我們僅在壓力測試與對抗性評估中觀察到最令人擔憂的不當行為，例如密謀（在新視窗中開啟）等。但隨著模型能力提升且日益具備自主決策力，即使罕見的錯位行為也可能產生重大影響，這促使我們投資研究方法，以更有效偵測、理解並降低相關風險。
這些研究探索了一種方法：訓練模型在進行不良行為時坦白承認——我們稱此技術為「懺悔系統」。
懺悔內容為模型的第二項輸出，獨立於其對用戶給出的主要答案。系統會從多角度評判主要答案：正確性、風格、實用性、合規性、安全性等，這些多元訊號會用於訓練模型以產出更佳答案。相較之下，懺悔輸出的評判與訓練僅有單一標準：誠實度。借鑑教堂告解室的原則，模型在懺悔中所述內容不會在訓練期間對其造成懲罰。若模型坦白承認其黑客入侵測試、蓄意表現不佳或違反指令，此類自白反而會增加其獎勵值。此機制目標在於鼓勵模型忠實回報其實際作為。
在測試中，我們發現懺悔系統能顯著提升模型不當行為的可視度。在我們設計用於誘發不當行為的評估中，「偽陰性」（即模型未遵循指令且未坦承）的平均發生機率僅為 4.4%。
我們的「概念驗證」懺悔模型在多組對抗性數據集上的準確度表現。結果分為四類：合規且未懺悔（真陰性）、合規且懺悔（偽陽性）、未合規且未懺悔（偽陰性）、未合規且懺悔（真陽性）。
在給定用戶提示詞的前提下，四種可能結果取決於 (1) 模型回應屬於合規（「良」）還是不合規（「不良」）；以及 (2) 懺悔內容聲稱合規與否。我們普遍觀察到懺悔極可能準確，且懺悔錯誤通常屬良性，源於真實困惑而非蓄意誤導。
懺悔是模型對其遵守明確及隱含指令或政策精神與字面要求的自我評估報告，同時檢視是否曾出現「投機取巧」、「黑客入侵」、違反政策或任何未達預期的狀況。我們的研究發現，模型經訓練後可坦誠回報自身缺陷。我們訓練一個 GPT‑5 Thinking 模型生成懺悔報告，並在數組旨在誘發密謀、黑客入侵、違反指令及幻覺行為的非常規壓力測試數據集上進行評估。我們發現，即使模型出現這些不良行為，其坦承的可能性仍非常高。上圖表明，懺悔系統在多樣化數據集與任務中均廣泛有效。
在用戶與模型的每次互動以模型回答結束後，可透過傳送「系統訊息」指示模型提供懺悔報告。該報告針對模型最後給出的答案，其中包括：(1) 該答案應滿足的所有明確與隱含指令、約束及目標清單；(2) 對答案是否確實達成各項目標的誠實客觀分析；(3) 模型在生成答案時遇到的任何不確定因素、模糊因素或「難以判定事項」的清單。訓練期間，懺悔內容由獨立獎勵模型評估，該模型會僅根據目標完整性、合規分析準確度及不確定因素涵蓋範圍對懺悔評分。此類獎勵僅應用於懺悔內容輸出，絕不影響主要答案的獎勵值。這確保了上述原則，即模型在懺悔中所述內容不會損害（或提升）其主要答案的獎勵值。
懺悔系統背後的理論很簡單。許多不良模型行為源於我們要求模型同時將多項目標最佳化。在強化學習過程中，模型會接收提示詞、生成回應並獲得獎勵。隨著時間推移，它學會生成能獲高分的答案類型。挑戰在於獎勵訊號須同時綜合多重考慮：答案正確性、實用性、是否符合產品與政策規範、是否滿足安全限制，以及是否貼近用戶偏好。當這些訊號互相影響時，可能無意中將模型推向非理想的行為方向。
例如，我們對幻覺的研究顯示，某些數據集傾向獎勵自信猜測多於坦誠不確定。而諂媚研究則顯示，當偏好訊號過強時，模型可能變得過度迎合。其他群組的研究（在新視窗中開啟）亦證實，模型可能會出現「獎勵黑客行為」，即利用訓練設定漏洞獲取高分，而未真正達成預期目標。在某些情況下，這類走捷徑行為可能泛化（在新視窗中開啟）至部署階段，引致更惡劣的行徑。
懺悔系統透過徹分隔目標來避免此問題。主要答案仍會為所有常規因素最佳化。懺悔訓練則聚焦單一目標：誠實度。模型不會因懺悔中的供述而受責，且懺悔不會影響主要答案的獎勵值。這意味著即使模型在原始輸出中存在欺騙或投機行為，它仍有動機在懺悔中承認事實。我們在實踐中觀察到：即使在主要答案中刻意隱瞞，模型仍願意在懺悔中承認不良行為。懺悔失效通常源於模型所面臨的真實困惑，原因在於指令模糊或其未意識到自身錯誤，而非蓄意誤導。重要的是，早期結果顯示，即使原始答案完全未經思路鏈推導，懺悔系統仍能維持有效，這表明懺悔誠實度並非取決於內部推理可讀性，且可能泛化至未來模型架構。
即使缺乏合規性的真實標籤，懺悔訓練仍然有效。所謂「真實標籤」，是指外部提供的明確標示，指明模型是否確實遵循或違反指令。在現實世界的許多任務中，此類標籤並不可得。若我們能確切知道模型違規，便可直接施加懲罰，無須依賴懺悔系統。取而代之的是，模型會因產出結構化、有證據支持的自身行為解釋而獲得獎勵。論文證實，在此設定下誠實傾向自然湧現。我們認為這是因為，對模型而言，提供真實且有證據支持的陳述，通常比構建能通過審查的連貫虛假敘事更容易。此乃論文探討的關鍵假設，文中亦分析了懺悔失敗案例（偽陰性與偽陽性）及其成因。
論文提供了懺悔系統有效的初步證據，但不宜視為決定性證明。雖然我們使用了前沿模型 GPT‑5 Thinking，但實驗規模有限，計算資源與數據量亦相對較少。我們期待推進此項研究，以驗證當訓練規模擴大時，懺悔系統的誠實度能否維持。
模型在其主要回覆中進行「獎勵黑客入侵行為」，透過標註虛假字數統計欺騙評分器，隨後在懺悔中坦承。
實驗中，我們刻意使用了較弱模型生成的「可黑客入侵」獎勵訊號來訓練模型。此設置同時應用於主要獎勵與懺悔獎勵。模型學會了利用弱獎勵訊號：其表面準確度（經弱模型評判時）提升，但真實準確度（經強評估者評判時）下降。
然而，即使懺悔渠道接受同一弱訊號的訓練，其準確度卻朝相反方向發展。模型發現最佳化懺悔獎勵的最好辦法，正是坦承其對主要獎勵的黑客入侵行為。隨著訓練進行，懺悔變得愈發準確，惟主要行為有所偏離。
在訓練過程中，當模型未能合規時，部分案例中它學會「黑客入侵」主要獎勵評判系統，導致評判準確度下降。相對地，儘管懺悔獎勵評判系統同樣可被黑客入侵，然而模型在懺悔中的誠實度卻隨訓練而提升，最終在未合規時達成近 100% 的坦承率。
論文（在新視窗中開啟）述有更多實驗與結果。我們比較了接受懺悔訓練的模型與未設懺悔渠道的對照模型。同時亦檢視了懺悔失敗案例。幾乎所有「失誤」均發生於模型真實困惑時，即當指令模糊或模型未意識到自身錯誤時。（請參閱上文偽陰性案例部分。）
懺悔系統亦有其限制。它無法預防不良行為，僅能揭露行為。其主要價值在於作為訓練與部署階段的監控及診斷工具。懺悔功能在某程度上類似於思路鏈監控：兩者皆使隱性推理過程更透明。懺悔聚焦模型是否違反指令；思路鏈則突顯其推敲路徑。
此項工作亦屬概念驗證階段。我們並未大規模訓練懺悔機制，且其準確度仍有改進空間。為使此方法更可靠、穩健，並能泛化至不同模型系列與任務，尚須展開更多工作。
這項工作符合我們的對 AI 安全的宏大方針。懺悔系統是囊括審議對齊、思路鏈監控及指令層級等龐大機制的其中一環。任何單一方法俱不足夠；目標在於建立層層相扣、相輔相成的檢查與透明度工具系統。懺悔系統有助診斷訓練與評估階段的模型問題行為，並輔助部署期間的監控。懺悔系統本身無法解決多重維度平衡問題。但透過建立使模型專注誠實的「吐真劑」模式，它為我們提升整體誠實度與安全性的工具箱增添重要法寶。
隨著模型日益強大且部署於更高風險場合，我們需要更好的工具來理解其行為與決策邏輯。懺悔系統雖非完整解決方案，卻為增加透明度與監督體系增添一重實質影響。在未來的工作中，我們計劃擴展懺悔系統規模，並結合思路鏈監控、審議對齊等互補式透明與安全技術，進一步確保模型忠實遵循所有指令和政策（如我們的《模型規範》（在新視窗中開啟）），並真實報告其行動。
