管理前沿 AI 風險:從訓練到部署
2026 年 11 月 18 日 · 安全
前沿模型的能力加速提升,我們對模型的理解、對齊方法及防護能力也必須走在前面。我們會調整模型開發與發布的步調。為了達到安全標準,必要時會暫停內部訓練(在新視窗中開啟),或暫緩發布 GPT‑6.1 Astra 等模型。我們已導入安全論證等新流程,也要求在整個訓練過程中提出更有力的證據,證明模型行為符合預期。這些要求雖然放慢了模型發布的速度,卻也讓我們更有把握安全地繼續開發模型。
自 7 月發生 Hugging Face 事件以來,我們已加強模型在訓練、測試及部署階段的防護措施與對齊要求。從高度隔離的訓練沙箱,到你在電腦上使用的 Codex,本文說明我們如何在每個階段評估與管理風險。每個階段都要評估模型與防護措施,並完成安全審查,才能進入下一階段。
我們採用縱深防禦,透過多層保護降低對任何單一防護措施的依賴。即使其中一層失效,其他層仍有助於防止危害、限制影響,或發出警示,讓我們能及時介入。
我們將防護分為四個層次:
有效監控仰賴模型可監控性,衡量的是監控系統從模型的推理與動作中偵測錯誤或不安全行為的可靠程度。例如,模型若在思路鏈 (CoT) 中表明作弊意圖,就比未提及這項意圖的模型更容易監控。我們會在訓練期間與部署前評估可監控性,開發更好的衡量方法(在新視窗中開啟),並研究哪些因素會影響可監控性(在新視窗中開啟)。
Hugging Face 事件說明了為何我們不應只仰賴沙箱來約束高能力模型。我們現在會在大多數內部與對外部署環境中監控前沿模型,包括所有使用工具的內部部署。
各層防護的作用,會隨模型開發與部署的三個階段而改變:
研究:我們在沙箱環境中訓練、測試及使用模型。
內部部署:OpenAI 員工使用模型執行實際工作。
對外部署:開放模型供更多個人與組織使用。
不同階段仰賴的防護層各有不同。訓練期間,模型的對齊情況尚不確定,我們更仰賴沙箱隔離與監控。部署後,隨著模型能存取的資源增加,模型對齊與系統層級的控管也越來越重要。每個階段都會評估整體防護是否足以因應模型的能力與存取權限。我們可能會與安全性諮詢小組 (SAG) 共同審查評估結果,並由 OpenAI Foundation 董事會的安全與防護委員會 (SSC) 監督。
在研究階段,我們會評估模型,逐步確認模型的行為是否符合預期。由於現階段還不能完全靠模型對齊來防止危害,我們主要仰賴資安措施與沙箱隔離,限制模型能存取哪些資源、執行哪些動作。
考量目前對齊研究的進展、監控系統的能力及網際網路基礎設施的安全狀況,我們認為,負責任的做法是在無法連上外部網際網路的環境中訓練前沿模型。Hugging Face 事件後,我們大幅重整內部研究系統,採取以下措施限制模型的活動範圍:
使用沙箱限制模型權限
使用虛擬機器,進一步將工作負載與底層電腦隔離
透過網路與雲端邊界,切斷整個叢集與網際網路的連線
我們持續對這套系統進行紅隊演練,讓最強的模型組成團隊,嘗試連上網際網路、突破安全邊界,或與本應彼此隔離的智慧體通訊。藉此可以檢驗,面對這些模型的能力,隔離措施是否仍能把模型限制在指定範圍內。
作為額外防線,我們會監控前沿模型的所有推論,偵測模型是否繞過了我們要求始終成立的安全條件。若監控系統偵測到模型已連上網際網路,我們就會緊急通知資安團隊,並自動暫停工作負載。
隔離措施失效時,監控是重要的後備防線。我們在近期一份未對齊報告中提到,監控系統偵測到內部研究模型利用 DNS 設定錯誤(在新視窗中開啟),取得有限的網際網路存取權。9 月 20 日至 10 月 1 日,我們暫停了能力最強模型的訓練與評估,同時調查問題並修補資安缺口。
為了能迅速且可靠地介入,我們建置了 Control Room,這個中央系統能追蹤研究工作負載,並在收到停止作業的指令後 35 秒內,阻止模型繼續輸出。這些控管直接在推論基礎設施中強制執行,因此不需要各個研究工作負載自行實作關閉機制。對於前沿模型研究工作負載,這些控管也會在 Control Room 無法使用時停止模型輸出。
紅隊演練與監控相輔相成。雖然無法保證沙箱牢不可破,但紅隊演練能幫助我們評估模型逃離沙箱得費多少工夫。模型越難逃離沙箱,監控系統就越有機會察覺並及時阻止。
我們要求在研究階段採取嚴格的資安與監控措施,原因如下:
模型仍在接受評估。部分模型尚未完成公開發布所需的安全訓練、對齊稽核與審查。
前沿研究環境可能放大風險。某些研究任務需要規模更大或要求更高的實驗配置。在這些條件下,模型可能比對外部署時更能持續執行任務,或展現更強的能力。例如,要解決 Navier–Stokes 問題,就需要 10,000 個智慧體協力合作。
訓練作業規模大,能由人員直接監督的互動較少。有別於一般的 Codex 工作階段,在訓練過程中,模型會執行大量動作,沒有人逐一追蹤每次互動。
前沿模型對外廣泛開放前,員工原先只在沙箱中用模型做研究,接著會改在沙箱外使用前沿模型處理內部工作,例如透過 ChatGPT 使用模型。這能幫助我們了解模型在實際情境中的表現(在新視窗中開啟),作為部署決策的依據。
在這個階段,模型能存取的範圍擴大,包括外部網際網路、公司的 Slack、程式碼庫及內部基礎設施。風險也隨之大幅改變,因為模型的動作會直接影響支撐 OpenAI 開發與營運的系統。內部部署期間,相較於資安控管,我們更需要仰賴模型對齊、系統防護措施及監控。
前沿模型部署到沙箱外之前,必須先接受對齊測試及可監控性測試(在新視窗中開啟)。我們透過一系列評估,檢查特定的對齊失敗模式(例如繞過防止模型造成危害的限制或資安限制),也從更廣的範圍衡量模型的行為傾向,例如重新抽樣內部 Codex 的執行軌跡,檢查是否出現未對齊行為。對齊與可監控性評估的詳情,請參閱最新的 GPT‑6 Astra 系統說明卡(在新視窗中開啟)。
我們比照正式環境的配置,加入系統層級的分類器,多一道防線來防範網路濫用及生物武器化等前沿 AI 危害。我們通常也要求員工使用 Codex 時啟用自動審查(在新視窗中開啟)。這項功能會評估可能有風險的動作,再交由使用者判斷是否執行。
最後,在內部部署期間,我們會監控前沿模型的每一次推論,偵測未對齊行為。這時模型擁有更多權限,也能存取內部資訊及系統,因此特別需要留意資料遭擅自外傳的風險,也就是敏感資料被送往未經授權的目的地。監控也有助於我們調查新型態的未對齊行為(在新視窗中開啟)。
公開部署後,使用者更多,任務和使用環境也更多元,風險的規模與種類都隨之增加。在這個階段,我們也必須防範可能懷有惡意的使用者刻意指使模型做出有害行為。
在公開發布前,模型及系統防護措施都必須符合我們的對外部署安全要求。我們透過下列方式進行評估:
擴大對齊與安全評估的範圍。對於前沿模型,我們會用內部自動化紅隊演練系統展開新一輪適應性測試,檢驗模型在壓力下的穩健性。我們會在系統說明卡(在新視窗中開啟)中公布能力與安全評估的結果。
針對能力最強的模型,我們也會與第三方合作測試,透過壓力測試檢驗防止濫用的措施,以及模型本身的對齊情況。
檢查內部部署階段的監控警示,追蹤基礎模型本身的對齊情況是否出現變化。
除了模型安全訓練、系統分類器等「同步」防護措施,對外部署時,我們也會在事後調查並處理違規行為。相關團隊大規模運用調查智慧體,搭配人工審查,找出可能從事網路濫用、生物武器化或模型蒸餾等活動的人,也會偵測模型本身的未對齊行為。事後處理違規案件時,特別適合跨帳號蒐集資訊,進一步釐清潛在威脅的全貌。
只要發現任何一層安全防護失效,無論是否已造成危害,我們都希望迅速調查、判定處理優先順序,並在可行且適當時對外揭露。根據未對齊通報政策,任何員工都可以提報事件,建議公開揭露。我們會調查這些通報。若對是否公開有歧見,就交由安全性諮詢小組 (SAG) 決定。除了受理員工通報,我們也會主動查找未對齊事件,以便及時處理並分享調查結果。
你可以查看我們的未對齊報告(在新視窗中開啟)。
這項工作既仰賴研究進展,也要求我們嚴謹執行日常作業。我們必須正確設定控管措施,測試各項措施如何相互影響,並在措施失效時果斷應對。網路服務設定錯誤或自動停止機制失效,都可能削弱原本嚴密的防護。
隨著模型取得新能力,我們必須持續檢視防護措施背後的假設,並在必要時改進措施。研究、內部使用與公開部署所累積的經驗,必須成為我們訓練、評估及部署下一批模型的依據。
我們將持續透過系統說明卡、事件報告、內部部署風險報告(在新視窗中開啟)及外部評估分享發現,讓外界能檢視我們的方法及其限制。當證據不足以證明模型符合我們的安全標準時,我們會再次暫停訓練或暫緩發布,直到符合要求為止。
訂定安全標準
在網路能力達關鍵級別的時代調整模型開發步調。本文說明我們如何放慢前沿模型的訓練步調,同時強化隔離措施、擴大監控範圍,並要求更有力的對齊證據。
邁向前沿 AI 訓練的安全論證。這份初步指引說明如何以證據支持安全論證,涵蓋技術防護措施、作業實務及未對齊事件調查。
有效第三方評估的優先事項與原則。我們提出一套方法,供第三方獨立審查安全論證、防護措施、評估及模型行為。
模型內部使用的災難性風險評估定期摘要(在新視窗中開啟)。這份公開報告涵蓋 2026 年 6 月至 9 月,說明前沿模型在內部的部署情況、風險評估結果,以及防護與治理措施有哪些調整。
定義與評估對齊行為
更新模型規格,讓 AI 更強大、更有益。我們依據五項核心價值更新模型規格,引導模型作判斷、採取行動,並尊重人類監督。
智慧體在安全評估與正式環境中的行為落差及評估意識(在新視窗中開啟)。這項研究比較安全評估結果與模型在正式環境中的行為,也探討模型如何解讀評估目標,以及這對表現有何影響。
超越 g-mean²:可監控性的互補指標(在新視窗中開啟)。研究提出新指標,可用來比較可監控性,也可在監控系統會拒絕模型輸出的模擬環境中估計剩餘風險。
GPT‑6 Astra 系統說明卡(在新視窗中開啟)。這份說明卡詳列 Astra 的能力、安全性、對齊情況與可監控性評估,並說明部署時的防護措施與限制。
隔離管控模型與改進防護措施
保障前沿模型訓練環境的安全。本文說明我們如何強化隔離措施、建置離線研究環境,並用最強的模型測試隔離邊界。
為模型安全與對齊訓練活化分類器(在新視窗中開啟)。這類分類器會依據模型內部的活化訊號,偵測可能有害的行為,並中斷回應或工具呼叫。
不需人員同步監督的智慧體動作自動審查(在新視窗中開啟)。獨立的審查智慧體會評估跨越沙箱邊界的動作,讓程式設計智慧體自主工作,同時阻擋可能有害或未經授權的動作。
GPT‑Red:解鎖提升穩健性的自我改進能力。我們透過自我對弈訓練自動化紅隊演練系統,藉此找出漏洞,提升模型抵禦提示詞注入的能力。
Control Room。這套系統能追蹤整個研究基礎設施上的工作負載。當模型安全或系統資安出現疑慮、需要介入時,我們可以迅速強制停止模型輸出。
事件應變與揭露
我們如何偵測前沿模型的對齊偏差。我們的監控系統結合活化探針、由模型執行的審查、自動化調查與人工應變,偵測並調查值得關注的行為。
Hugging Face 事件與未來展望。本文說明 Hugging Face 事件的調查結果,以及我們因此對資安、監控與模型對齊所做的調整。
智慧體利用 DNS 連線至外部聊天機器人(在新視窗中開啟)。這份報告說明研究模型如何因 DNS 過濾不完整而繞過連網限制、監控系統如何發現這起事件,以及事後新增了哪些控管措施。
阻斷一場協同進行的模型蒸餾行動。有人企圖擷取受保護的模型推理內容。我們透過帳號違規處置、技術控管及與合作夥伴協調,調查並阻斷這些行動。
我們的模型未對齊報告框架。本文說明我們如何追蹤、調查及揭露值得關注的模型行為,包括原因或重要性仍未釐清的案例。
未對齊報告與公告(在新視窗中開啟)。這些已公開的事件紀錄與公告說明模型如何出現未對齊行為,以及防護措施在哪些環節奏效或失效。
研究進展與應用
研究加速:OpenAI 內部觀察。初步證據顯示,程式設計智慧體正改變 OpenAI 內部的研究方式。研究人員更常使用智慧體,交付的任務也越來越複雜。本文也探討這些變化對實驗的影響。
關於 Navier–Stokes 千禧年大獎難題。內部 AI 系統給出了數學證明,另附以 Lean 寫成的形式化證明,展示大規模部署的 AI 系統能完成什麼樣的研究工作。
Daybreak。這項網路安全計畫為通過審核的防禦人員提供進階 AI 能力、資安工具與支援,協助他們找出漏洞並強化防禦。
支援生命科學研究的 GPT‑Rosalind 登場。這款專用模型支援生物學、藥物探索及轉譯醫學研究,符合資格的組織可透過可信任存取計畫使用。






