Control Room
隨着模型能力日益強大，相關的安全和保安風險也隨之增加。因此，能夠偵測潛在問題，並在必要時迅速停止模型運作，變得愈來愈重要。為此，我們建立了 Control Room。
Control Room 是一個中央系統，用於追蹤研究基礎設施內的模型工作負載，並在出現安全或保安疑慮時迅速將其停止。它連接所有研究推論工作負載，包括模型訓練及評估所用的智能代理採樣、資料處理等。它與我們的對齊偏差監察系統協同運作，在決定介入以停止或暫停作業後，於 35 秒內停止模型輸出。其設計確保即使其他系統失效，它仍能繼續運作；若 Control Room 本身故障，模型輸出也會停止。
我們已在需求最殷切的研究基礎設施中全面部署 Control Room。我們對外提供模型服務的技術堆疊，本身已集中得多，也具備成熟的營運能力，可在必要時迅速將模型部署撤除。
Control Room 透過整合數個系統來運作：工作負載、推論引擎，以及中央化的 Control Room 服務。
工作負載是正在執行的作業，例如強化學習實驗、評估、大量採樣或資料處理作業。我們要求所有進行智能代理推論的研究工作負載，都必須關聯至一份已獲批的安全論證。
推論引擎（簡稱引擎）就是模型本身。你可以將引擎視為模型的大腦，直接在 GPU 上運作。工作負載通常使用一個或多個模型，而這些模型可能在一個或多個不同的推論引擎上運作。同一個推論引擎也可能供多個不同的工作負載使用。
Control Room 服務會追蹤作業，並控制是否允許它們繼續產生模型輸出。引擎在處理請求前，會先向 Control Room 服務確認授權。如果作業已停止，服務便會拒絕請求，阻止進一步輸出。
Control Room 的整合方式如下：
啟動新作業時，工作負載程式碼會向 Control Room 請求新的 job_id。
每當工作負載需要從模型採樣 Token 時，就會向執行該模型的推論引擎發出請求，並傳送 job_id。引擎會向 Control Room 請求處理該請求的許可，同時將 job_id 傳送至 Control Room。
Control Room 會檢查該作業是否已終止；如果是，便會拒絕推論請求。引擎會向工作負載的推論請求傳回拒絕回應，停止為該作業產生進一步的模型輸出。
Control Room 的運作方式
研究作業
推論引擎
在 GPU 上執行模型
Control Room
- job_039，執行中
- job_040，執行中
- job_041，執行中
我們所有前沿強化學習作業，都會在監察器監察下執行。監察器是另一個模型，會檢視受訓模型的所有行為，並在偵測到問題時發出警報。例如，我們最近的 DNS 相關事件（在新視窗中開啟），就是由監察器發現的。
Control Room 與監察系統的整合方式如下：
如果監察系統偵測到潛在問題，可能會視乎具體情況及嚴重程度，決定停止作業。
在這種情況下，監察系統會向 Control Room 傳送停止作業的訊息，並附上 job_id。Control Room 會記錄該作業已終止。
下次該 job_id 對應的作業發出推論請求，嘗試從任何引擎上運作的任何模型採樣更多 Token 時，請求都會被拒絕，阻止進一步的模型輸出。
從 Control Room 收到停止作業的指令，到作業無法再繼續推進，最長需時 35 秒。這 35 秒的延遲來自推論授權的快取層；設置此快取層是為了承擔所需的流量。我們正努力將這段時間縮短至零，以便即時終止作業。
實驗、評估作業等工作負載，通常由研究人員或研究團隊負責管理和執行。因此，工作負載的程式碼經常變動，並不適合用來實作承擔關鍵防護作用的安全機制。有見及此，我們在設計上確保即使工作負載的程式碼有錯誤或失效，系統仍能正常運作。
為此，我們將終止機制設於推論層。工作負載的程式碼種類繁多，而且分散於各處。相比之下，OpenAI 所有研究使用的推論程式碼路徑只有極少數，其部署方式也集中和統一得多。這意味着推論層可作為必經的關卡，讓我們有充分把握，確保研究中所有模型推論的每一次請求，都須通過 Control Room 的授權檢查。此外，我們會持續透過智能代理和程式進行掃描，檢查使用者有否無意或惡意啟動未受管控的引擎實作，而這些實作未接入 Control Room，或已將其停用。
最後，我們的系統採用「故障時拒絕存取」機制。引擎與 Control Room 的整合設定確保：一旦 Control Room 服務因系統錯誤，或因任何其他原因被停用（包括遭惡意人士篡改）而無法運作，所有推論請求都會被拒絕，直至 Control Room 恢復正常運作。「故障時拒絕存取」機制現已應用於所有前沿模型研究工作負載，並將於未來數天內完成部署至其餘所有研究工作負載。
