阻斷一場協同進行的模型蒸餾行動

我們最近發現並阻斷了一場協同行動，操作者試圖擷取我們模型中受保護的推理內容。最早觀察到的活動發生於 7 月第一週。這項活動符合對抗性蒸餾的特徵，也就是未經授權，有系統地利用一個模型的輸出或推理，協助訓練、重製或改進另一個模型。受保護的推理內容是模型處理任務時的內部紀錄。擷取這些內容，可能洩露最終答案中未提供的資訊，並協助他人複製模型的能力。

這些操作者並未破解我們的加密機制，也未入侵資料庫，也未直接取得已儲存的使用者對話。他們透過操縱與模型的互動，讓受保護的推理內容以請求者可見的形式重現。這種有組織、大規模的操作違反了我們的服務條款。這類漏洞並非 OpenAI 模型獨有。我們已透過前沿模型論壇與業界合作夥伴分享相關資訊，共同加強防範對抗性蒸餾。

發布本文前，我們已調查這場行動的範圍與潛在影響，部署防護措施，也與研究人員及業界合作夥伴分享資訊、聽取意見，確保已備妥防範這類攻擊的措施。我們仍在調查並採取進一步措施，相信現在分享已掌握的資訊，有助於整個生態系加強防禦。

我們觀察到操作者嘗試以新手法擷取受保護的推理內容，例如從一段對話中複製已加密的推理內容，再到另一段對話要求模型解密並轉錄隱藏的推理內容。

獨立資安研究人員⁠(在新視窗中開啟)也透過負責任的揭露方式，向我們通報了相關的跨模型與對話壓縮漏洞。我們調查後確認，研究人員指出的攻擊途徑確實存在。這些研究讓我們更全面地了解這類攻擊，並加快部署防護措施。

這項活動始於 7 月 1 日，初期活動量不高。到了 7 月 24 日和 25 日，活動量大幅攀升，超過 4,000 名使用者以相關擷取模式發出了 16,000 次請求¹。進一步調查發現，有一群超過 15,000 名的使用者採用了相關提示詞模式。我們已於 7 月 28 日前全面阻斷這些活動。

這些活動的手法不斷演變，也再次顯示，對抗性蒸餾是一項更廣泛的安全挑戰，需要多層次、能隨情況調整的防禦措施。

目前尚不清楚，我們在相關期間觀察到的操作者是否全都來自同一個行動主體。不過，我們判定，其中一組核心活動是由與 Kimi 開發商 Moonshot AI 有關聯的人士所為。

對抗性蒸餾會增加 AI 造成危害的風險，也可能危及國家安全。擷取出的推理內容可能被用來訓練另一個模型，卻未保留原模型在向使用者提供輸出時採用的安全防護措施。大規模蒸餾也能加速先進能力的轉移，卻無須在安全方面投入同等資源。隨著模型在軍民兩用領域的能力增強，這些疑慮也會加劇。

這項風險並非 OpenAI 獨有。如前所述，類似手法也可能影響其他先進 AI 系統，需要整個產業協調合作，共同應對這項安全挑戰。

我們透過帳號處置、技術管控及與合作夥伴協調，遏止了近期這場蒸餾行動。我們封鎖或限制詐欺帳號，強化註冊與基礎設施管控，並擴大監控相關帳號網路。

我們也加強了隱藏推理內容的防護，涵蓋不同使用者、工作區、組織及模型系列。我們已封堵一條攻擊途徑，讓已取得其他使用者加密推理內容的人無法再透過這條途徑重放並還原內容。同時新增檢查機制，偵測並暫緩傳送可能洩露推理內容的串流輸出。當相關活動轉而透過第三方服務進行時，我們便與服務供應商合作，找出涉事帳號並阻斷相關活動。

最後，我們透過前沿模型論壇及適當的政府資訊交流管道，分享相關發現，讓其他前沿模型開發者及公部門合作夥伴能偵查類似活動，並加強自身防禦。若系統支援推理產物的移轉或重放，也可能面臨相關風險。

隨著前沿模型進步，試圖模仿模型能力的人也在尋找成本更低的方法。我們預期，對抗性蒸餾的手法將變得更複雜。要防範這類活動，必須採取多層次管控，並不斷調整應對方式。

這項工作尚未完成。由合作夥伴託管的部署需要與第一方服務相同的防護。防範工具輸出攻擊時，檢查範圍也不能只限於一般可見文字。我們正持續加強工具防禦、擴大分類器的涵蓋範圍、改善模型拒絕機制，並將相關管控措施延伸至各雲端合作夥伴。

接下來，我們仍會著重三項工作：加強防範擷取的技術措施、更有效地偵測並處置協同行動，以及促進產業與政府更深入地分享威脅資訊。