我們現正發佈 gpt-oss-120b 及 gpt-oss-20b——兩款最先進的開放權重推理模型,以低成本提供卓越的實戰效能。這些模型採用靈活的 Apache 2.0 牌照,效能超越專有系統,並已優化以便高效部署於消費級硬件。模型訓練結合強化學習及從我們最先進的內部模型 (包括 o3 等前沿系統) 蒸餾出的技術。
gpt-oss-120b 在多項領先基準測試上與 OpenAI o4-mini 表現幾乎相若,而且只需一張 80 GB GPU 便可高效運行。gpt-oss-20b 模型在常用基準測試上的表現與 OpenAI o3‑mini 相若,並可於僅配備 16 GB 記憶體的邊緣裝置上運行,因此非常適合裝置端應用、本地推論,或在毋須昂貴基建的情況下進行快速迭代。兩款模型在工具使用、少樣本函式呼叫及複雜多步推理方面亦有出色表現,甚至超越 OpenAI o1 及 GPT‑4o 等專有模型。
這些模型兼容我們的 Responses API(在新視窗中開啟),並專為具代理性 (agentic) 的工作流程而設,具備卓越的指令遵從能力、支援工具使用 (如網頁搜尋或執行 Python 程式碼) 以及強大的推理能力——包括可因應不需複雜推理的工作或需極低延遲輸出的場景,調節推理深度與計算資源的彈性。模型可完全自訂,提供完整的思考鏈 (CoT),並支援 Structured Outputs(在新視窗中開啟)。
安全性是我們釋出所有模型的基礎,對開放模型尤為重要。除了為模型進行全面的安全訓練及評估外,我們亦增設一層額外測試——在 Preparedness Framework(在新視窗中開啟) 之下評估經對抗式微調的 gpt-oss-120b 版本。gpt-oss 模型於內部安全基準測試中的表現與我們的前沿模型相若,為開發者提供與最新專有模型相同的安全標準。相關成果及更多詳情將於研究論文及模型卡中分享。我們的測試和評估方法獲外部專家審核,標誌著為開放權重模型制定新安全標準的一大進步。
我們亦一直與 AI Sweden(在新視窗中開啟)、Orange(在新視窗中開啟) 及 Snowflake(在新視窗中開啟) 等早期合作夥伴合作,藉以了解我們開放模型在真實場景中的應用——涵蓋由為保障資料安全而在本地部署模型,到在專門數據集上為其作微調等多種用途。我們很高興能提供這些同級最佳的開放模型,讓個人用家、開發人員、大型企業及政府都能在自己的基礎設施上執行並自訂 AI。配合我們透過 API 提供的模型,開發人員可以按照所需的表現、成本和延遲,為 AI 工作流程提供支援。
gpt-oss 模型使用我們最先進的前期及後期訓練技術經過訓練,特別著重推理能力、效率,以及在廣泛部署環境中的實用程度。雖然我們已經開放其他模型(包括 Whisper 及 CLIP),但 gpt-oss 模型是自 GPT‑2[1] 以來我們首次推出的開放權重語言模型。
每個模型都是一個 Transformer,能活用 Mixture-of-Experts (MoE [2]) 來減少處理輸入內容所需的有效參數。gpt-oss-120b 會就每個詞元啟動 5.1B 參數,gpt-oss-20b 則會啟動 3.6B 參數。兩個模型的總參數量分別為 117b 和 21b。這些模型使用交替的密集與局部帶狀稀疏注意力模式,與 GPT‑3 [3] 相似。為改善推論和記憶效率,這些模型亦使用分組多重查詢注意機制,群組大小為 8。我們使用旋轉位置嵌入機制 (RoPE [4] ) 進行位置編碼,並支援高達 128k 的情境長度。
模型 | 層級 | 總參數量 | 每個詞元的活躍參數 | 專家總數 | 每個詞元的活躍專家 | 情境長度 |
gpt-oss-120b | 36 | 117b | 5.1b | 128 | 4 | 128K |
gpt-oss-20b | 24 | 21b | 3.6b | 32 | 4 | 128K |
這些模型使用高品質、以英文為主的純文字資料集訓練,著重 STEM、編碼和一般常識。此外,我們使用 OpenAI o4-mini 和 GPT‑4o 的超集分詞器「o200k_harmony」來標記資料;而我們也會在今天開放其原始碼。
有關我們模型的架構和訓練詳情,請參閱模型資料。
模型後期訓練流程與其他前沿系統相似,包括監督式微調階段及高算力強化學習階段。我們的目標是令模型與 OpenAI 模型規範(在新視窗中開啟)對齊,並教導模型在生成答案前運用 CoT 推理和工具使用能力。這些模型運用與我們最先進 (SoTA) 的專有推理模型相同的技術,於後續訓練後展現出卓越能力。
這兩個開放權重模型與 API 中的 OpenAI o 系列推理模型相似,支援低、中、高三種推理水平,可權衡延遲與效能表現。開發人員只需在系統訊息中輸入一句句子,即可輕鬆設定「reasoning_effort」。
我們以標準學術基準測試評估 gpt-oss-120b 與 gpt-oss-20b,在編程、競賽數學、醫療健康及代理式工具使用等方面的能力,並與其他 OpenAI 推理模型 (包括 o3、o3‑mini 及 o4-mini) 作比較。
gpt-oss-120b 在競賽編程 (Codeforces)、一般問題解決 (MMLU 及 HLE) 及工具呼叫 (TauBench) 等基準上,表現優於 OpenAI o3‑mini,並可與 OpenAI o4-mini 匹敵甚至超越。gpt-oss-120b 在健康相關查詢 (HealthBench) 及競賽數學 (AIME 2024 及 2025) 方面的表現更勝 o4-mini。即使模型規模較小,gpt-oss-20b 於相同評測亦能與 OpenAI o3‑mini 匹敵或更佳,更在競賽數學與健康領域超越之。
gpt-oss models do not replace a medical professional and are not intended for the diagnosis or treatment of disease
Example rollouts
gpt-oss-120b 能透過我們的瀏覽工具迅速匯聚網上最新資訊,並可串連數十次後續呼叫。
我們的 最新研究 顯示,監控思考鏈比監控最終答案更能發現模型行為問題,尤其當模型未以直接監督方式對齊其思考鏈時。業內其他人士也持相同(在新視窗中開啟)觀點。按自 OpenAI o1‑preview 發佈以來的原則,我們沒有對任何 gpt-oss 模型的思考鏈進行直接監督。我們相信,這對監測模型不當行為、欺瞞及濫用至關重要。我們希望透過發佈未經監督思考鏈的開放模型,為社群提供研究及實作自家 CoT 監控系統的機會。
開發人員不應在應用程式中直接向用戶顯示 CoT,因為 CoT 可能包含幻覺或有害內容,包括有違 OpenAI 標準安全政策的語言,亦可能包含明確要求模型不得在最終輸出中提供的資訊。
gpt-oss-120b 會在輸出中嚴格遵循系統指令,但在其 CoT 中經常會明確違抗指令。
gpt-oss 模型採用我們最先進的訓練方法進行安全訓練。在前期訓練期間,我們篩選出若干與化學、生物、放射學及核知識 (CBRN) 相關的有害資料;而在後期訓練期間,我們則使用審慎對齊和指令層級(在新視窗中開啟)來教導模型拒絕不安全的提示和防範提示注入。
凡有開放權重模型推出,敵對人士或會因惡意目的而微調模型。我們透過在專門的生物學及網絡安全數據上微調模型,直接評估這些風險;並仿效潛在攻擊者的手法,為每個領域分別建立一個不拒答的專屬版本。測試結果顯示,即使利用 OpenAI 業界領先的 training stack 進行極為深入的微調,這些惡意微調的模型仍無法根據我們的 Preparedness Framework 達至高能力水平。這種惡意微調方法經過三個獨立專家小組審核,而我們亦採納了他們提出的眾多建議,改善訓練與評估流程。我們在模型卡中詳述這些建議。這些流程標誌著開放模型安全機制的重大發展。這些結果確認了我們釋出 gpt-oss 模型的決定。我們希望這些模型有助加速整個產業的安全訓練與對齊研究。
為推動更安全的開源生態系統,我們正舉辦 Red Teaming Challenge(在新視窗中開啟),鼓勵全球研究人員、開發者及愛好者協助發掘嶄新的安全問題。此挑戰賽設有 50 萬美元獎金,由 OpenAI 及其他頂尖實驗室的專家評審團甄選得主。挑戰賽結束後,我們將發表報告,並根據核證結果開放評估資料集,讓更廣泛的社群可即時受惠。如欲了解詳情及參與,請按此處(在新視窗中開啟)。
gpt-oss-120b 及 gpt-oss-20b 的權重已免費上載至 Hugging Face,並以原生 MXFP4 量化格式提供下載。這使 gpt-oss-120b 可在 80GB 記憶體內運行,而 gpt-oss-20b 只需 16GB。
兩款模型均以我們的 Harmony 提示格式(在新視窗中開啟)進行後期訓練,而我們亦將開放 Python 和 Rust 版本的 Harmony 渲染器(在新視窗中開啟),方便大家採用。此外,我們亦將發佈使用 PyTorch 和 Apple Metal 平台執行推理的參考實例,以及模型的範例工具組合。
這些模型設計靈活,易於本地、裝置端或透過第三方推理服務運行及微調。為支援此舉,我們在發佈前已與多個領先部署平台合作,包括 Hugging Face、Azure、vLLM、Ollama、llama.cpp、LM Studio、AWS、Fireworks、Together AI、Baseten、Databricks、Vercel、Cloudflare 以及 OpenRouter,務求讓開發者得以更廣泛地取用這些模型。在硬件方面,我們與 AMD、Nvidia、AWS、Google Cloud 及 Groq 等業界領袖合作,以確保模型在各類系統上達至最佳效能。
作為今日發佈的一部分,Microsoft 亦將推出專為 GPU 最佳化的 gpt-oss-20b 版本予 Windows 裝置使用。在 ONNX Runtime 驅動下,這些模型支援本地推論,並可透過 Foundry Local 及 VS Code 的 AI Toolkit 取得,讓 Windows 開發者更輕鬆地以開放模型進行開發。
對於希望微調模型並部署在自己環境中,從而徹底自訂模型的開發人員來說,gpt-oss 是非常適合的選擇。對於尋求多模態支援、內建工具,以及與我們平台無縫整合的用戶而言,我們的 API 平台所提供的模型仍是首選。我們會持續聆聽開發人員的意見,未來可能會考慮為 gpt-oss 提供 API 支援。
如果您想試用這些模型,不妨前往我們的Open model Playground(在新視窗中開啟)。有關如何透過不同生態系統供應商使用模型,以及如何微調模型的詳情,請查閱我們的指南(在新視窗中開啟)。
發佈 gpt-oss-120b 及 gpt-oss-20b 為開放權重模型邁出重大一步。以此規模的模型而言,這些模型在推理能力和安全機制方面均有顯著進步。透過把這些開放模型納入現有 API 服務,我們旨在推動更透明的人工智能開發,覆蓋更廣泛的應用場景。
這些開放模型亦為新興市場、受資源侷限的行業,以及缺乏預算或無法彈性採用專屬模型的小型組織降低門檻。憑著這些功能強大而且易於使用的工具,世界各地不同人士能建設、創新,並為自己和他人創造新機遇。向大眾開放這些於美國開發的強大開放權重模型,有助擴展民主化的人工智能軌道。
健康的開放模型生態系統是讓人工智能更普及、更惠及所有人的關鍵之一。我們推出自家的開放模型,以探索我們能如何貢獻該生態系統,並評估未來是否值得繼續投入開放模型。如果您打算使用我們的 Open model 進行構建,您對這些模型的優勢和實際應用的意見,將對我們的決策產生重要的指導作用。
我們誠邀各界開發及研究人員使用這些模型進行實驗、合作,並突破界限,開拓新的可能。期待看到您製作的精彩作品。
作者
引用
Contributors
Zoran Martinovic、Zhuohan Li、Zhiqing Sun、Zach Johnson、Yu Yang、Yu Bai、Yang Song、Xin Wang、Wenting Zhan、Volodymyr Kyrylov、Vlad Fomenko、Tyler Bertao、Tong Mu、Timur Garipov、Tarun Gogineni、Suvansh Sanjeev、Steve Mostovoy、Song Mei、Shengjia Zhao、Sebastien Bubeck、Scott McKinney、Scott Lessans、Sandhini Agarwal、Sam Toizer、Sam Altman、Saachi Jain、Romain Huet、Rahul K. Arora、Philippe Tillet、Olivia Watkins、Nivedita Brett、Nikhil Vyas、Miles Wang、Michihiro Yasunaga、Michelle Pokrass、Mia Glaese、Max Schwarzer、Mark Chen、Mario Lezcano-Casado、Marat Dukhan、Lukas Gross、Ludovic Peran、Ludovic Peran、Lindsay McCallum、Lin Yang、Lily (Xiaoxuan) Liu、Leher Pathak、Lama Ahmad、Kristian Georgiev、Kristen Ying、Kimmy Richardson、Kevin Whinnery、Kevin Weil、Kevin Lu、Kevin Fives、Kendal Simon、Katia Gil Guzman、Karan Singhal、Karan Singhal、Kai Chen、Josh McGrath、Jordan Liss、Jongsoo Park、John Hallman、Johannes Heidecke、Jiancheng Liu、Ji Lin、Jason Kwon、Jason Ai、James Park Lennon、Jakub Pachocki、Jacob Huh、Jackie Hehir、Irina Kofman、Huida Qiu、Hongyu Ren、Harshit Sikchi、Hannah Wong、Haitang Hu、Haitang Hu、Haiming Bao、Hadi Salman、Guillaume Leclerc、Greg Brockman、Gideon Myles、Giambattista Parascandolo、Gaby Raila、Foivos Tsimpourlas、Filippo Raso、Eugene Brevdo、Eric Wallace、Enoch Cheung、Elizabeth Proehl、Elaine Ya Le、Edwin Arbus、Eddie Zhang、Dominik Kundel、Dmitry Pimenov、David Robinson、Dane Stuckey、Dana Palmie、Dan Cook、Cyril Zhang、Chris Lu、Chris Koch、Che Chang、Cedric Whitney、Casey Dvorak、Carolina Paz、Brian Zhang、Bowen Baker、Bob Rotsted、Boaz Barak、Ashley Pantuliano、Andy Applebaum、Amy Wendling、Ally Bennett、Alexander Neitz、Alex Paino、Alex Nichol、Alec Helyar、Aidan McLaughlin、Aidan Clark及Adam Goucher


