隆重推出 gpt-oss
Gpt-oss-120b 和 gpt-oss-20b 推动了开放推理模型领域的技术边界
我们发布了 gpt-oss-120b 和 gpt-oss-20b——两款性能卓越的开放轻量级语言模型，可在低成本下实现强大的实际应用性能。这些模型在灵活的 Apache 2.0 许可证下提供，与同等规模的开放模型相比，在推理任务中表现更优，展现出强大的工具使用能力，并针对在消费级硬件上高效部署进行了优化。它们通过强化学习与 OpenAI 最先进内部模型（包括 o3 及其他前沿系统）所启发的技术相结合进行训练。
Gpt-oss-120b 模型在核心推理基准测试中与 OpenAI o4-mini 模型几乎持平，同时能在单个 80GB GPU 上高效运行。Gpt-oss-20b 模型在常见基准测试中与 OpenAI o3‑mini 模型取得类似结果，且可在仅配备 16GB 内存的边缘设备上运行，使其成为设备端应用、本地推理或无需昂贵基础设施的快速迭代的理想选择。这两个模型在工具使用、少样本函数调用、CoT推理（如在 Tau-Bench 智能体评估套件中的结果所示）以及 HealthBench 测试中表现强劲（甚至超越了 OpenAI o1 和 GPT‑4o 等专有模型）。
这些模型与我们的回复 API（在新窗口中打开） 兼容，并专为在智能体工作流中使用而设计，具备卓越的指令执行能力、工具使用能力（如网页搜索或 Python 代码执行）以及推理能力——包括根据任务需求调整推理力度的能力，尤其适用于无需复杂推理且/或需要极低延迟最终输出的任务。它们完全可定制，提供完整的思维链 (CoT)，并支持结构化输出（在新窗口中打开）。
安全是我们发布所有模型时秉持的核心原则，对于开放模型而言尤为重要。除了对模型进行全面的安全培训和评估外，我们还通过在我们的《防范准备框架》（在新窗口中打开）下测试一个经过对抗性微调的 gpt-oss-120b 版本，引入了额外的评估层。Gpt-oss 模型在内部安全基准测试中的表现与我们的前沿模型相当，为开发者提供了与我们近期专有模型相同的安全标准。我们将在研究论文和模型卡片中分享该工作的成果及更多细节。我们的方法论已由外部专家审核，标志着在为开源模型设定新安全标准方面迈出了重要一步。
我们也与早期合作伙伴如 AI Sweden（在新窗口中打开）、Orange（在新窗口中打开） 和 Snowflake（在新窗口中打开） 合作，探索开放模型的实际应用场景，包括为数据安全在本地部署这些模型，以及在专用数据集上进行微调。我们很高兴能提供这些业界领先的开放模型，赋能所有人——从个人开发者到大型企业再到政府机构——在自有基础设施上运行并定制 AI。结合我们 API 中提供的模型，开发者可以根据需求选择所需的性能、成本和延迟，以支持 AI 工作流程。
gpt-oss 模型采用我们最先进的预训练和后训练技术进行训练，特别注重推理能力、效率以及在各种部署环境中的实际应用性。虽然我们已经公开发布了包括 Whisper 和 CLIP 在内的其他模型，但 gpt-oss 模型是我们自 GPT‑2[1]以来的首个开放大型语言模型。
每个模型都是一个 Transformer，它利用专家混合 (MoE[2]) 来减少处理输入所需的活跃参数数量。Gpt-oss-120b 每个令牌激活 51 亿个参数，而 gpt-oss-20b 激活 36 亿个参数。这两个模型的总参数数分别为 1,170 亿和 210 亿。这些模型采用交替的密集和局部带状稀疏注意力模式，与 GPT‑3 [3] 类似。为了提高推理和内存效率，这些模型还使用分组多查询注意力，分组大小为 8。我们使用旋转位置嵌入 (RoPE[4]) 进行位置编码，并原生支持长达 128k 的上下文长度。
模型 | 层数 | 总参数 | 每个令牌的活跃参数 | 总专家数 | 每个令牌的活跃专家数 | 上下文长度 |
gpt-oss-120b | 36 | 117b | 5.1b | 128 | 4 | 128k |
gpt-oss-20b | 24 | 21b | 3.6b | 32 | 4 | 128k |
我们使用了一个高质量、主要为英文的纯文本数据集对模型进行了训练，重点关注 STEM、编程和通用知识领域。我们使用了 OpenAI o4-mini 和 GPT‑4o 所用令牌化器的超集进行数据令牌化，即 ‘o200k_harmony'，该令牌化器我们今日也一并开源。
有关我们模型架构和训练的更多信息，请阅读模型卡片。
模型采用了与 O4-mini 类似的训练流程进行后训练，包括监督式微调阶段和高计算量强化学习阶段。我们的目标是使模型符合《OpenAI 模型规范》（在新窗口中打开），并使其在生成答案前能够应用 CoT 推理和工具使用能力。通过采用与我们最先进的专有推理模型相同的技术，这些模型在训练后展现出卓越的性能。
与 OpenAI o 系列推理模型在 API 中的实现类似，这两个开放模型支持三种推理强度——低、中、高——它们在延迟与性能之间进行权衡。开发人员可以通过在系统消息中输入一句话，轻松设置推理难度。
我们对 gpt-oss-120b 和 gpt-oss-20b 在标准学术基准测试中进行了评估，以衡量其在编程、竞赛数学、医疗和智能体工具使用方面的能力，并与其他 OpenAI 推理模型（包括 o3、o3‑mini 和 o4-mini）进行了比较。
Gpt-oss-120b 在竞赛编程 (Codeforces)、通用问题解决 (MMLU 和 HLE) 以及工具调用 (TauBench) 方面表现优于 OpenAI o3‑mini，并与 OpenAI o4-mini 持平或超越其性能。此外，它在健康相关查询 (HealthBench) 和竞赛数学 (AIME 2024 和 2025) 方面表现得比 o4-mini 更好。尽管 gpt-oss-20b 的规模较小，但在这些相同的评估中，它与 OpenAI o3‑mini 持平或超越后者，甚至在竞赛数学和医疗方面表现得更好。
gpt-oss models do not replace a medical professional and are not intended for the diagnosis or treatment of disease
Example rollouts
Gpt-oss-120b 能够通过浏览工具快速聚合最新信息，包括串联执行数十次后续调用。
我们的最新研究表明，监控推理模型的 CoT 有助于检测异常行为，只要该模型在训练过程中未直接施加针对 CoT 对齐监督。这一观点也得到了行业内其他人士的认同（在新窗口中打开）。自推出 OpenAI o1‑preview 以来，我们一直遵循既定原则，未对任何 gpt-oss 模型的 CoT 进行任何直接监督。我们认为，这对于监测模型的不当行为、欺骗和滥用至关重要。我们的期望是，通过发布一个开放模型并采用非监督式思维链，为开发者和研究人员提供机会，让他们能够研究并实现自己的 CoT 监测系统。
开发人员不应在应用中直接向用户展示 CoT。这些内容可能包含虚构或有害信息，包括不符合 OpenAI 标准安全政策的语言，以及模型被明确要求不应包含在最终输出中的信息。
Gpt-oss-120b 在输出中会严格遵循系统指令，但在其 CoT 中经常会明确违反指令。
gpt-oss 模型采用了我们最先进的安全训练方法。在预训练过程中，我们过滤掉了与化学、生物、放射性和核 (CBRN) 相关的某些有害数据。在训练后阶段，我们通过审慎对齐和指令优先级体系评估（在新窗口中打开），训练模型拒绝不安全提示并抵御提示注入攻击。
一旦开源模型发布，攻击者可能利用其进行恶意调优。我们通过在专门的生物学和网络安全数据上对模型进行微调，直接评估了这些风险，并为每个领域创建了专门的非拒绝版本，就像攻击者可能做的那样。测试结果表明，即使使用了 OpenAI 领先的训练堆栈进行极为广泛的微调，这些恶意微调的模型仍无法达到我们《防范准备框架》所定义的高能力水平。这种恶意微调方法已由三个独立专家组进行审查，并提出了改进训练流程和评估的建议，其中许多建议已被我们采纳。我们在模型卡中详细说明了这些建议。这些流程标志着开放模型安全领域的重要进展。这些发现证实了我们发布 gpt-oss 模型的决策。我们希望这些模型能助力行业加速安全训练与对齐研究。
为构建更安全的开源生态系统，我们正举办红队测试挑战赛（在新窗口中打开），鼓励全球研究人员、开发者及爱好者共同识别新型安全问题。该挑战赛设有一个 500,000 美元的奖金池，奖金将根据来自 OpenAI 和其他顶尖实验室的专家评委小组的评审结果进行发放。挑战赛结束后，我们将发布一份报告并开源基于验证结果的评估数据集，以便更广泛的社区能够立即从中受益。了解更多并参与挑战赛，请点击此处（在新窗口中打开）。
Gpt-oss-120b 和 gpt-oss-20b 的权重均可在 Hugging Face 上免费下载，且已原生量化为 MXFP4 格式。这使得 gpt-oss-120b 模型可在 80 GB 内存中运行，而 gpt-oss-20b 仅需 16GB 内存。
这些模型已在我们的 Harmony 提示格式（在新窗口中打开）上进行过后训练，我们还开源了 Python 和 Rust 版本的 Harmony 渲染器（在新窗口中打开），以简化模型采用流程。我们还发布了在 PyTorch 和 Apple 的 Metal 平台上进行推理的参考实现，以及一组用于该模型的示例工具。
我们设计这些时注重灵活性和易用性，使其可在本地、设备端或通过第三方推理服务提供商运行。为此，我们在产品发布前与领先的部署平台建立了合作关系，包括 Hugging Face、Azure、vLLM、Ollama、llama.cpp、LM Studio、AWS、Fireworks、Together AI、Baseten、Databricks、Vercel、Cloudflare 和 OpenRouter，以确保这些模型能够广泛地为开发者所用。在硬件方面，我们已与行业领军企业合作，包括 NVIDIA、AMD、Cerebras 和 Groq，以确保在各类系统上实现性能优化。
作为此次更新的一部分，微软还为 Windows 设备推出了 GPU 优化版的 gpt-oss-20b 模型。这些模型基于 ONNX Runtime，支持本地推理，并可通过 Foundry Local 和 VS Code AI 工具包获取，这使得 Windows 开发者更容易使用开放模型进行开发。
对于希望在自有环境中进行微调和部署完全可定制模型的开发人员而言，gpt-oss 是理想选择。对于寻求多模态支持、内置工具以及与我们平台无缝集成的用户，通过 API 平台提供的模型仍是最优选项。我们持续关注开发人员反馈，未来可能考虑为 gpt-oss 提供 API 支持。
如需试用这些模型，请访问我们的开放模型 Playground（在新窗口中打开）。如需了解如何通过不同生态系统提供商使用模型，或如何对模型进行微调，请查看我们的指南（在新窗口中打开）。
发布 gpt-oss-120b 和 gpt-oss-20b 标志着开放大型模型领域的重要进展。凭借其规模，这些模型在推理能力和安全性方面均实现了显著提升。通过将这些开放模型整合到我们现有的 API 服务中，我们旨在加速前沿研究，促进创新，并推动在广泛应用场景下实现更安全、更透明的 AI 开发。
这些开放模型还降低了新兴市场、资源受限行业及小型组织采用专有模型的门槛，这些群体可能缺乏预算或灵活性来采用专有模型。凭借强大的、易于获取的工具，世界各地的人们可以构建、创新并为自己和他人创造新的机遇。这些在美国开发的强大开放模型的大范围应用，有助于推动 AI 的民主化进程。
一个健康开放的模型生态系统，是实现 AI 广泛普及并惠及所有人的重要维度。我们正在发布自己的开放模型，以探索我们如何为这一生态系统做出贡献，以及这些模型的优势和好处是否值得 OpenAI 在未来投资于开放模型。如果您正在使用我们的开放模型进行开发，您对模型优势和实际应用的反馈将对我们的决策起到重要作用。
我们邀请开发者和研究人员使用这些模型进行实验、合作并突破可能性的边界。我们期待看到您创建的作品。
作者
参考文献
Contributors
Zoran Martinovic、Zhuohan Li、Zhiqing Sun、Zach Johnson、Yu Yang、Yu Bai、Yang Song、Xin Wang、Wenting Zhan、Volodymyr Kyrylov、Vlad Fomenko、Tyler Bertao、Tong Mu、Timur Garipov、Tarun Gogineni、Suvansh Sanjeev、Steve Mostovoy、Song Mei、Shengjia Zhao、Sebastien Bubeck、Scott McKinney、Scott Lessans、Sandhini Agarwal、Sam Toizer、Sam Altman、Saachi Jain、Romain Huet、Rahul K. Arora、Philippe Tillet、Olivia Watkins、Nivedita Brett、Nikhil Vyas、Miles Wang、Michihiro Yasunaga、Michelle Pokrass、Mia Glaese、Max Schwarzer、Mark Chen、Mario Lezcano-Casado、Marat Dukhan、Lukas Gross、Ludovic Peran、Ludovic Peran、Lindsay McCallum、Lin Yang、Lily (Xiaoxuan) Liu、Leher Pathak、Lama Ahmad、Kristian Georgiev、Kristen Ying、Kimmy Richardson、Kevin Whinnery、Kevin Weil、Kevin Lu、Kevin Fives、Kendal Simon、Katia Gil Guzman、Karan Singhal、Karan Singhal、Kai Chen、Josh McGrath、Jordan Liss、Jongsoo Park、John Hallman、Johannes Heidecke、Jiancheng Liu、Ji Lin、Jason Kwon、Jason Ai、James Park Lennon、Jakub Pachocki、Jacob Huh、Jackie Hehir、Irina Kofman、Huida Qiu、Hongyu Ren、Harshit Sikchi、Hannah Wong、Haitang Hu、Haitang Hu、Haiming Bao、Hadi Salman、Guillaume Leclerc、Greg Brockman、Gideon Myles、Giambattista Parascandolo、Gaby Raila、Foivos Tsimpourlas、Filippo Raso、Eugene Brevdo、Eric Wallace、Enoch Cheung、Elizabeth Proehl、Elaine Ya Le、Edwin Arbus、Eddie Zhang、Dominik Kundel、Dmitry Pimenov、David Robinson、Dane Stuckey、Dana Palmie、Dan Cook、Cyril Zhang、Chris Lu、Chris Koch、Che Chang、Cedric Whitney、Casey Dvorak、Carolina Paz、Brian Zhang、Bowen Baker、Bob Rotsted、Boaz Barak、Ashley Pantuliano、Andy Applebaum、Amy Wendling、Ally Bennett、Alexander Neitz、Alex Paino、Alex Nichol、Alec Helyar、Aidan McLaughlin、Aidan Clark、Adam Goucher
