在结束有限预览之后,我们正式推出 GPT‑5.6 系列模型,包括全新旗舰模型 Sol、适用于日常工作的均衡模型 Terra,以及极具性价比的模型 Luna。
GPT‑5.6 Sol 树立了智能与效率的新标杆,在编程、知识型工作、网络安全及科学领域均取得了行业前沿水平的成果,且以更少的 Token 和更低的预估成本超越了上一代及市面上的其他前沿模型。因此,它带来了更高的单位成本对应的性能提升:在相同预算下能完成更多任务,或以更低的总成本达到同等效果。我们还引入了一种加速处理最繁重工作的全新方式:ultra 是我们最高性能的设置,能够跨多个并行工作流协调多个智能体,更快地完成复杂任务。更强的计算机使用能力与设计判断力,使 GPT‑5.6 Sol 成为我们目前协作体验最为出色的助手,能够自行检查、打磨并交付可直接使用的成果。
通过训练 GPT‑5.6,我们让它的每一个 Token 都能产出更具实用价值的成果。在涵盖 55 个领域的长周期专业工作流评估 Agents’ Last Exam(在新窗口中打开) 中,GPT‑5.6 Sol 创下了 53.6 分的新高,领先 Claude Fable 5(自适应推理)13.1 分。即便是在中等推理强度下,它也以大约四分之一的预估成本,领先 Fable 5 达 11.4 分。这种效率优势同样体现在小型模型上,这对于提升智能的普及性与可负担性至关重要:GPT‑5.6 Terra 和 GPT‑5.6 Luna 的表现超越了 Fable 5,而成本仅为后者的约十六分之一。在 Artificial Analysis Intelligence Index(在新窗口中打开)(一项广泛衡量涵盖智能体工作、编程、科学推理及通用能力等指标的标准)中,开启 max 推理强度的 GPT‑5.6 Sol 与 Fable 5 的差距不到 1 分,但任务完成时间缩短了 61%,预估成本仅为后者的一半左右。
Agents’ Last Exam(在新窗口中打开):跨专业领域的长周期智能体工作流。
GPT‑5.6 搭载了我们迄今为止最为稳健的防护机制,旨在抵御蓄意且不断演变的滥用行为,同时不会过度限制合规工作的开展。在正式全面推出前,我们将人工红队测试与大规模自动化测试相结合,对模型及其防护机制进行了我们有史以来规模最大的评估测试。在预览期间,我们与专家机构及受信任的合作伙伴密切协作,在更广泛的发布前对防御系统进行了压力测试,并进一步强化了防护机制。最终成型的系统采用分层保护架构,将模型内置的防御能力与实时校验、监控机制相结合,并根据信任与风险等级对访问权限进行校准。
GPT‑5.6 Sol 是我们迄今为止最出色的编程模型。在 Artificial Analysis Coding Agent Index(编程智能体指数)中,开启 max 推理强度的 GPT‑5.6 Sol 以 80 分创下新的 SOTA — 比 Fable 5 高出 2.8 分 — 同时输出 Token 减少了一半以上,耗时缩短了一半以上,成本降低了约三分之一。这一优势贯穿整个产品系列:Terra 的表现略优于 Fable 5,而 Luna 表现优于 Opus 4.8;两者均在耗时约三分之一、输出 Token 减半的情况下达成,且预估成本仅为对手的约四分之一。它还在 Terminal-Bench 2.1 与 DeepSWE 测试中刷新了行业顶尖成绩,这两项基准专门考察复杂命令行工作流以及真实代码库中的长周期工程能力。
Artificial Analysis Coding Agent Index (编程智能体指数):这是一项独立的指数,用于评估编程智能体在功能实现、终端操作及真实代码库中的表现。
GPT‑5.6 能够编写并运行轻量级程序,在工作开展过程中协调工具、处理中间结果、监控进度并自主选择下一步操作。这使得重度依赖工具的任务能够以更少的 Token、更少的模型交互次数及更少的人工干预顺利推进。开发人员无需编写每一个步骤的脚本,也不必将工具的每个响应都回传给模型。Responses API 中的可编程工具调用(在新窗口中打开)功能能够过滤大量中间数据,仅保留关键信息,并在运行过程中动态调整工作流。
对于那些值得投入更多时间与算力来换取回报的难题,GPT‑5.6 可以在这一高效默认模式的基础上实现进一步突破。GPT‑5.6 的 max 选项提供了比 xhigh 更多的时间,以便进行推理、探索替代方案、执行校验并不断修正其方法。ultra 模式则更进一步,默认并行协作四个智能体。通过增加 Token 使用量,ultra 可在处理高难度任务时带来更强的结果表现,并更快产出结果。下图在 BrowseComp、SEC-Bench Pro 和 Terminal-Bench 2.1 上对比了 ultra 的默认四智能体配置与单智能体基准;此外,BrowseComp 和 SEC-Bench Pro 还展示了 16 智能体的配置。在所有三项评估中,增加并行智能体会将得分-延迟前沿向左上方推移,在更短时间内取得更优的结果。在 API 中,开发者可以利用 Responses API 中的多智能体 (multi-agent) 测试功能,打造类似于 ultra 的体验。
GPT‑5.6 在设计审美与判断力方面实现了大幅提升。仅凭高层次指导,GPT‑5.6 就能创建美观、符合人体工学且功能完善的界面。凭借更强的计算机使用能力,它不再仅仅局限于生成底层代码或内容,而是能够检查并优化渲染后的结果 — 从而在交付最终作品前,主动捕获视觉与功能问题,并进行细节修饰。
提示词: Can you implement a 3d sailing game for me? For anything that needs bitmaps/textures/sprites (or if it helps to have a mockup reference for any 3d models you build) feel free to use imagegen.
在 ChatGPT Work 中,GPT‑5.6 的前端开发能力同样能将自然语言请求转化为精美、具有互动性的解释与可视化呈现。
提示词: Create an interactive spirograph to explain how it works.
GPT‑5.6 可为专业任务提供更出色的结果。它能从你的文档以及 Slack、Notion、Microsoft 365 和 Google Drive 等日常工作流中提取杂乱的背景信息,并将其转化为专家级、可共享的成果。
GPT‑5.6 在知识型工作方面的优势体现在涵盖长周期专业分析、网页浏览、工具调用以及计算机操作等多项评估中。GPT‑5.6 Sol 在 BrowseComp 和 OSWorld 2.0 上分别以 92.2% 和 62.6% 的成绩创下新的 SOTA;在 OSWorld 中,它的表现超越了 Opus 4.8,同时输出 Token 用量减少了 85%。在这里,整个 GPT‑5.6 系列均实现了单位成本对应的性能提升。Luna 几乎达到了 GPT‑5.5 的最佳性能,而其预估成本低于后者的一半;同时,Terra 以更低的成本超越了 GPT‑5.5 的表现。
BrowseComp:GPT‑5.6 Sol 在包含智能体网页浏览任务的 BrowseComp 上创下新的 SOTA。
GPT‑5.6 Sol 提升了演示文稿、文档及电子表格的质量,其产出更加精美、准确。它能够从零开始制作完全可编辑的演示文稿,将提示和源材料转化为具有出色排版、层级结构和设计的连贯视觉叙事。
在遵循模板与参考演示文稿时,这种提升尤为明显。GPT‑5.6 能够推断出演示文稿的设计体系 — 包括排版、字体、间距、色彩及重复出现的内容模式 (涵盖幻灯片母版中内置的规则) — 并将这些规范一致地应用到新材料中。在此示例中,当被要求根据参考文件更新数值时,GPT‑5.5 的输出遗漏了幻灯片母版中的关键组件,而 GPT‑5.6 则更为忠实地遵循了参考结构。
参考文件

GPT‑5.5 输出

GPT‑5.5 遗漏了幻灯片母版的关键组件
GPT‑5.6 输出

GPT‑5.6 同样能生成在视觉上更为考究的文档与电子表格。它能更准确地遵循复杂的参考格式,这对于重复性的知识型工作任务而言至关重要。它在处理方程式与财务模型时更为精细,并能更好地运用字体排印、间距、层级结构以及页面或工作表布局。
早期测试 GPT‑5.6 的客户发现,各个领域的知识型工作产出都有所提升。
GPT‑5.6 是我们迄今为止在网络安全方面表现最强劲的模型,它以更低的 Token 使用量实现了前沿水平的性能。在 ExploitBench2 中(衡量从触及易受攻击代码到实现任意代码执行的全过程),在相近的输出 Token 预算下,它的得分为 73.5%,而 GPT‑5.5 的得分为 47.9%。在 ExploitGym3 中(该基准测试要求智能体将真实世界漏洞转化为能够运行的漏洞利用程序),GPT‑5.6 在两小时限制下的最佳通过率从 GPT‑5.5 的 15.1% 提升至 24.9%,接近后者的两倍水平;在六小时限制下,其通过率进一步达到 33.7%。在测试复杂软件概念验证 (PoC) 代码生成的 SEC-Bench Pro 中,它以更低的延迟取得了 71.2% 的得分,而 GPT‑5.5 的得分为 45.8%。
GPT‑5.6 能够支持安全代码审查、补丁开发、威胁建模及蓝队防御等重要防御任务。在 OpenAI Daybreak 的“网络安全受信访问”(Trusted Access for Cyber) 计划中,符合资格的个人和组织可通过针对授权环境中经验证工作的精准防护措施,获得更强大的防御能力。这其中包括漏洞分流与验证、恶意软件分析、检测工程以及补丁验证。
个人可以验证身份并申请受信访问权限(在新窗口中打开),组织也可以为其团队申请。个人成员需在 9 月 1 日前使用基于硬件的通行密钥 (hardware-backed passkeys) 启用高级账户安全 (Advanced Account Security)(在新窗口中打开),才能保留对我们在网络安全领域表现突出的前沿模型的访问权限;未按期启用者将恢复为默认访问权限。尚未配备基于硬件的通行密钥的用户,可享受由我们合作伙伴 Yubico 提供的专属优惠价格(在新窗口中打开)。我们同时也在采取额外措施,限制高风险实体及处于高风险司法管辖区的访问。
ExploitBench:构建逐步进阶的 V8 漏洞利用程序;GPT‑5.6 较 GPT‑5.5 有大幅提升。未显示延迟图表,因为该基准测试的延迟预估不可靠。
GPT‑5.6 Sol 在科学研究领域同样展现出广泛的能力提升。在生命科学评估中,针对真实世界中的生物学、生命科学研究工作流和化学,GPT‑5.6 相较于 GPT‑5.5 展现出帕累托改进 (Pareto improvements)。
GeneBench Pro:长周期基因组学与定量生物学分析;GPT‑5.6 以更少的 Token 和更短的时间取得了更优异的结果。未将 Claude Fable 5 纳入其中,因为该模型在高级生物学问题上不作答(在新窗口中打开),并拒绝了该评测中的大多数问题。
GPT‑5.6 是我们目前在加速 AI 研究方面表现最出色的模型。在 OpenAI 内部,研究人员将其应用于整个开发循环中:诊断故障、优化训练系统、运行实验,并分析结果。在 GPT‑5.6 的内部测试阶段,我们已经看到了这种加速趋势与更强劲的采用势头,每位活跃研究人员的日均输出 Token 量是 GPT‑5.5 所观察到的最高水平的两倍以上。
这种工作方式正迅速成为常态。在过去的六个月里,用于内部代码推理的研究计算资源占比增长了 100 倍,而内部智能体 Token 的使用量则增加了约 22 倍。这些使用情况指标本身并不能衡量研究进展,但它们表明 AI 辅助在研究以及销售、营销、用户运营、财务等其他团队中的应用正在快速增长。
为了直接衡量这一能力,我们基于真实的 AI 研究任务开发了一套内部评估体系,涵盖调试研究系统、优化内核与训练方案、运行机器学习实验以及优化其他模型等。
综合 RSI 能力:在一系列衡量递归自我优化进展的评估中,我们观察到 GPT‑5.6 Sol 较 GPT‑5.5 提升了 16.2 个点,全面加速了内部研究进程。
随着模型能力不断提升,我们也在强化安全体系,以便先进智能能够继续广泛发挥作用,同时对最高风险用途施加更严格的审查。针对 GPT‑5.6,我们构建了迄今为止最稳健的安全系统,根据每个模型的能力进行校准,并由大量算力提供支持。
在生物学与网络安全领域,GPT‑5.6 模型的能力均超越了我们的早期模型,但在这两个领域中,均未跨越“严重 (Critical)”风险阈值。在网络安全方面,我们的测试表明,GPT‑5.6 在发现和修复漏洞方面的表现,优于针对强化目标可靠地执行自主、端到端攻击的表现 — 这为防御者在漏洞被利用前加固系统提供了机会。在生物学方面,我们的测试表明,GPT‑5.6 能够支持合规的科学研究,但尚不具备创造、设计或合成高度危险的新型威胁所需的端到端能力。
这两个领域本质上都具有双重用途特性。在网络安全领域,能够协助攻击者利用漏洞的同一项能力,也能帮助防御者发现、复现漏洞并构建可靠的修复方案。因此,过度拦截本身也会产生安全风险。它可能会阻碍防御者测试系统和部署补丁,而与此同时,恶意行为者却在继续使用其他模型(包括能力日益增强的开源模型)以及现有的黑客工具。有效的防护机制应充分考量请求的具体语境与可能产生的后果;在保护合规防御工作的同时,当有证据表明存在严重危害风险时,则应实施更严格的控制。
GPT‑5.6 的防护机制采用了分层设计,以提高准确性与冗余度,并能根据新出现的攻击方式进行快速自适应调整。模型内置的防护机制与实时校验、持续监控及账户级干预机制协同运作,确保即使某一防护层级未按预期工作,系统整体依然能够保持安全。在许多系统中,仅靠分类器标记 (classifier flag) 来决定拦截哪些内容,这往往依赖于智能水平较低、难以快速调整的模型来防范危害。我们的方法则引入了一个推理监控器 (reasoning monitor),它会审查对话内容,以确定是否存在潜在危害。这种设计旨在保障防御工作的顺利开展,同时拦截严重的滥用行为;其中最敏感的能力仅通过“网络安全受信访问”计划保留给经过验证的用户使用。由于部分防护机制采用了测试时推理 (test-time reasoning),我们能够快速对其进行更新以填补漏洞,而无需从零开始重新训练分类器。
在持续强化系统以抵御自适应攻击的过程中,我们采取了更为保守的策略。与之前的模型相比,我们针对 GPT‑5.6 Sol 的网络安全防护机制所拦截的潜在有害活动数量增加了约十倍。由于这些措施可能会对合规用户的正常使用造成一定阻碍,我们在 ChatGPT 和 Codex 中提供了一个选项,让用户能够轻松地在能力较低的模型上重试提示词。我们也将继续在保持高标准系统稳健性的同时,降低防护机制对合规用户的影响。这反映了我们迭代式的部署策略:以保守起步,并根据从现实世界使用中获得的经验不断进行优化。
在正式全面推出前,我们进行了迄今为止最为严格的安全性评估。这其中包括广泛的红队测试、与外部专家合作开展的稳健性与防护能力测试,以及约 70 万个 A100e GPU 小时的黑盒自动化红队测试。这使我们能够系统性地探测潜在弱点、发现越狱漏洞,并在发布前有效加固系统。
绝对的安全是不存在的,我们为不断增强的模型提供安全保障的努力也未曾停歇。新的弱点会被不断发现,绕过现有防护机制的新型越狱手段也会层出不穷。每一代新模型都会带来新的攻击与滥用可能。为了应对这一现实,我们构建了分层防护体系、持续监控机制、快速补救流程,并积极开展与整个防御社区的协作。针对 GPT‑5.6,我们将现有的安全(在新窗口中打开)与生物安全漏洞赏金计划与全新的快速补救流程以及我们迄今为止最严密的监控机制相结合。来自研究人员的发现、系统监控结果以及现实世界中的滥用案例,都将持续转化为新的评估基准和更强大的防护机制。
如需了解更多关于我们防护机制的信息,请参阅更新后的 GPT‑5.6 系统卡(在新窗口中打开)。
GPT‑5.6 提供三个模型层级:我们的旗舰模型 Sol;性能与 GPT‑5.5 相当且成本更低的模型 Terra;以及速度更快、极具性价比的模型 Luna。数字用于标注代系,而 Sol、Terra 和 Luna 则是持久的能力层级,可按各自的节奏独立演进。
即日起,GPT‑5.6 已在 ChatGPT、Codex 及 OpenAI API 上线。目前,该系列模型已开始在全球范围内上线,并将在未来 24 小时内逐步向所有用户开放。
- 聊天:Plus、Pro、Business 及 Enterprise 用户可通过中等及更高推理强度的设置访问 GPT‑5.6 Sol。Pro 与 Enterprise 用户还可选择 GPT‑5.6 Sol Pro,以在处理复杂任务时获得质量极高的结果。
- ChatGPT Work 与 Codex:免费版及 Go 用户可访问 GPT‑5.6 Terra。Plus、Pro、Business 及 Enterprise 用户可在 GPT‑5.6 Sol、Terra 与 Luna 之间进行选择,并分别为其设置推理强度。拥有在 ChatGPT Work 和 Codex 中访问 GPT‑5.6 权限的所有用户,均可使用
max选项,并可在设置中开启。在 ChatGPT Work 中,ultra向 Pro 及 Enterprise 用户开放。在 Codex 中,Plus 及更高级别订阅套餐的用户均可使用。 - API:开发者可通过 OpenAI API 访问 Sol、Terra 和 Luna。在 Responses API 中,可编程工具调用功能允许 GPT‑5.6 在内存中编写并运行程序,从而协调各项工具并处理中间结果,使其符合“零数据保留”(ZDR) 标准。目前处于测试阶段的多智能体 (multiagent) 功能让 GPT‑5.6 能够并行运行子智能体 (subagent) ,并在单个请求中对它们的工作成果进行整合。
GPT‑5.6 提供三种模型规格,按每百万 (1M) Token 计费:Sol 为输入 5 美元/输出 30 美元;Terra 为输入 2.50 美元/输出 15 美元;Luna 为输入 1 美元/输出 6 美元。GPT‑5.6 同样引入了更可预测的提示词缓存功能,包括支持显式缓存断点 (explicit cache breakpoint)(在新窗口中打开) 以及至少 30 分钟的缓存有效期。对于 GPT‑5.6 及后续模型,缓存写入的计费标准为模型非缓存输入费率的 1.25 倍,而缓存读取则继续享受缓存输入费率 90% 的优惠。
专业能力
| 评测 | GPT‑5.6 Sol | GPT‑5.6 Terra | GPT‑5.6 Luna | GPT‑5.5 | Claude Fable 5 | Claude Opus 4.8 | Gemini 3.1 Pro 预览版 | Gemini 3.5 Flash |
| Agents' Last Exam | 52.7% | 50.4% | 50.3% | 46.9% | 40.5% | 45.2% | 32.1% | — |
| GDPval-AA v2 | 1,747.8 Elo | 1,593 Elo | 1,591.8 Elo | 1,493.7 Elo | 1,759.6 Elo | 1,600.1 Elo | 962.3 Elo | 1,348.8 Elo |
| 管理咨询任务 (内部) | 43.2% | 37.2% | 35.4% | 31.3% | 35.5% | 31.6% | 13.2% | — |
| Big Finance Bench | 53% | 51% | 36% | 49% | — | 44% | — | — |
| Artificial Analysis Intelligence Index v4.1 | 58.9 Index 得分 | 55 Index 得分 | 51.2 Index 得分 | 54.8 Index 得分 | 59.9 Index 得分 | 55.7 Index 得分 | 46.5 Index 得分 | 50.2 Index 得分 |
编码
| 评测 | GPT‑5.6 Sol | GPT‑5.6 Sol Ultra | GPT‑5.6 Terra | GPT‑5.6 Luna | GPT‑5.5 | Claude Mythos 5 | Claude Mythos 预览版 | Claude Fable 5 | Claude Opus 4.8 | Gemini 3.1 Pro 预览版 |
| Artificial Analysis Coding Agent Index v1.1 | 80 Index 得分 | — | 77.4 Index 得分 | 74.6 Index 得分 | 76.4 Index 得分 | — | — | 77.2 Index 得分 | 72.5 Index 得分 | 42.7 Index 得分 |
| SWE-Bench Pro | 64.6% | — | 63.4% | 62.7% | 59.4% | 80.3% | 77.8% | 80% | 69.2% | 54.2% |
| DeepSWE v1.1 | 72.7% | — | 69.6% | 67.2% | 67% | — | — | 69.7% | 59% | 11.8% |
| Terminal-Bench 2.1 | 88.8% | 91.9% | 87.4% | 84.7% | 85.6% | 88% | — | 83.1% | 78.9% | 70.7% |
安全
| 评测 | GPT‑5.6 Sol | GPT‑5.6 Terra | GPT‑5.6 Luna | GPT‑5.5 | GPT‑5.4 | Claude Opus 4.8 | Claude Mythos 5 | Claude Mythos 预览版 |
| Healthbench Professional | 60.5% | 57.7% | 55.7% | 51.8% | 48.1% | 52.6% | 66% | 64.7% |
计算机使用
| 评测 | GPT‑5.6 Sol | GPT‑5.6 Sol Ultra | GPT‑5.6 Terra | GPT‑5.6 Luna | GPT‑5.5 | Claude Mythos 5 | Claude Mythos 预览版 | Claude Opus 4.8 | Gemini 3.1 Pro 预览版 |
| OSWorld 2.0 | 62.6% | — | 50.2% | 45.6% | 47.5% | — | — | 54.8% | — |
| BrowseComp | 90.4% | 92.2% | 87.5% | 83.3% | 84.4% | 88% | 87.9% | 84.3% | 85.9% |
| BenchCAD | 70.6% | — | 62.3% | 63.1% | 44.4% | 38.4% | 35.5% | 27.3% | — |
| BenchCAD (python 工具) | 83.4% | — | 78.2% | 73.9% | 55.8% | 65% | 61% | 51.8% | — |
网络安全
| 评测 | GPT‑5.6 Sol | GPT‑5.6 Sol Ultra | GPT‑5.6 Terra | GPT‑5.6 Luna | GPT‑5.5 | Claude Mythos 5 | Claude Mythos 预览版 | Claude Opus 4.8 |
| 夺旗挑战 | 96.7% | — | 91.8% | 85.2% | 88.1% | — | — | — |
| SEC-Bench Pro | 71.2% | 74.3% | 57.7% | 48.9% | 45.8% | — | — | — |
| CyberGym | 84.5% | — | 81.8% | 77.9% | 81.8% | 83.8% | 83% | 78.1% |
| ExploitBench | 73.5% | — | 52.9% | 33.2% | 47.9% | 78% | 74.2% | 40% |
| ExploitGym | 33.7% | — | 23.2% | 12.4% | 15.1% | — | — | — |
自我优化
| 评测 | GPT‑5.6 Sol | GPT‑5.6 Terra | GPT‑5.6 Luna | GPT‑5.5 |
| Internal Research Debugging Evaluation | 68.3% | 67.8% | 50.8% | 50% |
| KernelGen 1P | 61.1% | 49.2% | 22.4% | 29.3% |
| NanoGPT | 9.69% | 14.5% | 1.66% | 2.65% |
| PostTrainBench Lite | 50.3% | 51.5% | 29.6% | 38.8% |
| RSI Index | 57.9% | 56.3% | 41.9% | 41.7% |
多模态
| 评测 | GPT‑5.6 Sol | GPT‑5.6 Terra | GPT‑5.6 Luna | GPT‑5.5 | Claude Fable 5 | Claude Opus 4.8 | Gemini 3.1 Pro 预览版 |
| MMMU Pro (无工具) | 83% | 80.7% | 78.4% | 81.2% | — | — | 80.5% |
| MMMU Pro (使用工具) | 84.6% | 82% | 79.5% | 83.2% | — | — | — |
| gdp.pdf | 30.7% | 24.7% | 22.7% | 26% | 29.8% | 22.5% | 16.7% |
学术
| 评测 | GPT‑5.6 Sol | GPT‑5.6 Terra | GPT‑5.6 Luna | GPT‑5.5 | Claude Mythos 5 | Claude Mythos 预览版 | Claude Fable 5 | Claude Opus 4.8 | Gemini 3.1 Pro 预览版 |
| GPQA Diamond | 94.6% | 92.9% | 92.3% | 93.6% | 94.1% | 94.6% | 92.6% | 92% | 94.3% |
| FrontierMath Tier 1-3 (v2) | 89% | 84.9% | 78.6% | 85.3% | — | — | 87% | 80% | 59.6% |
| FrontierMath Tier 4 (v2) | 83% | 68.3% | 58.5% | 72.5% | — | — | 87.8% | 56.1% | — |
工具使用
| 评测 | GPT‑5.6 Sol | GPT‑5.6 Terra | GPT‑5.6 Luna | GPT‑5.5 | Claude Mythos 5 | Claude Mythos 预览版 | Claude Fable 5 | Claude Opus 4.8 | Gemini 3.1 Pro 预览版 | Gemini 3.5 Flash |
| AutomationBench | 18.1% | 15.2% | 14.9% | 12.9% | — | — | 17.4% | 15.5% | — | 14.5% |
| Toolathlon | 58% | 53.1% | 53.4% | 55.6% | 61.7% | 61.1% | 61.7% | 59.9% | 48.8% | — |
长上下文
| 评测 | GPT‑5.6 Sol | GPT‑5.6 Terra | GPT‑5.6 Luna | GPT‑5.5 | Claude Mythos 5 | Claude Mythos 预览版 | Claude Opus 4.8 |
| OpenAI MRCR v2 8-needle 256K-512K | 91.5% | 89.6% | 41.3% | 81.5% | — | — | — |
| OpenAI MRCR v2 8-needle 512K-1M | 73.8% | 72.5% | 41.3% | 74% | — | — | — |
| GraphWalks BFS 256k f1 | 90.7% | 76.9% | 81.3% | 73.7% | 91.1% | 85.7% | 85.9% |
| GraphWalks BFS 1mil f1 | 77.1% | 71.2% | 51.2% | 45.4% | 79.4% | 74.3% | 68.1% |
抽象推理
| 评测 | GPT‑5.6 Sol | GPT‑5.6 Terra | GPT‑5.6 Luna | GPT‑5.5 | Claude Opus 4.8 | Gemini 3.1 Pro 预览版 |
| ARC-AGI-3⁷ | 7.78% | 0.8% | 0.18% | 0.43% | 1.5% | 0.42% |
作者
脚注
1. 网络安全能力的评估是在放宽防护限制的条件下进行的。用户可加入 OpenAI Daybreak 的“网络安全受信访问”计划,以获得更多网络安全防御能力的访问权限。
2. 所有模型均使用 ExploitBench API 测试框架,在 5 个种子和推理连续性条件下进行评估。
3. 我们在 alpha API 上运行 ExploitGym,该 API 的响应输出速度快于公开 API,随后重新缩放以匹配公开 API。将延迟重新缩放到公开 API 预期速度时,部分预估延迟会超过两小时和六小时的时间限制,尽管在评估运行中实际遵守了这些限制。对于时间敏感型工作,如需更快速度,我们在 API 中提供优先处理,在 Codex 中提供快速模式。
4. 我们通过观察模型的生产环境表现并进行离线模拟,来预估延迟与 API 成本。这些预估值综合考虑了工具调用的详细信息、采样的 Token 以及输入 Token。实际结果可能会有很大差异,并取决于我们在模拟中未涵盖的许多因素。我们按高速 API 速度模拟延迟,并按常规 API 定价模拟成本。
5. 未报告输出 Token、延迟或成本的模型以水平虚线表示。
6. 对于多智能体系统,延迟根据根智能体 (root agent) 计算,而输出 Token 与 API 总成本则包含所有 Token。Ultra 模式在 4 个智能体的配置下运行。
7. 我们采用 HealthBench Professional 论文中阐述的官方评分方法进行计分,该分数与 Anthropic 系统卡中公布的结果不具可比性。
8. 针对 Opus 4.8 的 ARC-AGI-3 测试是在 high 而非 max 推理强度下运行的,因为这是该模型目前唯一公开的 ARC-AGI-3 结果。

