跳至主要內容
OpenAI

2026年7月9日

產品發布

GPT‑5.6:隨你的抱負而擴展的前沿智慧

每個 Token 發揮更多智慧,每一美元換取更強效能,並隨需提供更多能力,協助你處理最艱鉅的工作。

載入中…

我們在有限預覽後,正式全面開放使用 GPT‑5.6 模型系列,包括全新旗艦模型 Sol、兼顧各方面表現且適合日常工作的 Terra,以及成本效益最高的 Luna

GPT‑5.6 Sol 在智慧與效率方面樹立了新標準,不僅在寫程式、知識工作、資安和科學等領域達到最先進水準,更以更少的 Token 和更低的預估成本,超越先前的前沿模型和其他競爭模型。這代表每一美元都能換取更高效能:相同支出可成功完成更多工作,或以更低的總成本取得相當成果。我們也推出一種加速處理最高難度工作的全新方式:ultra 是我們能力最高的設定,會協調多個智慧體平行處理不同工作流程,以更快完成複雜任務。更強大的電腦操作能力與設計判斷力,讓 GPT‑5.6 Sol 成為我們迄今最成熟完善的協作夥伴,能夠檢查、精修並交付可立即使用的成果。

我們訓練 GPT‑5.6,讓每個 Token 都能完成更多實用工作。在 Agents’ Last Exam(在新視窗中開啟) 這項涵蓋 55 個領域、評估長時程專業工作流程的測試中,GPT‑5.6 Sol 創下 53.6 分的新高,比採用自適應推理的 Claude Fable 5 高出 13.1 分。即使只採用「中」推理強度,GPT‑5.6 Sol 仍領先 Fable 5 達 11.4 分,預估成本卻僅約為其四分之一。這項效率優勢也延伸至較小型模型,而這類模型對於讓智慧更普及、更實惠至關重要。GPT‑5.6 Terra 和 GPT‑5.6 Luna 的表現均優於 Fable 5,成本約僅為其十六分之一。Artificial Analysis Intelligence Index(在新視窗中開啟) 廣泛衡量智慧體工作、程式設計、科學推理和一般能力。在這項指數中,採用「max」推理的 GPT‑5.6 Sol 與 Fable 5 相差不到 1 分,完成任務的時間則縮短 61%,預估成本約為一半。

Agents’ Last Exam(在新視窗中開啟):跨專業領域的長時程智慧體式工作流程。

GPT‑5.6 推出時採用我們迄今最完善的防護措施,旨在抵禦蓄意且會因應防護措施調整手法的濫用行為,同時避免廣泛限制正當用途。在正式全面開放使用前,我們對模型和防護措施進行了迄今最全面的評估,結合人工紅隊演練與大規模自動化測試。在預覽期間,我們與專家機構和可信賴的合作夥伴密切合作,在更廣泛推出前對防禦措施進行壓力測試,並強化防護措施。最終形成的系統採取多層防護,結合模型內建的防護措施、即時檢查與監控,以及依信任程度和風險調整的存取控制。

預設高效率,隨需發揮最高效能

GPT‑5.6 Sol 是我們迄今最佳的程式碼編寫模型。在 Artificial Analysis Coding Agent Index 上,GPT‑5.6 Sol 使用「max」推理時以 80 分創下最新最佳成績,比 Fable 5 高 2.8 分,同時使用的輸出 Token 不到一半,耗時也不到一半,成本則約降低三分之一。這項優勢也延伸至整個系列:Terra 的表現略高於 Fable 5,Luna 則超越 Opus 4.8;兩者大約都只需三分之一的時間、一半左右的輸出 Token,預估成本則約為四分之一。GPT‑5.6 Sol 在 Terminal-Bench 2.1 和 DeepSWE 創下最新最佳成績。這兩項基準測試分別評估複雜的命令列工作流程,以及真實程式碼庫中的長時程工程任務。

Artificial Analysis Coding Agent Index:這項獨立指數評估程式碼編寫智慧體在實際執行、終端機使用及真實程式碼庫中的表現。

GPT‑5.6 可以撰寫並執行輕量級程式,在工作進行過程中協調工具、處理中間結果、監控進度,並決定下一步行動。如此一來,大量使用工具的任務就能以更少的 Token、更少的模型往返次數和更少的指引持續推進。開發人員不必為每個步驟撰寫指令碼,也不必將每個工具回應都傳回模型。Responses API 中的程式化工具呼叫(在新視窗中開啟)功能可以篩選大量中間資料、只保留重要資訊,並隨工作進展調整工作流程。

對於投入更多時間與運算資源即可獲得更好成果的問題,GPT‑5.6 可以突破預設高效率模式的限制。max 讓 GPT‑5.6 獲得比 xhigh 更多的時間,可進行推理、探索替代方案、執行檢查並修正做法。Ultra 更進一步,預設會並行協調四個智慧體,以較高的 Token 使用量換取更出色的結果,並在高難度任務中更快取得結果。下方圖表比較 ultra 的預設四智慧體設定與單一智慧體基準,在 BrowseComp、SEC-Bench Pro 和 Terminal-Bench 2.1 上的表現;BrowseComp 和 SEC-Bench Pro 也列出 16 個智慧體的設定。在這三項評估中,增加並行作業的智慧體,都能讓分數與延遲之間的前沿往左上方移動,以更短時間取得更佳成果。在 API 中,開發人員可以使用 Responses API 的 Multi-agent Beta 版,打造類似 ultra 的體驗。

1 之 11
GPT‑5.6 是我們在 CursorBench 上測試過的最強模型之一,在初步評估中表現穩健。對開發人員而言,它在持續執行任務、智慧和整體效率方面都有令人振奮的進展。我們期待將 GPT‑5.6 提供給 Cursor 使用者。
—Oskar Schulz,Cursor 總裁

設計能力大幅躍升

GPT‑5.6 的設計判斷力有了顯著提升。只需使用者指引大方向,GPT‑5.6 就能打造兼具美感、易用性與功能性的介面。更強大的電腦操作能力讓它能檢查並精修實際呈現的成果,而不只是產生底層程式碼或內容,因此可以在交付成果前找出視覺與功能問題,並完成最後的細節調整。

提示詞:Can you implement a 3d sailing game for me? For anything that needs bitmaps/textures/sprites (or if it helps to have a mockup reference for any 3d models you build) feel free to use imagegen.

GPT‑5.6 的前端能力也能在 ChatGPT 工作中,將自然語言要求轉化為精緻的互動式說明與視覺化內容。

Prompt: Create an interactive spirograph to explain how it works.

全流程知識工作

GPT‑5.6 能為專業任務帶來更佳成果。它會從你的文件,以及 Slack、Notion、Microsoft 365 和 Google 雲端硬碟等日常工作流程中擷取零散雜亂的脈絡資訊,轉換成專家級、可分享的成品。

GPT‑5.6 在知識工作方面的實力,體現在長時程的專業分析、瀏覽、工具使用與電腦操作等各項評估中。GPT‑5.6 Sol 在 BrowseComp 以 92.2% 和 OSWorld 2.0 以 62.6% 創下最新最佳成績;在 OSWorld 上,它使用的輸出 Token 減少 85%,表現仍超越 Opus 4.8。在這方面,每美元效能的提升擴及整個 GPT‑5.6 系列。Luna 的表現幾乎媲美 GPT‑5.5 的最高水準,預估成本卻不到一半;Terra 則以更低成本超越 GPT‑5.5。

BrowseComp:GPT‑5.6 Sol 在 BrowseComp 上創下最新最佳成績;BrowseComp 是由智慧體式瀏覽任務組成的基準測試。

GPT‑5.6 Sol 提升簡報、文件和試算表的品質,輸出更精緻且準確。它可以從零開始建立完全可編輯的簡報,將提示詞與來源素材轉化為連貫的視覺敘事,並具備出色的版面配置、層級結構與設計。

在依照範本和參考簡報製作時,改善效果尤其顯著。GPT‑5.6 能夠推斷一份簡報的設計系統,包括版面配置、字體與排版、間距、色彩,以及重複出現的內容模式,包括嵌入在投影片母片中的規則,並將這些規範一致地套用到新內容。在此範例中,模型必須依要求根據參考檔案更新數字時,GPT‑5.5 的輸出缺少母片中的關鍵元素,而 GPT‑5.6 則更忠實地依循參考檔案的結構。

參考檔案
供 GPT-5.6 比對風格的輸入投影片
GPT‑5.5 輸出
GPT-5.5 輸出投影片,用於比對風格

GPT‑5.5 缺少投影片母片中的關鍵要素

GPT‑5.6 輸出
GPT-5.6 輸出投影片,用於比對風格

GPT‑5.6 也能製作視覺上更精緻的文件和試算表。它能更忠實地遵循複雜的參考格式,這對可重複執行的知識工作活動尤其重要。GPT‑5.6 能更精準地處理方程式和財務模型,並更妥善運用字體排印、間距、視覺層次,以及頁面或工作表版面配置。

測試 GPT‑5.6 的早期客戶發現,跨領域的知識工作產出均有所改善。

1 之 9
GPT‑5.6 在建立生產級應用程式所需的長時間複雜工作流程中,效率格外出色。Lovable 目前採用的模型包括 GPT‑5.6。相較於先前的模型,GPT‑5.6 約可減少 25% 的步驟和 35% 至 48% 的工具呼叫次數,同時提高專案成功率,並將執行卡住的情況減少 15%。對於想將構想化為可運作應用程式的使用者而言,上述改善帶來了實質差異。
—Fabian Hedin,Lovable 共同創辦人

拓展網路安全與科學的前沿

GPT‑5.6 是我們迄今最強大的網路安全模型,能以大幅減少的 Token 用量達到前沿水準。在 ExploitBench2 中,基準測試會衡量模型從找到有漏洞的程式碼到成功執行任意程式碼的進展。在相近的輸出 Token 預算下,GPT‑5.6 的得分為 73.5%,高於 GPT‑5.5 的 47.9%。在 ExploitGym3,智慧體需要將真實世界的漏洞轉化為可實際運作的漏洞利用程式。在兩小時的時間上限內,GPT‑5.6 的最高通過率為 24.9%,相較於 GPT‑5.5 的 15.1% 接近翻倍;若將時間上限延長至六小時,通過率可達 33.7%。在測試複雜軟體概念驗證生成能力的 SEC-bench Pro 中,GPT‑5.6 的得分為 71.2%,高於 GPT‑5.5 的 45.8%,同時延遲也有所改善。

GPT‑5.6 支援重要的資安防禦任務,例如安全程式碼審查、修補、威脅建模和藍隊演練。OpenAI Daybreak「網路可信存取」計畫中符合資格的個人與組織,可透過針對授權環境中經驗證工作所設的更精準防護措施,使用更多防禦能力,包括漏洞分級處理與驗證、惡意軟體分析、偵測工程,以及修補程式驗證。

個人可以驗證身分並申請可信存取權(在新視窗中開啟),機構則可以為團隊提出申請。個別成員必須在 9 月 1 日前,使用硬體支援的通行密鑰啟用「進階帳戶安全性」(在新視窗中開啟),才能繼續存取我們網路安全能力最強的前沿模型;未啟用者將恢復為預設存取權。若尚未擁有硬體支援通行密鑰,可透過我們的合作夥伴 Yubico 享有優惠價格(在新視窗中開啟)。我們也正採取額外措施,限制高風險實體及高風險司法管轄區的存取權限。

ExploitBench:建構功能逐步增強的 V8 漏洞利用程式;GPT‑5.6 表現較 GPT‑5.5 有大幅提升。由於此基準測試的延遲估算並不可靠,因此不顯示延遲圖表。

GPT‑5.6 Sol 在科學研究方面也有全面進步。在生命科學評估中,GPT‑5.6 相較於 GPT‑5.5,在真實的生物學、生命科學研究流程與化學領域達成柏瑞圖改善。

GeneBench Pro長時程的基因體學與定量生物學分析;GPT‑5.6 能以更少的 Token 與更短的時間取得更佳成果。Claude Fable 5 未納入比較,因為該模型不會回答(在新視窗中開啟)進階生物學問題,且在此評估中拒絕回答大多數問題。

GPT‑5.6 加速 OpenAI

GPT‑5.6 是我們迄今用於加速 AI 研究的最強大模型。在 OpenAI 內部,研究人員將 GPT‑5.6 用於整個開發週期,包括診斷問題、最佳化訓練系統、執行實驗和解讀結果。在 GPT‑5.6 的內部測試期間,我們已經看到研究工作加速,採用程度也明顯提升。每位活躍研究人員的每日平均輸出 Token 數,超過 GPT‑5.5 所觀察到的高水準的兩倍。

這種工作方式正迅速成為常態。在過去六個月,研究用運算資源中用於內部程式碼推論的占比增長了 100 倍,而內部智慧體的 Token 使用量約增加了 22 倍。這些採用指標本身無法衡量研究進展,但顯示 AI 輔助的使用正快速增加,不僅用於研究,也廣泛應用於銷售、行銷、使用者營運和財務等其他團隊。

為了直接衡量這項能力,我們開發了一套內部評估套件,這些評估以真實的 AI 研究任務為基礎,包括偵錯研究系統、最佳化核心程式與訓練配方、執行機器學習實驗,以及改進另一個模型。

整體 RSI 能力:在一組衡量遞迴式自我改進進展的評估中,GPT‑5.6 Sol 的表現比 GPT‑5.5 提升 16.2 分,全面加速內部研究。

能力越強,安全與資安防護也要同步升級

隨著模型能力提升,我們也會強化安全堆疊,讓進階智慧能持續廣泛發揮效用,同時對最高風險用途施加更嚴格的審查。針對 GPT‑5.6,我們打造了迄今最穩健的安全系統,依各模型的能力調整防護措施,並投入比以往更多的運算資源。

GPT‑5.6 模型在生物學和網路安全方面的能力都超越先前模型,但這兩個類別都未達「關鍵」門檻。在網路安全領域,我們的測試顯示,GPT‑5.6 更擅長找出並修補漏洞,還無法穩定地對經過強化防護的目標自主執行端對端攻擊。這讓防禦方有機會在弱點遭到利用前先強化系統。在生物學領域,我們的測試顯示,GPT‑5.6 可以支援正當研究,但還不具備創造、設計或合成高度危險新型威脅所需的端對端能力。

兩個領域本質上都具有雙重用途。在網路安全領域,能協助攻擊者利用漏洞的能力,同樣能協助防禦方找出並重現漏洞,以及建立可靠的修補方案。因此,過度封鎖本身也會造成安全風險,可能阻礙防禦方測試系統和部署修補程式,但惡意行為者仍能繼續使用其他模型,包括能力日益提升的開放原始碼模型和既有工具。有效的防護措施會考量請求的情境和可能造成的後果,既保留正當的防禦工作,也會在證據顯示存在嚴重危害風險時採取更嚴格的管控。

GPT‑5.6 採用多層防護措施,提高判斷準確度並提供多重保障,也能隨著新攻擊手法出現迅速調整。模型內建的防護措施會搭配即時檢查、持續監控和帳戶層級的強制執行措施,即使其中一層未如預期運作,仍能協助系統維持安全。許多系統只根據分類器的標記決定要封鎖哪些內容,依靠智慧較低且難以調整的模型防止危害。我們則加入推理監控器,檢視對話並判斷是否可能造成危害。這項設計既能支援防禦工作,也能阻止嚴重濫用,並透過「網路可信存取」機制,僅向已驗證使用者提供最敏感的能力。由於部分防護措施會使用測試時推理,我們可以迅速更新這些措施以彌補缺口,不必從頭重新訓練分類器。

我們正採取更保守的做法,同時持續強化系統,藉此抵禦會因應防護措施調整手法的攻擊。相較於先前模型,GPT‑5.6 Sol 的網路安全防護措施阻擋的潛在有害活動約為十倍之多。由於這些措施可能對善意使用造成不便,我們在 ChatGPT 和 Codex 中提供選項,讓使用者可以輕鬆改用能力較低的模型重試提示詞。我們也會持續減少防護措施對善意使用者的影響,同時維持高度穩健的防護標準。這反映了我們的迭代式部署方式:初期採取較保守的做法,再根據實際使用情況取得的經驗持續改進。

在正式全面開放使用前,我們進行了迄今最密集的安全性評估,包括大規模紅隊演練、與外部專家合作進行嚴謹的能力與防護措施測試,以及約 700,000 個 A100e GPU 小時的黑箱自動化紅隊演練。這讓我們能有系統地探查可能的弱點、找出越獄手法,並在推出前進一步強化系統。

完美的安全防護並不存在,而我們仍持續強化能力日益提升的模型的安全性。未來仍會出現新的弱點,以及能規避現有防護措施的新越獄手法。每一代新模型也會帶來新的攻擊與濫用途徑。為了因應這項現實,我們採用多層防護措施、持續監控和快速修復機制,並與防禦社群各方合作。針對 GPT‑5.6,我們在既有的安全(在新視窗中開啟)生物學漏洞賞金計畫之外,新增快速修復流程,並採取迄今最全面的監控措施。我們會持續將研究人員的發現、監控結果和實際濫用案例納入新的評估,進一步強化防護措施。

請參閱更新版 GPT‑5.6 系統說明卡(在新視窗中開啟),進一步了解我們的防護措施。

適用情況與定價

GPT‑5.6 分為三個模型層級:旗艦模型 Sol;成本較低、效能足以媲美 GPT‑5.5 的 Terra;以及速度最快、價格最實惠的 Luna。數字代表模型世代,而 Sol、Terra 和 Luna 則代表長期固定的能力層級,各層級可依自身的更新週期持續提升。

GPT‑5.6 即日起可在 ChatGPT、Codex 和 OpenAI API 使用。現已開始向全球推出,並將在未來 24 小時內逐步全面開放。

  • 對話:Plus、Pro、Business 與 Enterprise 使用者可透過「中」及更高推理強度使用 GPT‑5.6 Sol。Pro 和 Enterprise 使用者也可以選擇 GPT‑5.6 Sol Pro,在複雜任務中取得最高品質的結果。
  • ChatGPT 工作和 Codex:免費版和 ChatGPT Go 使用者可使用 GPT‑5.6 Terra。Plus、Pro、Business 和 Enterprise 使用者可選擇 GPT‑5.6 Sol、Terra 和 Luna,並為每個模型設定推理強度。所有可在 ChatGPT 工作和 Codex 中存取 GPT‑5.6 的使用者皆可使用 max,並可在設定中切換為開啟。在 ChatGPT 工作中,Pro 和 Enterprise 使用者可使用 ultra。在 Codex 中,Plus 及更高階方案的使用者皆可使用。
  • API: 開發人員可以透過 OpenAI API 存取 Sol、Terra 和 Luna。在 Responses API 中,Programmatic Tool Calling 可讓 GPT‑5.6 在記憶體中撰寫並執行程式,藉此協調各項工具並處理中間結果,同時支援零資料保留 (ZDR)。多智慧體功能初期以 Beta 版本提供,讓 GPT‑5.6 可同時運行多個子智慧體,並在單一要求中整合其工作成果。

GPT‑5.6 分為三種模型大小,按每 100 萬個 Token 計價:Sol 輸入 5 美元/輸出 30 美元;Terra 輸入 2.50 美元/輸出 15 美元;Luna 輸入 1 美元/輸出 6 美元。GPT‑5.6 也引入了更可預測的提示詞快取,包括支援明確快取中斷點(在新視窗中開啟),以及至少 30 分鐘的快取生命週期。對於 GPT‑5.6 及後續模型,快取寫入會按模型未快取輸入費率的 1.25 倍計費,而快取讀取則會繼續享有 90% 的快取輸入折扣。

專業

評估GPT‑5.6 SolGPT‑5.6 TerraGPT‑5.6 LunaGPT‑5.5Claude Fable 5Claude Opus 4.8Gemini 3.1 Pro PreviewGemini 3.5 Flash
Agents' Last Exam52.7%50.4%50.3%46.9%40.5%45.2%32.1%
GDPval-AA v21,747.8 Elo1,593 Elo1,591.8 Elo1,493.7 Elo1,759.6 Elo1,600.1 Elo962.3 Elo1,348.8 Elo
管理顧問任務(內部)43.2%37.2%35.4%31.3%35.5%31.6%13.2%
Big Finance Bench53%51%36%49%44%
Artificial Analysis Intelligence Index v4.158.9 指數分數55 指數分數51.2指數分數54.8指數分數59.9指數分數55.7指數分數46.5指數分數50.2指數分數

寫程式

評估GPT‑5.6 SolGPT‑5.6 Sol UltraGPT‑5.6 TerraGPT‑5.6 LunaGPT‑5.5Claude Mythos 5Claude Mythos PreviewClaude Fable 5Claude Opus 4.8Gemini 3.1 Pro Preview
Artificial Analysis Coding Agent Index v1.180 Index score77.4 Index score74.6 Index score76.4 Index score77.2 Index score72.5 Index score42.7 Index score
SWE-Bench Pro64.6%63.4%62.7%59.4%80.3%77.8%80%69.2%54.2%
DeepSWE v1.172.7%69.6%67.2%67%69.7%59%11.8%
Terminal-Bench 2.188.8%91.9%87.4%84.7%85.6%88%83.1%78.9%70.7%

安全

評估GPT‑5.6 SolGPT‑5.6 TerraGPT‑5.6 LunaGPT‑5.5GPT‑5.4Claude Opus 4.8Claude Mythos 5Claude Mythos Preview
Healthbench Professional60.5%57.7%55.7%51.8%48.1%52.6%66%64.7%

電腦使用

評估GPT‑5.6 SolGPT‑5.6 Sol UltraGPT‑5.6 TerraGPT‑5.6 LunaGPT‑5.5Claude Mythos 5Claude Mythos PreviewClaude Opus 4.8Gemini 3.1 Pro Preview
OSWorld 2.062.6%50.2%45.6%47.5%54.8%
BrowseComp90.4%92.2%87.5%83.3%84.4%88%87.9%84.3%85.9%
BenchCAD70.6%62.3%63.1%44.4%38.4%35.5%27.3%
BenchCAD(使用 Python 工具)83.4%78.2%73.9%55.8%65%61%51.8%

資安

評估GPT‑5.6 SolGPT‑5.6 Sol UltraGPT‑5.6 TerraGPT‑5.6 LunaGPT‑5.5Claude Mythos 5Claude Mythos PreviewClaude Opus 4.8
Capture-the-Flag Challenges96.7%91.8%85.2%88.1%
SEC-Bench Pro71.2%74.3%57.7%48.9%45.8%
CyberGym84.5%81.8%77.9%81.8%83.8%83%78.1%
ExploitBench73.5%52.9%33.2%47.9%78%74.2%40%
ExploitGym33.7%23.2%12.4%15.1%

自我改進

評估GPT‑5.6 SolGPT‑5.6 TerraGPT‑5.6 LunaGPT‑5.5
Internal Research Debugging Evaluation68.3%67.8%50.8%50%
KernelGen 1P61.1%49.2%22.4%29.3%
NanoGPT9.69%14.5%1.66%2.65%
PostTrainBench Lite50.3%51.5%29.6%38.8%
RSI Index57.9%56.3%41.9%41.7%

多模態

評估GPT‑5.6 SolGPT‑5.6 TerraGPT‑5.6 LunaGPT‑5.5Claude Fable 5Claude Opus 4.8Gemini 3.1 Pro Preview
MMMU Pro(不使用工具)83%80.7%78.4%81.2%80.5%
MMMU Pro(使用工具)84.6%82%79.5%83.2%
gdp.pdf30.7%24.7%22.7%26%29.8%22.5%16.7%

學術

評估GPT‑5.6 SolGPT‑5.6 TerraGPT‑5.6 LunaGPT‑5.5Claude Mythos 5Claude Mythos PreviewClaude Fable 5Claude Opus 4.8Gemini 3.1 Pro Preview
GPQA Diamond94.6%92.9%92.3%93.6%94.1%94.6%92.6%92%94.3%
FrontierMath Tier 1-3 (v2)89%84.9%78.6%85.3%87%80%59.6%
FrontierMath Tier 4 (v2)83%68.3%58.5%72.5%87.8%56.1%

工具使用

評估GPT‑5.6 SolGPT‑5.6 TerraGPT‑5.6 LunaGPT‑5.5Claude Mythos 5Claude Mythos PreviewClaude Fable 5Claude Opus 4.8Gemini 3.1 Pro PreviewGemini 3.5 Flash
AutomationBench18.1%15.2%14.9%12.9%17.4%15.5%14.5%
Toolathlon58%53.1%53.4%55.6%61.7%61.1%61.7%59.9%48.8%

長篇上下文

評估GPT‑5.6 SolGPT‑5.6 TerraGPT‑5.6 LunaGPT‑5.5Claude Mythos 5Claude Mythos PreviewClaude Opus 4.8
OpenAI MRCR v2 8-needle 256K-512K91.5%89.6%41.3%81.5%
OpenAI MRCR v2 8-needle 512K-1M73.8%72.5%41.3%74%
GraphWalks BFS 256k f190.7%76.9%81.3%73.7%91.1%85.7%85.9%
GraphWalks BFS 1mil f177.1%71.2%51.2%45.4%79.4%74.3%68.1%

抽象推理

評估GPT‑5.6 SolGPT‑5.6 TerraGPT‑5.6 LunaGPT‑5.5Claude Opus 4.8Gemini 3.1 Pro Preview
ARC-AGI-3⁷7.78%0.8%0.18%0.43%1.5%0.42%

作者

OpenAI

註腳

1. 評估網路安全能力時會減少安全防護措施。使用者可以加入 OpenAI Daybreak「網路可信存取」計畫,取得更多防禦性資安能力的使用權限。

2. 所有模型皆使用 ExploitBench API 任務執行框架,以 5 個種子和推理連續性進行評估。

3. 我們在 alpha API 上執行 ExploitGym,該 API 輸出回應的速度比公開 API 更快,之後再重新縮放以符合公開 API。將延遲重新縮放至公開 API 預期速度時,會導致部分估計延遲超過兩小時和六小時的時間限制,儘管在評估執行中其實已正確遵守限制。若要為時間敏感的工作取得更快速度,我們在 API 提供優先處理,在 Codex 提供快速模式。

4. 我們透過觀察模型在生產環境中的行為並進行離線模擬,來估算延遲與 API 成本。這些估算納入工具呼叫細節、取樣 Token 與輸入 Token。真實世界結果可能有很大差異,且取決於許多未納入模擬的因素。我們以快速 API 速度模擬延遲,並以一般 API 定價模擬成本。

5. 未回報輸出 Token、延遲或成本的模型,會以水平虛線繪製。

6. 對於多智慧體,延遲由根智慧體計算,而輸出 Token 和 API 成本總計則包含所有 Token。Ultra 以 4 個智慧體執行。

7. 我們使用 HealthBench Professional 論文所述的官方評分方法計算分數,因此無法與 Anthropic 系統說明卡公布的結果直接比較。

8. Opus 4.8 的 ARC-AGI-3 測試採用「high」而非「max」推理強度,因為目前僅公布這項 ARC-AGI-3 測試結果。