OpenAI o3 和 o4-mini 是 o 系列最新推出的視覺推理模型。我們的模型首次能在自身的思路鏈中運用圖像來思考,而非只是看到表層資訊。
與先前的 OpenAI o1 模型類似,o3 和 o4-mini 同樣被訓練為回答前思考更長的時間,會在回應使用者前運用長思路鏈進行推理。而 o3 和 o4-mini 進一步延伸這項能力,可透過裁切、縮放、旋轉等工具和其他簡單的圖像處理技術,將使用者上傳的圖像做轉換處理,進而在思路鏈中運用圖像內容來思考。更重要的是,這些是模型的原生功能,不須另外仰賴專用模型。
ChatGPT 的視覺智慧大幅提升,可對圖像進行更全面準確的分析,不僅可靠性更甚以往,還能協助使用者解決更艱難的問題。它可以無縫整合進階推理能力以及網路搜尋、圖片操控等各項工具,自動縮放、裁切、翻轉或增強圖像,就算圖像有瑕疵,也能從中提取洞察見解。舉例來說,您可以上傳經濟學題目的照片,獲得逐步解題說明;也可以分享程式組建錯誤的截圖,快速取得根本原因分析。
這個做法開啟了測試階段運算擴充的新方向,能夠順暢融合圖像與文字推理,在多模態評測展現頂尖水準,象徵著朝向多模態推理邁出關鍵的一步。
思考圖像內容讓您與 ChatGPT 的互動更加輕鬆。只要拍照就能提問,不必擔心圖中物體的位置,無論文字上下顛倒,或是一張照片中有好幾個物理題目,都不成問題。即使物體並非顯而易見,模型也能運用視覺推理技術放大查看細節。
所有範例都是使用 OpenAI o3 完成。
我們最新的視覺推理模型可以與其他工具搭配運作,例如 Python 資料分析、網路搜尋和圖像生成,因此能以更有創意及效率的方式解決複雜問題,首次為使用者提供具備自主行動能力的多模態體驗。
為了凸顯相較於先前的多模態模型,視覺推理能力已有所提升,我們透過多項人類試驗與機器學習基準測試,評估了 OpenAI o3 和 o4-mini 模型的表現。在我們測試的所有多模態任務中,這些新的視覺推理模型表現都明顯優於其前代。
所有模型都是在採用高「推理等級」設定下進行評估,類似 ChatGPT 中的「o4-mini-high」這類變體。
特別是這幾個模型能直接思考圖像內容 (不須依賴網路瀏覽),因此在我們評估的所有感知類基準測試中,表現都有大幅提升。我們的模型在 STEM 問答 (MMMU、MathVista)、圖表理解與推理 (CharXiv)、感知基本能力 (VLMs are Blind) 和視覺搜尋 (V*) 等測試中,都刷新了歷來最佳成績。我們的視覺推理能力在 V* 測試中達到 95.7% 的準確率,幾乎完全攻克這項基準測試。
思考圖像內容的能力目前有以下限制:
- 推理過程太長:模型可能會執行多餘或不必要的工具呼叫和圖像操控步驟,導致思路鏈過長。
- 感知錯誤:模型還是可能會出現基本的感知錯誤。即使呼叫了正確的工具而有效推進推理過程,若誤解了圖像內容,還是有可能導致最終答案出錯。
- 可靠性:模型在多次嘗試解決同一問題時,可能會採用不同的視覺推理過程,其中一部分可能導致錯誤的結果。
OpenAI o3 和 o4-mini 的先進視覺推理能力大幅提升,象徵著朝更全面的多模態推理技術邁出關鍵一步。這些模型在視覺感知任務中展現出頂尖的準確度,可以解決以往遙不可及的問題。
我們將持續精進模型的圖像推理能力,讓回應更精簡、不冗長且更可靠。我們致力持續深化多模態推理技術的研究,期待大家能發掘這些技術進步如何協助提升日常工作效率。
4 月 16 日更新:o3 的 Charxiv-r、Mathvista 與 vlmsareblind 結果已更新,反映原始評估未涵蓋的系統提示變更。
作者
Contributors
Aditya Ramesh, Aidan Clark, Aleksandra Spyra, Alex Tachard Passos, Alexander Kirillov, Ali Kalami, Amy McDonald Sandjideh, Andrei Gheorghe, Andrew Gibiansky, Andrew Tulloch, Angela Baek, Anubha Srivastava, Avital Oliver, Behrooz Ghorbani, Ben Leimberger, Borys Minaiev, Bowen Cheng, Brandon McKinzie, Carpus Chang, Cary Hudson, Casey Chu, Charlotte Cole, Chen Shen, Dan Roberts, Dana Palmie, Daniel Kappler, David Medina, Edmund Wong, Eric Mitchell, Eric Ning, Freddie Sulit, Haiming Bao, Haitang Hu, Hongyu Ren, Hyeonwoo Noh, Jakub Pachocki, James Betker, James Qin, Jamie Kiros, Jason Ai, Jerry Tworek, Jessica Liang, Ji Lin, Jiahui Yu, Jianfeng Wang, Joseph Mo, Kenji Hata, Kevin King, Kristian Georgiev, Kshitij Gupta, Lauren Yang, Li Jing, Lin Yang, Linden Li, Mark Chen, Martin Li, Max Schwarzer, Mia Glaese, Michael Malek, Minnia Feng, Nacho Soto, Nat McAleese, Niko Felix, Peter Faiman, Prafulla Dhariwal, Rajkumar Samuel, Rapha Gontijo Lopes, Ravi Teja Mullapudi, Reiichiro Nakano, Rennie Song, Ricky Xu, Sam Altman, Sean Fitzgerald, Shengjia Zhao, Shengli Hu, Shuchao Bi, Spencer Papay, Szi-chieh Yu, Wenda Zhou, Yang Lu, Yara Khakbaz, Yunxing Dai, Zhishuai Zhang








