OpenAI o3 和 o4-mini 是我們 o-系列中最新的視覺推理模型。我們的模型首次能夠在思路鏈中利用圖像思考,而不僅僅是「看到」它們。
與我們早期 OpenAI o1 模型相似,o3 和 o4-mini 經過訓練,可以在回答前進行更長時間的思考,並在回覆用戶之前使用較長的內部思路鏈。o3 和 o4-mini 進一步擴展了這項能力,使其能夠在思路鏈中利用圖像思考,本功能透過使用工具轉換用戶上傳的圖像來實現,允許對它們進行裁剪、放大和旋轉以及使用其他簡單的圖像處理技術。更重要的是,這些功能是原生的,無需依賴單獨的專用模型。
ChatGPT 增強的視覺智能能夠透過比以往更徹底、更準確、更可靠的圖像分析技術,幫助您解決更棘手的問題。它可以將進階推理與網頁搜尋和圖像處理等工具(自動縮放、裁剪、翻轉或增強圖像)無縫整合,即使是不完美的照片也能從中提取見解。例如,您可以上傳經濟學問題集的照片以獲取逐步解釋,或分享組建錯誤的螢幕截圖以快速獲得根本原因分析。
這種方法為測試時運算擴展提供了一個新的方向,無縫融合了視覺和文字推理,正如其在多模態基準測試中的頂尖表現所反映,標誌著我們向多模態推理邁出了重要一步。
「利用圖像思考」可讓您更輕鬆地與 ChatGPT 互動。您可以透過拍照提問,無需擔心物件的位置(包括文字倒置或單張照片含多個物理問題的情況)。即使物件乍看之下並不明顯,視覺推理也能讓模型將其放大以更清晰地觀察。
所有示例均使用 OpenAI o3 完成。
我們最新的視覺推理模型與 Python 資料分析、網絡搜尋、圖像產生等其他工具協同工作,創造性地有效解決更複雜的問題,為用戶提供第一個多模態代理體驗。
為了突出視覺推理與我們過往的多模態模型相比的改進,我們在多項人類考試和機器學習基準上測試了 OpenAI o3 和 o4-mini。在我們測試的所有多模態任務中,這些新的視覺推理模型表現都明顯優於其前代模型。
所有模型都是在高「推理負載」設定下進行評估的,類似 ChatGPT 中所謂的「o4-mini-high」版本。
尤其是,利用圖像思考(無需依賴瀏覽)在我們評估的所有感知基準測試中都取得了顯著提升。我們的模型在 STEM 問答(MMMU、MathVista)、圖表解讀與推理 (CharXiv)、感知基礎能力 (VLMs are Blind) 以及視覺搜尋 (V*) 方面均創下最新技術水平表現。在 V* 測試中,我們的視覺推理方法達到了 95.7% 的準確率,大致上解決了基準測試中的問題。
「利用圖像思考」目前存在以下限制:
- 推理鏈過長:模型可能會執行冗餘或不必要的工具呼叫和圖像處理步驟,導致思路鏈過長。
- 感知錯誤:模型仍然可能犯下基本的感知錯誤。即使工具呼叫正確地推進了推理過程,視覺上的誤解也可能導致最終答案出錯。
- 可靠性:模型在多次嘗試解決同一問題時,可能會採用不同的視覺推理過程,部分過程可能導致錯誤結果。
OpenAI o3 和 o4-mini 顯著提升了最先進的視覺推理能力,代表著我們朝著更廣泛的多模態推理邁出了重要一步。這些模型在視覺感知任務上表現出頂尖水平的準確度,使其能夠解決以往無法處理的問題。
我們正在不斷改進模型的圖像推理能力,使其更加簡潔、更少冗餘、更加可靠。我們很高興能夠繼續推進多模態推理領域的研究,並讓人們探索這些改進如何提升日常工作效率。
4 月 16 日更新:o3 在 Charxiv-r、Mathvista 和 vlmsareblind 上的測試結果已經更新,反映出原始評估時不存在的系統提示更改。
作者
Contributors
Aditya Ramesh, Aidan Clark, Aleksandra Spyra, Alex Tachard Passos, Alexander Kirillov, Ali Kalami, Amy McDonald Sandjideh, Andrei Gheorghe, Andrew Gibiansky, Andrew Tulloch, Angela Baek, Anubha Srivastava, Avital Oliver, Behrooz Ghorbani, Ben Leimberger, Borys Minaiev, Bowen Cheng, Brandon McKinzie, Carpus Chang, Cary Hudson, Casey Chu, Charlotte Cole, Chen Shen, Dan Roberts, Dana Palmie, Daniel Kappler, David Medina, Edmund Wong, Eric Mitchell, Eric Ning, Freddie Sulit, Haiming Bao, Haitang Hu, Hongyu Ren, Hyeonwoo Noh, Jakub Pachocki, James Betker, James Qin, Jamie Kiros, Jason Ai, Jerry Tworek, Jessica Liang, Ji Lin, Jiahui Yu, Jianfeng Wang, Joseph Mo, Kenji Hata, Kevin King, Kristian Georgiev, Kshitij Gupta, Lauren Yang, Li Jing, Lin Yang, Linden Li, Mark Chen, Martin Li, Max Schwarzer, Mia Glaese, Michael Malek, Minnia Feng, Nacho Soto, Nat McAleese, Niko Felix, Peter Faiman, Prafulla Dhariwal, Rajkumar Samuel, Rapha Gontijo Lopes, Ravi Teja Mullapudi, Reiichiro Nakano, Rennie Song, Ricky Xu, Sam Altman, Sean Fitzgerald, Shengjia Zhao, Shengli Hu, Shuchao Bi, Spencer Papay, Szi-chieh Yu, Wenda Zhou, Yang Lu, Yara Khakbaz, Yunxing Dai, Zhishuai Zhang








