Hari ini, kami melancarkan GPT‑5 dalam platform API kami—model terbaik kami setakat ini untuk pengekodan dan tugas ejen.
GPT‑5 adalah yang terkini (SOTA) merentas penanda aras pengekodan utama, mencatatkan 74.9% pada SWE-bench yang Disahkan dan 88% pada Aider poliglot. Kami melatih GPT‑5 untuk menjadi rakan kerjasama pengekodan yang sejati. Ia cemerlang dalam menghasilkan kod berkualiti tinggi dan mengendalikan tugas seperti membetulkan pepijat, menyunting kod, dan menjawab soalan tentang pangkalan kod yang kompleks. Model ini boleh dikawal dan bekerjasama—ia boleh mengikuti arahan yang sangat terperinci dengan ketepatan yang tinggi dan boleh memberikan penjelasan awal mengenai tindakannya sebelum dan antara panggilan alat. Model ini juga cemerlang dalam pengekodan bahagian hadapan, mengalahkan OpenAI o3 dalam pembangunan web bahagian hadapan sebanyak 70% semasa dalam ujian dalaman.
Kami melatih GPT‑5 pada tugas pengekodan dunia sebenar dengan kerjasama penguji awal di seluruh syarikat permulaan dan perusahaan. Cursor berkata GPT‑5 adalah “model paling bijak [yang] mereka pernah gunakan” dan “amat pintar, mudah dikawal, malah mempunyai personaliti yang [mereka] tidak pernah lihat dalam model lain.” Windsurf berkongsi bahawa GPT‑5 adalah SOTA dalam penilaian mereka dan “mempunyai separuh daripada kadar ralat panggilan alat berbanding model-model terkemuka lain.” Vercel berkata "ia adalah model AI bahagian hadapan terbaik, mencapai prestasi tertinggi dalam kedua-dua deria estetik dan kualiti kod, meletakkannya dalam kategori tersendiri."
GPT‑5 juga cemerlang dalam tugas agenik yang berjalan lama—mencapai keputusan SOTA pada τ2-bench telecom (96.7%), satu penanda aras panggilan alat yang dikeluarkan hanya 2 bulan lalu. Kepintaran alat GPT‑5 yang dipertingkatkan membolehkannya merangkai dengan pasti berpuluh-puluh panggilan alat—baik secara turutan mahupun selari—tanpa hilang arah, menjadikannya jauh lebih baik dalam melaksanakan tugas dunia sebenar yang kompleks dari awal hingga akhir. Ia juga mengikuti arahan alat dengan lebih tepat, lebih baik dalam mengendalikan ralat alat, dan cemerlang dalam mendapatkan semula kandungan dengan konteks yang panjang. Manus berkata GPT‑5 "mencapai prestasi terbaik [yang pernah mereka lihat] daripada satu model pada penanda aras dalaman [mereka]." Notion mengatakan "tindak balas pantas [model], terutamanya dalam mod penaakulan rendah, menjadikan GPT‑5 model yang ideal apabila anda memerlukan tugas rumit untuk diselesaikan dalam satu percubaan." Inditex berkongsi “apa yang benar-benar membezakan [GPT‑5] ialah kedalaman penaakulannya: jawapan yang bernuansa dan berlapis-lapis yang mencerminkan pemahaman sebenar tentang subjek.”
Kami memperkenalkan ciri baharu dalam API kami untuk memberikan pembangun lebih kawalan ke atas respons model. GPT‑5 menyediakan sokongan parameter meleret baharu (nilai: rendah, sederhana, tinggi) untuk membantu mengawal sama ada jawapan adalah pendek dan tepat atau panjang dan komprehensif. Parameter reasoning_effort GPT‑5 kini boleh mengambil nilai minimum untuk mendapatkan jawapan kembali dengan lebih cepat, tanpa penaakulan yang meluas terlebih dahulu. Kami juga telah menambah jenis alat baharu—alat tersuai—untuk membolehkan GPT‑5 memanggil alat dengan teks biasa dan bukannya JSON. Alat tersuai menyokong kekangan oleh tatabahasa bebas konteks yang dibekalkan oleh pembangun.
Kami melancarkan GPT‑5 dalam tiga saiz dalam API—gpt-5, gpt-5-mini, dan gpt-5-nano—untuk memberikan lebih fleksibiliti kepada pembangun dalam menyeimbangkan prestasi, kos, dan kependaman. Walaupun GPT‑5 dalam ChatGPT adalah sistem penaakulan, bukan penaakulan, dan model penghala, GPT‑5 dalam platform API adalah model penaakulan yang memacu prestasi maksimum dalam ChatGPT. Terutama, GPT‑5 dengan penaakulan minimum adalah model yang berbeza daripada model tanpa penaakulan dalam ChatGPT, dan lebih baik di laras untuk pembangun. Model tanpa penaakulan yang digunakan dalam ChatGPT tersedia sebagai gpt-5-chat-latest.
Untuk mengetahui tentang GPT‑5 dalam ChatGPT dan belajar lebih lanjut tentang peningkatan lain dalam ChatGPT, lihat blog penyelidikan kami. Untuk maklumat lanjut tentang bagaimana syarikat-syarikat teruja menggunakan GPT‑5, lihat blog perusahaan kami.
GPT‑5 adalah model pengekodan terkuat yang pernah kami lancarkan. Ia mengatasi o3 dalam penanda aras pengekodan dan kes penggunaan dunia sebenar, dan telah diperhalusi untuk menyerlah dalam produk pengekodan agen seperti Cursor, Windsurf, GitHub Copilot, dan Codex CLI. GPT‑5 mengagumkan penguji alfa kami, mencipta rekod dalam banyak penilaian dalaman peribadi mereka.
Maklum balas awal mengenai GPT‑5 untuk tugas pengekodan dunia sebenar
“GPT-5 adalah model pengekodan paling pintar yang pernah kami gunakan. Pasukan kami mendapati GPT-5 sangat bijak, mudah dikendalikan, dan juga mempunyai personaliti yang belum pernah kami lihat dalam mana-mana model lain. Ia bukan sahaja menangkap pepijat yang rumit dan tersembunyi dengan mendalam tetapi juga boleh menjalankan ejen latar belakang yang panjang dan berbilang pusingan untuk menyelesaikan tugas yang rumit—jenis masalah yang pernah menyebabkan model lain tersekat. "Ia telah menjadi alat harian kami untuk segala-galanya daripada skop dan perancangan PR hingga melengkapkan binaan dari hujung ke hujung.”
Pada SWE-bench yang Disahkan, penilaian berdasarkan tugas kejuruteraan perisian dunia sebenar, GPT‑5 mendapat skor 74.9%, meningkat daripada 69.1% o3. Menariknya, GPT‑5 mencapai skor tinggi dengan kecekapan dan kelajuan yang lebih besar: berbanding dengan o3 pada usaha penaakulan yang tinggi, GPT‑5 menggunakan 22% kurang token output dan 45% kurang panggilan alat.
Dalam SWE-bench yang Disahkan, model diberikan repositori kod dan perihalan isu, dan mesti jana tampalan untuk menyelesaikan isu tersebut. Label teks menunjukkan usaha penaakulan. Markah kami mengetepikan 23 daripada 500 masalah yang penyelesaiannya tidak lulus dengan pasti pada infrastruktur kami. GPT‑5 diberi prom ringkas yang menekankan mengesahkan penyelesaian secara menyeluruh; prom yang sama tidak memberi manfaat kepada o3.
Pada Aider polyglot, penilaian penyuntingan kod, GPT‑5 menetapkan rekod baharu sebanyak 88%, pengurangan satu pertiga dalam kadar ralat berbanding o3.
Dalam Aider polygot(dibuka dalam tetingkap baru) (diff), model diberikan latihan pengekodan daripada Exercism dan perlu menulis penyelesaiannya sebagai perbezaan kod. Model penaakulan dijalankan dengan usaha penaakulan yang tinggi.
Kami juga mendapati GPT‑5 sangat cemerlang dalam menyelidik secara mendalam ke dalam pangkalan kod untuk menjawab soalan tentang bagaimana pelbagai bahagian berfungsi atau saling beroperasi. Dalam pangkalan kod yang rumit seperti timbunan pembelajaran pengukuhan OpenAI, kami mendapati bahawa GPT‑5 boleh membantu kami membuat penaakulan dan menjawab soalan tentang kod kami, mempercepatkan kerja harian kami.
Apabila menghasilkan kod frontend untuk apl web, GPT‑5 lebih berfikiran estetik, bercita-cita tinggi, dan tepat. Dalam perbandingan sebelah menyebelah dengan o3, GPT‑5 lebih disukai oleh penguji kami sebanyak 70% daripada masa.
Berikut adalah beberapa contoh menarik dan terpilih tentang apa yang boleh dilakukan oleh GPT‑5 dengan satu prom:
Prom: Sila sediakan halaman pendaratan yang cantik dan realistik untuk perkhidmatan yang menyediakan langganan $200/bulan kepada peminat kopi terunggul yang menyediakan penyewaan peralatan dan bimbingan untuk memanggang kopi dan mencipta espresso terunggul. Sasaran khalayak ialah orang pertengahan umur di kawasan teluk yang mungkin bekerja dalam bidang teknologi dan berpendidikan, mempunyai pendapatan boleh guna, dan berminat dengan seni dan sains kopi. Optimumkan untuk penukaran kepada pendaftaran 6 bulan.
Lihat lebih banyak contoh oleh GPT‑5 dalam galeri kami di sini(dibuka dalam tetingkap baru).
GPT‑5 adalah rakan kerjasama yang lebih baik, terutamanya dalam produk pengekodan berasaskan agen seperti Cursor, Windsurf, GitHub Copilot, dan Codex CLI. Sementara ia berfungsi, GPT‑5 boleh output pelan, kemas kini, dan ringkasan di antara panggilan alat. Berbanding dengan model kami yang terdahulu, GPT‑5 lebih proaktif dalam menyelesaikan tugas yang bercita-cita tinggi tanpa berhenti untuk menunggu persetujuan anda atau menolak kerumitan yang tinggi.
Berikut ialah contoh bagaimana GPT‑5 boleh kelihatan semasa menangani tugas yang rumit (dalam kes ini, cipta tapak web untuk restoran):
Selepas pengguna meminta laman web untuk restoran mereka, GPT‑5 berkongsi pelan pantas, menyediakan rangka apl, memasang kebergantungan, mencipta kandungan laman, menjalankan binaan untuk menyemak ralat kompilasi, meringkaskan kerjanya, dan mencadangkan langkah seterusnya yang berpotensi. Video ini telah dipercepatkan ~3x untuk menjimatkan masa menunggu anda; tempoh penuh untuk mencipta laman web adalah kira-kira tiga minit.
Selain pengekodan ejen, GPT‑5 lebih baik dalam tugas agentik secara amnya. GPT‑5 menetapkan rekod baharu pada penanda aras pematuhan arahan (69.6% pada Skala MultiChallenge, seperti yang dinilai oleh o3‑mini) dan panggilan alat (96.7% pada τ2-bench telecom). Kepintaran alat yang dipertingkatkan membolehkan GPT‑5 merangkai tindakan dengan lebih boleh dipercayai untuk menyelesaikan tugas dunia sebenar.
Maklum balas awal tentang GPT‑5 untuk tugas ejen
“GPT-5 adalah satu peningkatan besar. Ia mencapai prestasi terbaik yang pernah kami lihat daripada satu model pada penanda aras dalaman kami. GPT-5 cemerlang dalam pelbagai tugas ejen—walaupun sebelum kami mengubah satu baris kod atau menyesuaikan prom. "Mukadimah baharu dan kawalan yang lebih tepat ke atas penggunaan alatan telah mendayakan lonjakan ketara dalam kestabilan dan kebolehkendalian ejen kami.”
GPT‑5 mengikuti arahan dengan lebih dipercayai berbanding mana-mana pendahulunya, mendapat markah tinggi dalam COLLIE, Skala MultiChallenge, dan penilaian dalaman kami untuk mengikuti arahan.
Dalam COLLIE(dibuka dalam tetingkap baru), model mesti menulis teks yang memenuhi pelbagai kekangan. Dalam Scale MultiChallenge(dibuka dalam tetingkap baru), model dicabar pada perbualan berbilang giliran untuk menggunakan empat jenis maklumat daripada mesej sebelumnya dengan betul. Markah kami diperoleh daripada penggunaan o3‑mini sebagai penggred, yang lebih tepat berbanding GPT‑4o. Dalam penilaian arahan API OpenAI dalaman kami, model mesti mengikuti arahan sukar yang diperoleh daripada maklum balas pembangun sebenar. Model penaakulan dijalankan dengan usaha penaakulan yang tinggi.
Kami bekerja keras untuk memperbaiki panggilan alat dengan cara yang penting bagi pembangun. GPT‑5 lebih baik dalam mengikuti arahan alat, lebih baik dalam menangani ralat alat, dan lebih baik dalam membuat banyak panggilan alat secara proaktif sama ada secara berurutan atau selari. Apabila diarahkan, GPT‑5 juga boleh output mesej mukadimah sebelum dan antara panggilan alat untuk mengemas kini pengguna tentang kemajuan semasa tugas-tugas agentik yang lebih panjang.
Dua bulan lalu, τ2-bench telecom diterbitkan oleh Sierra.ai sebagai penanda aras penggunaan alat yang mencabar yang menonjolkan bagaimana prestasi model bahasa menurun dengan ketara apabila berinteraksi dengan keadaan persekitaran yang boleh diubah oleh pengguna. Dalam penerbitan(dibuka dalam tetingkap baru) mereka, tiada model yang mendapat markah melebihi 49%. GPT‑5 mendapat markah 97%.
Dalam τ2-bench(dibuka dalam tetingkap baru), model mesti menggunakan alat untuk menyelesaikan tugas perkhidmatan pelanggan, di mana mungkin terdapat pengguna yang boleh berkomunikasi dan boleh mengambil tindakan terhadap keadaan dunia. Model penaakulan dijalankan dengan usaha penaakulan yang tinggi.
GPT‑5 menunjukkan peningkatan yang ketara dalam prestasi konteks panjang juga. Pada OpenAI-MRCR, satu ukuran pengambilan maklumat konteks panjang, GPT‑5 mengatasi o3 dan GPT‑4.1, dengan margin yang bertambah ketara pada panjang input yang lebih panjang.
Dalam OpenAI-MRCR(dibuka dalam tetingkap baru) (resolusi rujukan bersama berbilang pusingan), beberapa permintaan pengguna “jarum” yang sama dimasukkan ke dalam “timbunan jerami” panjang permintaan dan respons yang serupa, dan model diminta untuk menghasilkan semula respons kepada jarum ke-i. Nisbah padanan min mengukur purata nisbah padanan rentetan antara jawapan model dan jawapan yang betul. Titik pada token input maksimum 256k mewakili purata bagi token input 128k–256k, dan seterusnya. Di sini, 256k mewakili 256 * 1,024 = 262,144 token. Model penaakulan dijalankan dengan usaha penaakulan yang tinggi.
Kami juga membuka sumber Konteks Panjang BrowseComp(dibuka dalam tetingkap baru), penanda aras baharu untuk menilai Soal Jawab konteks panjang. Dalam penanda aras ini, model diberikan pertanyaan pengguna, senarai panjang hasil carian yang berkaitan, dan mesti menjawab soalan berdasarkan hasil carian tersebut. Kami mereka bentuk Konteks Panjang BrowseComp supaya realistik, mencabar, dan mempunyai jawapan kebenaran asas yang boleh dipercayai. Pada input yang terdiri daripada 128K–256K token, GPT‑5 memberikan jawapan yang betul 89% daripada masa.
Dalam API, semua model GPT‑5 boleh menerima maksimum 272,000 token input dan mengeluarkan maksimum 128,000 token output & alasan, untuk jumlah panjang konteks sebanyak 400,000 token.
GPT‑5 lebih dipercayai daripada model kami sebelum ini. Pada prom daripada penanda aras LongFact dan FactScore, GPT‑5 membuat ~80% lebih sedikit kesilapan fakta berbanding o3. Ini menjadikannya lebih sesuai untuk kes penggunaan agentik di mana ketepatan penting—terutamanya dalam kod, data, dan membuat keputusan.
Skor yang lebih tinggi adalah lebih buruk. LongFact(dibuka dalam tetingkap baru) dan FActScore(dibuka dalam tetingkap baru) terdiri daripada soalan terbuka yang mencari fakta. Kami menggunakan penggred berasaskan LLM dengan keupayaan menyemak imbas untuk memeriksa fakta respons pada prom daripada penanda aras ini dan mengukur pecahan tuntutan yang tidak tepat secara fakta. Butiran pelaksanaan dan penggredan boleh didapati dalam kad sistem. Model penaakulan menggunakan usaha penaakulan yang tinggi. Carian tidak diaktifkan.
Secara amnya, GPT‑5 telah dilatih untuk lebih menyedari batasannya sendiri dan lebih mampu mengendalikan situasi yang tidak dijangka. Kami juga melatih GPT‑5 untuk menjadi lebih tepat dalam menjawab soalan kesihatan (baca lebih lanjut dalam blog penyelidikan kami). Seperti semua model bahasa, kami syorkan anda mengesahkan kerja GPT‑5 bila kepentingannya tinggi.
Pembangun boleh mengawal masa pemikiran GPT‑5 melalui parameter reasoning_effort dalam API. Sebagai tambahan kepada nilai terdahulu—rendah, sederhana (lalai), dan tinggi—GPT‑5 juga menyokong minima, yang meminimumkan penaakulan GPT‑5 untuk memberikan jawapan dengan cepat.
Nilai reasoning_effort yang lebih tinggi memaksimumkan kualiti, manakala nilai yang lebih rendah memaksimumkan kelajuan. Tidak semua tugas mendapat manfaat yang sama daripada penaakulan tambahan, jadi kami mengesyorkan untuk bereksperimen bagi melihat mana yang paling sesuai untuk kes penggunaan yang anda utamakan.
Sebagai contoh, penaakulan melebihi rendah tidak banyak menambah kepada pengambilan konteks panjang yang agak mudah, tetapi menambah beberapa mata peratusan kepada CharXiv Reasoning(dibuka dalam tetingkap baru), satu penanda aras penaakulan visual.
Usaha penaakulan GPT‑5 memberikan manfaat yang berbeza pada pelbagai tugas. Untuk CharXiv Reasoning, GPT‑5 telah diberikan akses kepada alat Python.
Untuk membantu mengawal panjang jawapan lalai GPT‑5, kami telah memperkenalkan parameter API baharu meleret, yang boleh mengambil nilai rendah, sederhana (lalai), dan tinggi. Jika arahan eksplisit bercanggah dengan parameter meleret, arahan eksplisit diutamakan. Sebagai contoh, jika kamu meminta GPT‑5 untuk "menulis esei 5 perenggan", respons model hendaklah sentiasa 5 perenggan tanpa mengira tahap meleret (namun, perenggan itu sendiri mungkin lebih panjang atau lebih pendek).
Meleret=rendah
Meleret=sederhana
Meleret=tinggi
Jika diarahkan, GPT‑5 akan output mesej mukadimah yang boleh dilihat oleh pengguna sebelum dan di antara panggilan alat. Tidak seperti mesej penaakulan tersembunyi, mesej yang boleh dilihat ini membolehkan GPT‑5 menyampaikan pelan dan kemajuan kepada pengguna, membantu pengguna memahami pendekatan dan niatnya di sebalik panggilan alat.
Kami memperkenalkan jenis alat baharu—alat tersuai—yang membolehkan GPT‑5 memanggil alat dengan teks biasa dan bukannya JSON. Untuk mengawal GPT‑5 agar mengikuti format alat tersuai, pembangun boleh menyediakan regex, atau bahkan tatabahasa bebas konteks(dibuka dalam tetingkap baru) yang lebih terperinci.
Sebelum ini, antara muka kami untuk alat yang ditentukan oleh pembangun memerlukan ia dipanggil dengan JSON, format biasa yang digunakan oleh API web dan pembangun secara amnya. Namun, untuk output JSON yang sah, model perlu melarikan semua tanda petikan, garis miring ke belakang, baris baharu, dan aksara kawalan lain dengan sempurna. Walaupun model kami terlatih untuk menghasilkan output JSON, pada input yang panjang seperti ratusan baris kod atau laporan 5 halaman, kemungkinan ralat semakin meningkat. Dengan alatan tersuai, GPT‑5 boleh menulis input alat sebagai teks biasa, tanpa perlu melarikan semua aksara yang memerlukan pelarian.
Pada SWE-bench yang Disahkan menggunakan alat tersuai dan bukannya alat JSON, GPT‑5 mendapat markah yang hampir sama.
GPT‑5 memajukan had keselamatan dan merupakan model yang lebih kukuh, boleh dipercayai, dan berguna. GPT‑5 jauh kurang berkemungkinan untuk berhalusinasi berbanding model kami sebelum ini, lebih jujur dalam menyampaikan tindakan dan keupayaannya kepada pengguna, dan memberikan jawapan yang paling membantu jika boleh sambil kekal dalam sempadan keselamatan. Anda boleh membaca lebih lanjut dalam blog penyelidikan kami.
GPT‑5 kini tersedia di platform API dalam tiga saiz: gpt-5, gpt-5-mini, dan gpt-5-nano. Ia tersedia pada Responses API, Chat Completions API, dan merupakan tetapan lalai dalam Codex CLI. GPT‑5 berharga $1.25/1 juta token input dan $10/1 juta token output, GPT‑5 mini berharga $0.25/1 juta token input dan $2/1 juta token output, dan GPT‑5 nano berharga $0.05/1 juta token input dan $0.40/1 juta token output.
Model-model ini memberikan sokongan kepada parameter API reasoning_effort dan meleret, serta alat tersuai. Ia juga memberikan sokongan panggilan alat selari, alat terbina dalam (carian web, carian fail, penjanaan imej dan banyak lagi), ciri teras API (penstriman, Output Berstruktur dan banyak lagi), serta ciri penjimatan kos seperti pengagregatan prom dan Batch API.
Versi GPT‑5 tanpa penaakulan yang digunakan dalam ChatGPT tersedia dalam API sebagai gpt-5-chat-latest, juga berharga $1.25/1M token input dan $10/1M token output.
GPT‑5 juga dilancarkan di seluruh platform Microsoft, termasuk Microsoft 365 Copilot, Copilot, GitHub Copilot, dan Azure AI Foundry.
Semak dokumentasi(dibuka dalam tetingkap baru) GPT‑5, butiran harga(dibuka dalam tetingkap baru), dan panduan gesaan(dibuka dalam tetingkap baru) untuk memulakan.
Kecerdasan
| GPT-5(high) | GPT-5 mini(high) | GPT-5 nano(high) | OpenAI o3(high) | OpenAI o4-mini(high) | GPT-4.1 | GPT-4.1 mini | GPT-4.1 nano | |
|---|---|---|---|---|---|---|---|---|
| AIME ’25(no tools) | 94.6% | 91.1% | 85.2% | 88.9% | 92.7% | 46.4% | 40.2% | - |
| FrontierMath(with python tool only) | 26.3% | 22.1% | 9.6% | 15.8% | 15.4% | - | - | - |
| GPQA diamond(no tools) | 85.7% | 82.3% | 71.2% | 83.3% | 81.4% | 66.3% | 65.0% | 50.3% |
| HLE[1](no tools) | 24.8% | 16.7% | 8.7% | 20.2% | 14.7% | 5.4% | 3.7% | - |
| HMMT 2025(no tools) | 93.3% | 87.8% | 75.6% | 81.7% | 85.0% | 28.9% | 35.0% | - |
[1] Terdapat sedikit percanggahan dengan nombor yang dilaporkan dalam catatan blog kami sebelum ini, kerana ia dijalankan pada versi HLE yang terdahulu.
Multimodal
| GPT-5(high) | GPT-5 mini(high) | GPT-5 nano(high) | OpenAI o3(high) | OpenAI o4-mini(high) | GPT-4.1 | GPT-4.1 mini | GPT-4.1 nano | |
|---|---|---|---|---|---|---|---|---|
| MMMU | 84.2% | 81.6% | 75.6% | 82.9% | 81.6% | 74.8% | 72.7% | 55.4% |
| MMMU-Pro(avg across standard and vision sets) | 78.4% | 74.1% | 62.6% | 76.4% | 73.4% | 60.3% | 58.9% | 33.0% |
| CharXiv reasoning(python enabled) | 81.1% | 75.5% | 62.7% | 78.6% | 72.0% | 56.7% | 56.8% | 40.5% |
| VideoMMMU, max frame 256 | 84.6% | 82.5% | 66.8% | 83.3% | 79.4% | 60.9% | 55.1% | 30.2% |
| ERQA | 65.7% | 62.9% | 50.1% | 64.0% | 56.5% | 44.3% | 42.3% | 26.5% |
Pengekodan
| GPT-5(high) | GPT-5 mini(high) | GPT-5 nano(high) | OpenAI o3(high) | OpenAI o4-mini(high) | GPT-4.1 | GPT-4.1 mini | GPT-4.1 nano | |
|---|---|---|---|---|---|---|---|---|
| SWE-Lancer: IC SWE Diamond Freelance Coding Tasks | USD 112K | USD 75K | USD 49K | USD 86K | USD 66K | USD 34K | USD 31K | USD 9K |
| SWE-bench Verified[2] | 74.9% | 71.0% | 54.7% | 69.1% | 68.1% | 54.6% | 23.6% | - |
| Aider polyglot(diff) | 88.0% | 71.6% | 48.4% | 79.6% | 58.2% | 52.9% | 31.6% | 6.2% |
[2] Kami mengabaikan 23/500 masalah yang tidak dapat dijalankan pada infrastruktur kami. Senarai penuh 23 tugas yang diabaikan ialah 'astropy__astropy-7606', 'astropy__astropy-8707', 'astropy__astropy-8872', 'django__django-10097', 'django__django-7530', 'matplotlib__matplotlib-20488', 'matplotlib__matplotlib-20676', 'matplotlib__matplotlib-20826', 'matplotlib__matplotlib-23299', 'matplotlib__matplotlib-24970', 'matplotlib__matplotlib-25479', 'matplotlib__matplotlib-26342', 'psf__requests-6028', 'pylint-dev__pylint-6528', 'pylint-dev__pylint-7080', 'pylint-dev__pylint-7277', 'pytest-dev__pytest-5262', 'pytest-dev__pytest-7521', 'scikit-learn__scikit-learn-12973', 'sphinx-doc__sphinx-10466', 'sphinx-doc__sphinx-7462', 'sphinx-doc__sphinx-8265', dan 'sphinx-doc__sphinx-9367'.
Mengikut Arahan
| GPT-5(high) | GPT-5 mini(high) | GPT-5 nano(high) | OpenAI o3(high) | OpenAI o4-mini(high) | GPT-4.1 | GPT-4.1 mini | GPT-4.1 nano | |
|---|---|---|---|---|---|---|---|---|
| Scale multichallenge[3](o3-mini grader) | 69.6% | 62.3% | 54.9% | 60.4% | 57.5% | 46.2% | 42.2% | 31.1% |
| Internal API instruction following eval(hard) | 64.0% | 65.8% | 56.1% | 47.4% | 44.7% | 49.1% | 45.1% | 31.6% |
| COLLIE | 99.0% | 98.5% | 96.9% | 98.4% | 96.1% | 65.8% | 54.6% | 42.5% |
[3] Nota: kami mendapati bahawa penggred lalai dalam MultiChallenge (GPT-4o) kerap memberikan markah yang salah kepada tindak balas model. Kami dapati bahawa menukar penggred kepada model penaakulan, seperti o3-mini, meningkatkan ketepatan penggredan dengan ketara pada sampel yang telah kami periksa.
Panggilan Fungsi
| GPT-5(high) | GPT-5 mini(high) | GPT-5 nano(high) | OpenAI o3(high) | OpenAI o4-mini(high) | GPT-4.1 | GPT-4.1 mini | GPT-4.1 nano | |
|---|---|---|---|---|---|---|---|---|
| Tau2-bench airline | 62.6% | 60.0% | 41.0% | 64.8% | 60.2% | 56.0% | 51.0% | 14.0% |
| Tau2-bench retail | 81.1% | 78.3% | 62.3% | 80.2% | 70.5% | 74.0% | 66.0% | 21.5% |
| Tau2-bench telecom | 96.7% | 74.1% | 35.5% | 58.2% | 40.5% | 34.0% | 44.0% | 12.1% |
Konteks panjang
| GPT-5(high) | GPT-5 mini(high) | GPT-5 nano(high) | OpenAI o3(high) | OpenAI o4-mini(high) | GPT-4.1 | GPT-4.1 mini | GPT-4.1 nano | |
|---|---|---|---|---|---|---|---|---|
| OpenAI-MRCR: 2 needle 128k | 95.2% | 84.3% | 43.2% | 55.0% | 56.4% | 57.2% | 47.2% | 36.6% |
| OpenAI-MRCR: 2 needle 256k | 86.8% | 58.8% | 34.9% | - | - | 56.2% | 45.5% | 22.6% |
| Graphwalks bfs <128k | 78.3% | 73.4% | 64.0% | 77.3% | 62.3% | 61.7% | 61.7% | 25.0% |
| Graphwalks parents <128k | 73.3% | 64.3% | 43.8% | 72.9% | 51.1% | 58.0% | 60.5% | 9.4% |
| BrowseComp Long Context 128k | 90.0% | 89.4% | 80.4% | 88.3% | 80.0% | 85.9% | 89.0% | 89.4% |
| BrowseComp Long Context 256k | 88.8% | 86.0% | 68.4% | - | - | 75.5% | 81.6% | 19.1% |
| VideoMME(long, with subtitle category) | 86.7% | 78.5% | 65.7% | 84.9% | 79.5% | 78.7% | 68.4% | 55.2% |
Halusinasi
| GPT-5(high) | GPT-5 mini(high) | GPT-5 nano(high) | OpenAI o3(high) | OpenAI o4-mini(high) | GPT-4.1 | GPT-4.1 mini | GPT-4.1 nano | |
|---|---|---|---|---|---|---|---|---|
| LongFact-Concepts hallucination rate(no tools)[lower is better] | 1.0% | 0.7% | 1.0% | 5.2% | 3.0% | 0.7% | 1.1% | - |
| LongFact-Objects hallucination rate(no tools)[lower is better] | 1.2% | 1.3% | 2.8% | 6.8% | 8.9% | 1.1% | 1.8% | - |
| FActScore hallucination rate(no tools)[lower is better] | 2.8% | 3.5% | 7.3% | 23.5% | 38.7% | 6.7% | 10.9% | - |
