Bemutatjuk a GPT‑5‑öt fejlesztők számára
A legjobb modell kódoláshoz és az ügynöki feladatokhoz.
Ma kiadásra kerül a GPT‑5 az API-platformunkon—az eddigi legjobb modellünk a kódolási és ügynöki feladatokhoz.
A GPT‑5 a legkorszerűbb (state-of-the-art, SOTA) a fontos kódolási tesztek terén: 74,9%-ot ér el a SWE-bench Verified teszten és 88%-ot az Aider polyglot feladatsoron. A GPT‑5‑öt úgy képeztük ki, hogy igazi kódolási partnered legyen. Kiválóan teljesít a magas minőségű kód előállításában és olyan feladatok kezelésében, mint a hibák kijavítása, a kód szerkesztése és a komplex kódbázisokkal kapcsolatos kérdések megválaszolása. A modell irányítható és együttműködő—nagy pontossággal képes követni a részletes utasításokat, és képes előzetes magyarázatot adni a műveleteiről az eszközhívások előtt és között. A modell a front-end kódolásban is kiemelkedő, a belső tesztelés során az esetek 70%-ában felülmúlta az OpenAI o3‑at a front-end webfejlesztésben.
A GPT‑5‑öt valós kódolási feladatokra képeztük ki, a startupok és vállalatok korai tesztelőivel együttműködésben. Cursor szerint a GPT‑5 „a legokosabb modell, amit valaha használtak”, és „meglepően intelligens, könnyen irányítható, sőt, olyan személyisége is van, amit más modellekben nem tapasztaltak.” Windsurf megosztotta, hogy a GPT‑5 az értékeléseiken SOTA, és „feleannyi parancshívási hibaaránya van, mint más határmodelleknek”. Vercel szerint „ez a legjobb frontend mesterséges intelligencia modell, amely mind esztétikai érzék, mind kódminőség tekintetében csúcsteljesítményt nyújt, így saját kategóriába kerül.”
A GPT‑5 a hosszú ideig futó ügynöki feladatokban is kiválóan teljesít—SOTA eredményeket ért el a τ2-bench Telecom* (96,7%), egy mindössze 2 hónapja kiadott parancshívási teszten. A GPT‑5 továbbfejlesztett eszközintelligenciája lehetővé teszi, hogy több tucat parancshívást megbízhatóan összefűzzön—akár sorban, akár párhuzamosan—anélkül, hogy eltévedne, így sokkal jobban képes végrehajtani a bonyolult, valós feladatokat elejétől a végéig. Ezenkívül pontosabban követi az eszközutasításokat, jobban kezeli az eszközhibákat, és kiválóan teljesít a hosszú kontextusú tartalom visszakeresésében. Manus szerint a GPT‑5 „a legjobb teljesítményt érte el, amit valaha is láttak egyetlen modelltől a belső teszteken.” Notion szerint „[a modell] gyors válaszai, különösen alacsony indoklási módban, ideálissá teszik a GPT‑5‑öt, ha összetett feladatokat kell egy lépésben megoldani.” Inditex szerint „ami igazán megkülönbözteti a [GPT‑5]‑öt, az az indoklás mélysége: árnyalt, többrétegű válaszokat ad, amelyek a téma valós megértését tükrözik.”
Új funkciókat vezetünk be az API-nkban, nagyobb irányítást adjunk a fejlesztőknek a modellválaszok felett. A GPT‑5 támogat egy új verbosity paramétert (értékek: low, medium, high), amely segít szabályozni, hogy a válaszok rövidek és lényegre törőek, vagy hosszúak és átfogóak legyenek. A GPT‑5 reasoning_effort paramétere mostantól minimális értéket is felvehet, hogy gyorsabban kapj válaszokat, anélkül, hogy előzetesen alaposan indokolnál. Hozzáadtunk egy új eszköztípust is—egyéni eszközöket—, hogy a GPT‑5 egyszerű szöveggel hívhassa az eszközöket JSON helyett. Az egyéni eszközök ügyfélszolgálatot nyújtanak a fejlesztők által biztosított kontextusfüggetlen nyelvtan általi korlátozásra.
A GPT‑5‑öt három méretben adjuk ki az API-ban—gpt-5, gpt-5-mini, és gpt-5-nano—, hogy a fejlesztők nagyobb rugalmasságot élvezhessenek a teljesítmény, költség és késés közötti egyensúlyozásban. Míg a ChatGPT‑ben a GPT‑5 érvelési, nem érvelési és router modellek rendszere, az API platformon a GPT‑5 az az érvelési modell, amely a maximális teljesítményt biztosítja a ChatGPT‑ben. Figyelemre méltó, hogy a minimális érveléssel rendelkező GPT‑5 más modell, mint a ChatGPT nem érvelő modellje, és jobban hangolt a fejlesztők számára. A ChatGPT‑ben használt nem érvelő modell GPT‑5‑chat‑latest néven érhető el.
Ha szeretnél többet megtudni a ChatGPT‑ben található GPT‑5‑ről és a ChatGPT egyéb fejlesztéseiről, nézd meg a kutatási blogunkat. Ha többet akarsz megtudni arról, hogy a vállalatok miért használják lelkesen a GPT‑5‑öt, nézd meg vállalati blogunkat.
A GPT‑5 a legerősebb kódolási modell, amit valaha is kiadtunk. Felülmúlja az o3‑at a kódolási benchmarkok és valós használati esetek során, és finomhangolás által olyan ügynökalapú kódolási termékekben tűnjön ki, mint a Cursor, a Windsurf, a GitHub Copilot és a Codex CLI. A GPT‑5 lenyűgözte az alfa tesztelőinket, és számos privát belső értékelésben rekordokat döntött.
Korai visszajelzések a GPT‑5 valós kódolási feladatokról
A SWE-bench Verified-on, amely valós szoftvermérnöki feladatokon alapuló értékelés, a GPT‑5 74,9%-ot ért el, szemben az o3 69,1%-ával. Érdemes megjegyezni, hogy a GPT‑5 nagyobb hatékonysággal és sebességgel éri el magas pontszámát: az o3‑hoz képest magas indoklási intenzitás mellett a GPT‑5 22%-kal kevesebb kimeneti tokent és 45%-kal kevesebb parancshívást használ.
A SWE-bench Verified keretében a modellnek egy kódrepót és a hibát leíró információt adnak, majd egy javítást kell létrehoznia a hiba orvoslására. A szöveges címkék jelzik az indoklási intenzitást. Az értékeléseink 500 problémából 23-at kihagytak, amelyek megoldások nem feleltek meg megbízhatóan az infrastruktúránknak. A GPT‑5 egy rövid utasítást kapott, amely hangsúlyozta a megoldások alapos igazolását; ugyanaz az utasítás nem volt hasznos az o3 számára.
Az Aider polyglot programban, a kódszerkesztés értékelése során a GPT‑5 új rekordot állított fel 88%-kal, ami egyharmaddal csökkenti a hibaszázalékot az o3‑hoz képest.
Az Aider polygot(új ablakban nyílik meg) (diff) esetében a modell egy kódolási feladatot kap az Exercismből, és a megoldását kódkülönbségként kell megírnia. Az indoklási modelleket nagy intenzitással futtatták.
Azt is észrevettük, hogy a GPT‑5 kiválóan alkalmas a kódbázisok mélyreható elemzésére, hogy választ adjon a különböző részek működésével vagy együttműködésével kapcsolatos kérdésekre. Egy olyan bonyolult kódbázisban, mint az OpenAI megerősítéses tanulás rendszere, azt tapasztaljuk, hogy a GPT‑5 segíthet az indoklásban és a kódunkkal kapcsolatos kérdések megválaszolásában, felgyorsítva a mindennapi munkánkat.
Amikor frontend kódot készítesz web appokhoz, a GPT‑5 esztétikusabb, ambiciózusabb és pontosabb. Az o3‑mal való egymás melletti összehasonlítások során tesztelőink az esetek 70%-ában a GPT‑5‑öt részesítették előnyben.
Íme néhány szórakoztató, válogatott példa arra, hogy a GPT‑5 mire képes egyetlen utasítás alapján:
További GPT‑5 példákat itt(új ablakban nyílik meg) talál galériánkban.
A GPT‑5 jobb együttműködő partner, különösen az olyan ügynökalapú kódolási termékekben, mint a Cursor, a Windsurf, a GitHub Copilot és a Codex CLI. Munka közben a GPT‑5 képes terveket, frissítéseket és összefoglalókat kiadni a parancshívások között. Korábbi modelljeinkhez képest a GPT‑5 proaktívabb az ambiciózus feladatok elvégzésében anélkül, hogy megállna az engedélyedre várva vagy visszariadna a nagy bonyolultságtól.
Íme egy példa arra, hogyan nézhet ki a GPT‑5 egy összetett feladat megoldása közben (jelen esetben egy étterem weboldalának létrehozása):
Miután a felhasználó weboldalt kér az étterméhez, a GPT‑5 megoszt egy gyors tervet, felépíti az appot, telepíti a függő részeket, létrehozza az oldal tartalmát, futtat egy buildet a fordítási hibák ellenőrzésére, összefoglalja a munkáját, és javaslatot tesz a lehetséges következő lépéseket. Ezt a videót körülbelül háromszorosára gyorsítottuk fel, hogy ne kelljen várakoznod; a weboldal létrehozása körülbelül három percet vett igénybe.
Az ügynöki kódoláson túl a GPT‑5 általában jobban teljesít az ügynöki feladatokban. A GPT‑5 új rekordokat döntött az utasításkövetés (69,6% a Scale MultiChallenge teszten, az o3‑mini értékelése alapján) és az eszközhívás (96,7% a τ2-bench telecom teszten) terén. A továbbfejlesztett eszközintelligencia lehetővé teszi a GPT‑5 számára, hogy megbízhatóbban összekapcsolja a műveleteket a valós feladatok végrehajtásához.
Korai visszajelzés a GPT‑5‑ről az ügynöki feladatokhoz
A GPT‑5 megbízhatóbban követi az utasításokat, mint bármelyik elődje, és magas pontszámot ér el a COLLIE, a Scale MultiChallenge és a belső utasításkövető értékeléseken.
COLLIE(új ablakban nyílik meg) esetében a modelleknek olyan szöveget kell írniuk, amely különböző feltételeknek felel meg. A Scale MultiChallenge(új ablakban nyílik meg) során a modelleket többfordulós beszélgetésekben tesztelik, hogy helyesen használják a korábbi üzenetek négy típusú információját. Az eredményeink az o3‑mini osztályozóként történő használatából származnak, amely pontosabb volt, mint a GPT‑4o. Az eval követő belső OpenAI API utasításainkban a modelleknek a valódi fejlesztői visszajelzésekből származó nehéz utasításokat kell követniük. Az indoklási modelleket nagy intenzitással futtatták.
Keményen dolgozunk, hogy a fejlesztők számára fontos módokon javítsuk a parancshívásokat. A GPT‑5 jobban követi az eszközutasításokat, jobban kezeli az eszközhibákat, és proaktívabban képes több parancshívást végrehajtani egymás után vagy párhuzamosan. Amikor utasítást kap, a GPT‑5 képes kimenetként előszó üzeneteket is megjeleníteni a parancshívások előtt és között, hogy tájékoztassa a felhasználókat arról, hol tart a hosszabb ügynöki feladatok során.
Két hónappal ezelőtt a Sierra.ai közzétette a τ2-bench telecom nevű kihívást jelentő eszközhasználati benchmarkot, amely rávilágított arra, hogy a nyelvi modellek teljesítménye jelentősen csökken, amikor egy olyan környezeti állapottal lépnek interakcióba, amelyet a felhasználók megváltoztathatnak. Publikációjukban(új ablakban nyílik meg) egyetlen modell sem ért el 49%-nál magasabb pontszámot. A GPT‑5 97%-os eredményt ért el.
A τ2-benchben(új ablakban nyílik meg) egy modellnek eszközöket kell használnia egy ügyfélszolgálati feladat elvégzéséhez, ahol lehet egy felhasználó, aki képes kommunikálni és műveleteket végezni a világ állapotán. Az indoklási modelleket nagy intenzitással futtatták.
A GPT‑5 a hosszú kontextusú teljesítmény terén is erős javulást mutat. Az OpenAI-MRCR-en, amely a hosszú kontextusú információvisszakeresés mérőszáma, a GPT‑5 felülmúlja az o3‑at és a GPT‑4.1‑et, egy olyan különbséggel, amely hosszabb beviteli hossz esetén jelentősen megnő.
Az OpenAI-MRCR(új ablakban nyílik meg) (többkörös ko-referencia felbontás) során több azonos „tűszerű” felhasználói kérés kerül el hosszú, hasonló kérésekből és válaszokból álló „szénakazalba”, és a modellt arra kérik, hogy reprodukálja az i-edik tűre adott választ. Az átlagos egyezési arány a modell válasza és a helyes válasz közötti átlagos szöveg-egyezési arányt méri. A 256k maximális beviteli token pontjai a 128k–256k beviteli tokenek átlagát képviselik, és így tovább. Itt a 256k 256 * 1,024 = 262 114 tokent jelent. Az indoklási modelleket nagy intenzitással futtatták.
Emellett nyílt forráskódúvá tesszük a BrowseComp Long Contextet(új ablakban nyílik meg), amely új mércét jelent a hosszú kontextusú kérdések és válaszok értékeléséhez. Ebben a tesztben a modell egy felhasználói lekérdezést kap, a releváns keresési eredmények hosszú listáját, és a keresési eredmények alapján kell megválaszolnia a kérdést. A BrowseComp Long Contextet úgy terveztük, hogy valósághű, nehéz és megbízhatóan helyes alapigazság válaszokat adjon. 128K–256K tokenek beviteli esetén a GPT‑5 az esetek 89%-ában adja meg a helyes választ.
Az API-ban minden GPT‑5 modell legfeljebb 272 000 beviteli tokent fogadhat el, és legfeljebb 128 000 indoklási és kimeneti tokent bocsáthat ki, így a teljes kontextushossz 400 000 token.
A GPT‑5 megbízhatóbb, mint a korábbi modelljeink. A LongFact és FactScore tesztek utasításai alapján a GPT‑5 ~80%-kal kevesebb tényszerű hibát követ el, mint az o3. Ezáltal jobban megfelel az ügynöki felhasználási eseteknek, ahol a helyesség számít—különösen a kód, az adatok és a döntéshozatal terén.
A magasabb pontszámok rosszabbak. A LongFact(új ablakban nyílik meg) és a FActScore(új ablakban nyílik meg) nyílt végű ténykereső kérdésekből áll. Egy böngészéssel kiegészített, LLM-alapú értékelőt használunk az ezekhez a tesztekhez tartozó utasításokra adott válaszok tényellenőrzésére, és azt mérjük, az állítások mekkora része bizonyul tényszerűen hibásnak. A megvalósítás és az osztályozás részletei a rendszerkártyán találhatók. Az indoklási modellek nagy mértékű érvelési igénnyel dolgoztak. A keresés nem volt engedélyezve.
Általánosságban elmondható, hogy a GPT‑5‑öt arra képezték ki, hogy jobban tisztában legyen saját korlátaival, és képes legyen jobban kezelni a váratlan helyzeteket. A GPT‑5‑öt arra is betanítottuk, hogy sokkal pontosabban válaszoljon egészséggel kapcsolatos kérdésekre (többet olvashatsz erről a kutatási blogunkban). Mint minden nyelvi modell esetében, azt javasoljuk, hogy ha magas a tét, ellenőrizd a GPT‑5 munkáját.
A fejlesztők a GPT‑5 gondolkodási idejét az API reasoning_effort paraméterén keresztül vezérelhetik. A korábbi értékeken –low, medium (alapértelmezett) és high—mellett a GPT‑5 támogatja a minimal értéket is, amely minimalizálja a GPT‑5 indoklását, a gyors válaszok érdekében.
A magasabb reasoning_effort értékek maximalizálják a minőséget, míg az alacsonyabb értékek a sebességet. Nem minden feladat profitál egyformán a további érvelésből, ezért javasoljuk, hogy kísérletezz, hogy lásd, melyik működik a legjobban az általad fontosnak tartott felhasználási esetekben.
Például a low szint fölé emelt reasoning szinte semmit nem ad hozzá az egyszerűbb, hosszú kontextusú keresési feladatokhoz, viszont több százalékponttal javítja a teljesítményt a CharXiv Reasoning(új ablakban nyílik meg) vizuális indoklási teszten.
A GPT‑5 indoklási intenzitása különböző feladatoknál eltérő előnyöket eredményez. A CharXiv Reasoning érdekében a GPT‑5 hozzáférést kapott egy Python eszközhöz.
A GPT‑5 válaszainak alapértelmezett hosszának szabályozására bevezettünk egy új API-paramétert, a verbosity-t, amely low, medium (alapértelmezett) és high értékeket vehet fel. Ha az egyértelmű utasítások ütköznek a részletességi paraméterekkel, az egyértelmű utasítások élveznek elsőbbséget. Például, ha megkéred a GPT‑5‑öt, hogy „írj egy 5 bekezdéses esszét”, a modell válasza mindig 5 bekezdésből áll, függetlenül a részletezettségi szinttől (bár maguk a bekezdések lehetnek hosszabbak vagy rövidebbek).
Részletezettség=low
Részletezettség=medium
Részletezettség=high
Ha utasítást kap, a GPT‑5 felhasználó által látható preambulumüzeneteket jelenít meg a parancshívások előtt és között. Ellentétben a rejtett indoklási üzenetekkel, ezek a látható üzenetek lehetővé teszik a GPT‑5 számára, hogy kommunikálja a terveket és a haladást a felhasználóval, segítve a végfelhasználókat megérteni a megközelítést és a szándékot a parancshívások mögött.
Bevezetünk egy új eszköztípust—az egyéni eszközöket—, amely lehetővé teszi a GPT‑5 számára, hogy JSON helyett egyszerű szöveggel hívjon meg egy eszközt. A GPT‑5 egyéni eszközformátumok követésére a fejlesztők megadhatnak reguláris kifejezést, vagy akár egy teljesebben meghatározott kontextusfüggetlen nyelvtant(új ablakban nyílik meg).
Korábban a fejlesztők által meghatározott eszközök felületének használatához JSON-t kellett használni, amely egy általánosan használt formátum a webes API-k és a fejlesztők körében. Azonban ahhoz, hogy a JSON érvényes legyen, a modellnek hibátlanul kell „kimenekítenie” (escape-elnie) az összes idézőjelet, fordított perjelet, sortörést és egyéb vezérlőkaraktert. Bár modelljeink jól képzettek a JSON kimenet előállítására, hosszú beviteli adatok esetén, mint például több száz kódsor vagy egy 5 oldalas jelentés, a hibák valószínűsége megnő. Egyéni eszközökkel a GPT‑5 egyszerű szövegként írhatja az eszközbemeneteket anélkül, hogy el kellene kerülnie az összes kimenekítést igénylő karakterektől.
A SWE-bench Verified-on, egyedi eszközöket használva a JSON eszközök helyett, a GPT‑5 körülbelül ugyanazt a pontszámot éri el.
A GPT‑5 előrelépést jelent a biztonság terén, robusztusabb, megbízhatóbb és hasznosabb modell. A GPT‑5 lényegesen ritkábban ad kitalált vagy valótlan válaszokat, mint korábbi modelljeink, őszintébben közli a felhasználóval, mit csinál és mire képes, és ahol csak lehetséges, a leghasznosabb választ adja, miközben továbbra is a biztonsági kereteken belül marad. További információkat a kutatási blogunkban olvashatsz.
A GPT‑5 már elérhető az API platformon három méretben: gpt-5, gpt-5-mini és gpt-5-nano. Elérhető a Responses API-n, a Chat Completions API-n, és alapértelmezett a Codex CLI-ben. A GPT‑5 ára 1,25 USD/1M beviteli token és 10 USD/1M kimeneti token, a GPT‑5 mini ára 0,25 USD/1M beviteli token és 2 USD/1M kimeneti token, míg a GPT‑5 nano ára 0,05 USD/1M beviteli token és 0,40 USD/1M kimeneti token.
Ezek a modellek támogatják a reasoning_effort és a verbosity API paramétereket, valamint az egyedi eszközöket. Támogatják a párhuzamos parancshívást, a beépített eszközöket (webes keresés, fájlkeresés, képgenerálás és még sok más), az alapvető API funkciókat (streaming, strukturált kimenetek és még sok más), valamint a költségmegtakarítási funkciókat, amilyen például az utasítás cache és a Batch API.
A ChatGPT‑ben használt GPT‑5 nem érvelő verziója elérhető az API-ban gpt-5-chat-latest néven, és ára szintén 1,25 USD/1 millió beviteli token és 10 USD/1 millió kimeneti token.
A GPT‑5‑öt a Microsoft platformjain is bevezetjük, beleértve a Microsoft 365 Copilotot, a Copilotot, a GitHub Copilotot és az Azure AI Foundry-t.
Nézd meg a GPT‑5 dokumentációját(új ablakban nyílik meg), árakat(új ablakban nyílik meg) és promptolási útmutatót(új ablakban nyílik meg), hogy elkezdhesd.
Intelligencia
| GPT-5(high) | GPT-5 mini(high) | GPT-5 nano(high) | OpenAI o3(high) | OpenAI o4-mini(high) | GPT-4.1 | GPT-4.1 mini | GPT-4.1 nano | |
|---|---|---|---|---|---|---|---|---|
| AIME ’25(no tools) | 94,6% | 91,1% | 85,2% | 88,9% | 92,7% | 46,4% | 40,2% | - |
| FrontierMath(with python tool only) | 26,3% | 22,1% | 9,6% | 15,8% | 15,4% | - | - | - |
| GPQA diamond(no tools) | 85,7% | 82,3% | 71,2% | 83,3% | 81,4% | 66,3% | 65,0% | 50,3% |
| HLE[1](no tools) | 24,8% | 16,7% | 8,7% | 20,2% | 14,7% | 5,4% | 3,7% | - |
| HMMT 2025(no tools) | 93,3% | 87,8% | 75,6% | 81,7% | 85,0% | 28,9% | 35,0% | - |
[1] Van egy kis eltérés az előző blogbejegyzésünkben közölt számoktól, mivel azokat Az emberiség utolsó vizsgája (Humanity's Last Exam, HLE) elnevezésű teszt egy korábbi verzióján futtatták le.
Multimodális
| GPT-5(high) | GPT-5 mini(high) | GPT-5 nano(high) | OpenAI o3(high) | OpenAI o4-mini(high) | GPT-4.1 | GPT-4.1 mini | GPT-4.1 nano | |
|---|---|---|---|---|---|---|---|---|
| MMMU | 84,2% | 81,6% | 75,6% | 82,9% | 81,6% | 74,8% | 72,7% | 55,4% |
| MMMU-Pro(avg across standard and vision sets) | 78,4% | 74,1% | 62,6% | 76,4% | 73,4% | 60,3% | 58,9% | 33,0% |
| CharXiv reasoning(python enabled) | 81,1% | 75,5% | 62,7% | 78,6% | 72,0% | 56,7% | 56,8% | 40,5% |
| VideoMMMU, max frame 256 | 84,6% | 82,5% | 66,8% | 83,3% | 79,4% | 60,9% | 55,1% | 30,2% |
| ERQA | 65,7% | 62,9% | 50,1% | 64,0% | 56,5% | 44,3% | 42,3% | 26,5% |
Kódolás
| GPT-5(high) | GPT-5 mini(high) | GPT-5 nano(high) | OpenAI o3(high) | OpenAI o4-mini(high) | GPT-4.1 | GPT-4.1 mini | GPT-4.1 nano | |
|---|---|---|---|---|---|---|---|---|
| SWE-Lancer: IC SWE Diamond Freelance Coding Tasks | 112 E USD | 75 E USD | 49 E USD | 86 E USD | 66 E USD | 34 E USD | 31 E USD | 9 E USD |
| SWE-bench Verified[2] | 74,9% | 71,0% | 54,7% | 69,1% | 68,1% | 54,6% | 23,6% | - |
| Aider polyglot(diff) | 88,0% | 71,6% | 48,4% | 79,6% | 58,2% | 52,9% | 31,6% | 6,2% |
[2] Az 500 feladatból 23-at kihagytunk, mert nem voltak futtathatók az infrastruktúránkon. A 23 kihagyott feladat teljes listája: 'astropy__astropy-7606', 'astropy__astropy-8707', 'astropy__astropy-8872', 'django__django-10097', 'django__django-7530', 'matplotlib__matplotlib-20488', 'matplotlib__matplotlib-20676', 'matplotlib__matplotlib-20826', 'matplotlib__matplotlib-23299', 'matplotlib__matplotlib-24970', 'matplotlib__matplotlib-25479', 'matplotlib__matplotlib-26342', 'psf__requests-6028', 'pylint-dev__pylint-6528', 'pylint-dev__pylint-7080', 'pylint-dev__pylint-7277', 'pytest-dev__pytest-5262', 'pytest-dev__pytest-7521', 'scikit-learn__scikit-learn-12973', 'sphinx-doc__sphinx-10466', 'sphinx-doc__sphinx-7462', 'sphinx-doc__sphinx-8265' és 'sphinx-doc__sphinx-9367'.
Utasítás követése
| GPT-5(high) | GPT-5 mini(high) | GPT-5 nano(high) | OpenAI o3(high) | OpenAI o4-mini(high) | GPT-4.1 | GPT-4.1 mini | GPT-4.1 nano | |
|---|---|---|---|---|---|---|---|---|
| Scale multichallenge[3](o3-mini grader) | 69,6% | 62,3% | 54,9% | 60,4% | 57,5% | 46,2% | 42,2% | 31,1% |
| Internal API instruction following eval(hard) | 64,0% | 65,8% | 56,1% | 47,4% | 44,7% | 49,1% | 45,1% | 31,6% |
| COLLIE | 99,0% | 98,5% | 96,9% | 98,4% | 96,1% | 65,8% | 54,6% | 42,5% |
[3] Megjegyzés: Megállapítottuk, hogy a MultiChallenge (GPT-4o) alapértelmezett osztályozója gyakran hibásan értékeli a modellválaszokat. Azt tapasztaljuk, hogy ha az osztályozót egy érvelő modellre cseréljük, például az o3-minire, az jelentősen javítja az osztályozás pontosságát az általunk vizsgált mintákon.
Függvényhívás
| GPT-5(high) | GPT-5 mini(high) | GPT-5 nano(high) | OpenAI o3(high) | OpenAI o4-mini(high) | GPT-4.1 | GPT-4.1 mini | GPT-4.1 nano | |
|---|---|---|---|---|---|---|---|---|
| Tau2-bench airline | 62,6% | 60,0% | 41,0% | 64,8% | 60,2% | 56,0% | 51,0% | 14,0% |
| Tau2-bench retail | 81,1% | 78,3% | 62,3% | 80,2% | 70,5% | 74,0% | 66,0% | 21,5% |
| Tau2-bench telecom | 96,7% | 74,1% | 35,5% | 58,2% | 40,5% | 34,0% | 44,0% | 12,1% |
Hosszú kontextus
| GPT-5(high) | GPT-5 mini(high) | GPT-5 nano(high) | OpenAI o3(high) | OpenAI o4-mini(high) | GPT-4.1 | GPT-4.1 mini | GPT-4.1 nano | |
|---|---|---|---|---|---|---|---|---|
| OpenAI-MRCR: 2 needle 128k | 95,2% | 84,3% | 43,2% | 55,0% | 56,4% | 57,2% | 47,2% | 36,6% |
| OpenAI-MRCR: 2 needle 256k | 86,8% | 58,8% | 34,9% | - | - | 56,2% | 45,5% | 22,6% |
| Graphwalks bfs <128k | 78,3% | 73,4% | 64,0% | 77,3% | 62,3% | 61,7% | 61,7% | 25,0% |
| Graphwalks parents <128k | 73,3% | 64,3% | 43,8% | 72,9% | 51,1% | 58,0% | 60,5% | 9,4% |
| BrowseComp Long Context 128k | 90,0% | 89,4% | 80,4% | 88,3% | 80,0% | 85,9% | 89,0% | 89,4% |
| BrowseComp Long Context 256k | 88,8% | 86,0% | 68,4% | - | - | 75,5% | 81,6% | 19,1% |
| VideoMME(long, with subtitle category) | 86,7% | 78,5% | 65,7% | 84,9% | 79,5% | 78,7% | 68,4% | 55,2% |
Valótlanság
| GPT-5(high) | GPT-5 mini(high) | GPT-5 nano(high) | OpenAI o3(high) | OpenAI o4-mini(high) | GPT-4.1 | GPT-4.1 mini | GPT-4.1 nano | |
|---|---|---|---|---|---|---|---|---|
| LongFact-Concepts hallucination rate(no tools)[lower is better] | 1,0% | 0,7% | 1,0% | 5,2% | 3,0% | 0,7% | 1,1% | - |
| LongFact-Objects hallucination rate(no tools)[lower is better] | 1,2% | 1,3% | 2,8% | 6,8% | 8,9% | 1,1% | 1,8% | - |
| FActScore hallucination rate(no tools)[lower is better] | 2,8% | 3,5% | 7,3% | 23,5% | 38,7% | 6,7% | 10,9% | - |

