Gå til hovedindhold
OpenAI

9. juli 2026

ProduktUdgivelse

GPT‑5.6: Banebrydende intelligens, der skalerer med dine ambitioner

Mere intelligens fra hvert token, stærkere ydeevne pr. dollar og mere kapabilitet efter behov til dit mest krævende arbejde.

Indlæser ...

Vi lancerer GPT‑5.6-modelfamilien til alle efter vores begrænsede forhåndsvisning: vores nye flagskib, Sol, sammen med Terra, en afbalanceret model til hverdagsarbejde, og Luna, vores mest omkostningseffektive model.

GPT‑5.6 Sol sætter en ny standard for både intelligens og effektivitet og opnår resultater på topniveau inden for kodning, vidensarbejde, cybersikkerhed og videnskab, samtidig med at den overgår tidligere og konkurrerende banebrydende modeller med færre tokens og til en lavere anslået omkostning. Resultatet er en bedre ydeevne pr. dollar: mere vellykket arbejde for den samme investering eller sammenlignelige resultater til en lavere samlet omkostning. Vi introducerer også en ny måde at accelerere det mest krævende arbejde på: ultra er vores indstilling med højeste kapacitet, som koordinerer flere agenter på tværs af parallelle arbejdsstrømme for at færdiggøre komplekse opgaver hurtigere. Stærkere computerbrug og designmæssig dømmekraft gør GPT‑5.6 Sol til vores hidtil mest gennemarbejdede samarbejdspartner, der hjælper med at gennemgå, forfine og levere brugsklare resultater.

Vi trænede GPT‑5.6 til at få mere nyttigt arbejde ud af hver token. På Agents’ Last Exam(åbner i et nyt vindue), en evaluering af langvarige professionelle arbejdsgange i hele 55 fagområder, sætter GPT‑5.6 Sol nye standarder for 53,6 og overgår Claude Fable 5 (adaptiv ræsonnering) med 13,1 point. Selv ved mellem ræsonnering slår den Fable 5 med 11,4 point til omtrent en fjerdedel af den anslåede pris. Den effektivitet gælder også for mindre modeller, som er afgørende for at gøre intelligens mere udbredt og økonomisk overkommelig: GPT‑5.6 Terra og GPT‑5.6 Luna overgår Fable 5 til omkring en sekstendedel af prisen. På Artificial Analysis intelligensindeks(åbner i et nyt vindue), en bred måling for intelligens, der spænder over agentisk arbejde, kodning, videnskabelig ræsonnering og generelle evner, indeholder GPT‑5.6 Sol maksimal ræsonnering inden for ét point af Fable 5, samtidig med at opgaverne fuldføres på 61 % mindre tid og til omtrent halvdelen af den anslåede pris.

Agents’ Last Exam(åbner i et nyt vindue) Langsigtede agentiske arbejdsgange på tværs af faglige domæner.

GPT‑5.6 lanceres med vores mest robuste sikkerhedsforanstaltninger til dato, designet til at være modstandsdygtige over for målrettet og tilpasningsdygtigt misbrug uden generelt at begrænse legitimt arbejde. Inden generel tilgængelighed gennemgik modellerne og sikkerhedsforanstaltningerne vores hidtil mest omfattende evalueringsperiode, hvor vi kombinerede menneskelig red teaming med automatiseret testning i stor skala. I previewfasen arbejdede vi tæt sammen med ekspertorganisationer og betroede partnere for at stressteste forsvarsmekanismer og styrke sikkerhedsforanstaltningerne før en bredere lancering. Det resulterende system kombinerer beskyttelsesforanstaltninger, der er trænet ind i modellen, med kontroller, overvågning og adgang i realtid, der er kalibreret efter tillid og risiko.

Effektiv som standard, maksimal ydeevne efter behov

GPT‑5.6 Sol er vores bedste model til dato. På Artificial Analysis Coding Agent Index sætter GPT‑5.6 Sol med maksimal ræsonnering en ny standard på 80, 2,8 point over Fable 5, samtidig med at den bruger mindre end halvdelen af output-token, tager mindre end halvdelen af tiden og koster omkring en tredjedel mindre. Denne fordel gælder på tværs af familien: Terra ligger lige over Fable 5, mens Luna klarer sig bedre end Opus 4.8; begge gør det på omtrent en tredjedel af tiden, med cirka halvt så mange output-token og til omkring en fjerdedel af den anslåede omkostning. Den opnår også nye banebrydende resultater Terminal‑Bench 2.1 og DeepSWE, som tester komplekse kommandolinjearbejdsgange og langsigtet udvikling i faktiske kodebaser.

Artificial Analysis Coding Agent Index: et uafhængigt indeks over kodeagenters ydeevne på tværs af implementering, terminalbrug og faktiske kodebaser.

GPT‑5.6 kan skrive og køre lette programmer, der koordinerer værktøjer, behandler foreløbige resultater, overvåger fremskridt og vælger den næste handling, efterhånden som arbejdet skrider frem. Det gør det muligt for værktøjstunge opgaver at komme videre med færre tokens, færre ture frem og tilbage i modellen, og mindre vejledning. I stedet for at kræve, at udviklere scripter hvert trin eller sender hvert værktøjssvar tilbage gennem modellen, kan Programmatic Tool Calling(åbner i et nyt vindue) i Respons-API’en filtrere store mængder foreløbige data, kun beholde det, der er vigtigt, og tilpasse sin arbejdsgang undervejs.

Ved problemer, hvor det kan betale sig at investere mere tid og beregningskraft, kan GPT‑5.6 gå ud over denne effektive standard. max giver GPT‑5.6 endnu mere tid end xhigh til at ræsonnere og udforske alternativer, udføre kontroller og revidere sin tilgang. ultra går et skridt videre ved som standard at koordinere fire agenter parallelt, hvor et højere tokenforbrug byttes til gengæld for stærkere resultater og kortere tid til resultat på krævende opgaver. Diagrammerne nedenfor sammenligner ultras standardopsætning med fire agenter med en referenceopsætning med én agent på tværs af BrowseComp, SEC-Bench Pro og Terminal-Bench 2.1; BrowseComp og SEC-Bench Pro viser også konfigurationer med 16 agenter. I alle tre evalueringer flytter tilføjelsen af parallelle agenter den banebrydende score-latens opad og mod venstre, hvilket resulterer i bedre resultater på kortere tid. I API'en kan udviklere bygge ultra-lignende oplevelser ved hjælp af multi-agent-betaen i Respons-API'en.

1 af 11
GPT‑5.6 er en af de bedste modeller, vi har testet på CursorBench, og leverer gode resultater i indledende evalueringer. Det er et spændende skridt fremad for udviklere med fokus på vedholdenhed, intelligens og samlet effektivitet. Vi ser frem til at præsentere denne model for vores Cursor-brugere.
– Oskar Schulz, direktør hos Cursor

Et stort skridt fremad inden for design

GPT – 5.6 leverer et markant løft i designmæssig dømmekraft. Med kun høj niveau vejledning skaber GPT‑5.6 smagfulde, ergonomiske og funktionelle grænseflader. Dens stærkere evner inden for computerbrug gør det muligt at inspicere og forfine det producerede resultat – ikke blot at generere den underliggende kode eller det underliggende indhold – så den kan opdage visuelle og funktionelle problemer og foretage de sidste finpudsninger, før arbejdet afleveres.

Kommando: Kan du implementere et 3D-sejlespil for mig? Til alt, der kræver bitmaps/teksturer/sprites (eller hvis det hjælper at have en model som reference for eventuelle 3D-modeller, du bygger), er du velkommen til at bruge imagegen.

Frontend-funktionerne i GPT‑5.6 omdanner også forespørgsler på naturligt sprog til gennemarbejdede, interaktive forklaringer og visualiseringer i ChatGPT arbejde.

Kommando: Skab en interaktiv spirograf, der forklarer, hvordan den fungerer.

Vidensarbejde fra start til slut

GPT‑5.6 leverer bedre resultater til professionelle opgaver. Den tager ustruktureret sammenhæng fra dine dokumenter og daglige arbejdsgange som Slack, Notion, Microsoft 365 og Google Drive og omdanner den til delbare artefakter på ekspertniveau.

GPT‑5.6's styrke inden for vidensarbejde kommer til udtryk i evalueringer, der spænder over langsigtede professionelle analyser, browsing, værktøjsbrug og computerbrug. GPT‑5.6 Sol opnår nye resultater på topniveau på BrowseComp med 92,2 % og OSWorld 2.0 med 62,6 %. På OSWorld overgår den Opus 4.8, samtidig med at den bruger 85 % færre output-tokens. Her gælder forbedringerne i ydeevne pr. dollar for hele GPT‑5.6-familien. Luna matcher næsten GPT‑5.5's maksimale ydeevne til under halvdelen af de anslåede omkostninger, mens Terra overgår den til lavere omkostninger.

BrowseComp: GPT‑5.6 Sol opnår et nyt topniveau på BrowseComp, som består af agentiske browsingopgaver.

GPT‑5.6 Sol forbedrer kvaliteten i præsentationer, dokumenter og regneark og producerer resultater, der er mere gennemarbejdede og nøjagtige. Det kan skabe fuldt redigerbare præsentationer fra bunden ved at omsætte en prompt og kildemateriale til en sammenhængende visuel fortælling med stærke layouts, tydeligt hierarki og gennemtænkt design.

Forbedringen er særligt markant, når der følges skabeloner og referencepræsentationer. GPT‑5.6 kan udlede en præsentations designsystem—layouts, typografi, afstande, farver og tilbagevendende indholdsmønstre, herunder regler indlejret i SlideMasteren—og anvende disse konventioner konsekvent på nyt materiale. I dette eksempel hvor der bliver bedt om at opdatere tal baseret på en referencefil, mangler GPT–5.5-outputtet vigtige komponenter fra mastersliden, mens GPT–5.6 følger referencestrukturen mere trofast.

Referencefil
Inputslide til GPT-5.6-stilmatchning
GPT‑5.5 output
GPT-5.5 output-slide til stilmatchning

GPT‑5.5 mangler nøglekomponenter i mastersliden

GPT‑5.6 output
GPT-5.6-output-slide til stiltmatchning

GPT‑5.6 opretter også dokumenter og regneark, der er mere visuelt gennemarbejdede. Den følger komplekse referenceformater mere trofast, hvilket er vigtigt for gentageligt vidensarbejde. Den håndterer ligninger og finansielle modeller med større præcision, og gør bedre brug af typografi, afstande, hierarki og side- eller regnearkslayout.

De første kunder, der testede GPT‑5.6, oplevede forbedringer i resultaterne af vidensarbejde på tværs af domæner.

1 af 9
GPT‑5.6 er markant effektiv til de lange, komplekse arbejdsgange bag udviklingen af apps i produktionskvalitet. Som en af de modeller, Lovable nu bruger, giver den brugerne ca. 25 % færre trin og 35–48 % færre værktøjskald end den tidligere model, samtidig med at den forbedrer projektsuccesen og reducerer antallet af kørsler, der går i stå, med 15 %. Det er en væsentlig forskel for alle, der forsøger at gå fra idé til en fungerende app.
– Fabian Hedin, medstifter hos Lovable

Udvider grænserne for cyber og videnskab

GPT‑5.6 er vores stærkeste cybersikkerhedsmodel til dato, der opnår banebrydende ydeevne med betydeligt færre tokens. På ExploitBench2, som måler fremskridt fra at nå sårbar kode gennem vilkårlig kodeeksekvering, scorer den 73,5 % sammenlignet med GPT‑5.5’s 47,9 % ved et sammenligneligt budget for output-token. På ExploitGym3, som beder agenter om at omdanne sårbarheder fra den virkelige verden til fungerende exploits, fordobler den næsten GPT‑5.5’s topbeståelsesrate, fra 15,1 % til 24,9 % inden for tidsgrænsen på to timer; med seks timer når den 33,7 %. På SEC-Bench Pro, som tester generering af proof-of-concept på kompleks software, scorer den 71,2 % sammenlignet med GPT‑5.5's 45,8 % med forbedret latenstid.

GPT‑5.6 understøtter vigtige defensive opgaver som f.eks. sikker kodegennemgang, patching, trusselsmodellering og blue teaming. Kvalificerede personer og organisationer i OpenAI Daybreak’s Trusted Access for Cyber -programmet kan få adgang til en større del af programmets forsvarskapacitet gennem mere præcise sikkerhedsforanstaltninger for verificeret arbejde i godkendte miljøer, herunder prioritering og validering af sårbarheder, malwareanalyse, detektionsingeniørarbejde og validering af sikkerhedsopdateringer.

Enkeltpersoner kan bekræfte deres identitet og anmode om betroet adgang(åbner i et nyt vindue), og organisationer kan ansøge for deres teams. De enkelte medlemmer skal aktivere Avanceret kontosikkerhed(åbner i et nyt vindue) med hardwareunderstøttede adgangsnøgler senest 1. september for at bevare adgangen til vores mest cyberkompetente banebrydende modeller. Ellers får de standardadgang igen. Brugere, der ikke allerede har hardwarebaserede adgangsnøgler, kan få fordelspriser(åbner i et nyt vindue) hos vores partner, Yubico. Vi træffer desuden yderligere foranstaltninger for at begrænse adgangen for enheder med høj risiko og i jurisdiktioner med høj risiko.

ExploitBench: Udvikling af gradvist mere avancerede V8-exploits; GPT‑5.6 viser en stor forbedring i forhold til GPT‑5.5. Latensdiagrammet vises ikke, da latensestimering er upålidelig for denne benchmark.

GPT‑5.6 Sol viser også generelle forbedringer inden for videnskabelig forskning. I evalueringer inden for biovidenskab udviser GPT‑5.6 Paretoforbedringer i forhold til GPT‑5.5 inden for virkelighedsnær biologi, forskningsarbejdsgange inden for biovidenskab og kemi.

GeneBench Pro: Langsigtede genomiske og kvantitative biologiske analyser. GPT‑5.6 opnår bedre resultater med færre tokens og på kortere tid. Claude Fable 5 er ikke inkluderet, da den ikke besvarer(åbner i et nyt vindue) avancerede biologiske spørgsmål og afviser størstedelen af spørgsmålene i denne evaluering.

GPT‑5.6 accelererer OpenAI

GPT‑5.6 er vores hidtil stærkeste model til at fremskynde AI-forskning. I OpenAI bruger forskere den i hele udviklingscyklussen: til at diagnosticere fejl, optimere træningssystemer, udføre eksperimenter og fortolke resultater. Vi så allerede denne fremskynding og større udbredelse i den interne testperiode for GPT‑5.6, hvor det gennemsnitlige daglige antal output-token pr. aktiv forsker var mere end dobbelt så høj som det højeste niveau, der blev observeret for GPT‑5.5.

Denne måde at arbejde på bliver hurtigt standardmetoden. I løbet af de seneste seks måneder er andelen af beregningsressourcer til forskning, der bruges til intern kodefortolkning, vokset 100 gange, mens brugen af interne agentiske tokens er steget cirka 22 gange. Disse ibrugtagningsmålinger måler ikke forskningsfremskridt i sig selv, men de viser, hvor hurtigt AI-assistance øges inden for forskning og på tværs af andre teams som salg, marketing, brugerdrift, økonomi m.m.

For at måle denne kapacitet direkte udviklede vi en intern evalueringspakke baseret på reelle AI-forskningsopgaver, herunder fejlfinding af forskningssystemer, optimering af kerner og træningsopskrifter, gennemførelse af maskinlæringseksperimenter og forbedring af en anden model.

Samlet RSI-kapacitet: På en samling af evalueringer, der måler fremskridt hen imod rekursiv selvforbedring, bemærker vi, at GPT‑5.6 Sol er en forbedring på 16,2 point i forhold til GPT‑5.5, hvilket accelererer intern forskning over hele linjen.

Skalering af sikkerhed og tryghed i takt med kapaciteten 

I takt med at modellers kapaciteter øges, styrker vi vores sikkerhedsstak, så avanceret intelligens fortsat kan være bredt anvendelig, samtidig med at der lægges større vægt på de anvendelser, der har den højeste risiko. Til GPT‑5.6 byggede vi vores hidtil mest robuste sikkerhedssystem, kalibreret efter hver models kapaciteter og drevet af flere beregningsressourcer end nogensinde før.

GPT‑5.6‑modellerne er mere kapable end vores tidligere modeller inden for både biologi og cybersikkerhed, men overskrider ikke den kritiske tærskel i nogen af kategorierne. Inden for cybersikkerhed antyder vores test, at GPT‑5.6 er bedre til at finde og rette sårbarheder end til pålideligt at udføre autonome end-to-endangreb mod hærdede mål, hvilket giver forsvarere en mulighed for at styrke systemer, før svagheder bliver udnyttet. Inden for biologi tyder vores test på, at GPT‑5.6 kan understøtte legitim forskning, men ikke besidder den end-to-end-kapacitet, der er nødvendig for at skabe, udvikle eller syntetisere en yderst farlig ny trussel.

Begge domæner kan i sagens natur anvendes til både civile og militære formål. Inden for cybersikkerhed kan de samme kapaciteter, der kan hjælpe en angriber med at udnytte en sårbarhed, også hjælpe en forsvarer med at finde, reproducere og udbedre den pålideligt. Overblokering skaber derfor en sikkerhedsrisiko i sig selv. Det kan forhindre forsvarere i at teste systemer og udrulle patches, mens ondsindede aktører fortsætter med at bruge andre modeller, herunder stadig mere avancerede open source-modeller, samt etablerede værktøjer. Effektive sikkerhedsforanstaltninger tager højde for konteksten og de sandsynlige konsekvenser af en anmodning, så legitimt defensivt arbejde bevares, mens der anvendes strengere kontrolforanstaltninger, hvor bevismaterialet peger på en alvorlig risiko for skade.

Sikkerhedsforanstaltningerne i GPT‑5.6 er lagdelte for at sikre større præcision og redundans, og de er designet til hurtigt at tilpasse sig, efterhånden som nye angreb opstår. Beskyttelsesmekanismer, der er trænet ind i modellen, fungerer sammen med kontroller i realtid, løbende overvågning og håndhævelse på kontoniveau for at hjælpe systemet med at forblive sikkert, selv når et bestemt lag ikke fungerer efter hensigten. I mange systemer afgør klassifikatorflag alene, hvad der skal blokeres, baseret på modeller med lavere intelligens, som er sværere at ændre for at forhindre skade. Vores tilgang tilføjer en ræsonneringsovervågning, der gennemgår samtalen for at afgøre, om der er risiko for skade. Dette design er beregnet til at muliggøre defensivt arbejde, mens alvorligt misbrug blokeres, og de mest følsomme funktioner forbeholdes verificerede brugere via Trusted Access. Fordi nogle beskyttelser bruger ræsonnering ved testtidspunktet, kan vi hurtigt opdatere dem for at lukke huller uden at træne klassifikatorer på ny fra bunden.

Vi vælger en mere forsigtig tilgang, mens vi fortsat styrker systemet mod adaptive angreb. Sammenlignet med tidligere modeller blokerer vores GPT‑5.6 Sol cybersikkerhedsforanstaltninger omtrent ti gange så mange potentielt skadelige aktiviteter. Da disse foranstaltninger kan medføre besvær for legitim brug, tilbyder vi i ChatGPT og Codex en mulighed for nemt at gentage prompter på modeller med lavere kapacitet, og vi vil fortsat arbejde på at mindske indvirkningen af vores sikkerhedsforanstaltninger på legitim brug, samtidig med at vi opretholder en høj standard for robusthed. Dette afspejler vores iterative implementeringsstrategi: vi starter forsigtigt og forbedrer løsningen på baggrund af det, vi lærer fra brugen i praksis.

Før generel tilgængelighed gennemførte vi vores hidtil mest intensive sikkerhedsevalueringer, herunder omfattende red-teaming, robust test af kapaciteter og sikkerhedsforanstaltninger med eksterne eksperter samt cirka 700.000 A100e-GPU-timer med automatiseret black-box-red-teaming. Det gjorde det muligt for os systematisk at afprøve sandsynlige svage punkter, identificere jailbreaks og hjælpe os med at styrke systemet inden lanceringen.

Perfekt sikkerhed findes ikke, og vi arbejder fortsat på at sikre modeller med stadig større kapacitet. Nye svagheder vil blive opdaget, ligesom nye jailbreaks, der omgår eksisterende sikkerhedsforanstaltninger, også vil blive opdaget. Hver ny generation af modeller vil også skabe nye muligheder for angreb og misbrug. Vi forbereder os på denne virkelighed gennem flerlagede sikkerhedsforanstaltninger, løbende overvågning, hurtig afhjælpning og samarbejde på tværs af sikkerhedssamfundet. I forbindelse med GPT‑5.6 har vi kombineret vores eksisterende bug bounty-programmer inden for sikkerhed(åbner i et nyt vindue) og bug bounty-programmer inden for biologi med en ny proces til hurtig udbedring og vores hidtil stærkeste overvågningsindsats. Resultater fra forskere, overvågning og reelle tilfælde af misbrug vil løbende indgå i nye vurderinger og styrke sikkerhedsforanstaltningerne.

Læs mere om vores sikkerhedsforanstaltninger i det opdaterede GPT‑5.6-systemkort(åbner i et nyt vindue).

Tilgængelighed og priser

GPT‑5.6 omfatter tre modelniveauer: Sol, vores flagskibsmodel; Terra, en billigere model med ydeevne, der kan konkurrere med GPT‑5.5; og Luna, vores hurtigste og mest prisvenlige model. Tallet identificerer generationen, mens Sol, Terra og Luna er varige funktionsniveauer, der kan udvikle sig i deres eget tempo.

GPT‑5.6 er tilgængelig i dag på tværs af ChatGPT, Codex og OpenAI API'en. Udrulningen starter globalt nu og fortsætter gradvist mod fuld tilgængelighed i løbet af de næste 24 timer.

  • Chat: Brugere af Plus, Pro, Business og Enterprise får adgang til GPT‑5.6 Sol gennem mellem- og høje indsatsindstillinger. Pro- og Enterprise-brugere kan også vælge GPT‑5.6 Sol Pro for at få resultater af højeste kvalitet på komplekse opgaver.
  • ChatGPT Work og Codex: Free- og Go-brugere har adgang til GPT‑5.6 Terra. Plus-, Pro-, Business- og Enterprise-brugere kan vælge mellem GPT‑5.6 Sol, Terra og Luna, og angive et indsatsniveau for hver af dem. max er tilgængelig for alle brugere med adgang til GPT‑5.6 i ChatGPT Arbejde og Codex og kan slås til i indstillingerne. I ChatGPT Arbejde er ultra tilgængelig for Pro- og Enterprise-brugere. I Codex er den tilgængelig for Plus-abonnementer og derover.
  • API: Udviklere kan få adgang til Sol, Terra og Luna gennem OpenAI API. I Responses API'et gør programmatisk værktøjsopkald det muligt for GPT‑5.6 at skrive og køre programmer i hukommelsen, som koordinerer værktøjer og behandler foreløbige resultater, hvilket gør det kompatibelt med ingen datalagring (Zero Data Retention, ZDR). Multi-agent, der i første omgang er tilgængelig i beta, giver GPT‑5.6 mulighed for at køre samtidige underagenter og samle deres arbejde i én enkelt anmodning.

GPT‑5.6 er prissat pr. 1 mio. tokens på tværs af tre modelstørrelser: Sol koster 5 USD for input/30 USD for output; Terra koster 2,50 USD for input/15 USD for output; og Luna koster 1 USD for input/6 USD for output. GPT‑5.6 introducerer også mere forudsigelig prompt-caching, herunder understøttelse af eksplicitte cache-breakpoints(åbner i et nyt vindue) og en minimumslevetid for cachen på 30 minutter. For GPT‑5.6 og nyere modeller faktureres cache-skrivninger til 1,25 gange modellens takst for ikke-cachelagret input, mens cache-læsninger fortsat får 90 % rabat på cachelagret input.

Professionel

EvalGPT‑5.6 SolGPT‑5.6 TerraGPT‑5.6 LunaGPT‑5.5Claude Fable 5Claude Opus 4.8Gemini 3.1 Pro PreviewGemini 3.5 Flash
Agents' Last Exam527 %504 %503 %469 %405 %452 %321 %
GDPval-AA v21.747,8 Elo1.593 Elo1.591,8 Elo1.493,7 Elo1.759,6 Elo1.600,1 Elo9623 Elo1.348,8 Elo
Ledelsesrådgivningsopgaver (interne)432 %372 %354 %313 %355 %316 %132 %
Big Finance Bench53 %51 %36 %49 %44 %
Artificial Analysis Intelligens Index v4.1589 Indeks score55 Indeks score512 Indeksscore548 Indeksscore599 Indeksscore557 Indeksscore465 Indeksscore502 Indeksscore

Kodning

EvalGPT‑5.6 SolGPT‑5.6 Sol UltraGPT‑5.6 TerraGPT‑5.6 LunaGPT‑5.5Claude Mythos 5Claude Mythos PreviewClaude Fable 5Claude Opus 4.8Gemini 3.1 Pro Preview
Artificial Analysis Coding Agent Index v1.180 Indeksscore774 Indeksscore746 Indeksscore764 Indeksscore772 Indeksscore725 Indeksscore427 Indeksscore
SWE-Bench Pro646 %634 %627 %594 %803 %778 %80 %692 %542 %
DeepSWE v1.1727 %696 %672 %67 %697 %59 %118 %
Terminal-Bench 2.1888 %919 %874 %847 %856 %88 %831 %789 %707 %

Videnskab

EvalGPT‑5.6 SolGPT‑5.6 TerraGPT‑5.6 LunaGPT‑5.5Claude Mythos 5Claude Mythos PreviewClaude Fable 5Claude Opus 4.8
MedChemBench483 %35 %304 %355 %
LifeSciBench599 %56 %512 %504 %
HealthBench Professional605 %577 %557 %495 %66 %647 %609 %53 %

Computerbrug

EvalGPT‑5.6 SolGPT‑5.6 Sol UltraGPT‑5.6 TerraGPT‑5.6 LunaGPT‑5.5Claude Mythos 5Claude Mythos PreviewClaude Opus 4.8Gemini 3.1 Pro Preview
OSWorld 2.0626 %502 %456 %475 %548 %
BrowseComp904 %922 %875 %833 %844 %88 %879 %843 %859 %
BenchCAD706 %623 %631 %444 %384 %355 %273 %
BenchCAD (Python-værktøj)834 %782 %739 %558 %65 %61 %518 %

Cybersikkerhed

EvalGPT‑5.6 SolGPT‑5.6 Sol UltraGPT‑5.6 TerraGPT‑5.6 LunaGPT‑5.5Claude Mythos 5Claude Mythos PreviewClaude Opus 4.8
Capture the Flag-udfordringer967 %918 %852 %881 %
SEC-Bench Pro712 %743 %577 %489 %458 %
CyberGym845 %818 %779 %818 %838 %83 %781 %
ExploitBench735 %529 %332 %479 %78 %742 %40 %
ExploitGym337 %232 %124 %151 %

Selvforbedring

EvalGPT‑5.6 SolGPT‑5.6 TerraGPT‑5.6 LunaGPT‑5.5
Intern evaluering af forskningsfejlfinding683 %678 %508 %50 %
KernelGen 1P611 %492 %224 %293 %
NanoGPT969 %145 %166 %265 %
PostTrainBench Lite503 %515 %296 %388 %
RSI-indeks579 %563 %419 %417 %

Multimodal

EvalGPT‑5.6 SolGPT‑5.6 TerraGPT‑5.6 LunaGPT‑5.5Claude Fable 5Claude Opus 4.8Gemini 3.1 Pro Preview
MMMU Pro (uden værktøjer)83 %807 %784 %812 %805 %
MMMU Pro (med værktøjer)846 %82 %795 %832 %
gdp.pdf307 %247 %227 %26 %298 %225 %167 %

Akademisk

EvalGPT‑5.6 SolGPT‑5.6 TerraGPT‑5.6 LunaGPT‑5.5Claude Mythos 5Claude Mythos PreviewClaude Fable 5Claude Opus 4.8Gemini 3.1 Pro Preview
GPQA Diamond946 %929 %923 %936 %941 %946 %926 %92 %943 %
FrontierMath Niveau 1-3 (v2)89 %849 %786 %853 %87 %80 %596 %
FrontierMath Niveau 4 (v2)83 %683 %585 %725 %878 %561 %

Brug af værktøjer

EvalGPT‑5.6 SolGPT‑5.6 TerraGPT‑5.6 LunaGPT‑5.5Claude Mythos 5Claude Mythos PreviewClaude Fable 5Claude Opus 4.8Gemini 3.1 Pro PreviewGemini 3.5 Flash
AutomationBench181 %152 %149 %129 %174 %155 %145 %
Toolathlon58 %531 %534 %556 %617 %611 %617 %599 %488 %

Lang kontekst

EvalGPT‑5.6 SolGPT‑5.6 TerraGPT‑5.6 LunaGPT‑5.5Claude Mythos 5Claude Mythos PreviewClaude Opus 48
OpenAI MRCR v2 8-nåls 256K-512K915 %896 %413 %815 %
OpenAI MRCR v2 8-nåls 512K-1M738 %725 %413 %74 %
GraphWalks BFS 256k f1907 %769 %813 %737 %911 %857 %859 %
GraphWalks BFS 1 mio. f1771 %712 %512 %454 %794 %743 %681 %

Abstrakt tænkning

EvalGPT‑5.6 SolGPT‑5.6 TerraGPT‑5.6 LunaGPT‑5.5Claude Opus 4.8Gemini 3.1 Pro Preview
ARC-AGI-3⁷7.78%0.8%0.18%0.43%1.5%0.42%

Skrevet af

OpenAI

Fodnoter

1. Cyberkapaciteter evalueres med reducerede sikkerhedsforanstaltninger. Brugere kan tilmelde sig OpenAI Daybreak’s Trusted Access for Cyber program for at få øget adgang til defensive cyberevner.

2. Alle modeller evalueres med ExploitBench API-harness med 5 seeds og ræsonneringskontinuitet.

3. Vi kørte ExploitGym på vores alfa-API, som returnerer svar hurtigere end vores offentlige API, og skalerede derefter resultaterne om, så de matcher vores offentlige API. Når latenstider skaleres om til de hastigheder, der forventes for vores offentlige API, medfører det, at nogle estimerede latenstider overskrider tidsgrænserne på to og seks timer, selvom de blev overholdt korrekt i evalueringskørslen. For at få højere hastigheder til tidsfølsomt arbejde tilbyder vi prioriteret behandling⁠ i API'et og hurtigtilstand⁠ i Codex.

Fire. Vi estimerer latens og API-omkostninger ved at se på vores modellers produktionsadfærd og simulere offline. Disse estimater tager højde for detaljer om værktøjskald, udvalgte tokens og inputtokens. Resultater i den virkelige verden kan variere meget og afhænger af mange faktorer, som ikke indgår i vores simulering. Vi simulerer latenstid ved hurtige API-responstider og omkostninger ved standard API-priser.

5. Modeller uden rapporterede output-token, latens eller priser vises som vandrette stiplede linjer.

6. For flere agenter udledes latenstiden fra rodagenten, mens outputtoken og samlede API-omkostninger omfatter alle tokens. Ultra køres med fire agenter.

7. Vi beregner point med den officielle scoringsmetode, der er beskrevet i HealthBench Professional-artiklen, og som ikke kan sammenlignes med resultaterne rapporteret i Anthropic systemkort.

8. ARC-AGI-3 for Opus 4.8 blev kørt med høj og ikke maksimal ræsonnering, da dette er det eneste offentliggjorte ARC-AGI-3-resultat.