Slik forener GPT‑5.6 banebrytende intelligens og effektivitet

Vi utviklet modellfamilien GPT‑5.6 for å balansere kapasitet og kostnader på tvers av oppgavene folk bruker modellene våre til. Flaggskipmodellen vår, GPT‑5.6 Sol, overgår Claude Fable 5 med Max-resonnering på Artificial Analysis Coding Agent Index til under halvparten av kostnaden. Terra gjør det like godt som GPT‑5.5 på referansetester for intelligens til halve prisen, mens Luna er vår raskeste og rimeligste modell og koster 80 % mindre enn Sol. For å oppnå denne effektiviteten har forsknings- og teknologiteamene våre gjort betydelige optimaliseringer i alle de viktigste lagene av teknologistakken. Forbedringene omfatter modellene våre, inferens (hvordan vi kjører modeller for å generere utdata) og det agentbaserte rammeverket som brukes av både Codex og ChatGPT Work.

I løpet av de siste fire årene har vi skalert modellene våre til én milliard aktive brukere og over to millioner bedrifter. Effektivitet har vært avgjørende for å gjøre fordelene ved intelligens tilgjengelige for alle. Målet vårt er å sikre at kunstig generell intelligens kommer hele menneskeheten til gode. Gjennom disse årene har vi arbeidet kontinuerlig med å optimalisere hele teknologistakken, slik at vi kan tilby modellene med best ytelse på hvert punkt langs kostnads- og intelligenskurven. Med GPT‑5.6 har vi oppnådd vår hittil beste effektivitet målt i intelligens per token. Modellen er trent til å utføre mer arbeid per token. Under treningen optimaliserer vi både for vellykket oppgaveløsning og effektivitet, slik at modellen følger en mer direkte vei gjennom oppgaven.

Dette innlegget ser utover modellene våre og beskriver hvordan vi har utviklet to andre sentrale deler av teknologistakken for høyere effektivitet: 1) inferens, der vi optimaliserer prosesser som lastbalansering, spekulativ dekoding, hurtigbufring og kjerner for å få mer ut av den samme maskinvaren, og 2) det agentbaserte rammeverket, blant annet gjennom bedre håndtering av kontekstvekst, verktøybruk og gjentatt arbeid. Vi forklarer også hvordan GPT‑5.6 Sol selvstendig bidro til flere av disse gevinstene. Hver enkelt forbedring kan virke begrenset, men til sammen gjør gevinstene det mulig å levere banebrytende intelligens og effektivitet.

I en verden med begrenset regnekapasitet, der etterspørselen etter modeller vokser raskere enn kapasiteten, står effektivitet sentralt i all systemdesign. Dette gjelder særlig inferensstakken vår, som kjører trente modeller for å generere svar. Hovedmålet vårt er å behandle flere tokener med den samme maskinvaren, samtidig som vi opprettholder intelligensen, svartiden, tilgjengeligheten og påliteligheten brukerne forventer.

Det krever at hele systemet optimaliseres. En modell kan være svært effektiv isolert sett, men likevel være dyr å drifte hvis forespørslene fordeles dårlig, maskinvaren står ubrukt eller dataflytting forsinker beregningene. Forbedringer på hvert lag forsterker hverandre. Gevinstene kommer fra optimalisering av ruting (hvor forespørslene sendes), planlegging (når de sendes), kjerner (programvare som kjører på GPU-er), hurtigbufring (arbeid som lagres og gjenbrukes) og modellimplementering (rekkefølgen GPU-koden kjøres i). GPT‑5.6 Sol i Codex spilte en avgjørende rolle i alle disse optimaliseringene.

Det første viktige eksemplet er lastbalansering. Globalt ruter vi forespørsler basert på faktorer som geografi, tilgjengelig kapasitet og akseleratortype (typen GPU eller spesialbrikke som kjører modellen). I en klynge fordeler vi arbeidet mellom modellinstanser basert på belastning, kontekstlengde, tilgjengelig hurtigbuffer og andre egenskaper ved forespørselen. I hver instans må arbeidet deretter fordeles effektivt mellom akseleratorer, modellens delnettverk og prosessorkjerner. GPT‑5.6 Sol i Codex hjelper oss med å analysere produksjonstrafikk, finne tidligere oversette årsaker til ubalanse, teste nye rutingstrategier og finjustere disse heuristikkene kontinuerlig. Bare disse forbedringene i lastbalanseringen reduserte kostnadene ved å drifte modellene våre betydelig.

Vi brukte også GPT‑5.6 Sol til å optimalisere modellens fremoverpassering: beregningen som omdanner inndata til prediksjoner av neste token. Selv når enkeltoperasjoner er raske, kan unødvendig minneflytting, synkronisering og ineffektive dataoppsett føre til at GPU-er blir stående uvirksomme. For å unngå dette fant GPT‑5.6 Sol arbeid som kunne forhåndsberegnes, unngås eller parallelliseres. Ved hjelp av Codex skrev GPT‑5.6 Sol selvstendig om og optimaliserte produksjonskjernene våre – kjernekoden som utfører de matematiske operasjonene modellen består av. Dette fungerte blant annet fordi vi har trent GPT‑5.6 til å skrive og forbedre kjerner effektivt i Triton⁠(åpnes i et nytt vindu) og Gluon⁠(åpnes i et nytt vindu), to GPU-programmeringsspråk med åpen kildekode som vedlikeholdes av OpenAI. Denne innsatsen reduserte de samlede driftskostnadene med 20 %, sammen med mer omfattende kjerneforbedringer fra GPT‑5.6 Sol. Vi har også investert mye i verktøy for verifisering, som åpen kildekode-verktøyet FpSan⁠(åpnes i et nytt vindu) (Floating-Point Sanitizer), for å kontrollere at kjernene GPT‑5.6 Sol skriver, er korrekte.

Spekulativ dekoding er et annet virkemiddel for å øke hastigheten og effektiviteten. Teknikken innebærer å kjøre en mindre utkastmodell (eller «spekulator») sammen med hovedmodellen. Den foreslår flere tokener som hovedmodellen kan kontrollere parallelt. Når forslagene godtas, kan systemet produsere flere utdatatokener i én passering gjennom hovedmodellen og dermed redusere mengden kostbare sekvensielle beregninger. GPT‑5.6 Sol forbedret sin egen utkastmodell ved å utforme og gjennomføre hundrevis av eksperimenter med arkitekturen og teste endringer i størrelse, struktur og funksjoner. GPT‑5.6 Sol startet og overvåket dessuten treningen av spekulatoren og grep selvstendig inn når det oppsto problemer, blant annet maskinvarefeil og ustabil trening. Forbedringene økte effektiviteten i tokengenereringen med mer enn 15 %.

Når modellen behandler inndatatokener som ikke er bufret, bygger den nøkkel-verdi-hurtigbufferen (KV) i én beregningsintensiv passering. Når den genererer utdata, leser den gjentatte ganger fra og utvider denne hurtigbufferen. Den optimale driftskonfigurasjonen, for eksempel gruppering, partisjonering og KV-administrasjon, avhenger i stor grad av arbeidsbelastningen – lengden på prompt og utdata, gruppestørrelse, treffprosent i hurtigbufferen, forespørslenes egenskaper med mer. Tidligere var konfigurasjonsrommet imidlertid for stort til å kunne finjusteres systematisk, så utviklerne måtte basere seg på generelle heuristikker. Med GPT‑5.6 Sol i Codex kunne vi analysere produksjonsbelastninger, generere og evaluere mulige konfigurasjoner og finoptimalisere hvordan motoren og modellen konfigureres for hvert scenario. Dermed blir et nytt nivå av belastningsspesifikk optimalisering praktisk mulig, slik at den samme maskinvaren kan levere mer nyttig inferens.

Inferensoptimalisering er en kontinuerlig tilbakemeldingssløyfe. Vi måler atferden i produksjon, finner de største forbedringsområdene, gjennomfører endringer og kontrollerer at de forbedrer hele systemet – ikke bare en isolert ytelsestest. GPT‑5.6 Sol og Codex gjør alle deler av denne sløyfen raskere. Det betyr at teamet vårt kan utforske flere ideer, reagere raskere på endrede arbeidsbelastninger og utvikle en inferensstakk med kortere svartid, større kapasitet og lavere kostnader for brukerne.

ChatGPT Work og Codex løser komplekse oppgaver gjennom en serie modellforespørsler og verktøykall. I én brukerhenvendelse – fra brukerens forespørsel til det endelige svaret – kan Codex undersøke kildekode, søke i utrullingshistorikken, lese hendelsesrapporter, redigere en fil og kjøre tester. Hvert trinn kan kreve en egen forespørsel.

Det tar både tid og regnekraft å forberede kontekst, overføre data, kjøre inferens, kalle verktøy og starte prosesser. Hvis en oppgave krever 30 modellforespørsler, utgjør ett ekstra sekund per forespørsel mye til sammen. Bedre samlet ytelse krever at gjentatt arbeid reduseres i hele systemet – ikke bare at modellen blir raskere.

Disse multiplikatoreffektene har påvirket utformingen av det agentbaserte rammeverket vårt, et orkestreringslag i Rust som kobler sammen modellene, verktøyene og brukerens miljø. Nå skal vi se på hvordan mindre kontekstvekst, innlasting av verktøy og gjenbruk av arbeid gjør hver forespørsel mer effektiv.

Når agenter får tilgang til flere verktøy, ferdigheter, programtillegg og mer samtalehistorikk, kan kontekstvinduene raskt vokse. Dette øker kostnadene, distraherer modellen og utløser unødvendig resonnering. Rammeverket kan redusere denne belastningen gjennom utsatt oppdagelse, slik at integrasjoner, egendefinerte MCP-verktøy, ferdigheter og programtillegg bare blir tilgjengelige ved behov. Rammeverket hindrer også at enkeltverktøy og MCP-integrasjoner uventet fyller opp kontekstvinduet. Utdata fra verktøy er som standard begrenset til 10 000 tokener, med mindre modellen ber om en annen grense.

Som nevnt tidligere kan en agentsløyfe sende de samme instruksjonene, samtalehistorikken, verktøydefinisjonene og tidligere resultatene til GPU-ene flere ganger i én og samme brukerhenvendelse. Det er kostbart å behandle disse gjentatte inndataene, så promptbufring gjenbruker beregningen som er knyttet til et tidligere behandlet promptprefiks. For å bevare dette prefikset behandler rammeverket all historikk som er synlig for modellen, som skrivebeskyttet: Nye meldinger, verktøyresultater og miljøoppdateringer legges til på slutten i stedet for å settes inn i tidligere kontekst. Verktøy presenteres også i en deterministisk rekkefølge, mens kjøretidsinnstillinger, for eksempel godkjenningsregler, brukes under kjøring i stedet for å bygges inn i verktøydefinisjonene. Dette designvalget bidrar til den høye samlede treffprosenten for promptbufring i Codex og ChatGPT Work.

Effektivitetsgevinstene vi har oppnådd med GPT‑5.6, er resultatet av flere år med forbedringer som har forsterket hverandre på tvers av hele teknologistakken – innen forskning, inferens og det agentbaserte rammeverket vårt. Rollen GPT‑5.6 har spilt i mange av disse forbedringene, gjør oss optimistiske med tanke på hvor raskt optimaliseringene vil utvikle seg fremover. Vi vil fortsette å optimalisere blant annet kjernene, samtidig som vi gjør grunnleggende forbedringer i teknologistakken. Vi ser frem til å gi brukerne og kundene våre nytte av disse løpende forbedringene under panseret, i form av mer tilgjengelig og kostnadseffektiv intelligens.

En særlig takk til Matthew Ferrari, Philippe Tillet, Ahmed Ibrahim, Joe Gershenson og Steve Coffey, Members of Technical Staff, for bidragene deres til dette innlegget.