Hoe GPT‑5.6 grensverleggende intelligentie verenigt met grensverleggende efficiëntie

We hebben de GPT‑5.6‑modelfamilie ontworpen om mogelijkheden en kosten in balans te brengen voor het hele spectrum aan taken waarvoor mensen onze modellen gebruiken. Ons vlaggenschipmodel GPT‑5.6 Sol presteert met maximale redenering beter dan Claude Fable 5 op de Artificial Analysis Coding Agent Index, tegen minder dan de helft van de kosten. Terra presteert op intelligentiebenchmarks even goed als GPT‑5.5 voor de helft van de prijs, en Luna is ons snelste en betaalbaarste model, met een prijs die 80% lager ligt dan die van Sol. Om deze efficiëntiewinst te realiseren, hebben onze onderzoeks- en technische teams elke belangrijke laag van onze stack aanzienlijk geoptimaliseerd. Deze verbeteringen omvatten onze modellen, inferentie (hoe we modellen uitvoeren om uitvoer te genereren) en onze agentische harness, die zowel Codex als ChatGPT Work gebruikt.

Terwijl we onze modellen de afgelopen vier jaar hebben opgeschaald naar 1 miljard actieve gebruikers en meer dan 2 miljoen bedrijven, stond efficiëntie centraal bij het voor iedereen toegankelijk maken van de voordelen van intelligentie. Onze missie is ervoor te zorgen dat kunstmatige algemene intelligentie de hele mensheid ten goede komt. In deze jaren hebben we voortdurend gewerkt aan verdere optimalisatie van onze hele stack, zodat we op elk punt van de kosten-intelligentiecurve de best presterende modellen kunnen bieden. Met GPT‑5.6 bereikten we onze hoogste efficiëntie in intelligentie per token tot nu toe. Het model is getraind om meer werk per token uit te voeren. Tijdens de training optimaliseren we zowel voor het succesvol voltooien van taken als voor efficiëntie, zodat het model een directere route door een taak volgt.

In dit artikel kijken we verder dan onze modellen en laten we zien hoe we efficiëntie hebben ingebouwd via vooruitgang in twee andere belangrijke delen van de stack: 1) inferentie, waarbij we processen zoals taakverdeling, speculatief decoderen, caching en kerneloptimalisatie verbeteren om meer uitvoer uit dezelfde hardware te halen; en 2) onze agentische harness, met onder meer beter beheer van uitdijende context, toolgebruik en herhaald werk. We bespreken ook hoe GPT‑5.6 Sol verschillende van deze verbeteringen zelfstandig heeft gerealiseerd. Hoewel een afzonderlijke verbetering misschien beperkt lijkt, versterken deze resultaten elkaar, zodat we grensverleggend kunnen zijn in zowel intelligentie als efficiëntie.

In een wereld met beperkte rekenkracht, waarin de vraag naar modellen sneller groeit dan de capaciteit, staat efficiëntie centraal in elk systeemontwerp. Dat geldt vooral voor onze inferentiestack, die getrainde modellen uitvoert om antwoorden te genereren. Ons voornaamste doel is met dezelfde hardware meer tokens te verwerken, met behoud van de intelligentie, latentie, beschikbaarheid en betrouwbaarheid die gebruikers verwachten.

Daarvoor moet het hele systeem worden geoptimaliseerd. Een model kan op zichzelf zeer efficiënt zijn, maar toch duur in gebruik blijven als aanvragen slecht worden verdeeld, hardware niet wordt benut of gegevensverplaatsing de berekeningen vertraagt. Verbeteringen in elke laag versterken elkaar. De winst komt uit optimalisaties van routering (waar aanvragen naartoe gaan), planning (wanneer aanvragen worden verzonden), kernels (software die op GPU's draait), caching (opgeslagen en hergebruikt werk) en modelimplementatie (de volgorde van GPU-code). GPT‑5.6 Sol in Codex speelde een cruciale rol bij al deze optimalisaties.

Het eerste belangrijke voorbeeld is taakverdeling. Wereldwijd routeren we aanvragen op basis van factoren zoals geografie, beschikbare capaciteit en acceleratortype (het type GPU of gespecialiseerde chip waarop het model draait). Binnen een cluster verdelen we werk over modelinstanties op basis van belasting, contextlengte, cachebeschikbaarheid en andere eigenschappen van de aanvraag. Binnen elke instantie moet het werk vervolgens efficiënt worden verdeeld over accelerators, de subnetwerken van het model en rekenkernen. GPT‑5.6 Sol in Codex helpt ons productieverkeer te analyseren, eerder gemiste oorzaken van onbalans te vinden, nieuwe routeringsstrategieën te testen en deze heuristieken voortdurend af te stemmen. Alleen al deze verbeteringen in taakverdeling hebben de kosten voor het aanbieden van onze modellen drastisch verlaagd.

We hebben GPT‑5.6 Sol ook gebruikt om de forward pass van het model te optimaliseren: de berekening die invoer omzet in voorspellingen voor het volgende token. Zelfs als afzonderlijke bewerkingen snel zijn, kunnen overmatige geheugenverplaatsing, synchronisatie en inefficiënte gegevensindelingen ervoor zorgen dat GPU's niet worden benut. Om dit te voorkomen, vond GPT‑5.6 Sol werk dat vooraf kon worden berekend, vermeden of geparalleliseerd. Met Codex herschreef en optimaliseerde GPT‑5.6 Sol zelfstandig onze productiekernels: de kerncode die de wiskundige bewerkingen van het model uitvoert. Dit werkte mede doordat we GPT‑5.6 hebben getraind om effectief kernels te schrijven en verbeteren in Triton⁠(opent in een nieuw venster) en Gluon⁠(opent in een nieuw venster), twee opensource-programmeertalen voor GPU's die door OpenAI worden onderhouden. Deze inspanningen hebben, samen met bredere kernelverbeteringen van GPT‑5.6 Sol, de totale gebruikskosten met 20% verlaagd. We hebben ook fors geïnvesteerd in verificatietools, zoals de opensourcetool FpSan⁠(opent in een nieuw venster) (Floating-Point Sanitizer), om de juistheid van de door GPT‑5.6 Sol geschreven kernels te valideren.

Speculatief decoderen is een andere manier om snelheid en efficiëntie te verbeteren. Bij deze techniek draait naast het primaire model een kleiner conceptmodel (of een "speculator"), dat verschillende tokens voorstelt die het primaire model parallel verifieert. Wanneer die voorstellen worden geaccepteerd, kan het systeem met één doorgang van het primaire model meerdere uitvoertokens produceren, waardoor minder dure sequentiële berekeningen nodig zijn. GPT‑5.6 Sol verbeterde zijn eigen conceptmodel door honderden experimenten met de architectuur te ontwerpen en uit te voeren, waarbij wijzigingen in omvang, structuur en functies werden getest. Daarnaast startte en bewaakte GPT‑5.6 Sol het trainingsproces van de speculator en greep het zelfstandig in bij problemen, waaronder hardwarestoringen en instabiele training. De resulterende verbeteringen verhoogden de efficiëntie van tokengeneratie met meer dan 15%.

Bij het verwerken van niet-gecachete invoertokens bouwt het model de key-value-cache (KV-cache) op in één rekenintensieve doorgang. Bij het genereren van uitvoer leest het herhaaldelijk uit die cache en breidt het die uit. De optimale configuratie voor gebruik, zoals batching, sharding en KV-beheer, hangt sterk af van de werklast: lengte van prompt en uitvoer, batchgrootte, cachehitpercentage, aanvraageigenschappen en meer. De configuratieruimte was voorheen echter te groot om systematisch af te stemmen, waardoor technici moesten vertrouwen op algemene heuristieken. Met GPT‑5.6 Sol in Codex konden we productiewerklasten analyseren, mogelijke configuraties genereren en beoordelen, en de configuratie van de engine en het model voor elk scenario tot in detail optimaliseren. Hierdoor wordt een nieuw niveau van werklastspecifieke optimalisatie haalbaar en halen we meer nuttige inferentie uit dezelfde hardware.

Inferentieoptimalisatie is een voortdurende feedbacklus. We meten het productiegedrag, bepalen waar de grootste tekortkomingen zitten, voeren wijzigingen door en controleren of die het hele systeem verbeteren in plaats van alleen een afzonderlijke benchmark. GPT‑5.6 Sol en Codex versnellen elk onderdeel van die lus. Daardoor kan ons team meer ideeën verkennen, sneller reageren op veranderende werklasten en een inferentiestack bouwen met lagere latentie, meer capaciteit en lagere kosten voor gebruikers.

ChatGPT Work en Codex voltooien complexe taken via een reeks modelaanvragen en toolaanroepen. Binnen één beurt, van het verzoek van de gebruiker tot het uiteindelijke antwoord, kan Codex broncode inspecteren, de implementatiegeschiedenis doorzoeken, incidentrapporten lezen, een bestand bewerken en tests uitvoeren. Voor elke stap kan een aanvraag nodig zijn.

Context voorbereiden, gegevens verzenden, inferentie uitvoeren, tools aanroepen en processen starten kosten allemaal tijd en rekenkracht. Als een taak 30 modelaanvragen vereist, telt een extra seconde per aanvraag flink op. Om de algehele prestaties te verbeteren, moet herhaald werk in het hele systeem worden verminderd; alleen het model versnellen is niet genoeg.

Deze vermenigvuldigende effecten hebben het ontwerp bepaald van onze agentische harness, een orkestratielaag in Rust die onze modellen, tools en de omgeving van de gebruiker met elkaar verbindt. Hierna bespreken we hoe het voorkomen van uitdijende context, het laden van tools en het hergebruiken van werk elke aanvraag efficiënter maken.

Naarmate agents toegang krijgen tot meer tools, vaardigheden, plug-ins en gespreksgeschiedenis, kunnen contextvensters gemakkelijk groter worden. Dit verhoogt de kosten, leidt het model af en veroorzaakt onnodige redenering. De harness kan deze overhead beperken via uitgestelde detectie, waardoor integraties, aangepaste MCP-tools, vaardigheden en plug-ins pas zichtbaar worden wanneer ze nodig zijn. De harness voorkomt ook dat afzonderlijke tools en MCP-integraties onverwacht het contextvenster opslokken. Tooluitvoer is standaard beperkt tot 10.000 tokens, tenzij het model om een andere limiet vraagt.

Zoals eerder vermeld, kan een agentlus binnen één beurt dezelfde instructies, gespreksgeschiedenis, tooldefinities en eerdere resultaten meerdere keren naar de GPU's sturen. Het verwerken van deze herhaalde invoer is kostbaar. Daarom hergebruikt promptcaching de berekening die bij een eerder verwerkt promptvoorvoegsel hoort. Om dat voorvoegsel te behouden, behandelt de harness alle voor het model zichtbare geschiedenis als alleen-uitbreidbaar: nieuwe berichten, toolresultaten en omgevingsupdates worden aan het einde toegevoegd in plaats van in eerdere context ingevoegd. Tools worden ook in een vaste volgorde aangeboden, terwijl runtime-instellingen, zoals goedkeuringsbeleid, tijdens de uitvoering worden toegepast in plaats van in tooldefinities te worden opgenomen. Deze ontwerpkeuze draagt bij aan de hoge algemene hitpercentages van de promptcache van Codex en ChatGPT Work.

De efficiëntiewinst die we met GPT‑5.6 hebben behaald, is het resultaat van jaren aan verbeteringen die elkaar in de hele stack versterken, van onderzoek en inferentie tot onze agentische harness. De rol van GPT‑5.6 bij veel van deze verbeteringen stemt ons optimistisch over de versnelling van het optimalisatietempo. We blijven grotere optimalisaties doorvoeren op gebieden zoals kerneloptimalisatie, naast fundamentele verbeteringen aan onze stack. We kijken ernaar uit om deze voortdurende verbeteringen achter de schermen aan onze gebruikers en klanten door te geven in de vorm van breder beschikbare, kostenefficiënte intelligentie.

Speciale dank aan Matthew Ferrari, Philippe Tillet, Ahmed Ibrahim, Joe Gershenson en Steve Coffey, leden van de technische staf, voor hun bijdragen aan dit artikel.