Suunnittelimme GPT‑5.6‑malliperheen tasapainottamaan suorituskyvyn ja kustannukset kaikissa tehtävissä, joihin ihmiset käyttävät mallejamme. Lippulaivamallimme GPT‑5.6 Sol Max-päättelyllä päihittää Claude Fable 5:n Artificial Analysis Coding Agent Index -vertailussa alle puolella sen kustannuksista. Terra yltää älykkyysvertailuissa GPT‑5.5:n tasolle puoleen hintaan, ja Luna on nopein ja edullisin mallimme: sen hinta on 80 % Solia alhaisempi. Näiden tehokkuushyötyjen saavuttamiseksi tutkimus- ja tekniset tiimimme ovat tehneet merkittäviä optimointeja teknologiakerroksemme kaikilla keskeisillä tasoilla. Parannukset kattavat mallimme, päättelyajon eli tavan, jolla malleilla tuotetaan tulosteita, sekä Codexin ja ChatGPT Workin käyttämän agenttien arviointikehyksen.
Kun malliemme käyttö on kasvanut neljän viime vuoden aikana miljardiin aktiiviseen käyttäjään ja yli kahteen miljoonaan yritykseen, tehokkuus on ollut keskeistä älykkyyden hyötyjen tuomisessa kaikille. Missiomme on varmistaa, että yleinen tekoäly hyödyttää koko ihmiskuntaa. Olemme näiden vuosien aikana jatkuvasti tehostaneet teknologiakerrostamme, jotta voimme tarjota suorituskykyisimmät mallit kustannusten ja älykkyyden välisen käyrän jokaisessa kohdassa. GPT‑5.6 nosti älykkyyden tokenkohtaista tehokkuutta enemmän kuin koskaan. Se on koulutettu tekemään enemmän työtä tokenia kohden. Koulutuksessa optimoimme sekä tehtävän onnistumista että tehokkuutta ja ohjaamme mallia etenemään tehtävän läpi suoremmin.
Tässä kirjoituksessa katsomme mallejamme pidemmälle ja kerromme, miten olemme parantaneet tehokkuutta teknologiakerroksen kahdessa muussa keskeisessä osassa: 1) päättelyajossa, jossa saamme samasta laitteistosta enemmän tulosta optimoimalla esimerkiksi kuormantasausta, spekulatiivista dekoodausta, välimuistiin tallentamista ja ytimiä, sekä 2) agenttien arviointikehyksessä, jossa hallitsemme paremmin kontekstin paisumista, työkalujen käyttöä ja toistuvaa työtä. Kerromme myös, miten GPT‑5.6 Sol toteutti useita näistä hyödyistä itsenäisesti. Yksittäinen parannus voi vaikuttaa vähäiseltä, mutta yhdessä nämä hyödyt auttavat meitä saavuttamaan sekä älykkyyden että tehokkuuden edistyneimmän tason.
Laskentakapasiteetin rajoittamassa maailmassa, jossa mallien kysyntä kasvaa kapasiteettia nopeammin, tehokkuus on jokaisen järjestelmän suunnittelun ytimessä. Tämä koskee erityisesti päättelyajon teknologiakerrostamme, joka suorittaa koulutettuja malleja vastausten tuottamiseksi. Ensisijainen tavoitteemme on käsitellä samalla laitteistolla enemmän tokeneita säilyttäen käyttäjien odottama älykkyys, viive, saatavuus ja luotettavuus.
Tämä edellyttää koko järjestelmän optimointia. Malli voi olla yksinään erittäin tehokas mutta silti kallis käyttää, jos pyynnöt jaetaan huonosti, laitteisto on joutilaana tai tiedonsiirto hidastaa laskentaa. Kaikkien kerrosten parannukset kasautuvat. Hyötyjä saadaan reitityksen (minne pyynnöt lähetetään), ajoituksen (milloin pyynnöt lähetetään), ydinten (näytönohjaimilla suoritettava ohjelmisto), välimuistiin tallentaminen (tallennettu ja uudelleenkäytetty työ) ja mallin toteutuksen (GPU-koodin suoritusjärjestys) optimoinnista. Codexissa toimiva GPT‑5.6 Sol oli keskeisessä roolissa kaikissa näissä optimoinneissa.
Ensimmäinen tärkeä esimerkki on kuormantasaus. Reititämme pyynnöt maailmanlaajuisesti esimerkiksi maantieteellisen sijainnin, käytettävissä olevan kapasiteetin ja kiihdytintyypin perusteella. Kiihdytintyyppi tarkoittaa mallia suorittavan näytönohjaimen tai erikoispiirin tyyppiä. Klusterissa jaamme työn malli-instansseille kuormituksen, kontekstin pituuden, välimuistin saatavuuden ja pyynnön muiden ominaisuuksien perusteella. Kunkin instanssin sisällä työ on puolestaan jaettava tehokkaasti kiihdyttimille, mallin aliverkoille ja laskentaytimille. Codexissa toimiva GPT‑5.6 Sol auttaa meitä analysoimaan tuotantoliikennettä, tunnistamaan aiemmin huomaamatta jääneitä epätasapainon lähteitä, testaamaan uusia reititysstrategioita ja hienosäätämään näitä heuristiikkoja jatkuvasti. Jo nämä kuormantasauksen parannukset pienensivät malliemme käyttökustannuksia huomattavasti.
Käytimme GPT‑5.6 Solia myös mallin etenemisvaiheen optimointiin. Tässä laskennassa syötteet muunnetaan seuraavan tokenin ennusteiksi. Vaikka yksittäiset operaatiot olisivat nopeita, liiallinen muistinsiirto, synkronointi ja tehottomat tietorakenteet voivat jättää näytönohjaimet joutilaiksi. Tämän välttämiseksi GPT‑5.6 Sol löysi työtä, joka voitiin esilaskea, välttää tai rinnakkaistaa. Codexin avulla GPT‑5.6 Sol kirjoitti ja optimoi itsenäisesti uudelleen tuotantoytimemme eli mallin matemaattiset operaatiot suorittavan ydinkoodin. Tämä onnistui osittain siksi, että olemme kouluttaneet GPT‑5.6:n kirjoittamaan ja parantamaan tehokkaasti ytimiä Tritonilla(avautuu uudessa ikkunassa) ja Gluonilla(avautuu uudessa ikkunassa). Ne ovat kaksi OpenAI:n ylläpitämää avoimen lähdekoodin GPU-ohjelmointikieltä. Nämä toimet ja GPT‑5.6 Solin laajemmat ydintekniset edistysaskeleet pienensivät käytön kokonaiskustannuksia 20 %. Olemme myös panostaneet voimakkaasti varmennustyökaluihin, kuten avoimen lähdekoodin FpSan(avautuu uudessa ikkunassa)-työkaluun (Floating-Point Sanitizer), jotta voimme varmistaa GPT‑5.6 Solin kirjoittamien ydinten oikeellisuuden.
Spekulatiivinen dekoodaus on toinen tapa parantaa nopeutta ja tehokkuutta. Tekniikassa ensisijaisen mallin rinnalla suoritetaan pienempää luonnosmallia eli ”spekulaattoria”, joka ehdottaa useita tokeneita ensisijaisen mallin rinnakkain tarkistettaviksi. Kun ehdotukset hyväksytään, järjestelmä voi tuottaa useita tulostokeneita yhdellä ensisijaisen mallin suorituskerralla, mikä vähentää kalliin peräkkäisen laskennan määrää. GPT‑5.6 Sol paransi omaa luonnosmalliaan suunnittelemalla ja suorittamalla satoja sen arkkitehtuuria koskevia kokeita, joissa testattiin koon, rakenteen ja ominaisuuksien muutoksia. Lisäksi GPT‑5.6 Sol käynnisti spekulaattorin koulutusprosessin ja valvoi sitä sekä puuttui itsenäisesti esimerkiksi laitteistovikojen ja koulutuksen epävakauden kaltaisiin ongelmiin. Näiden parannusten ansiosta tokenien tuottamisen tehokkuus kasvoi yli 15 %.
Käsitellessään syötetokeneita, joita ei ole välimuistissa, malli muodostaa avain-arvo- eli KV-välimuistin yhdellä laskentaintensiivisellä suorituksella. Tulostetta tuottaessaan se lukee ja laajentaa tätä välimuistia toistuvasti. Optimaalinen käyttökonfiguraatio, kuten eräkäsittely, ositus ja KV-hallinta, riippuu suuresti työkuormasta: kehotteen ja tulosteen pituudesta, eräkoosta, välimuistin osumaprosentista, kyselyjen ominaisuuksista ja muista tekijöistä. Konfiguraatioavaruus oli kuitenkin aiemmin liian suuri järjestelmällisesti hienosäädettäväksi, joten insinöörien oli turvauduttava yleisluonteisiin heuristiikkoihin. Codexissa toimivan GPT‑5.6 Solin avulla pystyimme analysoimaan tuotannon työkuormia, luomaan ja arvioimaan konfiguraatioehdokkaita sekä hyperoptimoimaan moottorin ja mallin asetukset kuhunkin tilanteeseen. Näin työkuormakohtainen optimointi voidaan viedä uudelle tasolle ja samalla laitteistolla voidaan tehdä enemmän hyödyllistä päättelyä.
Päättelyajon optimointi on jatkuva palautesilmukka. Mittaamme tuotannon toimintaa, tunnistamme suurimmat puutteet, toteutamme muutoksia ja varmistamme, että ne parantavat koko järjestelmää eivätkä vain yksittäistä suorituskykytestiä. GPT‑5.6 Sol ja Codex nopeuttavat silmukan jokaista vaihetta. Tiimimme voi näin tutkia useampia ideoita, reagoida nopeammin muuttuviin työkuormiin ja luoda käyttäjille päättelyajon teknologiakerroksen, jossa viiveet ja kustannukset ovat pienemmät ja kapasiteetti suurempi.
ChatGPT Work ja Codex suorittavat monimutkaisia tehtäviä mallipyyntöjen ja työkalukutsujen sarjana. Yhden vuoron aikana käyttäjän pyynnöstä lopulliseen vastaukseen Codex saattaa tarkastaa lähdekoodia, etsiä käyttöönottohistoriaa, lukea häiriöraportteja, muokata tiedostoa ja suorittaa testejä. Jokainen vaihe voi vaatia oman pyyntönsä.
Kontekstin valmistelu, tiedonsiirto, päättelyajo, työkalujen kutsuminen ja prosessien käynnistäminen vievät kaikki aikaa ja laskentatehoa. Jos tehtävä vaatii 30 mallipyyntöä, yksi lisäsekunti pyyntöä kohden kertautuu merkittäväksi viiveeksi. Kokonaissuorituskyvyn parantaminen edellyttää toistuvan työn vähentämistä koko järjestelmässä, ei vain mallin nopeuttamista.
Yksi käyttäjän vuoro voi sisältää useita mallin ja työkalujen iteraatioita. Toistuvalla alueella syntyvät kustannukset voidaan joutua maksamaan monta kertaa.
Nämä kerrannaisvaikutukset ovat ohjanneet agenttien arviointikehyksemme suunnittelua. Se on Rustilla toteutettu orkestrointikerros, joka yhdistää mallimme, työkalut ja käyttäjän ympäristön. Seuraavaksi kerromme, miten kontekstin paisumisen välttäminen, työkalujen lataaminen ja työn uudelleenkäyttö tehostavat jokaista pyyntöä.
Kun agentit saavat käyttöönsä yhä enemmän työkaluja, taitoja, liitännäisiä ja keskusteluhistoriaa, konteksti-ikkunat voivat paisua helposti. Tämä kasvattaa kustannuksia, häiritsee mallia ja käynnistää tarpeetonta päättelyä. Arviointikehys voi vähentää tätä kuormitusta viivästetyllä löytämisellä, jonka ansiosta integraatiot, mukautetut MCP-työkalut, taidot ja liitännäiset tulevat näkyviin vain tarvittaessa. Arviointikehys estää myös yksittäisiä työkaluja ja MCP-integraatioita kuluttamasta odottamattomasti konteksti-ikkunaa. Työkalun tulosteen enimmäispituus on oletusarvoisesti 10 000 tokenia, ellei malli pyydä muuta rajaa.
Kuten edellä mainittiin, agenttisilmukka voi lähettää samat ohjeet, keskusteluhistorian, työkalumääritykset ja aiemmat tulokset näytönohjaimille useita kertoja yhden vuoron aikana. Näiden toistuvien syötteiden käsittely on kallista, joten kehotteen välimuistiin tallentaminen hyödyntää uudelleen aiemmin käsiteltyyn kehotteen etuliitteeseen liittyvää laskentaa. Etuliitteen säilyttämiseksi arviointikehys käsittelee kaikkea mallille näkyvää historiaa vain täydennettävänä: uudet viestit, työkalutulokset ja ympäristöpäivitykset lisätään loppuun sen sijaan, että ne sijoitettaisiin aiempaan kontekstiin. Myös työkalut esitetään deterministisesti samassa järjestyksessä, ja suorituksenaikaiset asetukset, kuten hyväksyntäkäytännöt, otetaan käyttöön suorituksen aikana sen sijaan, että ne upotettaisiin työkalumäärityksiin. Tämä suunnitteluratkaisu parantaa osaltaan Codexin ja ChatGPT Workin kehotteiden välimuistin osumaprosenttia.
Inkrementaalinen siirto muuttaa verkon kautta kulkevaa sisältöä, kun taas kehotteen välimuistiin tallentaminen vähentää laskentaa, joka mallin on tehtävä uudelleen. Leveydet ovat käsitteellisiä, eikä erillistä pakkauskerrosta näytetä.
GPT‑5.6:n tuomat tehokkuushyödyt ovat tulosta vuosien aikana kasautuneista parannuksista koko teknologiakerroksessa tutkimuksesta päättelyajoon ja agenttien arviointikehykseen. GPT‑5.6:n merkittävä rooli monissa näistä parannuksista antaa meille aihetta suhtautua optimointitahdin kiihtymiseen luottavaisesti. Jatkamme entistä suurempia optimointeja esimerkiksi ytimissä samalla, kun teemme perustavanlaatuisia parannuksia teknologiakerrokseemme. Haluamme tuoda nämä jatkuvat, pinnan alla tapahtuvat parannukset käyttäjillemme ja asiakkaillemme entistä laajemmin saatavana ja kustannustehokkaampana älykkyytenä.
Erityiskiitos tämän kirjoituksen tekemiseen osallistuneille teknisen henkilöstön jäsenille Matthew Ferrarille, Philippe Tillet’lle, Ahmed Ibrahimille, Joe Gershensonille ja Steve Coffeylle.
