Hvernig GPT‑5.6 sameinar framarlega greind og framarlega skilvirkni

Við hönnuðum GPT‑5.6‑líkanafjölskylduna til að vega saman getu og kostnað fyrir allt það verkefnasvið sem fólk notar líkön okkar í. Flaggskipslíkanið okkar, GPT‑5.6 Sol með Max-rökum, stendur sig betur en Claude Fable 5 á Artificial Analysis Coding Agent Index og kostar minna en helminginn. Terra stendur sig jafn vel og GPT‑5.5 á greindarviðmiðum fyrir hálft verð og Luna er hraðasta og ódýrasta líkanið okkar, 80% ódýrara en Sol. Til að ná þessari skilvirkni hafa rannsóknar- og tækniteymi okkar ráðist í umfangsmikla bestun á öllum helstu lögum tæknistaflans. Umbæturnar ná til líkana okkar, ályktunar (hvernig við keyrum líkön til að búa til úttak) og beislis fulltrúa okkar, sem bæði Codex og ChatGPT Work nota.

Á síðustu fjórum árum höfum við stækkað líkön okkar til að þjóna einum milljarði virkra notenda og yfir tveimur milljónum fyrirtækja. Skilvirkni hefur verið lykillinn að því að miðla ávinningi greindar til allra. Markmið okkar er að tryggja að almenn gervigreind gagnist öllu mannkyni. Á þessum árum höfum við unnið stöðugt að aukinni bestun í öllum tæknistaflanum til að bjóða afkastamestu líkönin á hverjum stað kostnaðar- og greindarkúrfunnar. Með GPT‑5.6 náðum við meiri greind fyrir hvern tóka en nokkru sinni fyrr. Líkanið er þjálfað til að vinna meira fyrir hvern tóka. Við þjálfun bestum við bæði fyrir árangur verkefna og skilvirkni og mótum líkanið þannig að það fari beinustu leiðina í gegnum verkefnið.

Í þessari grein horfum við út fyrir líkönin og lýsum því hvernig við hönnuðum fyrir skilvirkni með framförum í tveimur öðrum meginhlutum tæknistaflans: 1) ályktun, þar sem ferli á borð við álagsjöfnun, spáafkóðun, skyndivistun og kjarnabestun eru bestuð til að fá meira úttak úr sama vélbúnaði, og 2) beisli fulltrúa okkar, þar á meðal betri stýringu á óþörfu samhengi, verkfæranotkun og endurtekinni vinnu. Við greinum einnig frá því hvernig GPT‑5.6 Sol náði nokkrum þessara framfara sjálfstætt. Þótt hver einstök umbót virðist ef til vill takmörkuð magnast ávinningurinn saman og gerir okkur kleift að vera framarlega bæði í greind og skilvirkni.

Í heimi þar sem reikniafl er takmarkað og eftirspurn eftir líkönum vex hraðar en afkastagetan er skilvirkni grunnur allrar kerfishönnunar. Þetta á sérstaklega við um ályktunartæknistaflann okkar, sem keyrir þjálfuð líkön til að búa til svör. Meginmarkmið okkar er að afgreiða fleiri tóka með sama vélbúnaði, án þess að fórna greind, svörunartíma, aðgengi og áreiðanleika sem notendur vænta.

Til þess þarf að besta allt kerfið. Líkan getur verið mjög skilvirkt eitt og sér en samt dýrt í rekstri ef beiðnum er dreift illa, vélbúnaður stendur ónotaður eða gagnaflutningur hægir á útreikningum. Umbætur á öllum lögum magnast saman. Ávinningurinn kemur frá bestun leiðarstýringar (hvert beiðnir eru sendar), verkáætlunar (hvenær þær eru sendar), kjarna (hugbúnaðar sem keyrir á GPU-örgjörvum), skyndivistunar (vistaðrar og endurnýttrar vinnu) og útfærslu líkansins (röð GPU-kóða). GPT‑5.6 Sol í Codex gegndi lykilhlutverki í allri þessari bestun.

Fyrsta mikilvæga dæmið er álagsjöfnun. Á heimsvísu stýrum við beiðnum eftir þáttum á borð við staðsetningu, tiltæka afkastagetu og gerð hraðals (gerð GPU-örgjörva eða sérhæfðs kubbs sem keyrir líkanið). Innan klasa dreifum við vinnu milli tilvika líkansins eftir álagi, lengd samhengis, tiltæku skyndiminni og öðrum eiginleikum beiðninnar. Innan hvers tilviks þarf síðan að skipta vinnunni skilvirkt milli hraðla, undirneta líkansins og reiknikjarna. GPT‑5.6 Sol í Codex hjálpar okkur að greina raunálag, finna áður yfirséðar orsakir ójafnvægis, prófa nýjar leiðarstýringaraðferðir og fínstilla þessar þumalputtareglur stöðugt. Þessar umbætur á álagsjöfnun einar og sér lækkuðu rekstrarkostnað líkana okkar verulega.

Við notuðum GPT‑5.6 Sol einnig til að besta framvirka keyrslu líkansins: útreikninginn sem umbreytir ílagi í spár um næsta tóka. Jafnvel þegar einstakar aðgerðir eru hraðar geta óþarfir minnisflutningar, samstilling og óskilvirkt gagnaskipulag skilið GPU-örgjörva eftir óvirka. Til að forðast þetta fann GPT‑5.6 Sol vinnu sem hægt var að forreikna, sleppa eða vinna samhliða. Með Codex endurskrifaði og bestaði GPT‑5.6 Sol sjálfstætt framleiðslukjarna okkar, grunnkóðann sem keyrir stærðfræðiaðgerðirnar sem mynda líkanið. Þetta tókst meðal annars vegna þess að við höfum þjálfað GPT‑5.6 til að skrifa og bæta kjarna í Triton⁠(opnast í nýjum glugga) og Gluon⁠(opnast í nýjum glugga), tveimur opnum GPU-forritunarmálum sem OpenAI heldur við. Þessi vinna, ásamt víðtækari framförum GPT‑5.6 Sol í kjörnum, lækkaði heildarkostnað við afgreiðslu um 20%. Við höfum einnig fjárfest mikið í sannprófunarverkfærum, svo sem opna verkfærinu FpSan⁠(opnast í nýjum glugga) (Floating-Point Sanitizer), til að sannreyna að kjarnarnir sem GPT‑5.6 Sol skrifar séu réttir.

Spáafkóðun er önnur leið til að auka hraða og skilvirkni. Aðferðin felst í að keyra minna uppkastslíkan (eða „spálíkan“) samhliða aðallíkaninu. Það leggur til nokkra tóka sem aðallíkanið sannreynir samtímis. Þegar tillögurnar eru samþykktar getur kerfið myndað marga úttakstóka í einni keyrslu aðallíkansins og þannig dregið úr dýrum raðútreikningum. GPT‑5.6 Sol bætti eigið uppkastslíkan með því að hanna og keyra hundruð tilrauna á arkitektúr þess og prófa breytingar á stærð, uppbyggingu og eiginleikum. Auk þess ræsti og vaktaði GPT‑5.6 Sol þjálfun spálíkansins og greip sjálfstætt inn í þegar vandamál komu upp, meðal annars vélbúnaðarbilun og óstöðug þjálfun. Umbæturnar juku skilvirkni tókamyndunar um meira en 15%.

Þegar unnið er úr ílagstókum sem eru ekki í skyndiminni byggir líkanið lykilgilda- (KV-) skyndiminnið í einni reiknifrekri keyrslu. Við myndun úttaks les það endurtekið úr minninu og bætir við það. Besta rekstrarstillingin, svo sem lotuvinnsla, skipting og KV-stýring, ræðst mjög af vinnuálaginu: lengd kvaðningar og úttaks, lotustærð, tíðni skyndiminnishits, eiginleikum fyrirspurna og fleiru. Áður var stillingarrýmið þó of stórt til að fínstilla kerfisbundið og verkfræðingar þurftu því að styðjast við almennar þumalputtareglur. Með GPT‑5.6 Sol í Codex gátum við greint raunverulegt vinnuálag, búið til og metið mögulegar stillingar og hámarksbestað uppsetningu vélarinnar og líkansins fyrir hverjar aðstæður. Þetta gerir nýtt stig bestunar fyrir tiltekið vinnuálag raunhæft og skilar meiri gagnlegri ályktun úr sama vélbúnaði.

Bestun ályktunar er stöðug endurgjafarlykkja. Við mælum hegðun í raunrekstri, greinum stærstu veikleikana, innleiðum breytingar og sannreynum að þær bæti allt kerfið en ekki aðeins stakt viðmiðunarpróf. GPT‑5.6 Sol og Codex hraða öllum hlutum þessarar lykkju. Þannig getur teymið okkar kannað fleiri hugmyndir, brugðist hraðar við breyttu vinnuálagi og byggt ályktunartæknistafla sem skilar notendum styttri biðtíma, meiri afkastagetu og lægri kostnaði.

ChatGPT Work og Codex leysa flókin verkefni með röð líkanabeiðna og verkfærakalla. Í einni umferð, frá beiðni notandans til lokasvarsins, gæti Codex skoðað frumkóða, leitað í útgáfuferli, lesið atvikaskýrslur, breytt skrá og keyrt prófanir. Hvert skref getur kallað á beiðni.

Það tekur allt tíma og reikniafl að undirbúa samhengi, flytja gögn, keyra ályktun, kalla á verkfæri og ræsa ferli. Ef verkefni krefst 30 líkanabeiðna safnast ein auka sekúnda fyrir hverja beiðni fljótt upp. Til að bæta heildarafköst þarf að draga úr endurtekinni vinnu í öllu kerfinu, ekki aðeins hraða líkaninu.

Þessi margföldunaráhrif mótuðu hönnun beislis fulltrúa okkar, sem er Rust-stýrilag sem tengir líkön okkar, verkfæri og umhverfi notandans. Næst fjöllum við um hvernig hver beiðni verður skilvirkari með því að forðast óþarfa samhengi, hlaða inn verkfærum og endurnýta vinnu.

Þegar fulltrúar fá aðgang að fleiri verkfærum, færniþáttum, viðbótum og samtalsferli geta samhengisgluggar auðveldlega stækkað. Þetta eykur kostnað, truflar líkanið og kallar fram óþörf rök. Beislið getur minnkað þennan umframkostnað með frestaðri uppgötvun, þannig að samþættingar, sérsniðin MCP-verkfæri, færniþættir og viðbætur birtast aðeins þegar þeirra er þörf. Beislið kemur einnig í veg fyrir að einstök verkfæri og MCP-samþættingar taki óvænt upp samhengisgluggann. Úttak verkfæra er sjálfgefið takmarkað við 10.000 tóka nema líkanið biðji um önnur mörk.

Eins og áður kom fram getur lykkja fulltrúa sent sömu fyrirmæli, samtalsferil, verkfæraskilgreiningar og fyrri niðurstöður til GPU-örgjörvanna margsinnis í einni umferð. Það er kostnaðarsamt að vinna úr þessum endurteknu ílögum og því endurnýtir skyndivistun kvaðninga útreikninga sem tengjast áður unnu forskeyti kvaðningar. Til að varðveita forskeytið meðhöndlar beislið allan feril sem líkanið sér sem viðbætanlegan eingöngu: nýjum skilaboðum, niðurstöðum verkfæra og uppfærslum umhverfis er bætt aftast í stað þess að skjóta þeim inn í eldra samhengi. Verkfæri eru einnig birt í föstri röð en keyrslustillingum, svo sem samþykktarreglum, er beitt við keyrslu í stað þess að fella þær inn í verkfæraskilgreiningar. Þessi hönnun stuðlar að hárri heildartíðni skyndiminnistenginga fyrir kvaðningar í Codex og ChatGPT Work.

Skilvirkniaukningin sem við náðum með GPT‑5.6 er afrakstur margra ára samverkandi umbóta í öllum tæknistaflanum, allt frá rannsóknum og ályktun að beisli fulltrúa okkar. Þáttur GPT‑5.6 í mörgum þessara umbóta vekur bjartsýni okkar um að hraði bestunar muni aukast. Við höldum áfram að bæta bestun á sviðum á borð við kjarnabestun, samhliða grundvallarumbótum á tæknistaflanum. Við hlökkum til að skila þessum áframhaldandi umbótum undir yfirborðinu til notenda okkar og viðskiptavina í formi aðgengilegri og kostnaðarhagkvæmari greindar.

Sérstakar þakkir fá Matthew Ferrari, Philippe Tillet, Ahmed Ibrahim, Joe Gershenson og Steve Coffey, tæknisérfræðingar, fyrir framlag sitt til þessarar greinar.