Kaip GPT‑5.6 sujungia priešakinį intelektą ir priešakinį efektyvumą

GPT‑5.6 modelių šeimą sukūrėme taip, kad ji suderintų pajėgumą ir sąnaudas visame užduočių, kurioms žmonės naudoja mūsų modelius, spektre. Mūsų pavyzdinis modelis GPT‑5.6 Sol, naudodamas maksimalų protavimą, lenkia Claude Fable 5 pagal Artificial Analysis Coding Agent Index ir kainuoja mažiau nei perpus. Intelekto testuose Terra pasiekia tokius pat rezultatus kaip GPT‑5.5 už pusę kainos, o Luna yra mūsų greičiausias ir įperkamiausias modelis, kainuojantis 80 % mažiau nei Sol. Kad pasiektų tokį efektyvumą, mūsų tyrimų ir techninės komandos reikšmingai optimizavo kiekvieną pagrindinį technologijų rinkinio sluoksnį. Šie patobulinimai apima mūsų modelius, išvadų generavimą (kaip vykdome modelius išvesčiai generuoti) ir agentinę infrastruktūrą, kurią naudoja Codex bei ChatGPT Work.

Per pastaruosius ketverius metus mūsų modelių naudotojų skaičiui išaugus iki 1 milijardo aktyvių naudotojų ir daugiau kaip 2 milijonų įmonių, efektyvumas buvo itin svarbus siekiant, kad intelekto teikiama nauda pasiektų visus. Mūsų misija – užtikrinti, kad bendrasis dirbtinis intelektas būtų naudingas visai žmonijai. Per šiuos metus nuolat siekėme dar labiau optimizuoti visą technologijų rinkinį, kad kiekviename sąnaudų ir intelekto kreivės taške galėtume pasiūlyti našiausius modelius. Su GPT‑5.6 pasiekėme iki šiol didžiausią intelekto, tenkančio vienam žetonui, efektyvumą: šis modelis išmokytas atlikti daugiau darbo vienu žetonu. Mokydami optimizuojame ir užduoties sėkmę, ir efektyvumą, kad modelis užduotį atliktų tiesesniu keliu.

Šiame įraše žvelgiame ne tik į modelius, bet ir aiškiname, kaip efektyvumą didinome tobulindami dvi kitas pagrindines technologijų rinkinio dalis: 1) išvadų generavimą – optimizuodami apkrovos balansavimą, spekuliatyvųjį dekodavimą, podėlį ir branduolius, kad ta pačia aparatine įranga gautume daugiau išvesties; 2) mūsų agentinę infrastruktūrą – geriau valdydami konteksto išsipūtimą, įrankių naudojimą ir pasikartojantį darbą. Taip pat papasakosime, kaip GPT‑5.6 Sol savarankiškai padėjo pasiekti kelis iš šių patobulinimų. Nors kiekvienas atskiras patobulinimas gali atrodyti nedidelis, kartu jie leidžia mums būti ir intelekto, ir efektyvumo priešakyje.

Pasaulyje, kuriame skaičiavimo ištekliai riboti, o modelių paklausa auga greičiau nei pajėgumai, efektyvumas yra kiekvienos sistemos projektavimo pagrindas. Tai ypač aktualu mūsų išvadų generavimo technologijų rinkiniui, kuris vykdo išmokytus modelius ir generuoja atsakymus. Pagrindinis mūsų tikslas – ta pačia aparatine įranga apdoroti daugiau žetonų, išlaikant naudotojų lūkesčius atitinkantį intelektą, delsą, pasiekiamumą ir patikimumą.

Tam būtina optimizuoti visą sistemą. Atskiras modelis gali būti labai efektyvus, tačiau jo naudojimas vis tiek gali brangiai kainuoti, jei užklausos prastai paskirstomos, aparatinė įranga neveikliai laukia arba duomenų perdavimas lėtina skaičiavimus. Kiekvieno sluoksnio patobulinimai sumuojasi: naudos suteikia maršruto parinkimo (kur siunčiamos užklausos), planavimo (kada jos siunčiamos), branduolių (GPU vykdomos programinės įrangos), podėlio (išsaugoto ir pakartotinai naudojamo darbo) ir modelio įgyvendinimo (GPU kodo vykdymo tvarkos) optimizavimas. Codex veikiantis GPT‑5.6 Sol atliko esminį vaidmenį atliekant visus šiuos optimizavimo darbus.

Pirmas svarbus pavyzdys – apkrovos balansavimas. Visame pasaulyje užklausas nukreipiame pagal tokius veiksnius kaip geografinė vieta, laisvi pajėgumai ir spartintuvo tipas (modelį vykdančio GPU arba specializuoto lusto tipas). Klasteryje darbus modelio egzemplioriams paskirstome pagal apkrovą, konteksto ilgį, podėlio prieinamumą ir kitas užklausų ypatybes. Tada kiekviename egzemplioriuje darbas turi būti efektyviai paskirstytas tarp spartintuvų, modelio potinklių ir skaičiavimo branduolių. Codex veikiantis GPT‑5.6 Sol padeda analizuoti produkcinį srautą, nustatyti anksčiau nepastebėtus disbalanso šaltinius, išbandyti naujas maršruto parinkimo strategijas ir nuolat derinti šias euristikas. Vien šie apkrovos balansavimo patobulinimai smarkiai sumažino mūsų modelių naudojimo sąnaudas.

GPT‑5.6 Sol taip pat naudojome modelio tiesioginei eigai optimizuoti – tai skaičiavimas, paverčiantis įvestį kito žetono prognozėmis. Net kai atskiros operacijos atliekamos greitai, perteklinis duomenų perkėlimas, sinchronizavimas ir neefektyvus duomenų išdėstymas gali palikti GPU be darbo. Kad to išvengtų, GPT‑5.6 Sol nustatė darbus, kuriuos galima apskaičiuoti iš anksto, praleisti arba vykdyti lygiagrečiai. Naudodamas Codex, GPT‑5.6 Sol savarankiškai perrašė ir optimizavo mūsų produkcinius branduolius – pagrindinį kodą, vykdantį modelį sudarančias matematines operacijas. Tai iš dalies pavyko todėl, kad GPT‑5.6 išmokėme veiksmingai rašyti ir tobulinti branduolius dviem OpenAI prižiūrimomis atvirojo kodo GPU programavimo kalbomis – Triton⁠(atsidaro naujame lange) ir Gluon⁠(atsidaro naujame lange). Šios pastangos kartu su platesniais GPT‑5.6 Sol įdiegtais branduolių patobulinimais sumažino viso aptarnavimo sąnaudas 20 %. Taip pat daug investavome į tikrinimo priemones, pavyzdžiui, atvirojo kodo įrankį FpSan⁠(atsidaro naujame lange) (slankiojo kablelio sanitarą), padedantį patvirtinti GPT‑5.6 Sol parašytų branduolių teisingumą.

Spekuliatyvusis dekodavimas – dar viena spartą ir efektyvumą didinanti priemonė. Taikant šį metodą, kartu su pagrindiniu modeliu vykdomas mažesnis juodraštinis (arba „spekuliatoriaus“) modelis, kuris pasiūlo kelis žetonus, kad pagrindinis modelis juos patikrintų lygiagrečiai. Priėmusi šiuos pasiūlymus, sistema per vieną pagrindinio modelio eigą gali sugeneruoti kelis išvesties žetonus, todėl reikia mažiau brangių nuoseklių skaičiavimų. GPT‑5.6 Sol patobulino savo juodraštinį modelį: suprojektavo ir atliko šimtus jo architektūros eksperimentų, išbandydamas dydžio, struktūros ir funkcijų pakeitimus. Be to, GPT‑5.6 Sol paleido ir stebėjo spekuliatoriaus mokymo procesą bei savarankiškai įsikišdavo kilus problemoms, įskaitant aparatinės įrangos gedimus ir mokymo nestabilumą. Šie patobulinimai padidino žetonų generavimo efektyvumą daugiau nei 15 %.

Apdorodamas podėlyje nesančius įvesties žetonus, modelis per vieną daug išteklių reikalaujančią eigą sukuria rakto ir reikšmės (KV) podėlį; generuodamas išvestį, jis šį podėlį vis skaito ir papildo. Optimali aptarnavimo konfigūracija, pavyzdžiui, paketų sudarymas, skaidymas ir KV valdymas, labai priklauso nuo darbo krūvio – užklausos ir išvesties ilgio, paketo dydžio, podėlio atitikčių rodiklio, užklausų savybių ir kitų veiksnių. Tačiau anksčiau konfigūracijų erdvė buvo per didelė sistemingai derinti, todėl inžinieriams teko kliautis bendromis euristikomis. Naudodami Codex veikiantį GPT‑5.6 Sol galėjome analizuoti produkcinius darbo krūvius, generuoti bei vertinti galimas konfigūracijas ir itin tiksliai optimizuoti modulio bei modelio konfigūraciją kiekvienam scenarijui. Taip tampa praktiškai įmanomas naujo lygio optimizavimas pagal darbo krūvį, leidžiantis ta pačia aparatine įranga atlikti daugiau naudingų išvadų generavimo operacijų.

Išvadų generavimo optimizavimas yra nenutrūkstamas grįžtamojo ryšio ciklas. Matuojame produkcinės sistemos veikimą, nustatome didžiausias spragas, įgyvendiname pakeitimus ir patikriname, ar jie gerina visą sistemą, o ne tik atskiro testo rezultatus. GPT‑5.6 Sol ir Codex spartina kiekvieną šio ciklo dalį. Todėl mūsų komanda gali išnagrinėti daugiau idėjų, greičiau reaguoti į kintančius darbo krūvius ir kurti išvadų generavimo technologijų rinkinį, užtikrinantį mažesnę delsą, didesnius pajėgumus ir mažesnes sąnaudas naudotojams.

ChatGPT Work ir Codex atlieka sudėtingas užduotis, teikdami kelias modelio užklausas ir iškviesdami įrankius. Per vieną kreipinį – nuo naudotojo užklausos iki galutinio atsakymo – Codex gali patikrinti pirminį kodą, peržiūrėti diegimo istoriją, perskaityti incidentų ataskaitas, redaguoti failą ir paleisti testus. Kiekvienam veiksmui gali reikėti atskiros užklausos.

Konteksto parengimas, duomenų perdavimas, išvadų generavimas, įrankių iškvietimas ir procesų paleidimas reikalauja laiko bei skaičiavimo išteklių. Jei užduočiai reikia 30 modelio užklausų, kiekvienai papildomai sugaišta sekundė susideda. Norint pagerinti bendrą našumą, reikia mažinti pasikartojantį darbą visoje sistemoje, o ne tik spartinti modelį.

Atsižvelgdami į šį daugiklio efektą, sukūrėme agentinę infrastruktūrą – Rust koordinavimo sluoksnį, jungiantį mūsų modelius, įrankius ir naudotojo aplinką. Toliau aptarsime, kaip konteksto išsipūtimo vengimas, įrankių įkėlimas ir pakartotinis darbo panaudojimas didina kiekvienos užklausos efektyvumą.

Agentams suteikiant prieigą prie vis daugiau įrankių, gebėjimų, papildinių ir pokalbių istorijos, konteksto langai gali lengvai išsiplėsti. Tai didina sąnaudas, blaško modelį ir skatina nereikalingą protavimą. Infrastruktūra gali sumažinti šią perteklinę apkrovą atidėdama aptikimą, kad integracijos, pasirinktiniai MCP įrankiai, gebėjimai ir papildiniai būtų pasiekiami tik tada, kai jų reikia. Infrastruktūra taip pat neleidžia atskiriems įrankiams ir MCP integracijoms netikėtai užpildyti konteksto lango. Pagal numatytąją nuostatą įrankio išvestis ribojama iki 10 000 žetonų, nebent modelis paprašo kitokios ribos.

Kaip minėta, agento ciklas per vieną kreipinį gali kelis kartus siųsti GPU tas pačias instrukcijas, pokalbio istoriją, įrankių apibrėžtis ir ankstesnius rezultatus. Apdoroti šiuos pasikartojančius įvesties duomenis brangu, todėl užklausų podėlis pakartotinai naudoja anksčiau apdoroto užklausos prefikso skaičiavimus. Kad išsaugotų šį prefiksą, infrastruktūra visą modeliui matomą istoriją tik papildo: nauji pranešimai, įrankių rezultatai ir aplinkos naujiniai pridedami pabaigoje, o ne įterpiami į ankstesnį kontekstą. Įrankiai taip pat pateikiami nustatyta tvarka, o vykdymo nuostatos, pavyzdžiui, patvirtinimo taisyklės, taikomos vykdant, užuot įtraukus jas į įrankių apibrėžtis. Šis projektinis sprendimas padeda Codex ir ChatGPT Work pasiekti aukštą bendrą užklausų podėlio atitikčių rodiklį.

Su GPT‑5.6 pasiektą efektyvumo augimą lėmė daugelį metų kaupti patobulinimai visuose technologijų sluoksniuose – nuo tyrimų ir išvadų generavimo iki mūsų agentinės infrastruktūros. GPT‑5.6 indėlis į daugelį šių patobulinimų leidžia optimistiškai vertinti spartėsiantį optimizavimą. Toliau diegsime dar didesnius patobulinimus tokiose srityse kaip branduolių optimizavimas ir kartu iš esmės tobulinsime visą technologijų rinkinį. Tikimės, kad šiuos nuolatinius vidinius patobulinimus galėsime perduoti naudotojams ir klientams kaip plačiau prieinamą, ekonomiškesnį intelektą.

Ypač dėkojame techninio personalo nariams Matthew Ferrari, Philippe Tillet, Ahmed Ibrahim, Joe Gershenson ir Steve Coffey už indėlį rengiant šį įrašą.