Jak GPT‑5.6 spojuje průkopnickou inteligenci a efektivitu

Rodinu modelů GPT‑5.6 jsme navrhli tak, aby vyvažovala schopnosti a náklady napříč spektrem úloh, ke kterým lidé naše modely používají. Náš vlajkový model GPT‑5.6 Sol s uvažováním na úrovni Max překonává Claude Fable 5 v indexu Artificial Analysis Coding Agent Index za méně než poloviční cenu. Terra dosahuje v benchmarcích inteligence stejných výsledků jako GPT‑5.5 za poloviční cenu a Luna je náš nejrychlejší a cenově nejdostupnější model, který stojí o 80 % méně než Sol. K dosažení této efektivity provedly naše výzkumné a technické týmy významné optimalizace ve všech hlavních vrstvách našeho stacku. Vylepšení zahrnují naše modely, inferenci (způsob, jakým modely spouštíme a generujeme výstup) i agentní harness, který využívají Codex i ChatGPT Work.

Během posledních čtyř let jsme naše modely naškálovali pro 1 miliardu aktivních uživatelů a více než 2 miliony firem. Efektivita přitom byla zásadní pro zpřístupnění přínosů inteligence všem. Naším posláním je zajistit, aby obecná umělá inteligence přinášela užitek celému lidstvu. V průběhu těchto let jsme soustavně hledali další možnosti optimalizace celého stacku, abychom v každém bodě křivky nákladů a inteligence mohli nabízet modely s nejvyšším výkonem. S GPT‑5.6 jsme dosáhli dosud nejvyšší efektivity inteligence na token. Model je natrénován tak, aby na jeden token odvedl více práce. Při trénování optimalizujeme úspěšnost úloh i efektivitu a vedeme model k přímočařejšímu postupu při jejich plnění.

Tento článek se zaměřuje i na jiné oblasti než modely a ukazuje, jak jsme zvyšovali efektivitu pokrokem ve dvou dalších hlavních částech stacku: 1) v oblasti inference, kde optimalizujeme procesy, jako jsou vyvažování zátěže, spekulativní dekódování, využívání mezipaměti a optimalizace kernelů, abychom ze stejného hardwaru dostali více výstupu, a 2) v našem agentním harnessu, kde lépe spravujeme nadbytečný kontext, používání nástrojů a opakovanou práci. Popíšeme také úlohu GPT‑5.6 Sol při autonomním zavádění několika z těchto vylepšení. Jednotlivá vylepšení se mohou zdát omezená, ale jejich přínosy se násobí a umožňují nám posouvat hranice inteligence i efektivity.

Ve světě s omezeným výpočetním výkonem, kde poptávka po modelech roste rychleji než kapacita, je efektivita základem návrhu každého systému. To platí zejména pro náš inferenční stack, který spouští natrénované modely a generuje odpovědi. Naším hlavním cílem je obsloužit na stejném hardwaru více tokenů a přitom zachovat inteligenci, latenci, dostupnost a spolehlivost, které uživatelé očekávají.

To vyžaduje optimalizaci celého systému. Model může být sám o sobě velmi efektivní, ale jeho obsluha může být i přesto nákladná, pokud jsou požadavky špatně rozdělené, hardware zůstává nevyužitý nebo přesuny dat zpomalují výpočty. Vylepšení v jednotlivých vrstvách se násobí. Přínosy plynou z optimalizace směrování (kam se požadavky posílají), plánování (kdy se posílají), kernelů (softwaru běžícího na GPU), mezipaměti (ukládání a opětovného využívání práce) a implementace modelu (pořadí kódu pro GPU). Ve všech těchto optimalizacích sehrál zásadní roli GPT‑5.6 Sol v Codexu.

Prvním důležitým příkladem je vyvažování zátěže. V globálním měřítku směrujeme požadavky podle faktorů, jako jsou zeměpisná poloha, dostupná kapacita a typ akcelerátoru (GPU nebo specializovaného čipu, na kterém model běží). V rámci clusteru rozdělujeme práci mezi instance modelu podle zatížení, délky kontextu, dostupnosti mezipaměti a dalších vlastností požadavku. V každé instanci pak musí být práce efektivně rozdělena mezi akcelerátory, podsítě modelu a výpočetní jádra. GPT‑5.6 Sol v Codexu nám pomáhá analyzovat produkční provoz, odhalovat dříve přehlížené zdroje nerovnováhy, testovat nové strategie směrování a tyto heuristiky neustále ladit. Už tato vylepšení vyvažování zátěže výrazně snížila náklady na obsluhu našich modelů.

GPT‑5.6 Sol jsme použili také k optimalizaci dopředného průchodu modelu, tedy výpočtu, který převádí vstupy na predikce dalšího tokenu. I když jsou jednotlivé operace rychlé, nadbytečné přesuny v paměti, synchronizace a neefektivní rozložení dat mohou způsobovat nečinnost GPU. GPT‑5.6 Sol tomu zabránil odhalením práce, kterou bylo možné předpočítat, vynechat nebo paralelizovat. GPT‑5.6 Sol s Codexem autonomně přepsal a optimalizoval naše produkční kernely – klíčový kód provádějící matematické operace, z nichž se model skládá. Fungovalo to mimo jiné proto, že jsme GPT‑5.6 natrénovali k efektivnímu psaní a vylepšování kernelů v jazycích Triton⁠(otevře se v novém okně) a Gluon⁠(otevře se v novém okně), dvou open-source programovacích jazycích pro GPU spravovaných společností OpenAI. Toto úsilí spolu s širšími vylepšeními kernelů od GPT‑5.6 Sol snížilo celkové náklady na provoz o 20 %. Výrazně jsme investovali také do ověřovacích nástrojů, například open-source nástroje FpSan⁠(otevře se v novém okně) (Floating-Point Sanitizer), které pomáhají ověřovat správnost kernelů napsaných pomocí GPT‑5.6 Sol.

Dalším prostředkem ke zvýšení rychlosti a efektivity je spekulativní dekódování. Tato technika spouští vedle hlavního modelu menší návrhový model (tzv. „spekulátor“), který navrhne několik tokenů, jež hlavní model paralelně ověří. Pokud jsou návrhy přijaty, systém může jediným průchodem hlavního modelu vytvořit více výstupních tokenů a omezit tak objem nákladných sekvenčních výpočtů. GPT‑5.6 Sol vylepšil vlastní návrhový model tím, že navrhl a provedl stovky experimentů s jeho architekturou a testoval změny velikosti, struktury a funkcí. GPT‑5.6 Sol navíc spustil a monitoroval trénování spekulátoru a autonomně zasahoval při problémech, včetně selhání hardwaru a nestability trénování. Výsledná vylepšení zvýšila efektivitu generování tokenů o více než 15 %.

Při zpracování vstupních tokenů, které nejsou v mezipaměti, model vytvoří mezipaměť key-value (KV) v jediném výpočetně náročném průchodu. Při generování výstupu ji pak opakovaně čte a rozšiřuje. Optimální konfigurace provozu, například dávkování, shardování a správa KV, výrazně závisí na pracovní zátěži – délce promptu a výstupu, velikosti dávky, úspěšnosti využití mezipaměti, vlastnostech dotazů a dalších faktorech. Prostor možných konfigurací byl však dříve příliš rozsáhlý na systematické ladění, takže se technici museli spoléhat na obecné heuristiky. S GPT‑5.6 Sol v Codexu jsme byli schopní analyzovat produkční zátěže, vytvářet a vyhodnocovat kandidátní konfigurace a maximálně optimalizovat konfiguraci enginu a modelu pro jednotlivé scénáře. Tím se stává prakticky schůdnou nová úroveň optimalizace podle konkrétní zátěže, která ze stejného hardwaru získává více užitečné inference.

Optimalizace inference je nepřetržitá zpětnovazební smyčka. Měříme chování v produkčním provozu, zjišťujeme největší nedostatky, zavádíme změny a ověřujeme, že zlepšují celý systém, nikoli jen izolovaný benchmark. GPT‑5.6 Sol a Codex urychlují každou část této smyčky. Náš tým tak může zkoumat více nápadů, rychleji reagovat na měnící se zátěž a vytvářet inferenční stack, který uživatelům nabízí nižší latenci, vyšší kapacitu a nižší náklady.

ChatGPT Work a Codex plní složité úkoly prostřednictvím série požadavků na model a volání nástrojů. Během jediného tahu – od požadavku uživatele po konečnou odpověď – může Codex například prozkoumat zdrojový kód, projít historii nasazení, přečíst hlášení o incidentech, upravit soubor a spustit testy. Každý krok může vyžadovat samostatný požadavek.

Příprava kontextu, přenos dat, spuštění inference, volání nástrojů i spouštění procesů vyžadují čas a výpočetní výkon. Pokud úkol vyžaduje 30 požadavků na model, každá sekunda navíc u každého požadavku se nasčítá. Ke zlepšení celkového výkonu je potřeba nejen zrychlit model, ale také omezit opakovanou práci v celém systému.

Tato nasčítání, či přesněji znásobení, ovlivnila návrh našeho agentního harnessu – orchestrační vrstvy v jazyce Rust, která propojuje naše modely, nástroje a prostředí uživatele. Dále popíšeme, jak omezení nadbytečného kontextu, načítání nástrojů a opětovné využívání práce zefektivňují jednotlivé požadavky.

Když agenti získávají přístup k více nástrojům, dovednostem, pluginům a historii konverzace, mohou se kontextová okna snadno rozrůst. To zvyšuje náklady, rozptyluje model a vede ke zbytečnému uvažování. Harness může tyto režijní náklady omezit odloženým objevováním, díky němuž se integrace, vlastní nástroje MCP, dovednosti a pluginy zpřístupní pouze v případě potřeby. Harness také brání tomu, aby jednotlivé nástroje a integrace MCP neočekávaně zaplnily kontextové okno. Výstup nástrojů je ve výchozím nastavení omezen na 10 000 tokenů, pokud model nepožádá o jiný limit.

Jak už jsme zmínili, smyčka agenta může během jediného tahu několikrát odeslat GPU stejné pokyny, historii konverzace, definice nástrojů a dřívější výsledky. Zpracování těchto opakovaných vstupů je nákladné, proto mezipaměť promptů opětovně využívá výpočet spojený s již zpracovaným prefixem promptu. Aby tento prefix zachoval, pracuje harness s celou historií viditelnou pro model tak, že ji stačí jen rozšiřovat: nové zprávy, výsledky nástrojů a aktualizace prostředí přidává na konec, místo aby je vkládal do dřívějšího kontextu. Nástroje jsou uváděny v deterministickém pořadí. Nastavení běhového prostředí, například zásady schvalování, se uplatňují během provádění, nikoli jako součást definic nástrojů. Toto konstrukční rozhodnutí přispívá k celkově vysoké úspěšnosti využití mezipaměti promptů v produktech Codex a ChatGPT Work.

Vyšší efektivita, které jsme dosáhli s GPT‑5.6, je výsledkem let postupně se násobících vylepšení celého technologického stacku – od výzkumu a inference až po náš agentní harness. Úloha GPT‑5.6 při zavádění mnoha z těchto vylepšení nám dává důvod věřit, že se tempo optimalizací bude zrychlovat. Budeme pokračovat v rozsáhlejších optimalizacích v oblastech, jako jsou kernely, a zároveň provádět zásadní vylepšení našeho stacku. Těšíme se, že tato průběžná vylepšení na pozadí zpřístupníme našim uživatelům a zákazníkům v podobě dostupnější a nákladově efektivnější inteligence.

Zvláštní poděkování za příspění k tomuto článku patří členům technického týmu Matthewovi Ferrarimu, Philippu Tilletovi, Ahmedu Ibrahimovi, Joeovi Gershensonovi a Stevu Coffeymu.