Како GPT‑5.6 спаја граничну интелигенцију и граничну ефикасност

Породицу модела GPT‑5.6 осмислили смо тако да уравнотежи могућности и трошкове у читавом распону задатака за које људи користе наше моделе. Наш најпознатији модел GPT‑5.6 Sol, уз максимално резоновање, надмашује Claude Fable 5 на индексу Artificial Analysis Coding Agent уз мање од половине трошкова. Terra има једнаке резултате као GPT‑5.5 на тестовима интелигенције, али по упола нижој цени, док је Luna наш најбржи и најприступачнији модел, чија је цена 80% нижа од цене модела Sol. Да би постигли ову ефикасност, наши истраживачки и технички тимови спровели су значајне оптимизације на сваком главном слоју нашег технолошког система. Ова побољшања обухватају наше моделе, инференцију (начин на који покрећемо моделе ради генерисања излаза) и агентско окружење које користе и Codex и режим Посао у услузи ChatGPT.

Док смо током протекле четири године повећавали обим наших модела да бисмо досегли милијарду активних корисника и више од два милиона предузећа, ефикасност је била кључна за ширење користи од интелигенције на свакога. Наша мисија је да обезбедимо да општа вештачка интелигенција користи целом човечанству. Током свих ових година непрестано смо настојали да омогућимо све веће оптимизације целог технолошког система како бисмо понудили моделе са најбољим перформансама у свакој тачки криве односа трошкова и интелигенције. Помоћу модела GPT‑5.6 постигли смо досад највећу ефикасност интелигенције по токену, јер је обучен да обави више посла по токену. Током обуке оптимизујемо и успешно извршавање задатака и ефикасност, обликујући модел да преко задатка дође непосреднијим путем.

Овај текст се не задржава само на нашим моделима, већ показује како смо повећали ефикасност напретком у још два кључна дела система: 1) инференцији, оптимизацијом процеса као што су балансирање оптерећења, спекулативно декодирање, кеширање и оптимизација језгра, како бисмо добили више излаза од истог хардвера; и 2) нашем агентском окружењу, укључујући боље управљање нагомиланим контекстом, употребом алатке и радом који се понавља. Представићемо и улогу модела GPT‑5.6 Sol у самосталном остваривању неколико ових побољшања. Иако свако појединачно побољшање може деловати ограничено, њихови ефекти се надограђују и омогућавају нам да достигнемо границе и интелигенције и ефикасности.

У свету ограничених рачунарских ресурса, у којем потражња за моделима расте брже од капацитета, ефикасност је основа дизајна сваког система. То нарочито важи за наш систем за инференцију, који покреће обучене моделе ради генерисања одговора. Наш главни циљ је да истим хардвером обрадимо више токена, уз очување интелигенције, кашњења, доступности и поузданости које корисници очекују.

За то је неопходна оптимизација целог система. Модел може сам по себи бити веома ефикасан, али његово опслуживање и даље може бити скупо ако су захтеви лоше распоређени, хардвер неактиван или кретање података успорава израчунавање. Побољшања на сваком слоју се надограђују, а добици потичу од оптимизације усмеравања (куда се захтеви шаљу), распоређивања (када се захтеви шаљу), језгара (софтвера који се извршава на GPU-овима), кеширања (чувања и поновног коришћења рада) и имплементације модела (редоследа GPU кода). GPT‑5.6 Sol у услузи Codex имао је кључну улогу у свим овим оптимизацијама.

Први важан пример је балансирање оптерећења. На глобалном нивоу усмеравамо захтеве на основу фактора као што су географска локација, расположиви капацитет и врста акцелератора (врста GPU-а или специјализованог чипа који покреће модел). Унутар кластера распоређујемо рад на инстанце модела према оптерећењу, дужини контекста, доступности кеша и другим својствима захтева. Унутар сваке инстанце рад затим мора ефикасно да се подели између акцелератора, подмрежа модела и рачунарских језгара. GPT‑5.6 Sol у услузи Codex помаже нам да анализирамо продукциони саобраћај, откријемо раније превиђене изворе неравнотеже, тестирамо нове стратегије усмеравања и непрестано прилагођавамо ове хеуристике. Само ова побољшања балансирања оптерећења драстично су смањила трошкове опслуживања наших модела.

GPT‑5.6 Sol смо користили и за оптимизацију пролаза модела унапред: израчунавања које претвара улазе у предвиђања следећег токена. Чак и када су појединачне операције брзе, прекомерно премештање меморије, синхронизација и неефикасан распоред података могу оставити GPU-ове неактивним. Да би се то избегло, GPT‑5.6 Sol је пронашао рад који се може унапред израчунати, избећи или паралелизовати. Уз Codex, GPT‑5.6 Sol је самостално преписао и оптимизовао наша продукциона језгра – основни кôд који извршава математичке операције од којих се модел састоји. Ово је делом успело зато што смо GPT‑5.6 обучили да ефикасно пише и побољшава језгра у језицима Triton⁠(отвара се у новом прозору) и Gluon⁠(отвара се у новом прозору), двама програмским језицима отвореног кода за GPU које одржава OpenAI. Ови напори, заједно са ширим унапређењима кернела која је остварио GPT‑5.6 Sol, смањили су укупне трошкове опслуживања за 20%. Много смо уложили и у алатке за проверу, као што је алатка отвореног кода FpSan⁠(отвара се у новом прозору) (санитизатор бројева с покретним зарезом), који помаже у провери исправности језгра које пише GPT‑5.6 Sol.

Спекулативно декодирање је још један начин за повећање брзине и ефикасности. Ова техника подразумева покретање мањег нацртног модела (или „спекулатора“) упоредо с примарним моделом, који предлаже више токена да би их примарни модел паралелно проверио. Када се ти предлози прихвате, систем може да произведе више излазних токена у једном пролазу примарног модела, чиме се смањује количина скупог секвенцијалног израчунавања. GPT‑5.6 Sol је побољшао сопствени нацртни модел осмишљавањем и спровођењем стотина експеримената над његовом архитектуром, уз тестирање промена величине, структуре и функција. Поред тога, GPT‑5.6 Sol је покренуо и надгледао обуку спекулатора и самостално реаговао на проблеме, укључујући кварове хардвера и нестабилност обуке. Остварена побољшања повећала су ефикасност генерисања токена за више од 15%.

При обради улазних токена који нису кеширани, модел прави кеш кључева и вредности (KV) у једном рачунарски захтевном пролазу; при генерисању излаза непрестано чита и проширује тај кеш. Оптимална конфигурација опслуживања, укључујући груписање, раздвајање на партиције и управљање KV кешом, у великој мери зависи од радног оптерећења – дужине инструкције и излаза, величине групе, стопе погодака у кешу, својстава упита и других фактора. Међутим, простор могућих конфигурација раније је био превелик за систематско подешавање, па су инжењери морали да се ослањају на опште хеуристике. Уз GPT‑5.6 Sol у услузи Codex могли смо да анализирамо продукциона оптерећења, генеришемо и процењујемо могуће конфигурације и до крајњих граница оптимизујемо подешавања механизма и модела за сваки сценарио. Тиме постаје практичан нови ниво оптимизације прилагођене радном оптерећењу, па исти хардвер екстрахује више корисне инференције.

Оптимизација инференције је непрекидна повратна петља. Меримо понашање у продукцији, утврђујемо највеће недостатке, примењујемо промене и проверавамо да ли побољшавају цео систем, а не само изоловани референтни тест. GPT‑5.6 Sol и Codex убрзавају сваки део те петље. То значи да наш тим може да истражи више идеја, брже одговори на промене радног оптерећења и изгради систем за инференцију који корисницима доноси мање кашњење, већи капацитет и ниже трошкове.

Режим Посао у услузи ChatGPT и Codex извршавају сложене задатке низом захтева моделу и позива алатке. Током једног потеза – од корисниковог захтева до коначног одговора – Codex може да прегледа изворни кôд, претражи историју примене, прочита извештаје о инцидентима, измени датотеку и покрене тестове. Сваки корак може да захтева засебан захтев.

Припрема контекста, пренос података, покретање инференције, позивање алатке и покретање процеса захтевају време и рачунарске ресурсе. Ако задатак захтева 30 захтева моделу, додатна секунда по захтеву се нагомилава. Побољшање укупног учинка подразумева смањење рада који се понавља у целом систему, а не само убрзавање модела.

Ови умножавајући фактори усмеравали су дизајн нашег агентског окружења – оркестрационог слоја оркестрираног у програмском језику Rust који повезује наше моделе, алатке и корисниково окружење. У наставку ћемо објаснити како избегавање гомилања контекста, учитавање алатке и поновно коришћење обављеног рада повећавају ефикасност сваког захтева.

Како агенти добијају приступ већем броју алатки, вештина, додатака и дужој историји разговора, прозори контекста могу лако да се прошире. То повећава трошкове, омета модел и подстиче непотребно резоновање. Окружење може да смањи ово оптерећење одложеним откривањем, тако да интеграције, прилагођене MCP алатке, вештине и додаци постају доступни тек када су потребни. Окружење такође спречава да појединачне алатке и MCP интеграције неочекивано заузму прозор контекста. Излаз алатке је подразумевано ограничен на 10.000 токена, осим ако модел не затражи друго ограничење.

Као што је већ поменуто, петља агента може више пута током једног потеза да пошаље GPU-овима иста упутства, историју разговора, дефиниције алатке и раније резултате. Обрада ових поновљених улаза је скупа, па кеширање инструкције поново користи израчунавање повезано са претходно обрађеним префиксом инструкције. Да би очувало тај префикс, окружење сву историју видљиву моделу третира тако да се само допуњује: нове поруке, резултати алатки и ажурирања окружења додају се на крај уместо да се умећу у ранији контекст. Алатке се такође приказују утврђеним редоследом, док се поставке извршавања, попут смерница за одобравање, примењују током извршавања уместо да буду уграђене у дефиниције алатке. Овакво решење доприноси високој укупној стопи погодака у кешу инструкција у услузи Codex и режиму Посао у услузи ChatGPT.

Повећање ефикасности које смо постигли помоћу модела GPT‑5.6 резултат је вишегодишњих, међусобно надограђиваних побољшања целог технолошког система, од истраживања и инференције до нашег агентског окружења. Улога модела GPT‑5.6 у остваривању многих од ових побољшања даје нам разлог за оптимизам у погледу убрзавања темпа оптимизације. Наставићемо са све већим оптимизацијама у областима као што је оптимизација кернела, уз темељна побољшања нашег стека. Драго нам је што ћемо ова стална побољшања у позадини пренети корисницима и клијентима у виду доступније и исплативије интелигенције.

Посебно захваљујемо Метјуу Ферарију, Филипу Тилеу, Ахмеду Ибрахиму, Џоу Гершенсону и Стиву Кофију, члановима техничког особља, на доприносу овом тексту.