Как GPT‑5.6 съчетава авангарден интелект с авангардна ефективност

Проектирахме семейството модели GPT‑5.6 така, че да балансира възможности и разходи в целия спектър от задачи, за които хората използват нашите модели. Нашият флагмански модел GPT‑5.6 Sol с максимално структурирано анализиране превъзхожда Claude Fable 5 в Artificial Analysis Coding Agent Index на по-малко от половината цена. Terra се представя наравно с GPT‑5.5 в бенчмарковете за интелект при наполовина по-ниска цена, а Luna е нашият най-бърз и достъпен модел, чиято цена е с 80% по-ниска от тази на Sol. За да постигнат тази ефективност, изследователските и техническите ни екипи направиха значителни оптимизации във всеки основен слой на технологичния ни стек. Тези подобрения обхващат моделите ни, извеждането на резултати (как изпълняваме моделите, за да генерираме изходни данни) и агентната ни рамка, използвана както от Codex, така и от ChatGPT Work.

През последните четири години разширихме мащаба на моделите си до 1 милиард активни потребители и над 2 милиона компании, като ефективността беше ключова за предоставянето на ползите от интелекта на всички. Нашата мисия е изкуственият общ интелект да бъде от полза за цялото човечество. През тези години работихме непрекъснато за по-мащабни оптимизации в целия ни технологичен стек, за да предлагаме най-производителните модели във всяка точка от кривата цена–интелект. С GPT‑5.6 постигнахме най-високата си досега ефективност по отношение на интелект за токен, като моделът е обучен да върши повече работа с всеки токен. При обучението оптимизираме както успешното изпълнение на задачите, така и ефективността, като насочваме модела по по-пряк път през задачата.

Тази публикация надхвърля темата за моделите ни и разказва как постигнахме ефективност чрез напредък в две други основни части на технологичния стек: 1) извеждането на резултати — чрез оптимизиране на процеси като балансиране на натоварването, спекулативно декодиране, кеширане и оптимизиране на ядра, за да получим повече от същия хардуер; и 2) нашата агентна рамка — чрез по-добро управление на раздуването на контекста, използването на инструменти и повтарящата се работа. Ще разгледаме и ролята на GPT‑5.6 Sol за автономното реализиране на някои от тези подобрения. Макар всяко отделно подобрение да изглежда ограничено, ползите се натрупват и ни позволяват да бъдем в авангарда както на интелекта, така и на ефективността.

В свят с ограничени изчислителни ресурси, където търсенето на модели расте по-бързо от капацитета, ефективността е в основата на проектирането на всяка система. Това важи с особена сила за нашия стек за извеждане на резултати, който изпълнява обучени модели, за да генерира отговори. Основната ни цел е със същия хардуер да обслужваме повече токени, като запазим очакваните от потребителите интелект, скорост на реакция, наличност и надеждност.

За постигането на това е необходимо да оптимизираме цялата система. Един модел може сам по себе си да е много ефективен, но обслужването му да остава скъпо, ако заявките се разпределят лошо, хардуерът бездейства или движението на данни забавя изчисленията. Подобренията във всеки слой се натрупват, като ползите идват от оптимизации в маршрутизирането (къде се изпращат заявките), планирането (кога се изпращат), ядрата (софтуерът, който работи на графичните процесори), кеширането (запазена и повторно използвана работа) и реализацията на модела (редът на кода за графичните процесори). GPT‑5.6 Sol в Codex изигра ключова роля във всички тези оптимизации.

Първият важен пример е балансирането на натоварването. В световен мащаб маршрутизираме заявките според фактори като географско местоположение, наличен капацитет и вид на ускорителя (видът графичен процесор или специализиран чип, на който работи моделът). В рамките на един клъстер разпределяме работата между екземплярите на модела според натоварването, дължината на контекста, наличността на кеша и други характеристики на заявката. След това във всеки екземпляр работата трябва да бъде ефективно разпределена между ускорителите, подмрежите на модела и изчислителните ядра. GPT‑5.6 Sol в Codex ни помага да анализираме производствения трафик, да откриваме пренебрегвани досега източници на дисбаланс, да тестваме нови стратегии за маршрутизиране и постоянно да настройваме тези евристики. Само тези подобрения в балансирането на натоварването намалиха драстично разходите за обслужване на нашите модели.

Използвахме GPT‑5.6 Sol и за оптимизиране на насоченото напред минаване на модела — изчислението, което преобразува входните данни в прогнози за следващия токен. Дори когато отделните операции са бързи, прекомерното прехвърляне на памет, синхронизирането и неефективното разположение на данните могат да оставят графичните процесори без работа. За да избегне това, GPT‑5.6 Sol откри работа, която може да бъде предварително изчислена, избегната или изпълнена паралелно. С Codex GPT‑5.6 Sol автономно пренаписа и оптимизира производствените ни ядра — основния код, който изпълнява математическите операции, изграждащи модела. Това беше възможно отчасти защото обучихме GPT‑5.6 да пише и подобрява ефективно ядра на Triton⁠(отваря се в нов прозорец) и Gluon⁠(отваря се в нов прозорец) — два езика с отворен код за програмиране на графични процесори, поддържани от OpenAI. Тези усилия, съчетани с по-мащабните подобрения на ядрата от GPT‑5.6 Sol, намалиха с 20% общите разходи за обслужване. Инвестирахме значително и в инструменти за проверка, като инструмента с отворен код FpSan⁠(отваря се в нов прозорец) (санитайзер за числа с плаваща запетая), за да проверяваме коректността на ядрата, написани от GPT‑5.6 Sol.

Спекулативното декодиране е друг начин за подобряване на скоростта и ефективността. Техниката изпълнява по-малък чернови модел (или „спекулатор“) успоредно с основния модел и предлага няколко токена, които основният модел да провери паралелно. Когато предложенията бъдат приети, системата може да създаде няколко изходни токена с едно минаване на основния модел, като така намалява скъпите последователни изчисления. GPT‑5.6 Sol подобри собствения си чернови модел, като проектира и проведе стотици експерименти с архитектурата му и тества промени в размера, структурата и характеристиките. Освен това GPT‑5.6 Sol стартира и наблюдава процеса по обучение на спекулатора, като автономно се намесваше при проблеми, включително хардуерни повреди и нестабилност на обучението. Постигнатите подобрения увеличиха ефективността при генериране на токени с над 15%.

При обработване на некеширани входни токени моделът изгражда кеша ключ–стойност (KV) в един изчислително интензивен проход; при генериране на изходни данни той многократно чете от този кеш и го разширява. Оптималната конфигурация за обслужване — например групирането, разделянето и управлението на KV — зависи силно от натоварването: дължината на подканата и изхода, размера на пакетите, дела на попаденията в кеша, характеристиките на заявките и други фактори. Преди обаче пространството от възможни конфигурации беше твърде голямо за систематично настройване и инженерите трябваше да разчитат на общи евристики. С GPT‑5.6 Sol в Codex успяхме да анализираме производствените натоварвания, да генерираме и оценим възможни конфигурации и да оптимизираме прецизно настройките на системата и модела за всеки сценарий. Така става практично ново ниво на оптимизация според конкретното натоварване, което осигурява повече полезни резултати от същия хардуер.

Оптимизирането на извеждането на резултати е непрекъснат цикъл с обратна връзка. Измерваме поведението в реална среда, откриваме най-големите пропуски, внедряваме промени и проверяваме дали те подобряват цялата система, а не само отделен бенчмарк. GPT‑5.6 Sol и Codex ускоряват всяка част от този цикъл. Така екипът ни може да проучва повече идеи, да реагира по-бързо на променящите се натоварвания и да създава стек за извеждане на резултати с по-ниско закъснение, по-голям капацитет и по-ниски разходи за потребителите.

ChatGPT Work и Codex изпълняват сложни задачи чрез поредица от заявки към модела и извиквания на инструменти. В рамките на един ход — от заявката на потребителя до окончателния отговор — Codex може да провери изходен код, да претърси хронологията на внедряванията, да прочете доклади за инциденти, да редактира файл и да изпълни тестове. Всяка стъпка може да изисква отделна заявка.

Подготовката на контекст, предаването на данни, извеждането на резултати, извикването на инструменти и стартирането на процеси изискват време и изчислителни ресурси. Ако една задача изисква 30 заявки към модела, допълнителна секунда за всяка заявка се натрупва. Подобряването на цялостната производителност означава да се намали повтарящата се работа в цялата система, а не просто да се ускори моделът.

Тези мултиплициращи ефекти определиха начина, по който проектирахме агентната си рамка — слой за оркестрация на Rust, свързващ нашите модели и инструменти със средата на потребителя. Следва да разгледаме как избягването на раздуването на контекста, зареждането на инструменти и повторното използване на вече свършена работа правят всяка заявка по-ефективна.

Когато Агентите получават достъп до повече инструменти, умения, приставки и хронология на разговорите, контекстните прозорци лесно могат да се разширят. Това увеличава разходите, разсейва модела и предизвиква ненужно структурирано анализиране. Рамката може да намали това допълнително натоварване чрез отложено откриване, при което интеграциите, персонализираните MCP инструменти, уменията и приставките се показват само при необходимост. Рамката също не позволява на отделни инструменти и MCP интеграции неочаквано да запълват контекстния прозорец. По подразбиране резултатът от инструментите е ограничен до 10 000 токена, освен ако моделът не поиска друг лимит.

Както вече споменахме, цикълът на Агента може многократно в рамките на един ход да изпраща до графичните процесори едни и същи инструкции, хронология на разговора, дефиниции на инструменти и по-ранни резултати. Обработването на тези повтарящи се входни данни е скъпо, затова кеширането на подкани използва повторно изчисленията, свързани с вече обработен префикс на подканата. За да запази този префикс, рамката третира цялата видима за модела хронология като достъпна само за добавяне: новите съобщения, резултатите от инструменти и актуализациите на средата се добавят в края, вместо да се вмъкват в по-ранен контекст. Инструментите също се представят в детерминиран ред, а настройките по време на изпълнение, като правилата за одобрение, се прилагат при изпълнението, вместо да се вграждат в дефинициите на инструментите. Това проектно решение допринася за високия общ дял на попаденията в кеша за подкани при Codex и ChatGPT Work.

Подобренията в ефективността, които постигнахме с GPT‑5.6, са резултат от години натрупващи се усъвършенствания в целия технологичен стек — от изследванията и извеждането на резултати до нашата агентна рамка. Ролята на GPT‑5.6 за постигането на много от тези подобрения ни кара да вярваме, че темпът на оптимизация ще се ускори. Ще продължим с по-мащабни оптимизации в области като оптимизирането на ядра, наред с основополагащи подобрения на технологичния ни стек. Очакваме с нетърпение да предоставим тези непрекъснати подобрения зад кулисите на нашите потребители и клиенти под формата на по-широко достъпен и икономичен интелект.

Специални благодарности на Matthew Ferrari, Philippe Tillet, Ahmed Ibrahim, Joe Gershenson и Steve Coffey от техническия екип за приноса им към тази публикация.