OpenAI и Broadcom представят чип за инференция, оптимизиран за големи езикови модели

• Първоначалните тестове показват, че ускорителят от първо поколение ще осигури производителност на ват, значително по-добра от настоящите най-съвременни решения
• Създаден от нулата за настоящи и бъдещи големи езикови модели в цялата индустрия
• Разработен от проектиране до производство за девет месеца с ускорение от моделите на OpenAI
• Разширява платформата на OpenAI по целия стек — от продукти до модели, а вече и до чипове
• Ще бъде внедрен в гигаватов мащаб с партньори за центрове за данни през няколко поколения

OpenAI и Broadcom (NASDAQ: AVGO) днес представиха Jalapeño, първия процесор за интелигентност на OpenAI: ускорител, проектиран около визията на OpenAI за бъдещето на инференцията при големи езикови модели, и първия AI ускорител в изчислителна платформа от няколко поколения, която компаниите изграждат заедно, за да направят напредналия AI по-бърз, по-надежден и по-достъпен за повече хора.

Jalapeño беше предоставен на главния изпълнителен директор на OpenAI Сам Алтман и президента Грег Брокман от президента и главен изпълнителен директор на Broadcom Хок Тан и президента Чарли Кауас, отбелязвайки важна стъпка в стратегията на OpenAI да изгради целия стек зад своите модели и продукти.

OpenAI проектира чипа от нулата въз основа на задълбоченото си разбиране за основите на големите езикови модели, информирано от пътната карта за модели, ядра, системи за обслужване и продуктови нужди, заедно с партньорите Broadcom и Celestica, които помагат платформата да бъде индустриализирана чрез реализация на чипа, платки, интеграция на rack системи, високопроизводителни мрежи и мащабируеми производствени системи. Jalapeño е проектиран с гъвкавост да работи с всички големи езикови модели, воден от прозренията на OpenAI за нуждите от инференция на настоящи и бъдещи AI модели в цялата индустрия. Инженерни образци на чипа Jalapeño изпълняват ML натоварвания в лабораторията при целевите за производство честота и мощност, включително GPT‑5.3‑Codex‑Spark.

Докато OpenAI все още измерва окончателната производителност, първоначалните тестове показват, че Jalapeño ще осигури производителност на ват, значително по-добра от настоящите най-съвременни решения. Подробен технически доклад за производителността ще бъде представен през следващите месеци. Архитектурата намалява преноса на данни и балансира изчислителните ресурси, паметта и мрежовите ресурси, за да постигне реално използване, много по-близко до теоретичната пикова производителност. Силициевата реализация и мрежовите технологии на Broadcom, включително мрежовия силиций Tomahawk, помагат платформата да бъде доведена до мащабно производство.

„Светът преминава към икономика, задвижвана от изчислителни ресурси“, каза Грег Брокман, президент и съосновател на OpenAI. „Jalapeño е част от нашата дългосрочна инфраструктурна стратегия за целия стек, с която да направим изчислителните ресурси по-изобилни и така да осигурим AI, който е по-бърз, по-надежден и по-достъпен за хората и бизнеса и може да се използва за решаване на по-важни проблеми. Като проектираме сами по-голяма част от стека, можем да предоставяме повече интелигентност с по-висока ефективност и да продължим да разширяваме достъпа до напреднал AI.“

„Jalapeño беше проектиран от нулата за инференция на големи езикови модели, като използвахме подробни прозрения от тясното ни сътрудничество с изследователите на OpenAI“, каза Ричард Хо, който ръководи хардуерната програма на OpenAI. „Оптимизирахме архитектурата около ядрата, движението на паметта, мрежите и моделите на обслужване, които са най-важни за граничните AI модели. Според първоначалните тестове Jalapeño ще изпълнява ефективно най-важните ни натоварвания близо до теоретичните граници на хардуера.“

„Сътрудничеството ни с OpenAI представлява основен ангажимент за мащабиране на физическата инфраструктура, необходима за следващото десетилетие на AI“, каза Хок Тан, президент и главен изпълнителен директор на Broadcom. „Това е само началото на пътна карта за няколко поколения. Като разработваме съвместно нашия водещ в индустрията силиций директно с OpenAI, даваме възможност за внедряване на центрове за данни в гигаватов мащаб с Microsoft и други партньори от 2026 г.“

Jalapeño е изцяло нов дизайн за съвременна инференция на големи езикови модели, а не универсален ускорител, адаптиран от по-ранни AI натоварвания. Той е съобразен със системите, които OpenAI използва всеки ден в ChatGPT, Codex, API и бъдещите агентни продукти, като същевременно е проектиран за настоящи и бъдещи големи езикови модели в цялата индустрия. Целта е да се съчетаят мощността и производителността на водещите днес AI ускорители със закъснение, по-близко до това на най-бързите специализирани системи за инференция, което прави Jalapeño особено подходящ за интерактивни продукти с големи езикови модели в мащаб.

Това е предимството на целия стек. OpenAI не само разработва гранични модели или изгражда продукти върху тях; тя проектира и инфраструктурата под тях: архитектура на чипове, ядра, системи за памет, мрежи, планиране, системи за внедряване и продуктово изживяване. Тъй като OpenAI работи по целия стек, всеки слой може да бъде оптимизиран около една и съща цел: моделите ѝ да бъдат по-бързи, по-надеждни и по-достъпни за потребителите.

Jalapeño засилва маховика зад напредъка на OpenAI. По-добрата инфраструктура повишава изчислителната ефективност. По-високата изчислителна ефективност позволява по-добро обучение и обслужване, които в крайна сметка захранват по-способни AI модели. По-добрите модели се превръщат в по-добри продукти за хората, разработчиците и бизнеса. По-добрите продукти водят до повече употреба, повече клиенти и повече приходи, което позволява на OpenAI да реинвестира в следващото поколение инфраструктура. С времето този цикъл помага интелигентността да стане по-способна, по-надеждна и по-евтина за всички.

Jalapeño беше разработен съвместно от първоначалния дизайн до производствения tape-out само за девет месеца, а програмата за персонализиран AI ускорител представлява това, което смятаме за най-бързия цикъл на разработка на ASIC, постиган някога при високопроизводителни усъвършенствани полупроводници. Тази скорост отразява дълбоко съвместно разработване на софтуер и хардуер с инженерните екипи на OpenAI, експертизата на Broadcom в силициевата реализация и използването на модели на OpenAI за ускоряване на части от процеса на проектиране и оптимизация.

Същите модели, които се обслужват на потребителите, помагат за подобряване на инфраструктурата, използвана за работа на бъдещи модели. Ако AI може да помага на инженерите да проектират по-добри чипове по-бързо, той може да намали разходите за изчислителни ресурси в цялата индустрия и да помогне за демократизирането на достъпа до напреднал AI.

Jalapeño е първата стъпка в изчислителна платформа за няколко поколения, проектирана за първоначално внедряване до края на 2026 г. и разширяване през следващите години, като съчетава ускорители, проектирани от OpenAI, със силициевата реализация, мрежовите технологии и технологиите за свързаност на Broadcom, както и с експертизата на Celestica в платки, rack системи и системна интеграция.

Смисълът на тази работа е прост: инференцията е мястото, където AI достига до хората. Всяко подобрение в цената, скоростта и надеждността може да се прояви като по-бърз отговор от ChatGPT, задача в Codex, която може да извърши повече стъпки с по-малко чакане, API продукт, който е по-евтин за изграждане, или по-надежден достъп при високо търсене.

Демократизирането на AI означава напредналите модели да бъдат достатъчно достъпни, надеждни и изгодни, за да ги използват повече хора всеки ден. Jalapeño помага на OpenAI да превръща по-голяма част от инфраструктурата си в полезна интелигентност за студенти, разработчици, малки бизнеси, изследователи, предприятия и всеки, който се опитва да учи, да създава или да решава трудни проблеми.