OpenAI и Broadcom претставија чип за инференција оптимизиран за големи јазични модели (LLM)

• Раното тестирање покажува дека акцелераторот од првата генерација ќе испорача перформанси по ват значително подобри од сегашните најсовремени решенија
• Создаден од темел за сегашните и идните големи јазични модели (LLM) во целата индустрија
• Развиен од дизајн до производство за девет месеци, забрзан со моделите на OpenAI
• Ја проширува платформата на OpenAI низ целиот стек, од производи до модели, а сега и до чипови
• Ќе се распоредува на гигаватска скала со партнери за податочни центри, низ повеќе генерации

OpenAI и Broadcom (NASDAQ: AVGO) денес го претставија Jalapeño, првиот процесор за интелигенција на OpenAI: акцелератор архитектонски изграден околу визијата на OpenAI за иднината на инференцијата кај големите јазични модели (LLM), и првиот AI акцелератор во повеќегенерациска пресметковна платформа што компаниите ја градат заедно за да ја направат напредната AI побрза, посигурна и подостапна за повеќе луѓе.

Jalapeño им беше предаден на извршниот директор на OpenAI, Sam Altman, и на претседателот Greg Brockman од претседателот и извршен директор на Broadcom, Hock Tan, и претседателот Charlie Kawwas, што означува важен чекор во стратегијата на OpenAI да го изгради целиот стек зад своите модели и производи.

OpenAI го дизајнираше чипот од нула врз основа на своето длабоко разбирање на основите на големите јазични модели (LLM), информирано од планот за модели, кернели, системи за опслужување и потреби на производите, со партнерите Broadcom и Celestica, кои помагаат платформата да се индустријализира преку имплементација на чипот, плочи, интеграција на системи во рекови, високоперформансно вмрежување и скалабилни производствени системи. Jalapeño е дизајниран со флексибилност да работи со сите големи јазични модели (LLM), воден од увидите на OpenAI во потребите за инференција на сегашните и идните AI модели низ индустријата. Инженерските примероци на чипот Jalapeño извршуваат ML работни оптоварувања во лабораторија на целната производна фреквенција и моќност, вклучувајќи го и GPT‑5.3‑Codex‑Spark.

Иако OpenAI сè уште ги мери конечните перформанси, раното тестирање покажува дека Jalapeño ќе испорача перформанси по ват значително подобри од сегашните најсовремени решенија. Детален технички извештај за перформансите ќе биде претставен во наредните месеци. Архитектурата го намалува движењето на податоците и ги балансира ресурсите за пресметување, меморија и вмрежување за да постигне реална искористеност многу поблиску до теоретските врвни перформанси. Силициумската имплементација и мрежните технологии на Broadcom, вклучувајќи го мрежниот силициум Tomahawk, помагаат платформата да се донесе до производство во голем обем.

„Светот се движи кон економија засилена со пресметување“, рече Greg Brockman, претседател и коосновач на OpenAI. „Jalapeño е дел од нашата долгорочна инфраструктурна стратегија за целиот стек, со која сакаме пресметковната моќ да стане поизобилна, што ќе резултира со AI која е побрза, посигурна и подостапна за луѓето и бизнисите, и може да се користи за решавање поважни проблеми. Со тоа што самите дизајнираме поголем дел од стекот, можеме поефикасно да опслужиме повеќе интелигенција и да продолжиме да ја туркаме напредната AI кон поширок пристап.“

„Jalapeño беше дизајниран од темел за инференција кај големи јазични модели (LLM), користејќи детални увиди од нашата тесна соработка со истражувачите на OpenAI“, рече Richard Ho, кој ја води хардверската програма на OpenAI. „Ја оптимизиравме архитектурата околу кернелите, движењето на меморијата, вмрежувањето и обрасците на опслужување што се најважни за најнапредните AI модели. Според раното тестирање, Jalapeño ефикасно ќе ги извршува нашите најважни работни оптоварувања блиску до теоретските граници на хардверот.“

„Нашата соработка со OpenAI претставува темелна посветеност на скалирањето на физичката инфраструктура потребна за следната деценија на AI“, рече Hock Tan, претседател и извршен директор на Broadcom. „Ова е само почеток на повеќегенерациски план. Со заеднички развој на нашиот водечки силициум во индустријата директно со OpenAI, овозможуваме распоредување на податочни центри на гигаватска скала со Microsoft и други партнери почнувајќи од 2026 година.“

Jalapeño е дизајн од чист лист за модерна инференција кај големи јазични модели (LLM), а не акцелератор за општа намена приспособен од претходни AI работни оптоварувања. Тој е информиран од системите што OpenAI ги извршува секој ден низ ChatGPT, Codex, API и идните агентски производи, а истовремено е дизајниран за сегашните и идните големи јазични модели (LLM) низ индустријата. Целта е да се комбинираат моќноста и капацитетот на денешните водечки AI акцелератори со латентност поблиска до најбрзите специјализирани системи за инференција, со што Jalapeño станува добро приспособен за интерактивни производи со големи јазични модели (LLM) во голем обем.

Тоа е предноста на целиот стек. OpenAI не развива само најнапредни модели или производи врз нив; таа ја дизајнира инфраструктурата под нив: архитектура на чипови, кернели, мемориски системи, вмрежување, распоредување задачи, системи за распоредување и корисничко искуство на производите. Бидејќи OpenAI работи низ целиот стек, секој слој може да се оптимизира околу истата цел: неговите модели да бидат побрзи, посигурни и подостапни за корисниците.

Jalapeño го засилува замаецот зад напредокот на OpenAI. Подобрата инфраструктура ја зголемува пресметковната ефикасност. Поголемата пресметковна ефикасност овозможува подобро обучување и опслужување, што на крајот напојува поспособни AI модели. Подобрите модели стануваат подобри производи за луѓето, програмерите и бизнисите. Подобрите производи носат поголема употреба, повеќе клиенти и повеќе приходи, што му овозможува на OpenAI повторно да инвестира во следната генерација инфраструктура. Со текот на времето, тој циклус помага интелигенцијата да стане поспособна, посигурна и поевтина за сите.

Jalapeño беше заеднички развиен од првичен дизајн до предавање на дизајнот за производство за само девет месеци, а програмата за прилагоден AI акцелератор претставува, според нашето уверување, најбрз развоен циклус за ASIC досега постигнат кај високоперформансни напредни полупроводници. Таа брзина ја одразува длабоката заедничка разработка на софтвер и хардвер со инженерските тимови на OpenAI, експертизата на Broadcom во силициумска имплементација и употребата на модели на OpenAI за забрзување делови од процесот на дизајнирање и оптимизација.

Истите модели што им се опслужуваат на корисниците помагаат да се подобри инфраструктурата што ќе се користи за извршување идни модели. Ако AI може да им помогне на инженерите побрзо да дизајнираат подобри чипови, може да ги намали трошоците за пресметување низ индустријата и да помогне да се демократизира пристапот до напредна AI.

Jalapeño е првиот чекор во повеќегенерациска пресметковна платформа дизајнирана за првично распоредување до крајот на 2026 година и проширување во годините што следат, комбинирајќи акцелератори дизајнирани од OpenAI со силициумска имплементација, вмрежување и технологии за поврзување од Broadcom; како и експертиза на Celestica за плочи, рекови и системи.

Смислата на оваа работа е едноставна: инференцијата е местото каде што AI стигнува до луѓето. Секое подобрување во трошоците, брзината и сигурноста може да се покаже како побрз одговор од ChatGPT, задача во Codex што може да направи повеќе чекори со помалку чекање, API производ што е поевтин за изградба или посигурен пристап кога побарувачката е висока.

Демократизацијата на AI значи напредните модели да станат доволно достапни, сигурни и финансиски пристапни за повеќе луѓе да ги користат секој ден. Jalapeño му помага на OpenAI да претвори поголем дел од својата инфраструктура во корисна интелигенција за студенти, програмери, мали бизниси, истражувачи, претпријатија и секој што се обидува да учи, создава или решава тешки проблеми.