OpenAI och Broadcom presenterar LLM-optimerat inferenschip

• Tidiga tester visar att den första generationens accelerator kommer att ge väsentligt bättre prestanda per watt än dagens bästa lösningar
• Utvecklat från grunden för dagens och framtidens stora språkmodeller
• Utvecklad från design till produktion på nio månader, accelererad av OpenAI:s modeller
• Utökar OpenAI:s heltäckande plattform – från produkter och modeller till egna chip
• Ska driftsättas i gigawattskala tillsammans med datacenterpartners över flera chipgenerationer.

OpenAI och Broadcom (NASDAQ: AVGO) presenterade i dag Jalapeño, OpenAI:s första Intelligence Processor – en AI-accelerator som har utvecklats utifrån OpenAI:s vision för framtidens LLM-inferens. Den är också den första AI-acceleratorn i en flergenerationsplattform för datorkraft som företagen utvecklar tillsammans för att göra avancerad AI snabbare, mer tillförlitlig och tillgänglig för fler människor.

Jalapeño överlämnades till OpenAI:s vd Sam Altman och president Greg Brockman av Broadcoms vd Hock Tan och president Charlie Kawwas, vilket markerar ett viktigt steg i OpenAI:s strategi att bygga upp hela den tekniska infrastrukturen bakom företagets modeller och produkter.

OpenAI har utvecklat chipet från grunden utifrån sin djupa förståelse för hur LLM:er fungerar. Utvecklingen bygger på företagets långsiktiga planer för modeller, kärnor, inferenssystem och produktutveckling, och har skett i nära samarbete med Broadcom och Celestica. Tillsammans har de tagit plattformen från design till storskalig produktion genom utveckling av chip, integrering av kretskort och racksystem, högpresterande nätverk och skalbara produktionslösningar. Jalapeño har utformats för att fungera flexibelt med alla LLM:er och bygger på OpenAI:s kunskap om inferensbehoven hos både dagens och morgondagens AI-modeller. De första Jalapeño-chipen kör redan ML-arbetsbelastningar i laboratoriemiljö vid den målfrekvens och effektförbrukning som gäller för produktion, däribland GPT‑5.3‑Codex‑Spark.

OpenAI utvärderar fortfarande den slutliga prestandan, men de första testerna visar att Jalapeño kommer att leverera betydligt högre prestanda per watt än dagens mest avancerade lösningar. En mer detaljerad teknisk rapport om prestandan kommer att publiceras under de kommande månaderna. Arkitekturen minskar behovet av dataöverföringar och balanserar beräkningskraft, minne och nätverksresurser för att uppnå en faktisk resursutnyttjandegrad som ligger betydligt närmare den teoretiska maxprestandan. Broadcoms teknik för chipimplementering och nätverk, däribland Tomahawk-nätverkskretsar, bidrar till att göra plattformen redo för storskalig produktion.

”Världen rör sig mot en ekonomi som drivs av beräkningskapacitet”, säger Greg Brockman, president och medgrundare av OpenAI. ”Jalapeño är en del av vår långsiktiga fullstackstrategi för infrastruktur för att göra beräkningskapacitet mer rikligt tillgänglig, vilket ger AI som är snabbare, mer tillförlitlig och mer prisvärd för människor och företag, och som kan användas för att lösa viktigare problem. Genom att själva designa större delar av stacken kan vi leverera mer intelligens med högre effektivitet och fortsätta driva avancerad AI mot bredare tillgång.”

– Jalapeño har utvecklats från grunden för LLM-inferens med utgångspunkt i de insikter vi fått genom vårt nära samarbete med OpenAI:s forskare, säger Richard Ho, som leder OpenAI:s hårdvarusatsning. – Vi har optimerat arkitekturen utifrån de kärnor, mönster för minneshantering, nätverk och inferenssystem som är viktigast för AI-modeller i framkant. De första testerna visar att Jalapeño kan köra våra viktigaste arbetsbelastningar med hög effektivitet och utnyttja hårdvarans kapacitet nära dess teoretiska gränser.

”Vårt samarbete med OpenAI speglar ett långsiktigt åtagande att bygga ut den fysiska infrastruktur som krävs för nästa generation AI, säger Hock Tan, Broadcoms vd och koncernchef. – Det här är bara början på en utvecklingsplan som sträcker sig över flera generationer. Genom att utveckla vår branschledande chipteknik tillsammans med OpenAI skapar vi förutsättningar för datacenter i gigawattskala tillsammans med Microsoft och andra partner, med start 2026.”

Jalapeño har utvecklats från grunden för modern LLM-inferens och är inte en generell AI-accelerator som har anpassats från tidigare AI-arkitekturer. Utvecklingen bygger på erfarenheterna från de system som OpenAI använder varje dag i ChatGPT, Codex, API:et och framtida agentbaserade produkter. Samtidigt har chipet utformats för att fungera med både dagens och morgondagens LLM:er, oavsett utvecklare. Målet är att kombinera beräkningskraften och genomströmningen hos dagens ledande AI-acceleratorer med en svarstid i nivå med de snabbaste specialiserade inferenssystemen. Det gör Jalapeño väl lämpat för interaktiva LLM-produkter i stor skala.

Det är styrkan i OpenAI:s heltäckande strategi. Företaget utvecklar inte bara banbrytande modeller eller bygger produkter baserade på dem, utan utvecklar också infrastrukturen som gör dem möjliga – från chiparkitektur, kärnor, minnessystem, nätverk, schemaläggning och driftsättningssystem till själva produktupplevelsen. Eftersom OpenAI utvecklar hela den tekniska stacken kan varje lager optimeras mot samma mål: att göra modellerna snabbare, mer tillförlitliga och mer kostnadseffektiva för användarna.

Jalapeño stärker den positiva utvecklingsspiralen bakom OpenAI:s framsteg. En bättre infrastruktur ger effektivare användning av datorkraft. Effektivare datorkraft förbättrar träning och inferens, vilket leder till mer avancerade AI-modeller. Bättre modeller ger bättre produkter för användare, utvecklare och företag. Bättre produkter leder i sin tur till ökad användning, fler kunder och högre intäkter, vilket gör det möjligt för OpenAI att investera i nästa generation av infrastruktur. Med tiden bidrar den här utvecklingsspiralen till att göra intelligens mer kraftfull, mer tillförlitlig och mer kostnadseffektiv för alla.

Jalapeño utvecklades från den första designen till tape-out på bara nio månader. Enligt OpenAI och Broadcom är det specialutvecklade AI-acceleratorprogrammet den snabbaste ASIC-utvecklingscykeln som hittills har genomförts för avancerade högpresterande halvledare. Den höga utvecklingstakten är resultatet av ett nära samarbete mellan mjukvaru- och hårdvaruteam hos OpenAI, Broadcoms expertis inom chipimplementering samt användningen av OpenAI:s modeller för att påskynda delar av design- och optimeringsarbetet.

Samma modeller som används av användarna bidrar också till att förbättra infrastrukturen som driver nästa generations modeller. Om AI kan hjälpa ingenjörer att utveckla bättre chip snabbare kan det sänka kostnaden för datorkraft i hela branschen och göra avancerad AI tillgänglig för fler.

Jalapeño är det första steget i en flergenerationsplattform som ska tas i drift i slutet av 2026 och byggas ut under de kommande åren. Plattformen kombinerar acceleratorer utvecklade av OpenAI med Broadcoms teknik för chipimplementering, nätverk och sammankoppling samt Celesticas expertis inom kretskort, racksystem och systemintegration.

Poängen med det här arbetet är enkel: Det är genom inferens som AI når användarna. Varje förbättring av kostnad, hastighet och tillförlitlighet kan märkas i form av snabbare svar i ChatGPT, Codex som kan utföra fler steg med kortare väntetid, billigare API-produkter att bygga eller mer tillförlitlig åtkomst när efterfrågan är hög.

Att demokratisera AI innebär att göra avancerade modeller tillgängliga, tillförlitliga och tillräckligt prisvärda för att fler människor ska kunna använda dem varje dag. Jalapeño hjälper OpenAI att omvandla mer av sin infrastruktur till användbar intelligens för studenter, utvecklare, småföretag, forskare, storföretag och alla som försöker lära sig, skapa eller lösa svåra problem.