I risultati di Jalapeño mostrano velocità ed efficienza ai vertici del settore nell’inferenza IA

Da quando abbiamo annunciato Jalapeño, il primo chip di inferenza personalizzato di OpenAI, abbiamo testato il chip e il sistema realizzato attorno a esso. I risultati mostrano un miglioramento significativo delle prestazioni: Jalapeño può gestire più carichi di lavoro di IA per unità di potenza, fornendo al contempo risposte più rapidamente. Jalapeño offre sia una maggiore capacità di elaborazione sia una minore latenza con un’unica architettura, mentre i sistemi hardware esistenti devono spesso trovare un compromesso tra le due.

Per i clienti, ciò può significare risposte più rapide, agenti più reattivi e un accesso più affidabile con l’aumento della domanda. La nostra missione è garantire che l’intelligenza artificiale generale porti benefici a tutta l’umanità. Questi miglioramenti contribuiranno a rendere l’IA dalle capacità sempre maggiori più conveniente e disponibile su più ampia scala.

I modelli OpenAI hanno anche accelerato lo sviluppo di Jalapeño. Le generazioni precedenti hanno aiutato il team a progettare e mettere in funzione il chip, mentre i nostri modelli più recenti ci permettono di ottimizzarlo e programmarlo più rapidamente. Le prestazioni di Jalapeño si confermano su GPT‑OSS 120B, DeepSeek R1 e Kimi K2.5 1T, dimostrando che l’architettura funziona su modelli sviluppati sia all’interno sia all’esterno di OpenAI. In tutti e tre i casi, Jalapeño ha elaborato una quantità di lavoro IA per watt da 1,5 a 1,9 volte superiore alla massima capacità di elaborazione e ha registrato una latenza end-to-end da 1,7 a 3,6 volte inferiore rispetto ai sistemi di confronto. Per carichi di lavoro ad alta interattività, ha offerto prestazioni da 2,1 a 4,1 volte superiori.

Jalapeño dimostra anche un più ampio vantaggio full-stack. OpenAI può progettare in modo integrato modelli, prodotti, software di erogazione, chip, memoria, networking e sistemi, usando ciò che apprendiamo dai carichi di lavoro reali per migliorare ogni livello dello stack. Jalapeño è un chip proprietario già operativo, con risultati misurati, e rappresenta l’inizio di una piattaforma multigenerazionale. Nei prossimi mesi, aumenteremo progressivamente l’impiego di Jalapeño per offrire ai nostri clienti prodotti più veloci, più avanzati e più efficienti.

Valutiamo le prestazioni a parità di esperienza utente, misurando quanto lavoro utile di IA ciascun sistema è in grado di completare per unità di potenza, mantenendo i livelli di latenza richiesti dai clienti e dagli agenti interattivi. Questo è particolarmente importante per gli agenti, che devono completare molti passaggi in sequenza e per i quali i ritardi possono accumularsi nel corso di un’intera attività.

Per capire come Jalapeño si comporta nella pratica, lo abbiamo testato su InferenceX, un benchmark pubblico di SemiAnalysis che misura l'intero processo di gestione di una richiesta di IA. Abbiamo confrontato Jalapeño con i principali sistemi di IA disponibili in commercio nell’intero intervallo operativo testato, dal servizio ad alta capacità di elaborazione all’uso altamente interattivo e a bassa latenza. Jalapeño ha offerto una combinazione migliore di capacità di elaborazione, efficienza energetica e latenza. Sebbene le prestazioni siano talvolta riportate per chip, riteniamo che lo standard più utile sia quello delle prestazioni per unità di potenza.

Su tutti e tre i modelli pubblici, Jalapeño ha offerto una migliore combinazione di prestazioni per watt e latenza nell’intervallo operativo testato, collocandosi sulla frontiera di Pareto. Per confrontare i sistemi in modo coerente, abbiamo normalizzato i risultati utilizzando il valore nominale di potenza del chip pubblicato per ciascun acceleratore. Jalapeño ha una potenza nominale di 700 watt, sebbene la sua potenza sostenuta misurata sia rimasta pari o inferiore a 550 watt nei carichi di lavoro testati.

Jalapeño ha ottenuto ottime prestazioni su GPT‑OSS 120B, DeepSeek R1 670B e Kimi K2.5 1T. Su Kimi, il più grande modello pubblico che abbiamo testato, ha offerto prestazioni di picco per watt circa 1,5 volte superiori e una latenza end-to-end 3,4 volte inferiore rispetto al sistema di confronto. Nei nostri test interni, il vantaggio di Jalapeño si è ulteriormente ampliato sui modelli OpenAI avanzati, suggerendo che l’architettura diventa più vantaggiosa con l’aumentare delle dimensioni e della complessità dei carichi di lavoro.

Fin dall’inizio, Jalapeño è stato progettato partendo da una domanda: quale hardware costruiremmo se il suo compito principale fosse eseguire i modelli linguistici attuali e futuri, in particolare gli agenti interattivi? I miglioramenti offerti da Jalapeño derivano dalla progettazione congiunta di chip, memoria, rete, software e sistema su scala rack in funzione di carichi di lavoro reali dei modelli linguistici. L’inferenza dei modelli linguistici attraversa diverse fasi, ciascuna con ostacoli specifici. Il prefill, durante il quale il sistema elabora il prompt, richiede molte risorse di calcolo, mentre la decodifica, durante la quale il sistema genera la risposta token per token, è maggiormente limitata dalla larghezza di banda della memoria. Anche la comunicazione può aumentare la latenza quando i dati devono spostarsi tra core e chip, lasciando inattive alcune unità di elaborazione durante l’attesa. Un sistema che eccelle in una fase può perdere tale vantaggio mentre attende i dati o trasferisce lo stato del modello tra risorse diverse.

Abbiamo progettato Jalapeño per ridurre al minimo lo spostamento dei dati e i ritardi di comunicazione. Lo stato del modello, inclusa la cache KV usata durante la generazione di una risposta, può quindi essere collocato in modo esplicito e mantenuto localmente, mentre il sistema attiva la combinazione appropriata di calcolo, memoria e rete per ogni fase dell’inferenza. La rete è parte integrante dell’architettura. Il suo ampio dominio consente di mantenere l’intero carico di lavoro in un unico sistema connesso, riducendo lo spostamento dei dati e contribuendo a un’elaborazione rapida ed efficiente dell’intera richiesta dall’inizio alla fine. Il risultato è un acceleratore bilanciato e flessibile, capace di supportare architetture di modelli in evoluzione, eccellere sia nel prefill sia nella decodifica e adattarsi alle variazioni del loro equilibrio, una caratteristica fondamentale dei carichi di lavoro agentici.

L’IA ha svolto un ruolo diretto nello sviluppo di Jalapeño, consentendo al team di passare dal progetto iniziale al tapeout in nove mesi grazie all’esplorazione di diverse implementazioni, alla riduzione dei cicli di progettazione, misurazione e verifica e all’iterazione continua sui carichi di lavoro dei modelli. L’IA ha inoltre contribuito a ottimizzare i circuiti aritmetici del chip, permettendo al team di integrarvi una maggiore capacità di calcolo nel rispetto dei tempi previsti.

Jalapeño è stato progettato come una piattaforma di programmazione chiara e prevedibile sia per le persone sia per l’IA. Gli ingegneri possono descrivere le attività mediante tensori locali, comunicazioni esplicite e una sincronizzazione prevedibile. L’IA può quindi ottimizzare il modo in cui tali attività vengono mappate, distribuite, pianificate e coordinate nell’intero sistema. Questa struttura chiara e prevedibile offre all’IA un metodo gestibile per affrontare il problema, tradizionalmente complesso, della programmazione parallela.

Il supporto di ogni nuova famiglia di modelli richiede comunque nuovi kernel e ottimizzazioni specifiche. Usando Codex con GPT‑Astra, in due mesi il team ha portato a prestazioni elevate tre modelli open-weight che non facevano parte del piano di produzione originale di Jalapeño. Ciò ha dimostrato sia la flessibilità dell’architettura sia la rapidità con cui l’IA può aiutarci a programmarla. Per alcuni blocchi di attention e mixture-of-experts di GPT‑OSS, le implementazioni generate dall’IA sono state eseguite da 1,5 a 1,8 volte più rapidamente di quelle esistenti scritte da esperti umani. Questi dati si riferiscono ai blocchi selezionati, non all’intero modello, ma indicano la possibilità di un nuovo e potente ciclo di sviluppo.

Il valore dell’infrastruttura di IA deriva dal lavoro utile che consente di svolgere in contesti reali. Consentendo di svolgere più lavoro utile con la stessa energia e lo stesso hardware, Jalapeño può aiutarci a soddisfare una domanda maggiore e a ridurre il costo necessario per ottenere risultati positivi. Per OpenAI, ciò può migliorare la leva operativa, consentendo al lavoro utile e ai ricavi di crescere più rapidamente dei costi di erogazione del servizio. Può inoltre favorire una diffusione più ampia e investimenti continui in modelli, prodotti e infrastrutture migliori. Un’inferenza più rapida può accelerare le iterazioni e rendere possibili nuovi casi d’uso.

Jalapeño amplia le possibilità dell’inferenza efficiente e a bassa latenza:

• Inferenza in modalità ultrarapida con livelli di efficienza prima disponibili soltanto in modalità rapida
• Inferenza in modalità rapida con livelli di efficienza prima disponibili soltanto in modalità batch
• Maggiore efficienza per l’inferenza in modalità batch

Prevediamo di iniziare a distribuire Jalapeño nell’infrastruttura di calcolo di OpenAI entro la fine dell’anno. È la prima generazione di una roadmap articolata su più generazioni: Gen 2 è in fase avanzata di sviluppo e Gen 3 sta prendendo forma. Ogni generazione si baserà su quanto appreso e migliorerà ulteriormente sia l’efficienza sia la velocità.

Per soddisfare la crescente domanda di IA serviranno più risorse di calcolo da ogni fonte disponibile. Continueremo a distribuire su vasta scala acceleratori di NVIDIA e di altri partner per i carichi di lavoro sia di addestramento sia di inferenza. La nostra missione è garantire che l’intelligenza artificiale generale porti benefici a tutta l’umanità.

In vista della distribuzione, proseguiamo la qualificazione per la produzione, il consolidamento del software, la preparazione all’uso di Jalapeño su larga scala e la convalida delle prestazioni su un numero maggiore di modelli. I risultati ottenuti finora mostrano cosa diventa possibile progettando insieme l’intero sistema: un’IA più reattiva, capace e agentica, resa disponibile a più persone con maggiore efficienza.