Jalapeños erste Ergebnisse zeigen branchenführende Geschwindigkeit und Effizienz bei der KI-Inferenz

Seit der Vorstellung von Jalapeño, dem ersten maßgeschneiderten Inferenzchip von OpenAI, testen wir den Chip und das darauf aufbauende System. Die Ergebnisse zeigen eine deutliche Leistungssteigerung: Jalapeño kann mehr KI-Arbeit pro Leistungseinheit verarbeiten und gleichzeitig Antworten schneller liefern. Jalapeño bietet mit einer einzigen Architektur sowohl höheren Durchsatz als auch geringere Latenz, während bestehende Hardwaresysteme häufig einen Kompromiss zwischen beidem eingehen müssen.

Für Kund:innen bedeutet das schnellere Antworten, reaktionsschnellere Agenten und zuverlässigeren Zugriff, wenn die Nachfrage steigt. Unsere Mission besteht darin, sicherzustellen, dass künstliche allgemeine Intelligenz der gesamten Menschheit zugute kommt. Diese Fortschritte werden dazu beitragen, immer leistungsfähigere KI erschwinglicher und breiter verfügbar zu machen.

OpenAI-Modelle beschleunigten auch die Entwicklung von Jalapeño. Frühere Generationen halfen dem Team dabei, den Chip zu entwerfen und in Betrieb zu nehmen, während unsere neuesten Modelle die Optimierung und Programmierung des Chips beschleunigen. Jalapeños Leistung erstreckt sich über GPT‑OSS 120B, DeepSeek R1 und Kimi K2.5 1T und zeigt, dass die Architektur bei Modellen funktioniert, die sowohl innerhalb als auch außerhalb von OpenAI entwickelt wurden. Bei allen drei lieferte Jalapeño bei maximalem Durchsatz 1,5 bis 1,9-mal mehr KI-Arbeit pro Watt und eine 1,7 bis 3,6-mal niedrigere End-to-End-Latenz als die Vergleichssysteme. Bei hochgradig interaktiven Workloads erzielte es eine 2,1 bis 4,1-mal höhere Leistung.

Jalapeño ist auch ein Beleg für einen umfassenderen Full-Stack-Vorteil. OpenAI kann Modelle, Produkte, Bereitstellungssoftware, Chips, Speicher, Netzwerktechnik und Systeme gemeinsam entwickeln und dabei das, was wir aus realen Workloads lernen, nutzen, um jede Ebene des Stacks zu verbessern. Jalapeño bietet eigene Chips mit erwiesenen Ergebnissen und ist der Beginn einer Plattform über mehrere Generationen. In den kommenden Monaten werden wir Jalapeño weiter steigern und in größerem Stil einsetzen, um unseren Kund:innen schnellere, leistungsfähigere und effizientere Produkte bereitzustellen.

Wir bewerten die Leistung bei vergleichbarer Nutzererfahrung und messen, wie viel nützliche KI-Arbeit jedes System pro Leistungseinheit erledigen kann, während es die von Kunden und interaktiven Agenten geforderten Latenzzeiten einhält. Dies ist besonders wichtig für Agenten, die viele Schritte nacheinander ausführen müssen, sodass sich Verzögerungen über eine gesamte Aufgabe hinweg aufsummieren können.

Um zu verstehen, wie Jalapeño in der Praxis abschneidet, haben wir es mit InferenceX getestet, einem öffentlichen Benchmark von SemiAnalysis, der den gesamten Prozess der Verarbeitung einer KI-Anfrage misst. Wir verglichen Jalapeño mit führenden kommerziell verfügbaren KI-Systemen im gesamten getesteten Betriebsbereich – von der Bereitstellung mit hohem Durchsatz bis hin zu hochinteraktiven Anwendungen mit geringer Latenz. Jalapeño bot eine bessere Kombination aus Durchsatz, Energieeffizienz und Latenz. Obwohl die Leistung manchmal pro Chip angegeben wird, halten wir die Leistung pro Einheit der Leistungsaufnahme für den sinnvolleren Maßstab.

Über alle drei öffentlichen Modelle hinweg lieferte Jalapeño im getesteten Betriebsbereich eine bessere Kombination aus Leistung pro Watt und Latenz und liegt damit auf der Pareto-Frontier. Um die Systeme konsistent zu vergleichen, haben wir die Ergebnisse anhand der veröffentlichten Chip-Leistungsangabe jedes Beschleunigers normalisiert. Jalapeño ist mit 700 W angegeben, obwohl die gemessene Dauerleistungsaufnahme bei den getesteten Workloads bei höchstens 550 W lag.

Jalapeño erzielte bei GPT‑OSS 120B, DeepSeek R1 670B und Kimi K2.5 1T durchweg starke Ergebnisse. Bei Kimi, dem größten öffentlichen Modell, das wir getestet haben, erzielte es gegenüber dem Vergleichssystem eine etwa 1,5-fach höhere Spitzenleistung pro Watt und eine 3,4-fach niedrigere End-to-End-Latenz. In unseren internen Tests vergrößerte sich der Vorteil von Jalapeño bei Frontier-Modellen von OpenAI weiter, was darauf hindeutet, dass die Architektur umso wertvoller wird, je größer und anspruchsvoller die Workloads werden.

Jalapeño wurde von Anfang an mit folgender Frage entwickelt: Welche Hardware würden wir bauen, wenn ihre Hauptaufgabe darin bestünde, moderne und künftige Sprachmodelle, insbesondere interaktive Agenten, bereitzustellen? Jalapeños Leistungsgewinne entstehen durch die gemeinsame Entwicklung von Chip, Speicher, Netzwerk, Software und Rack-Scale-System für reale Sprachmodell-Workloads. Die Inferenz von Sprachmodellen durchläuft mehrere klar voneinander abgegrenzte Phasen mit unterschiedlichen Engpässen. Prefill, wenn das System einen Prompt verarbeitet, ist rechenintensiv, während Decode, wenn das System die Antwort Token für Token generiert, stärker durch die Speicherbandbreite begrenzt ist. Kommunikation kann außerdem die Latenz erhöhen, wenn Daten zwischen Kernen und Chips verschoben werden müssen, sodass einige Verarbeitungseinheiten inaktiv bleiben, während sie warten. Ein System, das in einer Phase besonders leistungsfähig ist, kann diesen Vorteil verlieren, während es auf Daten wartet oder den Modellzustand zwischen verschiedenen Ressourcen verschiebt.

Wir haben Jalapeño so konzipiert, dass Datenbewegungen und Kommunikationsverzögerungen minimiert werden. Das bedeutet, dass der Modellzustand, einschließlich des beim Generieren einer Antwort verwendeten KV-Caches, explizit platziert und lokal gehalten werden kann, während das System für jede Inferenzphase die richtige Kombination aus Rechenleistung, Speicher und Netzwerkressourcen aktiviert. Das Netzwerk ist integraler Bestandteil der Architektur. Die große Domäne ermöglicht es, dass die gesamte Workload innerhalb eines verbundenen Systems verbleibt, wodurch Datenbewegungen minimiert werden und die vollständige Anfrage von Anfang bis Ende schnell und effizient bleibt. Das Ergebnis ist ein ausgewogener und flexibel einsetzbarer Beschleuniger, der sich an verändernde Modellarchitekturen anpassen kann, sowohl bei Prefill als auch bei der Decodierung überzeugt und sich mit dem Wandel des Gleichgewichts zwischen beiden weiterentwickelt – ein prägendes Merkmal agentischer Workloads.

KI spielte eine direkte Rolle bei der Entwicklung von Jalapeño und ermöglichte dem Team, in neun Monaten vom ersten Entwurf bis zur Fertigungsfreigabe zu gelangen, indem Implementierungen erkundet, Design-, Mess- und Verifizierungsschleifen verkürzt und Modell-Workloads kontinuierlich iteriert wurden. KI half außerdem dabei, die arithmetischen Schaltungen des Chips zu optimieren, sodass das Team planmäßig mehr Rechenleistung in den Chip integrieren konnte.

Jalapeño wurde als klares, vorhersehbares Programmierziel sowohl für Menschen als auch für KI konzipiert. Ingenieur:innen können Arbeit mithilfe von lokalen Tensoren, expliziter Kommunikation und vorhersehbarer Synchronisierung beschreiben. KI kann dann optimieren, wie diese Arbeit im gesamten System zugeordnet, platziert, geplant und koordiniert wird. Diese klare, vorhersehbare Struktur bietet KI einen praktikablen Weg, das traditionell schwierige Problem der Parallelprogrammierung anzugehen.

Die Unterstützung jeder neuen Modellfamilie erfordert weiterhin neue Kernel und modellspezifische Optimierungen. Mithilfe von Codex mit GPT‑Astra brachte das Team innerhalb von zwei Monaten drei Open-Weight-Modelle, die nicht Teil des ursprünglichen Produktionsplans von Jalapeño waren, auf ein hohes Leistungsniveau. Dies zeigte sowohl die Flexibilität der Architektur als auch, wie schnell KI uns bei deren Programmierung helfen kann. Für ausgewählte GPT‑OSS‑Attention‑ und Mixture-of-Experts-Blöcke liefen KI-generierte Implementierungen 1,5 – 1,8-mal schneller als die bestehenden, von menschlichen Fachleuten erstellten Implementierungen. Diese Zahlen gelten für die ausgewählten Blöcke, nicht für das gesamte Modell, deuten aber auf eine leistungsstarke neue Entwicklungsschleife hin.

KI-Infrastruktur ist wertvoll, weil sie nützliche Arbeit in der Praxis ermöglicht. Indem Jalapeño mit demselben Stromverbrauch und derselben Hardware mehr nützliche Arbeit leistet, kann es uns helfen, mehr Nachfrage zu bedienen und die Kosten für die Bereitstellung eines erfolgreichen Ergebnisses zu senken. Für OpenAI kann dies den Betriebsvorteil verbessern, indem nützliche Arbeit und Umsatz schneller wachsen als die Kosten für die Bereitstellung. Dies kann außerdem eine breitere Akzeptanz und weitere Investitionen in bessere Modelle, Produkte und Infrastruktur fördern. Schnellere Inferenz kann schnellere Iterationen und neue Anwendungsfälle ermöglichen.

Jalapeño erweitert die Möglichkeiten für effiziente Inferenz mit niedriger Latenz:

• Inferenz im Ultrahochgeschwindigkeitsmodus mit Effizienzwerten, die bisher nur im Schnellmodus verfügbar waren
• Inferenz im Schnellmodus mit Effizienz, die zuvor nur im Batchmodus verfügbar war
• Höhere Inferenzeffizienz im Batchmodus

Wir planen, bis Ende des Jahres mit der Bereitstellung von Jalapeño innerhalb der Compute-Infrastruktur von OpenAI zu beginnen. Dies ist die erste Generation einer generationenübergreifenden Roadmap: Gen 2 befindet sich bereits in fortgeschrittener Entwicklung, und Gen 3 nimmt Gestalt an. Jede Generation wird auf unseren Erkenntnissen aufbauen und sowohl die Effizienz als auch die Geschwindigkeit weiter steigern.

Um die wachsende Nachfrage nach KI zu decken, wird mehr Rechenleistung aus allen verfügbaren Quellen benötigt. Wir werden weiterhin Beschleuniger von NVIDIA und anderen Partnern in großem Umfang sowohl für Trainings- als auch für Inferenz-Workloads einsetzen. Unsere Mission besteht darin, sicherzustellen, dass künstliche allgemeine Intelligenz der gesamten Menschheit zugute kommt.

Während wir uns auf die Bereitstellung vorbereiten, testen und verbessern wir weiterhin die Eignung für die Produktion, lassen die Software weiter ausreifen, bereiten uns darauf vor, Jalapeño in großem Maßstab zu betreiben, und validieren die Leistung über weitere Modelle hinweg. Die bisherigen Ergebnisse zeigen, was möglich ist, wenn wir das gesamte System gemeinsam gestalten: reaktionsschnellere, leistungsfähige und agentische KI, die effizienter für mehr Menschen bereitgestellt wird.