Jalapeño の初期結果は、AI 推論において業界トップクラスの速度と効率を示しています

OpenAI 初のカスタム推論チップである Jalapeño を発表して以来、私たちは、このチップとそれを中心に構築されたシステムのテストを進めてきました。結果は大幅な性能向上を示しています。Jalapeño は、消費電力あたりにより多くの AI ワークロードを処理しながら、より速く応答できます。Jalapeño は単一のアーキテクチャで、より高いスループットとより低いレイテンシを実現します。一方、既存のハードウェアシステムでは、多くの場合、この二つの間でトレードオフが必要になります。

顧客にとっては、需要が増加しても、より速い応答、応答性の高いエージェント、より安定したアクセスを実現できます。私たちの使命は、汎用人工知能が人類全体に恩恵をもたらすようにすることです。こうした向上により、ますます高性能化する AI を、より手頃な価格で、より幅広く利用できるようになります。

OpenAI のモデルは、Jalapeño の開発も加速させました。以前の世代のモデルは、チームによるチップの設計と立ち上げを支援し、最新モデルはチップの最適化とプログラミングを加速しています。Jalapeño のパフォーマンスは GPT‑OSS 120B、DeepSeek R1、Kimi K2.5 1T に及び、このアーキテクチャが OpenAI の内外で開発されたモデル全般で機能することを示しています。3つすべてにおいて、Jalapeño はピークスループット時のワットあたりの AI 処理量が比較対象システムより 1.5～1.9倍多く、エンドツーエンドのレイテンシは 1.7～3.6倍低くなりました。対話性の高いワークロードでは、2.1～4.1倍高いパフォーマンスを実現しました。

Jalapeño は、より広範なフルスタックの優位性を示す証拠でもあります。OpenAI は、モデル、プロダクト、サービングソフトウェア、チップ、メモリ、ネットワーキング、システムを一体的に設計し、実際のワークロードから得た知見を活用してスタックのあらゆるレイヤーを改善できます。Jalapeño は、実際に動作し、測定結果も得られている自社開発シリコンであり、複数世代にわたるプラットフォームの始まりです。今後数か月で Jalapeño の導入規模を拡大し、お客様により高速で高性能かつ効率的な製品を提供していきます。

ユーザー体験を揃えた条件で性能を評価し、顧客やインタラクティブなエージェントが求めるレイテンシを満たしながら、各システムが単位電力あたりにどれだけ有用な AI 処理を実行できるかを測定します。これは、特にエージェントにとって重要です。エージェントは多くのステップを順番に完了する必要があるため、遅延がタスク全体にわたって積み重なる可能性があります。

Jalapeño が実際にどのような性能を発揮するかを把握するため、AI リクエストを処理する一連のプロセス全体を測定する SemiAnalysis の公開ベンチマーク「InferenceX」でテストしました。テストした動作範囲全体で、高スループットのサービングから高度にインタラクティブな低レイテンシ用途まで、Jalapeño を主要な市販 AI システムと比較しました。Jalapeño は、スループット、電力効率、レイテンシのより優れた組み合わせを実現しました。性能はチップあたりで報告されることもありますが、より有用な基準は単位電力あたりの性能であると考えています。

公開されている3つのモデルすべてにおいて、Jalapeñoはテスト対象の動作範囲全体でワットあたりの性能とレイテンシの優れた組み合わせを実現し、パレートフロンティアに位置しています。システムを一貫して比較するため、各アクセラレーターの公表されているチップ電力定格を使用して結果を正規化しました。Jalapeño の定格は 700ワットですが、テストしたワークロードでは、実測された持続消費電力は 550ワット以下にとどまりました。

Jalapeño は GPT‑OSS 120B、DeepSeek R1 670B、Kimi K2.5 1T 全体で高い性能を示しました。テストした最大規模の公開モデルである Kimi では、比較対象のシステムと比べて、ワットあたりのピーク性能は約1.5倍、エンドツーエンドのレイテンシは約3.4分の1でした。社内テストでは、OpenAI のフロンティアモデルにおける Jalapeño の優位性がさらに拡大し、ワークロードが大規模化し、要求が厳しくなるほど、このアーキテクチャの価値が高まることが示唆されました。

Jalapeño は当初から、「主な役割が現在および将来の言語モデル、特にインタラクティブなエージェントを稼働させることだとしたら、どのようなハードウェアを構築するか」という問いを出発点に設計されました。Jalapeño の性能向上は、実際の言語モデルのワークロードを軸に、チップ、メモリ、ネットワーク、ソフトウェア、ラックスケールシステムを一体的に設計したことで実現しています。言語モデルの推論は、それぞれ異なるボトルネックを持つ複数の明確なフェーズを経て進みます。プリフィル、つまりシステムがプロンプトを処理する段階は計算負荷が高い一方、デコード、つまりシステムが応答をトークン単位で生成する段階は、メモリ帯域幅による制約をより強く受けます。コアやチップ間でデータを移動する必要がある場合、通信によってレイテンシが増加することもあり、一部の処理ユニットがデータ待ちでアイドル状態になることがあります。あるフェーズで優れたシステムでも、データを待っている間や、異なるリソース間でモデルの状態を移動している間に、その優位性を失う可能性があります。

Jalapeño は、データ移動と通信遅延を最小限に抑えるよう設計されています。これにより、応答生成時に使う KV キャッシュなどのモデル状態を明示的に配置してローカルに保持しながら、各推論フェーズに応じて演算、メモリ、ネットワークを適切に組み合わせて利用できます。ネットワークはアーキテクチャに不可欠です。ネットワークの広い接続範囲により、ワークロード全体を 1 つの接続されたシステム内に収めることができ、データ移動を最小限に抑えながら、リクエストを最初から最後まで高速かつ効率的に処理できます。その結果、変化するモデルアーキテクチャをサポートし、プリフィルとデコードの両方で優れた性能を発揮し、それらのバランスの変化にも適応できる、バランスが取れ、柔軟性の高いアクセラレータが実現します。このバランスの変化は、エージェント型ワークロードを特徴づける要素です。

AI は Jalapeño の開発において直接的な役割を果たし、実装の探索、設計・測定・検証のループを短縮し、モデルワークロードを対象に継続的な反復改善を行うことで、チームが初期設計からテープアウトまでを9か月で進められるようにしました。AI はまた、チップの算術回路の最適化にも貢献し、チームは予定どおり、チップの演算性能をさらに高めることができました。

Jalapeñoは、人間とAIの双方にとって明確で明確で予測可能なプログラミング対象として設計されました。エンジニアは、ローカルテンソル、明示的な通信、予測可能な同期を通じて処理を記述できます。AI は、その処理をシステム全体でどのようにマッピング、配置、スケジューリング、調整するかを最適化できます。その明確で予測可能な構造により、AI は、従来難しいとされてきた並列プログラミングの課題に取り組みやすくなります。

各新しいモデルファミリーをサポートするには、依然として新しいカーネルとモデル固有の最適化が必要です。Codex と GPT‑Astra を活用し、チームは Jalapeño の当初の本番運用計画に含まれていなかった 3 つのオープンウェイトモデルを、2 か月以内に高性能で実行できるようにしました。これにより、アーキテクチャの柔軟性と、AI がそれをプログラムする速さの両方が実証されました。選択された GPT‑OSS のアテンションおよび Mixture-of-Experts ブロックでは、AI が生成した実装が、既存の人間の専門家によって書かれた実装よりも 1.5～1.8 倍高速に動作しました。これらの数値はモデル全体ではなく選択したブロックに適用されますが、強力な新しい開発ループの可能性を示しています。

AI インフラの価値は、それによって実世界で役立つ仕事を実現できることにあります。Jalapeño は、同じ電力とハードウェアでより多くの有用な処理を行えるようにすることで、より多くの需要に対応し、成果を出すためのコストを下げることができます。OpenAI にとっては、有用な処理量と収益をサービス提供コストよりも速く伸ばせるため、営業レバレッジの改善につながります。また、さらなる普及と、より優れたモデル、製品、インフラへの継続的な投資を後押しします。推論が高速化すると、試行をより速く繰り返せるようになり、新たなユースケースも可能になります。

Jalapeño により、高効率・低レイテンシの推論で実現できることが広がります。

• これまでは高速モードでしか得られなかった効率を実現する超高速モードでの推論
• これまではバッチモードでしか得られなかった効率を実現する高速モードでの推論
• バッチモード推論の効率向上

年末までに、OpenAI のコンピューティングインフラへの Jalapeño の導入を開始する予定です。これは、複数世代にわたるロードマップの第1世代です。Gen 2 は開発が本格的に進んでおり、Gen 3 も具体化しつつあります。世代を重ねるごとに、得られた知見を生かして、効率と速度の両方をさらに向上させていきます

拡大する AI 需要に対応するには、利用可能なあらゆる供給元から、より多くのコンピューティングリソースを確保する必要があります。トレーニングと推論の両方のワークロード向けに、NVIDIA およびその他のパートナーのアクセラレータを引き続き広範に導入していきます。私たちの使命は、汎用人工知能が人類全体に恩恵をもたらすようにすることです。

デプロイに向けた準備を進める中で、量産に向けた適格性評価を継続し、ソフトウェアの完成度を高め、Jalapeño の大規模運用に備えるとともに、さらに多くのモデルで性能を検証しています。これまでの成果は、システム全体を一体として設計することで何が可能になるかを示しています。つまり、より応答性が高く、高性能で、エージェント型 AI を、より効率的に、より多くの人々に届けられるということです。