OpenAI와 Broadcom, LLM 최적화 추론 칩 공개
- 초기 테스트 결과, 1세대 가속기는 현재 최고 수준 대비 와트당 성능 대폭 향상
- 업계 전반의 현재와 미래 LLM을 위해 처음부터 새롭게 설계
- OpenAI 모델을 활용해 설계부터 생산까지 단 9개월 만에 개발
- 제품에서 모델을 거쳐 이제 칩까지 OpenAI의 풀스택 플랫폼 확장
- 데이터 센터 파트너와 함께 여러 세대에 걸쳐 기가와트 규모로 배포 예정
OpenAI와 Broadcom(NASDAQ: AVGO)이 오늘 OpenAI의 첫 인텔리전스 프로세서인 Jalapeño를 공개했습니다. Jalapeño는 LLM 추론의 미래를 향한 OpenAI의 비전을 중심으로 설계된 가속기로서, 양사가 첨단 AI를 더 빠르고 더 안정적이며 더 많은 사람이 접근할 수 있도록 함께 구축하고 있는 여러 세대에 걸친 컴퓨팅 플랫폼의 첫 AI 가속기입니다.
Jalapeño는 Broadcom 사장 겸 CEO인 혹 탄과 사장 찰리 카와스가 OpenAI CEO 샘 올트먼과 사장 그레그 브록먼에게 전달했으며, 이는 OpenAI가 자사의 모델과 제품을 뒷받침하는 풀스택을 구축하기 위한 전략의 중요한 진전을 보여주는 이정표가 되었습니다.
OpenAI는 모델, 커널, 서빙 시스템 및 제품 요구 사항에 대한 로드맵을 바탕으로 LLM의 기본 원리에 대한 깊은 이해를 활용해 칩을 처음부터 새롭게 설계했으며, 파트너사인 Broadcom 및 Celestica와 함께 칩 구현, 보드, 랙 시스템 통합, 고성능 네트워킹, 확장 가능한 생산 시스템을 통해 플랫폼의 상용화를 지원했습니다. Jalapeño는 업계 전반의 현재 및 미래 AI 모델의 추론 요구 사항에 대한 OpenAI의 인사이트를 바탕으로 모든 LLM과 함께 작동할 수 있는 유연성을 갖추도록 설계되었습니다. Jalapeño 칩의 엔지니어링 샘플은 연구소에서 생산 목표 주파수와 전력으로 GPT‑5.3‑Codex‑Spark를 포함한 ML 워크로드를 실행 중입니다.
OpenAI는 아직 최종 성능을 측정 중이지만, 초기 테스트 결과 Jalapeño가 현재 최고 수준보다 훨씬 뛰어난 와트당 성능을 제공할 것으로 나타났습니다. 성능에 관한 상세 기술 보고서가 향후 몇 달 내에 발표될 예정입니다. 이 아키텍처는 데이터 이동을 줄이고 컴퓨팅, 메모리 및 네트워킹 리소스의 균형을 맞춰 실제 활용도를 이론적 최대 성능에 훨씬 더 가깝게 끌어올립니다. Broadcom의 실리콘 구현과 Tomahawk 네트워킹 실리콘을 포함한 네트워킹 기술은 이 플랫폼을 대규모 양산으로 전환하는 데 기여합니다.
OpenAI 사장 겸 공동 창립자인 그레그 브록먼은 "세계는 컴퓨팅 기반 경제로 전환되고 있습니다."라고 말했습니다. "Jalapeño는 컴퓨팅 자원을 더 풍부하게 만들어 AI를 더 빠르고 더 안정적이며, 사람과 기업이 더 합리적인 비용으로 이용할 수 있고, 더 중요한 문제를 해결하는 데 사용할 수 있도록 하기 위한 OpenAI의 장기적인 풀스택 인프라 전략의 일환입니다. 스택의 더 많은 부분을 직접 설계함으로써 더 높은 효율로 더 많은 인텔리전스를 제공하고 첨단 AI에 대한 접근성을 계속 확대해 나갈 수 있습니다."
OpenAI의 하드웨어 프로그램을 이끄는 리처드 호는 "Jalapeño는 OpenAI 연구진과의 긴밀한 협업을 통해 얻은 상세한 인사이트를 바탕으로 LLM 추론을 위해 처음부터 새롭게 설계되었습니다."라고 말했습니다. "프런티어 AI 모델에 가장 중요한 커널, 메모리 이동, 네트워킹, 서빙 패턴을 중심으로 아키텍처를 최적화했습니다. 초기 테스트 결과에 따르면, Jalapeño는 가장 중요한 워크로드를 하드웨어의 이론적 한계에 근접한 수준으로 효율적으로 실행할 것입니다."
Broadcom 사장 겸 CEO인 혹 탄은 "OpenAI와의 협력은 향후 10년간 AI에 필요한 물리적 인프라를 확장하겠다는 근본적인 의지를 보여줍니다."라고 말했습니다. "이는 여러 세대에 걸친 로드맵의 시작에 불과합니다. OpenAI와 업계를 선도하는 실리콘을 공동 개발함으로써, 2026년부터 Microsoft 및 기타 파트너와 함께 기가와트 규모의 데이터 센터를 구축할 수 있는 기반을 마련하고 있습니다."
Jalapeño는 이전 AI 워크로드용 범용 가속기를 개조한 것이 아니라, 최신 LLM 추론을 위해 처음부터 새롭게 설계된 아키텍처입니다. OpenAI가 ChatGPT, Codex, API 및 향후 에이전트형 제품 전반에서 매일 운영하는 시스템을 바탕으로 하며, 동시에 업계 전반의 현재 및 미래 LLM을 위해 설계되었습니다. 오늘날 선도적인 AI 가속기의 성능과 처리량을 가장 빠른 특화 추론 시스템에 가까운 지연 시간과 결합하여, Jalapeño가 대규모 대화형 LLM 제품에 적합하도록 만드는 것이 목표입니다.
이것이 바로 풀스택의 강점입니다. OpenAI는 프런티어 모델을 개발하거나 그러한 모델을 바탕으로 제품을 구축하는 데 그치지 않고, 그 기반이 되는 인프라, 즉 칩 아키텍처, 커널, 메모리 시스템, 네트워킹, 스케줄링, 배포 시스템, 제품 경험까지 설계하고 있습니다. OpenAI는 스택 전반에 걸쳐 운영되므로, 각 계층을 동일한 목표, 즉 OpenAI 모델을 사용자에게 더 빠르고 안정적이며 더 경제적으로 제공하는 데 맞춰 최적화할 수 있습니다.
Jalapeño는 OpenAI의 발전을 뒷받침하는 플라이휠을 강화합니다. 더 나은 인프라는 컴퓨팅 효율성을 높입니다. 컴퓨팅 효율성이 높아지면 학습 및 서빙이 개선되고, 궁극적으로 더 뛰어난 역량을 갖춘 AI 모델을 구현할 수 있게 됩니다. 더 나은 모델은 사람, 개발자, 기업을 위한 더 나은 제품으로 이어집니다. 더 나은 제품은 사용량, 고객 수 및 매출의 증가로 이어지며, 이를 통해 OpenAI는 차세대 인프라에 재투자할 수 있게 됩니다. 이러한 순환은 시간이 지나면서 인텔리전스의 역량을 높이고 신뢰성을 강화하며 모두가 더 합리적인 비용으로 이용할 수 있게 하는 데 도움이 됩니다.
Jalapeño는 초기 설계부터 제조를 위한 테이프아웃까지 단 9개월 만에 공동 개발되었으며, OpenAI는 이 맞춤형 AI 가속기 프로그램이 고성능 첨단 반도체 분야에서 지금까지 가장 빠른 ASIC 개발 주기를 달성한 것으로 보고 있습니다. 이러한 개발 속도는 OpenAI 엔지니어링 팀과의 긴밀한 소프트웨어-하드웨어 공동 개발, Broadcom의 실리콘 구현 전문성, 그리고 설계 및 최적화 과정의 일부를 가속하기 위한 OpenAI 모델 활용의 결과입니다.
현재 사용자에게 제공되는 동일한 모델이 차세대 모델을 실행할 인프라를 개선하는 데에도 활용되고 있습니다. AI가 엔지니어들이 더 나은 칩을 더 빠르게 설계하는 데 도움이 된다면, 업계 전반의 컴퓨팅 비용을 낮추고 첨단 AI에 대한 접근성을 확대하는 데 기여할 수 있습니다.
Jalapeño는 2026년 말 최초 배포를 목표로 설계되어 향후 수년에 걸쳐 확장될 다세대 컴퓨팅 플랫폼의 첫 단계입니다. 이 플랫폼은 OpenAI가 설계한 가속기와 Broadcom의 실리콘 구현, 네트워킹 및 연결 기술, 그리고 Celestica의 보드, 랙 및 시스템 전문성을 결합합니다.
이러한 노력의 핵심은 간단합니다. AI가 사람들에게 실제로 전달되는 지점이 바로 추론이라는 것입니다. 비용, 속도, 안정성이 조금이라도 개선되면 더 빠른 ChatGPT 응답, 더 적은 대기 시간으로 더 많은 단계를 수행할 수 있는 Codex 작업, 더 낮은 비용으로 구축할 수 있는 API 제품, 그리고 수요가 급증하는 상황에서도 더욱 안정적인 서비스 이용으로 이어질 수 있습니다.
AI의 민주화란 더 많은 사람이 매일 사용할 수 있도록 첨단 AI 모델을 이용 가능하고 신뢰할 수 있으며 부담 가능한 수준의 비용으로 제공하는 것을 의미합니다. Jalapeño는 OpenAI가 인프라를 더욱 효과적으로 활용해 학생, 개발자, 소규모 기업, 연구자, 엔터프라이즈, 그리고 무언가를 학습하고 창작하거나 어려운 문제를 해결하려는 모든 사람에게 유용한 인텔리전스를 제공할 수 있도록 지원합니다.
