ผลลัพธ์แรกของ Jalapeño แสดงให้เห็นความเร็วและประสิทธิภาพระดับแนวหน้าของอุตสาหกรรมในการอนุมาน AI

นับตั้งแต่ประกาศเปิดตัว Jalapeño ซึ่งเป็นชิปสำหรับการอนุมานที่ OpenAI ออกแบบขึ้นเองเป็นครั้งแรก เราได้ทดสอบทั้งตัวชิปและระบบที่สร้างขึ้นเพื่อรองรับชิปนี้มาอย่างต่อเนื่อง ผลการทดสอบแสดงให้เห็นถึงความก้าวหน้าด้านประสิทธิภาพอย่างมาก โดย Jalapeño สามารถรองรับงาน AI ได้มากขึ้นต่อหน่วยพลังงาน พร้อมทั้งตอบกลับได้รวดเร็วยิ่งขึ้น Jalapeño สามารถเพิ่มทั้งปริมาณงานและลดความหน่วงได้ภายในสถาปัตยกรรมเดียว ต่างจากระบบฮาร์ดแวร์ที่มีอยู่ซึ่งมักต้องแลกอย่างใดอย่างหนึ่งเพื่อให้อีกอย่างดีขึ้น

สำหรับลูกค้า สิ่งนี้อาจหมายถึงการตอบกลับที่รวดเร็วขึ้น เจ้าหน้าที่ที่ตอบสนองได้ดีขึ้น และการเข้าถึงที่เชื่อถือได้มากขึ้นเมื่อความต้องการเพิ่มขึ้น ภารกิจของเราคือการทำให้ปัญญาประดิษฐ์ทั่วไปนำประโยชน์มาสู่มนุษยชาติ ความก้าวหน้าเหล่านี้จะช่วยให้ AI ที่มีความสามารถมากขึ้นเรื่อยๆ มีราคาที่เข้าถึงได้มากขึ้น และใช้งานได้อย่างแพร่หลายมากขึ้น

โมเดลของ OpenAI ยังมีส่วนช่วยให้การพัฒนา Jalapeño รวดเร็วยิ่งขึ้น โมเดลรุ่นก่อน ๆ ช่วยทีมออกแบบและทำให้ชิปเริ่มทำงานได้สำเร็จ ส่วนโมเดลล่าสุดของเราช่วยให้การปรับประสิทธิภาพและการเขียนโปรแกรมสำหรับชิปรวดเร็วยิ่งขึ้น ประสิทธิภาพของ Jalapeño ครอบคลุม GPT‑OSS 120B, DeepSeek R1 และ Kimi K2.5 1T ซึ่งแสดงให้เห็นว่าสถาปัตยกรรมนี้ใช้งานได้กับโมเดลที่พัฒนาทั้งภายในและภายนอก OpenAI สำหรับทั้ง 3 โมเดล Jalapeño ทำงาน AI ต่อวัตต์ได้มากกว่า 1.5 ถึง 1.9 เท่า ที่อัตราการประมวลผลสูงสุด และมีความหน่วงตั้งแต่ต้นจนจบต่ำกว่าระบบที่ใช้เปรียบเทียบ 1.7 ถึง 3.6 เท่า สำหรับเวิร์กโหลดที่มีการโต้ตอบสูง Jalapeño ให้ประสิทธิภาพสูงขึ้น 2.1 ถึง 4.1 เท่า

Jalapeño ยังแสดงให้เห็นถึงข้อได้เปรียบในภาพรวมจากการพัฒนาเทคโนโลยีแบบครบทั้งสแต็ก OpenAI สามารถออกแบบโมเดล ผลิตภัณฑ์ ซอฟต์แวร์สำหรับให้บริการ ชิป หน่วยความจำ เครือข่าย และระบบไปพร้อมกัน โดยนำบทเรียนจากเวิร์กโหลดจริงมาพัฒนาทุกส่วนของสแต็กให้ดียิ่งขึ้น Jalapeño เป็นชิปที่ OpenAI พัฒนาขึ้นเองและใช้งานได้จริง พร้อมผลลัพธ์ที่ผ่านการวัดจริง และเป็นจุดเริ่มต้นของแพลตฟอร์มที่จะพัฒนาต่อเนื่องไปอีกหลายเจเนอเรชัน ในอีกไม่กี่เดือนข้างหน้า เราจะขยายการใช้งาน Jalapeño เพื่อส่งมอบผลิตภัณฑ์ที่รวดเร็วขึ้น มีความสามารถมากขึ้น และมีประสิทธิภาพยิ่งขึ้นให้แก่ลูกค้าของเรา

เราประเมินประสิทธิภาพภายใต้ประสบการณ์การใช้งานของผู้ใช้ในระดับเดียวกัน โดยวัดว่าแต่ละระบบสามารถทำงาน AI ที่เป็นประโยชน์ได้มากเพียงใดต่อหน่วยพลังงาน พร้อมรักษาความหน่วงให้อยู่ในระดับที่ลูกค้าและเอเจนต์แบบโต้ตอบต้องการ เรื่องนี้สำคัญอย่างยิ่งสำหรับเอเจนต์ ซึ่งต้องทำงานหลายขั้นตอนต่อเนื่องกัน ทำให้ความล่าช้าในแต่ละขั้นตอนสามารถสะสมจนส่งผลต่อเวลาที่ใช้ทำงานทั้งหมดได้

เพื่อดูว่า Jalapeño ทำงานได้ดีเพียงใดในการใช้งานจริง เราได้ทำการทดสอบด้วย InferenceX ซึ่งเป็นเกณฑ์มาตรฐานแบบสาธารณะของ SemiAnalysis ที่วัดกระบวนการให้บริการคำขอ AI ตั้งแต่ต้นจนจบ เราเปรียบเทียบ Jalapeño กับระบบ AI ชั้นนำที่มีจำหน่ายทั่วไปในตลาด ครอบคลุมช่วงการทำงานที่ทดสอบตั้งแต่การให้บริการที่รองรับปริมาณงานสูง ไปจนถึงการใช้งานแบบโต้ตอบสูงและมีความหน่วงต่ำ Jalapeño มอบการผสมผสานที่ดีกว่าระหว่างอัตราการประมวลผล ประสิทธิภาพการใช้พลังงาน และความหน่วง แม้บางครั้งจะมีการรายงานประสิทธิภาพต่อชิป แต่เราเชื่อว่ามาตรฐานที่มีประโยชน์มากกว่าคือประสิทธิภาพต่อหน่วยพลังงาน

สำหรับโมเดลสาธารณะทั้ง 3 รุ่น Jalapeño ให้ทั้งประสิทธิภาพต่อวัตต์และความหน่วงที่ดีกว่าตลอดช่วงการทำงานที่ทดสอบ ทำให้ Jalapeño อยู่บนแนวประสิทธิภาพสูงสุดแบบพาเรโต เราปรับผลลัพธ์ให้อยู่บนมาตรฐานเดียวกันโดยใช้ค่ากำลังไฟของชิปที่เผยแพร่ไว้สำหรับตัวเร่งการประมวลผลแต่ละรุ่น เพื่อให้เปรียบเทียบระบบต่างๆ ได้อย่างสอดคล้องกัน Jalapeño มีพิกัดกำลังไฟอยู่ที่ 700 วัตต์ แม้กำลังไฟที่วัดได้ขณะทำงานต่อเนื่องจะอยู่ที่ 550 วัตต์หรือต่ำกว่าสำหรับเวิร์กโหลดที่ทดสอบ

Jalapeño ให้ผลลัพธ์ด้านประสิทธิภาพที่ดีเยี่ยมใน GPT‑OSS 120B, DeepSeek R1 670B และ Kimi K2.5 1T สำหรับ Kimi ซึ่งเป็นโมเดลสาธารณะที่ใหญ่ที่สุดที่เราทดสอบ Jalapeño ให้ประสิทธิภาพสูงสุดต่อวัตต์สูงกว่าระบบที่นำมาเปรียบเทียบประมาณ 1.5 เท่า และมีความหน่วงตั้งแต่ต้นจนจบต่ำกว่าประมาณ 3.4 เท่า ในการทดสอบภายในของเรา Jalapeño มีความได้เปรียบมากยิ่งขึ้นเมื่อใช้กับโมเดลระดับแนวหน้าของ OpenAI ซึ่งบ่งชี้ว่าสถาปัตยกรรมนี้จะยิ่งมีคุณค่ามากขึ้นเมื่อเวิร์กโหลดมีขนาดใหญ่และต้องการทรัพยากรมากขึ้น

ตั้งแต่เริ่มต้น เราออกแบบ Jalapeño โดยถามว่า หากหน้าที่หลักของฮาร์ดแวร์คือการรองรับโมเดลภาษาทั้งในปัจจุบันและอนาคต โดยเฉพาะเอเจนต์แบบโต้ตอบ เราควรสร้างฮาร์ดแวร์แบบใด Jalapeño มีประสิทธิภาพที่ดีขึ้นจากการออกแบบชิป หน่วยความจำ เครือข่าย ซอฟต์แวร์ และระบบระดับแร็กไปพร้อมกัน โดยคำนึงถึงเวิร์กโหลดจริงของโมเดลภาษา การอนุมานของโมเดลภาษาดำเนินผ่านหลายขั้นตอนที่แตกต่างกัน ซึ่งมีข้อจำกัดที่แตกต่างกัน ช่วง Prefill ซึ่งเป็นขั้นตอนที่ระบบประมวลผลพรอมต์ ต้องใช้ทรัพยากรการประมวลผลสูง ส่วนช่วง Decode ซึ่งระบบสร้างคำตอบทีละโทเค็น จะถูกจำกัดด้วยแบนด์วิดท์ของหน่วยความจำมากกว่า การรับส่งข้อมูลยังอาจเพิ่มความหน่วงเมื่อจำเป็นต้องย้ายข้อมูลระหว่างคอร์และชิป ทำให้หน่วยประมวลผลบางส่วนต้องหยุดรอข้อมูลชั่วคราว ระบบที่ทำงานได้ดีในขั้นตอนหนึ่งอาจสูญเสียข้อได้เปรียบนั้นไป เมื่อต้องรอข้อมูลหรือถ่ายโอนสถานะของโมเดลระหว่างทรัพยากรต่างๆ

เราออกแบบ Jalapeño มาเพื่อลดการเคลื่อนย้ายข้อมูลและความล่าช้าในการสื่อสารให้เหลือน้อยที่สุด ซึ่งหมายความว่าสถานะของโมเดล รวมถึง KV cache ที่ใช้ระหว่างสร้างคำตอบ สามารถกำหนดตำแหน่งอย่างชัดเจนและเก็บไว้ในระบบภายใน ขณะที่ระบบเปิดใช้งานการผสมผสานที่เหมาะสมของทรัพยากรด้านการประมวลผล หน่วยความจำ และเครือข่ายสำหรับแต่ละขั้นของการอนุมาน เครือข่ายเป็นส่วนสำคัญของสถาปัตยกรรม โดเมนขนาดใหญ่ช่วยให้เวิร์กโหลดทั้งหมดทำงานอยู่ภายในระบบเดียวที่เชื่อมต่อถึงกัน ลดการเคลื่อนย้ายข้อมูลให้น้อยที่สุด และช่วยให้คำขอทั้งหมดรวดเร็วและมีประสิทธิภาพตั้งแต่ต้นจนจบ ผลลัพธ์คือตัวเร่งการประมวลผลที่มีความสมดุลและยืดหยุ่น สามารถรองรับสถาปัตยกรรมโมเดลที่เปลี่ยนแปลงไป ทำงานได้อย่างโดดเด่นทั้งในช่วง Prefill และ Decode และปรับตัวได้เมื่อสัดส่วนการทำงานระหว่างสองช่วงนี้เปลี่ยนไป ซึ่งเป็นลักษณะสำคัญของเวิร์กโหลดแบบเอเจนต์

AI มีบทบาทโดยตรงในการพัฒนา Jalapeño โดยช่วยให้ทีมเดินหน้าจากการออกแบบเบื้องต้นไปจนถึงขั้นการส่งผลิตชิปได้ภายใน 9 เดือน ด้วยการสำรวจแนวทางการนำแบบไปใช้งานจริง ลดระยะเวลาของวงจรการออกแบบ การวัดผล และการตรวจสอบความถูกต้อง รวมถึงปรับปรุงเวิร์กโหลดของโมเดลอย่างต่อเนื่อง AI ยังช่วยเพิ่มประสิทธิภาพของวงจรคำนวณภายในชิป ทำให้ทีมสามารถเพิ่มประสิทธิภาพการประมวลผลของชิปได้มากขึ้นโดยไม่กระทบกำหนดการ

Jalapeño ได้รับการออกแบบให้ทั้งมนุษย์และ AI สามารถเขียนโปรแกรมได้อย่างตรงไปตรงมาและคาดการณ์พฤติกรรมของระบบได้ วิศวกรสามารถระบุลักษณะงานผ่านเทนเซอร์เฉพาะที่ การรับส่งข้อมูลที่กำหนดไว้อย่างชัดเจน และการซิงโครไนซ์ที่คาดการณ์ได้ จากนั้น AI สามารถปรับวิธีจัดสรรงาน วางตำแหน่งงาน กำหนดเวลา และประสานงานเหล่านั้นทั่วทั้งระบบให้มีประสิทธิภาพสูงสุด โครงสร้างที่ชัดเจนและคาดการณ์ได้นี้ช่วยให้ AI มีแนวทางที่จัดการได้ในการแก้โจทย์การเขียนโปรแกรมแบบขนาน ซึ่งโดยทั่วไปเป็นปัญหาที่แก้ได้ยาก

การรองรับโมเดลตระกูลใหม่แต่ละตระกูลยังคงต้องพัฒนาเคอร์เนลใหม่และปรับแต่งให้เหมาะกับโมเดลนั้นโดยเฉพาะ ทีมสามารถนำโมเดลแบบเปิดเผยค่าน้ำหนัก 3 โมเดลที่ไม่ได้รวมอยู่ในแผนการผลิตเดิมของ Jalapeño มาปรับให้ทำงานได้อย่างมีประสิทธิภาพสูงภายใน 2 เดือนด้วยการใช้ Codex ร่วมกับ GPT‑Astra สิ่งนี้แสดงให้เห็นทั้งความยืดหยุ่นของสถาปัตยกรรม และความรวดเร็วที่ AI สามารถช่วยเราเขียนโปรแกรมสำหรับสถาปัตยกรรมนี้ได้ ในบล็อก Attention และ Mixture-of-Experts บางส่วนของ GPT‑OSS โค้ดที่ AI สร้างขึ้นทำงานได้เร็วกว่าโค้ดเดิมที่ผู้เชี่ยวชาญเขียนไว้ 1.5 ถึง 1.8 เท่า ตัวเลขดังกล่าวใช้กับบล็อกที่เลือกมาเท่านั้น ไม่ได้หมายถึงประสิทธิภาพของทั้งโมเดล แต่แสดงให้เห็นถึงศักยภาพของวงจรการพัฒนาแบบใหม่

โครงสร้างพื้นฐาน AI มีคุณค่าเพราะช่วยให้เรานำ AI ไปใช้ทำงานที่เป็นประโยชน์ในโลกจริงได้ Jalapeño ช่วยให้เราทำงานที่เป็นประโยชน์ได้มากขึ้นด้วยพลังงานและฮาร์ดแวร์เท่าเดิม จึงรองรับความต้องการได้มากขึ้นและลดต้นทุนในการสร้างผลลัพธ์ที่สำเร็จ สำหรับ OpenAI สิ่งนี้ช่วยให้เราใช้ประโยชน์จากต้นทุนดำเนินงานได้ดีขึ้น เพราะงานที่เป็นประโยชน์และรายได้สามารถเติบโตได้เร็วกว่าต้นทุนในการให้บริการ นอกจากนี้ยังช่วยส่งเสริมให้มีการนำ AI ไปใช้อย่างแพร่หลายยิ่งขึ้น และสนับสนุนการลงทุนอย่างต่อเนื่องเพื่อพัฒนาโมเดล ผลิตภัณฑ์ และโครงสร้างพื้นฐานให้ดียิ่งขึ้น การอนุมานที่เร็วขึ้นช่วยให้พัฒนาและปรับปรุงงานได้รวดเร็วยิ่งขึ้น และเปิดทางสู่กรณีการใช้งานใหม่ๆ

Jalapeño ยกระดับความเป็นไปได้ของการอนุมานที่มีประสิทธิภาพและมีความหน่วงต่ำ:

• การอนุมานในโหมด Ultra-fast โดยมีประสิทธิภาพในระดับที่ก่อนหน้านี้ทำได้เฉพาะในโหมด Fast เท่านั้น
• การประมวลผลอนุมานในโหมด Fast โดยมีประสิทธิภาพในระดับที่ก่อนหน้านี้ทำได้เฉพาะในโหมดประมวลผลแบบกลุ่มเท่านั้น
• ประสิทธิภาพที่สูงขึ้นสำหรับการอนุมานในโหมดประมวลผลแบบกลุ่ม

เราวางแผนที่จะเริ่มนำ Jalapeño มาใช้งานในโครงสร้างพื้นฐานด้านการประมวลผลของ OpenAI ภายในสิ้นปีนี้ นี่คือรุ่นแรกของแผนพัฒนาที่ครอบคลุมหลายเจเนอเรชัน โดย Gen 2 อยู่ในขั้นตอนการพัฒนาอย่างเข้มข้น และ Gen 3 ก็กำลังเริ่มเป็นรูปเป็นร่าง แต่ละเจเนอเรชันจะต่อยอดจากสิ่งที่เราได้เรียนรู้ เพื่อยกระดับทั้งประสิทธิภาพและความเร็วให้ดียิ่งขึ้น

เพื่อรองรับความต้องการ AI ที่เพิ่มขึ้น เราจำเป็นต้องใช้ทรัพยากรการประมวลผลจากทุกแหล่งที่มีให้มากขึ้น เราจะเดินหน้านำตัวเร่งการประมวลผลจาก NVIDIA และพันธมิตรรายอื่นๆ มาใช้งานอย่างแพร่หลายต่อไป ทั้งสำหรับเวิร์กโหลดการฝึกโมเดลและการอนุมาน ภารกิจของเราคือการทำให้ปัญญาประดิษฐ์ทั่วไปนำประโยชน์มาสู่มนุษยชาติ

ระหว่างเตรียมนำ Jalapeño มาใช้งาน เรายังคงประเมินความพร้อมสำหรับการผลิต พัฒนาซอฟต์แวร์ให้สมบูรณ์ยิ่งขึ้น เตรียมระบบสำหรับการใช้งาน Jalapeño ในวงกว้าง และทดสอบประสิทธิภาพกับโมเดลที่หลากหลายขึ้น ผลลัพธ์จนถึงขณะนี้แสดงให้เห็นว่า เมื่อเราออกแบบทุกส่วนของระบบให้ทำงานร่วมกัน เราสามารถส่งมอบ AI ที่ตอบสนองได้ดีขึ้น มีความสามารถสูงขึ้น และทำงานแบบเอเจนต์ได้มากขึ้นอย่างมีประสิทธิภาพให้แก่ผู้คนในวงกว้างขึ้น