Jalapeño-এর প্রাথমিক ফলাফল এআই ইনফারেন্সে শিল্পে শীর্ষস্থানীয় গতি ও দক্ষতা দেখায়

Jalapeño, OpenAI-এর প্রথম কাস্টম ইনফারেন্স চিপ, ঘোষণা করার পর থেকে আমরা চিপটি এবং এর চারপাশে তৈরি সিস্টেমটি পরীক্ষা করছি. ফলাফলগুলো কর্মক্ষমতায় উল্লেখযোগ্য অগ্রগতি দেখায়: Jalapeño বিদ্যুতের প্রতি এককে আরও বেশি AI ওয়ার্কলোড প্রক্রিয়া করতে পারে, একই সঙ্গে আরও দ্রুত প্রতিক্রিয়া দিতে পারে. Jalapeño একটি আর্কিটেকচারের মাধ্যমে বেশি থ্রুপুট ও কম লেটেন্সি দুটোই দেয়, যেখানে বিদ্যমান হার্ডওয়্যার সিস্টেমকে প্রায়ই এ দুটির মধ্যে সমঝোতা করতে হয়.

গ্রাহকদের জন্য এর সুফল হতে পারে দ্রুততর সাড়া, আরও সক্রিয় এজেন্ট এবং চাহিদা বাড়ার সাথে সাথে আরও নির্ভরযোগ্য ব্যবহারের সুযোগ. আমাদের মূল লক্ষ্য হলো আর্টিফিশিয়াল জেনারেল ইন্টেলিজেন্স যেন সমগ্র মানবজাতির কল্যাণে আসে তা নিশ্চিত করা. এই অগ্রগতিগুলো আরও বেশি ক্ষমতাসম্পন্ন এআইকে অনেক বেশি সাশ্রয়ী এবং সবার জন্য ব্যাপকভাবে উপলভ্য করে তুলতে সাহায্য করবে.

OpenAI মডেলগুলো Jalapeño-এর উন্নয়নকেও ত্বরান্বিত করেছে. আগের প্রজন্মগুলো দলটিকে চিপটি ডিজাইন ও সচল করতে সহায়তা করেছে, আর আমাদের সর্বশেষ মডেলগুলো এটি কিভাবে অপ্টিমাইজ ও প্রোগ্রাম করা হয়, তা ত্বরান্বিত করছে. Jalapeño-এর পারফরম্যান্স GPT‑OSS 120 বিলিয়ন, DeepSeek R1 এবং Kimi K2.5 1 ট্রিলিয়ন জুড়ে বিস্তৃত, যা দেখায় যে এই আর্কিটেকচারটি OpenAI-এর ভেতরে ও বাইরে তৈরি মডেলজুড়ে কাজ করে. তিনটিতেই, সর্বোচ্চ থ্রুপুটে Jalapeño প্রতি ওয়াটে 1.5 থেকে 1.9 গুণ বেশি AI কাজ এবং তুলনামূলক সিস্টেমগুলোর চেয়ে 1.7 থেকে 3.6 গুণ কম এন্ড-টু-এন্ড ল্যাটেন্সি দিয়েছে. অত্যন্ত ইন্টারঅ্যাকটিভ ওয়ার্কলোডের জন্য, এটি 2.1 থেকে 4.1 গুণ উচ্চ পারফরম্যান্স প্রদান করেছে.

Jalapeño আরও বিস্তৃত ফুল-স্ট্যাক সুবিধারও প্রমাণ. OpenAI মডেল, পণ্য, সার্ভিং সফটওয়্যার, চিপ, মেমোরি, নেটওয়ার্কিং ও সিস্টেম একসঙ্গে নকশা করতে পারে এবং বাস্তব ওয়ার্কলোড থেকে যা শেখে, তা ব্যবহার করে স্ট্যাকের প্রতিটি স্তর উন্নত করতে পারে. Jalapeño হলো পরিমাপিত ফলাফলসহ কার্যকর নিজস্ব সিলিকন, এবং এটি একটি বহু-প্রজন্মের প্ল্যাটফর্মের সূচনা. আগামী কয়েক মাসে, আমাদের গ্রাহকদের জন্য আরও দ্রুত, আরও সক্ষম এবং আরও দক্ষ পণ্য সরবরাহ করতে আমরা Jalapeño-কে স্কেল আপ করব.

আমরা সমতুল্য ব্যবহারকারীর অভিজ্ঞতার ভিত্তিতে পারফরম্যান্স মূল্যায়ন করি, যেখানে প্রতিটি সিস্টেম গ্রাহক এবং ইন্টারঅ্যাক্টিভ এজেন্টদের প্রয়োজনীয় লেটেন্সি পূরণ করার পাশাপাশি প্রতি একক বিদ্যুৎ ব্যবহারে কতটা কার্যকর AI কাজ সম্পন্ন করতে পারে তা পরিমাপ করা হয়. এটি বিশেষ করে এজেন্টদের জন্য গুরুত্বপূর্ণ, যাদের ধারাবাহিকভাবে অনেক ধাপ সম্পন্ন করতে হয়, ফলে বিলম্বগুলো পুরো কাজজুড়ে ক্রমশ বাড়তে পারে.

বাস্তব ক্ষেত্রে Jalapeño কেমন কাজ করে তা যাচাই করতে আমরা এটিকে SemiAnalysis-এর উন্মুক্ত বেঞ্চমার্ক InferenceX-এ পরীক্ষা করেছি, যা একটি এআই রিকোয়েস্ট পরিবেশনের সামগ্রিক প্রক্রিয়া পরিমাপ করে. পরীক্ষিত কার্যসীমার মধ্যে উচ্চ-থ্রুপুট থেকে শুরু করে অত্যন্ত সক্রিয় ও কম বিলম্বের ব্যবহার পর্যন্ত আমরা Jalapeño-কে বাজারে প্রচলিত শীর্ষস্থানীয় এআই সিস্টেমগুলোর সাথে তুলনা করেছি. Jalapeño উচ্চ থ্রুপুট, বিদ্যুৎ সাশ্রয়ী সক্ষমতা এবং দ্রুতগতির এক চমৎকার সমন্বয় প্রদর্শন করেছে. যদিও কার্যক্ষমতা কখনো কখনো একক চিপের ভিত্তিতে প্রকাশ করা হয়, তবে আমরা মনে করি বিদ্যুতের প্রতি এককের ভিত্তিতে কার্যক্ষমতা হিসেব করাই সবচেয়ে উপযোগী মানদণ্ড.

তিনটি পাবলিক মডেল জুড়ে, পরীক্ষিত অপারেটিং পরিসর জুড়ে Jalapeño প্রতি ওয়াটে পারফরম্যান্স ও লেটেন্সির আরও ভালো সমন্বয় দিয়েছে, যা এটিকে প্যারেটো অত্যাধুনিক স্থান দিয়েছে. সিস্টেমগুলোকে একই মানদণ্ডে তুলনা করার জন্য, আমরা প্রতিটি অ্যাক্সেলারেটরের প্রকাশিত চিপ পাওয়ার রেটিং ব্যবহার করে ফলাফলগুলো নরমালাইজ করেছি. Jalapeño-এর রেটেড পাওয়ার 700 ওয়াট, যদিও পরীক্ষিত ওয়ার্কলোডগুলোতে এর পরিমাপকৃত ধারাবাহিক পাওয়ার 550 ওয়াট বা তার কম ছিল.

Jalapeño GPT‑OSS 120 বিলিয়ন, DeepSeek R1 670 বিলিয়ন এবং Kimi K2.5 1 ট্রিলিয়ন জুড়ে শক্তিশালী পারফরম্যান্স করেছে. আমরা পরীক্ষা করা সবচেয়ে বড় পাবলিক মডেল Kimi-তে, এটি তুলনামূলক সিস্টেমের চেয়ে প্রতি ওয়াটে প্রায় 1.5 গুণ বেশি সর্বোচ্চ পারফরম্যান্স এবং এন্ড-টু-এন্ড লেটেন্সি 3.4 গুণ কম দিয়েছে. আমাদের অভ্যন্তরীণ পরীক্ষায়, অত্যাধুনিক OpenAI মডেলগুলিতে Jalapeño-এর সুবিধা আরও বেড়েছে, যা ইঙ্গিত দেয় যে ওয়ার্কলোড যত বড় ও বেশি চাহিদাপূর্ণ হয়, আর্কিটেকচারটি তত বেশি মূল্যবান হয়ে ওঠে.

Jalapeño শুরু থেকেই এই প্রশ্ন সামনে রেখে ডিজাইন করা হয়েছে: যদি আধুনিক ও ভবিষ্যতের ভাষা মডেল, বিশেষ করে ইন্টারঅ্যাকটিভ এজেন্ট পরিবেশন করাই এর প্রধান কাজ হয়, তাহলে আমরা কী ধরনের হার্ডওয়্যার তৈরি করতাম? বাস্তব ভাষা-মডেল ওয়ার্কলোডকে কেন্দ্র করে চিপ, মেমরি, নেটওয়ার্ক, সফটওয়্যার এবং র্যাক-স্কেল সিস্টেম একসঙ্গে ডিজাইন করার ফলেই Jalapeño-এর উন্নতি হয়েছে. ভাষা-মডেল ইনফারেন্স বিভিন্ন সীমাবদ্ধতাসহ কয়েকটি স্বতন্ত্র পর্যায়ের মধ্য দিয়ে অগ্রসর হয়. প্রিফিল পর্যায়ে, যখন সিস্টেম একটি প্রম্পট প্রক্রিয়া করে, তখন কম্পিউটের প্রয়োজন বেশি হয়. অন্যদিকে ডিকোড পর্যায়ে, যখন সিস্টেম টোকেন ধরে ধরে প্রতিক্রিয়া তৈরি করে, তখন মেমরি ব্যান্ডউইথের সীমাবদ্ধতা বেশি থাকে. ডেটা যখন কোর ও চিপের মধ্যে স্থানান্তর করতে হয়, তখন যোগাযোগও লেটেন্সি বাড়াতে পারে. ফলে কিছু প্রসেসিং ইউনিট অপেক্ষা করার সময় নিষ্ক্রিয় থাকে. একটি পর্যায়ে উৎকৃষ্ট কোনো সিস্টেম ডেটার জন্য অপেক্ষা করার সময় বা বিভিন্ন রিসোর্সের মধ্যে মডেলের অবস্থা স্থানান্তর করার সময় সেই সুবিধা হারাতে পারে.

আমরা Jalapeño এমনভাবে ডিজাইন করেছি, যাতে ডেটা স্থানান্তর এবং যোগাযোগজনিত বিলম্ব কমিয়ে আনা যায়. এর অর্থ, প্রতিক্রিয়া তৈরি করার সময় ব্যবহৃত KV ক্যাশ-সহ মডেলের অবস্থা স্পষ্টভাবে স্থাপন করে স্থানীয়ভাবে রাখা যায়, আর সিস্টেম প্রতিটি ইনফারেন্স পর্যায়ের জন্য কম্পিউট, মেমরি ও নেটওয়ার্কিংয়ের সঠিক সমন্বয় সক্রিয় করে. নেটওয়ার্কটি আর্কিটেকচারের একটি অবিচ্ছেদ্য অংশ. এর বৃহৎ ডোমেইন পুরো ওয়ার্কলোডকে একটি সংযুক্ত সিস্টেমের মধ্যেই রাখতে সক্ষম করে, ফলে ডেটা স্থানান্তর কমে যায় এবং সম্পূর্ণ অনুরোধটি শুরু থেকে শেষ পর্যন্ত দ্রুত ও কার্যকর থাকে. ফলাফল হলো একটি ভারসাম্যপূর্ণ ও বিনিময়যোগ্য অ্যাক্সিলারেটর, যা পরিবর্তনশীল মডেল আর্কিটেকচার সমর্থন করতে পারে, প্রিফিল ও ডিকোড—উভয় ক্ষেত্রেই উৎকৃষ্টভাবে কাজ করে এবং এ দুটির মধ্যকার ভারসাম্য পরিবর্তিত হওয়ার সঙ্গে সঙ্গে নিজেকে মানিয়ে নিতে পারে—যা এজেন্টিক ওয়ার্কলোডের একটি সংজ্ঞায়িত বৈশিষ্ট্য.

Jalapeño-এর উন্নয়নে AI সরাসরি ভূমিকা রেখেছে, বাস্তবায়নের বিভিন্ন পদ্ধতি অনুসন্ধান, নকশা, পরিমাপ ও যাচাইকরণ চক্র সংক্ষিপ্ত করা এবং মডেল ওয়ার্কলোডে ক্রমাগত পুনরাবৃত্তির মাধ্যমে দলটিকে প্রাথমিক নকশা থেকে নয় মাসে টেপআউট পর্যন্ত পৌঁছাতে সহায়তা করেছে. এআই চিপটির গাণিতিক সার্কিটগুলো অপ্টিমাইজ করতেও সহায়তা করেছে, ফলে দলটি নির্ধারিত সময়সূচি মেনেই চিপে আরও বেশি গণনাগত কর্মক্ষমতা সংযোজন করতে পেরেছে.

Jalapeño-কে মানুষ ও AI—উভয়ের জন্য একটি স্পষ্ট, পূর্বানুমানযোগ্য প্রোগ্রামিং টার্গেট হিসেবে ডিজাইন করা হয়েছে. প্রকৌশলীরা লোকাল টেনসর, স্পষ্ট যোগাযোগ এবং পূর্বানুমানযোগ্য সিঙ্ক্রোনাইজেশনের মাধ্যমে কাজ বর্ণনা করতে পারেন. এরপর AI পুরো সিস্টেম জুড়ে সেই কাজ কিভাবে ম্যাপ, স্থাপন, শিডিউল এবং সমন্বয় করা হবে তা অপ্টিমাইজ করতে পারে. সেই স্পষ্ট, পূর্বানুমানযোগ্য কাঠামোটি AI-কে সমান্তরাল প্রোগ্রামিংয়ের দীর্ঘদিনের কঠিন সমস্যা মোকাবিলা করার একটি কার্যকর উপায় দেয়.

প্রতিটি নতুন মডেল পরিবারের জন্য এখনও নতুন কার্নেল এবং মডেল-নির্দিষ্ট অপ্টিমাইজেশন প্রয়োজন. Codex-এর সঙ্গে GPT‑Astra ব্যবহার করে, দলটি Jalapeño-এর মূল প্রোডাকশন পরিকল্পনায় না থাকা তিনটি ওপেন ওয়েট মডেলকে দুই মাসের মধ্যে উচ্চ কর্মদক্ষতায় নিয়ে আসে. এটি আর্কিটেকচারের নমনীয়তা এবং AI যে গতিতে আমাদের সেটি প্রোগ্রাম করতে সাহায্য করতে পারে—দুটিই দেখিয়েছে. নির্বাচিত GPT‑OSS অ্যাটেনশন এবং মিক্সচার-অফ-এক্সপার্টস ব্লকগুলোর ক্ষেত্রে, এআই-নির্মিত ইমপ্লিমেন্টেশনগুলো বিদ্যমান মানব-বিশেষজ্ঞ-লিখিত ইমপ্লিমেন্টেশনগুলোর চেয়ে 1.5 থেকে 1.8 গুণ দ্রুত চলেছে. এই পরিসংখ্যানগুলো সম্পূর্ণ মডেলের নয়, নির্বাচিত ব্লকগুলোর ক্ষেত্রে প্রযোজ্য, তবে এগুলো একটি শক্তিশালী নতুন উন্নয়ন চক্রের দিকে ইঙ্গিত করে.

এআই অবকাঠামো মূল্যবান, কারণ এটি বাস্তব জগতের উপযোগী কাজ সম্ভব করে তোলে. একই পাওয়ার ও হার্ডওয়্যার থেকে আরও বেশি কার্যকর কাজ উৎপন্ন করে, Jalapeño আমাদের আরও বেশি চাহিদা পূরণ করতে এবং সফল ফলাফল দেওয়ার খরচ কমাতে সাহায্য করতে পারে. OpenAI-এর জন্য, এটি কার্যকর কাজ ও আয়কে সেবা দেওয়ার খরচের চেয়ে দ্রুত বাড়তে দিয়ে অপারেটিং লিভারেজ উন্নত করতে পারে. এটি আরও বিস্তৃত গ্রহণযোগ্যতা এবং আরও ভালো মডেল, পণ্য ও অবকাঠামোতে অব্যাহত বিনিয়োগকেও সমর্থন করতে পারে. দ্রুততর ইনফারেন্স দ্রুততর ইটারেশন এবং ব্যবহারের নতুন ক্ষেত্র সম্ভব করে তুলতে পারে.

Jalapeño দক্ষ, কম-লেটেন্সি ইনফারেন্সের সম্ভাবনার পরিসর আরও বিস্তৃত করে:

• Ultra-ফাস্ট-মোড ইনফারেন্স এমন দক্ষতায় সম্পন্ন যা পূর্বে শুধুমাত্র ফাস্ট মোডেই উপলভ্য ছিল
• ফাস্ট-মোড ইনফারেন্স এখন এমন দক্ষতায় উপলভ্য যা আগে শুধুমাত্র ব্যাচড মোডেই পাওয়া যেত
• ব্যাচড-মোড ইনফারেন্সের জন্য উচ্চতর দক্ষতা

আমরা বছরের শেষ নাগাদ OpenAI-এর কম্পিউট অবকাঠামোর মধ্যে Jalapeño মোতায়েন শুরু করার পরিকল্পনা করছি. এটি একটি বহু-প্রজন্মের রোডম্যাপের প্রথম প্রজন্ম: Gen 2 উন্নয়নের গভীর পর্যায়ে রয়েছে, এবং Gen 3 রূপ নিতে শুরু করেছে. প্রতিটি প্রজন্ম আমরা যা শিখি, তার উপর ভিত্তি করে এগিয়ে যাবে এবং দক্ষতা ও গতি, দুটোকেই আরও উন্নত করবে.

এআই-এর ক্রমবর্ধমান চাহিদা পূরণ করতে প্রতিটি উপলভ্য উৎস থেকে আরও বেশি কম্পিউটিং সক্ষমতার প্রয়োজন হবে. আমরা প্রশিক্ষণ এবং ইনফারেন্স উভয় ওয়ার্কলোডের জন্য NVIDIA এবং অন্যান্য অংশীদারদের অ্যাক্সিলারেটর ব্যাপকভাবে ডিপ্লয় করা অব্যাহত রাখব. আমাদের লক্ষ্য হলো কৃত্রিম সাধারণ বুদ্ধিমত্তা যেন সমগ্র মানবজাতির কল্যাণে কাজ করে তা নিশ্চিত করা.

আমরা ডেপ্লয়মেন্টের জন্য প্রস্তুতি নেওয়ার সময় প্রোডাকশন কোয়ালিফিকেশন চালিয়ে যাচ্ছি, সফটওয়্যারকে পরিণত করছি, বৃহৎ পরিসরে Jalapeño পরিচালনার প্রস্তুতি নিচ্ছি এবং আরও মডেলজুড়ে কর্মক্ষমতা যাচাই করছি. এখন পর্যন্ত ফলাফল দেখায়, আমরা যখন পুরো সিস্টেমটি একসঙ্গে নকশা করি, তখন কী সম্ভব হয়: আরও সাড়া-দেওয়া, সক্ষম ও এজেন্টিক এআই আরও দক্ষতার সঙ্গে আরও মানুষের কাছে পৌঁছে দেওয়া.