OpenAI

۱۸ نومبر، ۲۰۲۶

تحقیقاشاعت

OpenAI ماڈلز سے چپ ڈیزائن میں پیش رفت

OpenAI کے ماڈلز، AI چلانے والی چپس کو تیزی سے بہتر بنا رہے ہیں. اگست میں،⁠ ہم نے بتایا تھا کہ OpenAI کے انجینئرز نے ہمارے جدید ترین ماڈلز کی مدد سے استنباط کے لیے ہماری پہلی مخصوص چپ، Jalapeño، کی تیاری کو کیسے تیز کیا. یہاں ہم ڈیزائن میں ماہرین کی سطح کی ان بہتریوں کا تفصیلی جائزہ لیتے ہیں جن سے Jalapeño کی کارکردگی بڑھی، اور یہ بھی بتاتے ہیں کہ ہم AMD کے ساتھ مل کر اسی طریقے سے دیگر کمپنیوں کے ہارڈویئر میں نمایاں بہتری کیسے لا رہے ہیں.

چپ ڈیزائن کے کام ابتدا سے انتہا تک انجام دینے کی اپنے ماڈل کی صلاحیت ناپنے کے لیے، ہم نے ماڈلز کی یکے بعد دیگرے آنے والی نسلوں کو دو اوپن سورس پروسیسر ڈیزائنز پر پرکھا، جس سے دلچسپ نتائج سامنے آئے. صلاحیتوں کی ترقی کو قابلِ اعتماد جانچ کی بنیاد فراہم کرنے کے لیے ہم Synopsys کے ساتھ بھی کام کر رہے ہیں، تاکہ جدید ترین ذہانت کو الیکٹرانک ڈیزائن آٹومیشن (EDA) کے ان آلات سے جوڑا جا سکے جنہیں انجینئرز پہلے ہی چپس کے ڈیزائن اور ان کی تصدیق کے لیے استعمال کرتے ہیں.

Jalapeño کے حسابی بلاکس کو بہتر بنانا

ہم نے 2025 کے اوائل میں Jalapeño کے ڈیزائن میں مدد کے لیے GPT‑4o استعمال کرنا شروع کیا. اس ابتدائی ماڈل نے بھی بجلی کی کھپت، کارکردگی اور رقبے (PPA) میں خاطر خواہ بہتری کے طریقے تلاش کیے، مثلاً:

ویکٹر یونٹ میں، جو متوازی حسابی کاموں کا انتظام کرتا اور انہیں انجام دیتا ہے، وسائل کی بچت فلوٹنگ پوائنٹ جمع اور ضرب کے سرکٹس، تبدیلی کے افعال، تخفیفی منطق اور خصوصی افعال کے یونٹ سے حاصل ہوئی. ماڈلز نے منطقی سرکٹس کی متبادل تشکیل اور حساب کو پائپ لائن کے مراحل میں تقسیم کرنے کے طریقے، دونوں کا جائزہ لیا. اس سے ہارڈویئر کے مشترکہ استعمال اور درمیانی نتائج کو محفوظ رکھنے کی ضرورت کم کرنے کے مواقع ملے.

میٹرکس یونٹ میں، جو ایک حسابی جزو ہے، فلوٹنگ پوائنٹ جمع، ضرب اور کم عددی دقت والے ڈاٹ پروڈکٹ سرکٹس میں مجموعی بہتری حاصل ہوئی. ضرب کے ایک سرکٹ کے نئے ڈیزائن نے سنتھیسس کے دوران تقریباً 15% کم سیل رقبہ استعمال کیا، جبکہ تاخیر کو دو کلاک سائیکل سے گھٹا کر ایک کر دیا. جمع کے ایک الگ سرکٹ کے نئے ڈیزائن نے دو سائیکل کی تاخیر برقرار رکھتے ہوئے سیل رقبہ تقریباً 15% کم کیا. ڈاٹ پروڈکٹ کی منطق اور پائپ لائن کی ترتیب میں مزید بہتری سے پورے بلاک میں اضافی بچت ہوئی.

Jalapeño کے مجموعی ڈیزائن پر کیے گئے کام کے حوالے سے ٹیم کا تخمینہ ہے کہ ماڈل کی تجویز کردہ تبدیلیوں نے ویکٹر یونٹ میں معیاری سیلز کا رقبہ تقریباً 13% اور میٹرکس یونٹ میں 10% کم کیا. ان بہتریوں کی عملی تصدیق Jalapeño کی سلیکون چپ کو پہلی بار فعال کرنے اور جانچنے⁠ کے دوران ہوئی.

AMD کے ساتھ ہمارا اشتراک

ہم نے PPA میں بہتری کے لیے AMD کے ساتھ شراکت کی ہے، اور اس کے فلیگ شپ GPU IP پر پہلے ہی بہت زیادہ بہتر بنائے گئے بنیادی ڈیزائنز کے مقابلے میں 14% تک بہتری دیکھی ہے. ہمارے ماڈل نے چپ کے سرکٹس کی وضاحت کرنے والے کوڈ (SystemVerilog RTL) کو دوبارہ لکھ کر مزید بہتری کے مواقع تلاش کیے. یوں 5 ماہ سے بھی کم عرصے میں تقریباً ایک سال کے برابر پیش رفت ہوئی—چپ ڈیزائن کی انتہائی جدید سطح پر یہ بے مثال نتائج ہیں. AMD ان میں سے کچھ تبدیلیاں اپنے ایک حالیہ ڈیزائن میں پہلے ہی شامل کر چکی ہے جسے اس نے تیاری کے لیے بھیجا ہے. دیگر تبدیلیاں اس نے آئندہ نسخوں میں استعمال کے لیے اپنی پیداواری ڈیزائن فائلوں میں شامل کر لی ہیں.

ہم نے دیکھا ہے کہ ماڈل RTL کے بارے میں ایک ماہر مائیکروآرکیٹیکٹ کی سطح پر استدلال کرتا ہے. ماڈل حساب کرنے، کارروائیوں کو کنٹرول کرنے یا ڈیٹا منتقل کرنے والے سرکٹس کا کوڈ دوبارہ لکھ سکتا ہے. اس نے Synopsys کے آلات سے تصدیق کی کہ ہر بار کوڈ دوبارہ لکھنے کے بعد بھی بلاک کا طرزِ عمل برقرار رہا، اور بجلی کی کھپت، کارکردگی اور رقبے میں بہتری کے باہمی فوائد و نقصانات کا جائزہ لیا.

AMD نے ہمارے ماڈل کے لکھے ہوئے ڈیزائنز استعمال کر کے اپنے آنے والی نئی نسل کے فلیگ شپ CPU کے اہم بلاکس میں PPA کے لحاظ سے یک ہندسی فیصد بہتری کی بھی تصدیق کی. آگے چل کر ہمیں توقع ہے کہ GPU اور CPU میں سب سے زیادہ بہتر بنائے گئے بنیادی ڈیزائن کے مقابلے میں بھی PPA میں مزید بہتری آئے گی.

RISC-V کورز کو بہتر بنانا

Jalapeño اور AMD کی چپس پر ہمارے نتائج ظاہر کرتے ہیں کہ ماڈلز پیداواری ڈیزائنز کو بہتر بنا سکتے ہیں. ماڈلز کی ایک نسل سے اگلی نسل تک چپ ڈیزائن کی صلاحیتوں میں پیش رفت ناپنے کے لیے ہم نے ہر ماڈل کو دو اوپن سورس 32-بٹ RISC-V کورز پر آزمایا. PicoRV32 ایک مختصر کور ہے جو دوبارہ پروگرام کی جا سکنے والی چپس، یعنی FPGA، کے لیے ڈیزائن کیا گیا ہے. OpenTitan اپنی حفاظتی چپ میں Ibex کو درونِ ساختہ پروسیسر کے طور پر استعمال کرتا ہے. ان میں سے ہر ایک درونِ ساختہ نظاموں میں مائیکروکنٹرولر کی سطح کے کاموں کے لیے ایک مکمل پروسیسر کور ہے.

ہم نے ہر ماڈل کو ہر کور کی اصل ہارڈویئر تفصیل دی اور اس سے تھروپٹ بڑھانے کو کہا، یعنی ان ہدایات کی تعداد جو کور فی سیکنڈ انجام دے سکتا ہے. مثلاً، کسی تبدیلی سے کور ایک ہدایت کم کلاک سائیکل میں مکمل کر سکتا ہے، لیکن ہر سائیکل کا دورانیہ بڑھ سکتا ہے. تھروپٹ کی پیمائش میں دونوں اثرات شامل ہو جاتے ہیں.

ہم نے ہر ڈیزائن کے نتائج کو نقل کاری کے ذریعے جانچا. اگر کوئی ڈیزائن کسی جانچ میں ناکام ہوا یا اس نے اصل کور کے رقبے سے 16 گنا زیادہ رقبہ استعمال کیا تو اسے صفر اسکور دیا گیا. کامیاب ڈیزائنز کے لیے ہم نے ماڈلز سے پوشیدہ رکھے گئے کاموں پر فی کلاک سائیکل انجام دی جانے والی ہدایات کی تعداد ناپی. ہم نے ان کاموں پر حاصل شدہ اعداد کا ہندسی اوسط لیا اور اسے Yosys سے تخمینہ کردہ زیادہ سے زیادہ کلاک فریکوئنسی سے ضرب دیا. اس سے ہمیں فی سیکنڈ انجام دی جانے والی ہدایات کی تعداد کا تخمینہ ملا. ہر کور کے لیے، یکساں پابندیوں کے تحت مشاہدہ کردہ بہترین تھروپٹ کو ہم نے 1.0 کا اسکور دیا. خاکے تمام آزمائشوں کا اوسط اسکور دکھاتے ہیں، جن میں صفر اسکور والی آزمائشیں بھی شامل ہیں.

ہر آزمائش کے لیے تقریباً 112,000 ٹوکن کی قابلِ موازنہ حد کے ساتھ، GPT‑6.2 Astra نے دونوں کورز پر سب سے زیادہ اوسط اسکور حاصل کیا. GPT‑6.1 Sol نے بھی دونوں پر GPT‑5.6 Sol سے زیادہ اسکور حاصل کیا.

موجودہ PicoRV32 کور پر، ٹوکن کی زیادہ اور قابلِ موازنہ حدوں میں GPT‑6.2 Astra کا اوسط اسکور سب سے زیادہ ہے. تقریباً 112,000 ٹوکن پر اس کا اسکور GPT‑6 Astra سے لگ بھگ دو گنا ہے.

موجودہ Ibex کور پر GPT‑6.2 Astra کو ٹوکن کی جتنی زیادہ حدیں ملتی ہیں، اس کا اوسط اسکور بڑھتا جاتا ہے. GPT‑6 Astra اور GPT‑6.1 Sol کے اسکور ایک دوسرے کے زیادہ قریب ہیں.

تصریحات کی بنیاد پر RISC-V کور ڈیزائن کرنا

دوسرے کام کے لیے ہم نے ہر ماڈل کو تحریری تقاضے اور اوپن سورس کوڈ سے سانچے دیے، جو دکھاتے تھے کہ کور باقی نظام سے کیسے جڑتا ہے. ماڈل نے طے کیا کہ ڈیٹا کور کے اندر کیسے منتقل ہوگا اور کام کو مراحل میں کیسے تقسیم کیا جائے گا. ہر کور کے لیے ہم نے درستگی کی جانچ، میموری اور کیش کی ترتیبات، اور تھروپٹ کے اہداف وہی رکھے جو RTL کو بہتر بنانے کے کام میں تھے.

فی آزمائش تقریباً 112,000 ٹوکن پر، پانچوں ماڈلز نے موجودہ ڈیزائن کو بہتر بنانے کی کوشش کے مقابلے میں تحریری تقاضوں سے کور ڈیزائن کرتے وقت زیادہ اسکور حاصل کیا. یہ بات PicoRV32 اور Ibex دونوں کے لیے درست تھی. GPT‑6.2 Astra کے اسکور میں PicoRV32 کے مقابلے میں Ibex پر زیادہ اضافہ ہوا. مکمل جانچ میں دونوں کاموں، دونوں کورز اور ٹوکن کی تمام حدوں پر مجموعی طور پر 9,881 آزمائشیں شامل تھیں جنہیں اسکور دیا گیا.

PicoRV32 کی تصریحات سے آغاز کرتے ہوئے، GPT‑6.2 Astra تقریباً 112,000 ٹوکن پر 0.7 کے اوسط اسکور سے آگے نکل جاتا ہے، اور ٹوکن کی اگلی دو آزمودہ حدوں پر اس سے بھی زیادہ اسکور حاصل کرتا ہے.

Ibex کی تصریحات سے ڈیزائن بناتے ہوئے GPT‑6.2 Astra تقریباً 112,000 ٹوکن پر لگ بھگ 0.75 کا اوسط اسکور حاصل کرتا ہے. ٹوکن کی زیادہ مگر یکساں حدوں پر اس کا منحنی خط دوسرے ماڈلز سے اوپر رہتا ہے.

تحریری تقاضوں سے آغاز کرنے پر ماڈلز کو اصل کورز کی بعض خصوصیات، جیسے کارکردگی کے شمارندے اور اضافی ہدایات، چھوڑ دینے کی گنجائش ملتی ہے. ممکن ہے کہ آزمائشی کاموں پر تھروپٹ بہتر بنانے میں ان خصوصیات کا بہت کم حصہ ہو، اور اسکور میں برتری کی ایک وجہ یہ بھی ہو سکتی ہے. ان خصوصیات کو لازمی قرار دینے، سرکٹ کے رقبے کی حد مزید سخت کرنے اور طبعی سنتھیسس کے بعد زمانی کارکردگی جانچنے سے یہ آزمائش پیداواری چپ ڈیزائن کے حالات کی بہتر نمائندگی کرے گی.

آگے کیا ہوگا

ہم نے دکھایا ہے کہ ہمارے ماڈلز RISC-V کی جانچوں میں پروسیسر کے نئے ساختی خاکے تلاش کر سکتے ہیں. انہوں نے Jalapeño اور AMD کی اگلی نسل کے فلیگ شپ GPU اور CPU جیسے نفیس پیداواری ڈیزائنز میں بھی بالکل نئی بہتریاں لانے میں حصہ لیا ہے. ماڈل کی ترقی کو قابلِ اعتماد جانچ کی بنیاد فراہم کرنے اور ڈیزائن کے مزید مسائل حل کرنے کے لیے ہم Synopsys کے ساتھ شراکت کر رہے ہیں. اس کا مقصد ایک نئے ماڈل، GPT‑Synopsys⁠(نئی ونڈو میں کھلتا ہے)، کو تربیت دینا ہے تاکہ وہ Synopsys کے الیکٹرانک ڈیزائن آٹومیشن (EDA) آلات اسی طرح استعمال کرے جیسے چپ ڈیزائن کے ماہرین کرتے ہیں.