ہم نے GPT‑5.6 ماڈل فیملی کو ان تمام کاموں میں صلاحیت اور لاگت کے درمیان توازن قائم کرنے کے لیے ڈیزائن کیا جن کے لیے لوگ ہمارے ماڈلز استعمال کرتے ہیں. ہمارا فلیگ شپ ماڈل GPT‑5.6 Sol, Max ریزننگ کے ساتھ, آدھی سے بھی کم لاگت پر Artificial Analysis Coding Agent Index میں Claude Fable 5 سے بہتر کارکردگی دکھاتا ہے. Terra آدھی قیمت پر انٹیلیجنس کے معیارات میں GPT‑5.5 جتنی کارکردگی دکھاتا ہے, جبکہ Luna ہمارا تیز ترین اور سب سے کم قیمت کا ماڈل ہے, جس کی قیمت Sol کی لاگت سے 80% کم ہے. یہ کارکردگی حاصل کرنے کے لیے ہماری تحقیقی اور تکنیکی ٹیموں نے نظام کی ہر بڑی تہہ میں نمایاں اصلاحات کی ہیں. یہ بہتریاں ہمارے ماڈلز, انفرنس (یعنی آؤٹ پٹ تیار کرنے کے لیے ہم ماڈلز کو کس طرح چلاتے ہیں), اور ہمارے ایجنٹک ہارنس تک پھیلی ہوئی ہیں, جسے Codex اور ChatGPT Work دونوں استعمال کرتے ہیں.
گزشتہ چار برسوں میں اپنے ماڈلز کو 1 ارب فعال صارفین اور 20 لاکھ سے زیادہ کاروباروں تک پہنچاتے ہوئے, انٹیلیجنس کے فوائد سب تک پہنچانے میں کارکردگی مرکزی اہمیت رکھتی رہی ہے. ہمارا مشن یہ یقینی بنانا ہے کہ آرٹیفیشل جنرل انٹیلیجنس پوری انسانیت کو فائدہ پہنچائے. ان برسوں میں ہم نے اپنے پورے نظام میں مسلسل بڑی اصلاحات ممکن بنانے پر کام کیا تاکہ لاگت اور انٹیلیجنس کے منحنی خط کے ہر مقام پر بہترین کارکردگی والے ماڈلز پیش کیے جا سکیں. GPT‑5.6 کے ذریعے ہم نے فی ٹوکن انٹیلیجنس کی اب تک کی بہترین کارکردگی حاصل کی ہے, کیونکہ اسے ہر ٹوکن سے زیادہ کام کرنے کی ٹریننگ دی گئی ہے. ٹریننگ کے دوران ہم کام کی کامیابی اور کارکردگی, دونوں کو بہتر بناتے ہیں تاکہ ماڈل کام مکمل کرنے کے لیے زیادہ براہ راست راستہ اختیار کرے.
یہ تحریر ہمارے ماڈلز سے آگے بڑھ کر بتاتی ہے کہ ہم نے نظام کے دو دوسرے بڑے حصوں میں پیش رفت کے ذریعے کارکردگی کو کیسے ملحوظ رکھا: 1) انفرنس, جس میں لوڈ کا توازن, اسپیکیولیٹو ڈیکوڈنگ, کیشنگ اور کرنل کی اصلاح جیسے عمل بہتر بنا کر اسی ہارڈ ویئر سے زیادہ آؤٹ پٹ حاصل کیا جاتا ہے؛ اور 2) ہمارا ایجنٹک ہارنیس, جس میں سیاق کے غیر ضروری پھیلاؤ, ٹول کے استعمال اور دہرائے گئے کام کو بہتر طور پر منظم کیا جاتا ہے. ہم یہ بھی بتائیں گے کہ ان میں سے کئی فوائد خود مختار طور پر حاصل کرنے میں GPT‑5.6 Sol نے کیا کردار ادا کیا. اگرچہ ہر الگ بہتری محدود لگ سکتی ہے, لیکن یہ کامیابیاں مل کر ہمیں انٹیلیجنس اور کارکردگی, دونوں کی جدید ترین حد تک پہنچاتی ہیں.
کمپیوٹنگ وسائل کی محدود دنیا میں, جہاں ماڈلز کی طلب صلاحیت سے زیادہ تیزی سے بڑھ رہی ہے, ہر نظام کے ڈیزائن میں کارکردگی بنیادی اہمیت رکھتی ہے. یہ بات ہمارے انفرنس نظام پر خاص طور پر صادق آتی ہے, جو جوابات بنانے کے لیے ٹریننگ یافتہ ماڈلز چلاتا ہے. ہمارا بنیادی مقصد اسی ہارڈ ویئر سے زیادہ ٹوکنز فراہم کرنا ہے, جبکہ صارفین کی متوقع انٹیلیجنس, تاخیر, دستیابی اور قابل اعتماد کارکردگی برقرار رہے.
اس مقصد کو حاصل کرنے کے لیے پورے نظام کو بہتر بنانا ضروری ہے۔ کوئی ماڈل الگ سے دیکھنے پر انتہائی مؤثر ہو سکتا ہے، لیکن اگر درخواستیں غیر مؤثر طریقے سے تقسیم کی جائیں، ہارڈویئر بیکار پڑا رہے، یا ڈیٹا کی منتقلی حسابی عمل کو سست کر دے، تو پھر بھی اسے چلانے کی لاگت زیادہ ہو سکتی ہے۔ ہر سطح پر کی گئی بہتریاں ایک دوسرے پر اثر انداز ہوتی ہیں، اور فوائد روٹنگ (درخواستیں کہاں بھیجی جاتی ہیں)، شیڈولنگ (درخواستیں کب بھیجی جاتی ہیں)، کرنلز (وہ سافٹ ویئر جو GPUs پر چلتا ہے)، کیشنگ (محفوظ کرکے دوبارہ استعمال کیا جانے والا کام)، اور ماڈل امپلیمنٹیشن (GPU کوڈ کی ترتیب) میں کی گئی اصلاحات سے حاصل ہوتے ہیں۔ Codex میں GPT‑5.6 Sol نے ان تمام اصلاحات میں کلیدی کردار ادا کیا۔
پہلی اہم مثال لوڈ کا توازن ہے. عالمی سطح پر ہم جغرافیہ, دستیاب صلاحیت اور ایکسلریٹر کی قسم (ماڈل چلانے والے GPU یا خصوصی چپ کی قسم) جیسے عوامل کی بنیاد پر درخواستیں بھیجتے ہیں. کلسٹر کے اندر ہم لوڈ, سیاق کی لمبائی, کیش کی دستیابی اور درخواست کی دوسری خصوصیات کے مطابق کام کو ماڈل انسٹینسز میں تقسیم کرتے ہیں. پھر ہر انسٹینس میں کام کو ایکسلریٹرز, ماڈل کے ذیلی نیٹ ورکس اور کمپیوٹنگ کورز کے درمیان مؤثر انداز میں تقسیم کرنا ضروری ہے. Codex میں GPT‑5.6 Sol ہمیں عملی ٹریفک کا تجزیہ کرنے, عدم توازن کے پہلے نظر انداز شدہ اسباب شناخت کرنے, روٹنگ کی نئی حکمت عملیاں آزمانے اور ان تخمینی اصولوں کو مسلسل بہتر بنانے میں مدد دیتا ہے. صرف لوڈ کے توازن کی ان بہتریوں نے ہمارے ماڈلز کی فراہمی کی لاگت نمایاں طور پر کم کر دی.
ہم نے ماڈل کے فارورڈ پاس, یعنی اِن پٹس کو اگلے ٹوکن کی پیش گوئیوں میں بدلنے والے حساب, کی اصلاح کے لیے بھی GPT‑5.6 Sol استعمال کیا. انفرادی کارروائیاں تیز ہونے کے باوجود, میموری کی ضرورت سے زیادہ نقل و حرکت, ہم وقت سازی اور ڈیٹا کی غیر مؤثر ترتیب GPUs کو بیکار چھوڑ سکتی ہے. اس سے بچنے کے لیے GPT‑5.6 Sol نے ایسے کام تلاش کیے جن کا حساب پہلے کیا جا سکتا تھا, جن سے بچا جا سکتا تھا یا جنہیں متوازی چلایا جا سکتا تھا. Codex کے ساتھ GPT‑5.6 Sol نے خود مختار طور پر ہمارے عملی کرنلز, یعنی ماڈل کی ریاضیاتی کارروائیاں انجام دینے والے بنیادی کوڈ, کو دوبارہ لکھا اور بہتر بنایا. یہ جزوی طور پر اس لیے کامیاب ہوا کہ ہم نے GPT‑5.6 کو OpenAI کی زیر نگہداشت دو اوپن سورس GPU پروگرامنگ زبانوں, Triton(نئی ونڈو میں کھلتا ہے) اور Gluon(نئی ونڈو میں کھلتا ہے), میں کرنلز لکھنے اور بہتر بنانے کی مؤثر ٹریننگ دی ہے. GPT‑5.6 Sol کی کرنل سے متعلق وسیع تر پیش رفت کے ساتھ ان کوششوں نے ابتدا سے انتہا تک فراہمی کی لاگت 20% کم کر دی. ہم نے GPT‑5.6 Sol کے لکھے ہوئے کرنلز کی درستگی جانچنے کے لیے اوپن سورس ٹول FpSan(نئی ونڈو میں کھلتا ہے) (فلوٹنگ پوائنٹ سینیٹائزر), جیسے تصدیقی ٹولز میں بھی بھاری سرمایہ کاری کی ہے.
اسپیکیولیٹو ڈیکوڈنگ رفتار اور کارکردگی بہتر بنانے کا ایک اور طریقہ ہے. اس تکنیک میں بنیادی ماڈل کے ساتھ ایک چھوٹا ڈرافٹ, (یا "اسپیکیولیٹر") ماڈل چلایا جاتا ہے, جو بنیادی ماڈل کو متوازی طور پر جانچنے کے لیے کئی ٹوکنز تجویز کرتا ہے. جب یہ تجاویز قبول کر لی جاتی ہیں، تو سسٹم بنیادی ماڈل کے ایک ہی پاس سے متعدد آؤٹ پٹ ٹوکنز تیار کر سکتا ہے, جس سے مہنگے سلسلہ وار حساب کی مقدار کم ہو جاتی ہے. GPT‑5.6 Sol نے اپنے طرز تعمیر پر سیکڑوں تجربات ڈیزائن اور چلا کر, اور حجم, ساخت اور خصوصیات میں تبدیلیاں آزما کر اپنے مسودہ ماڈل کو بہتر بنایا. مزید برآں, GPT‑5.6 Sol نے قیاس کار کی ٹریننگ کا عمل شروع کیا اور اس کی نگرانی کی, نیز ہارڈ ویئر کی خرابیوں اور ٹریننگی عدم استحکام سمیت مسائل پیدا ہونے پر خود مختار طور پر مداخلت کی. ان بہتریوں سے ٹوکن بنانے کی کارکردگی میں 15% سے زیادہ اضافہ ہوا.
کیش نہ کیے گئے اِن پٹ ٹوکنز پر کارروائی کرتے وقت ماڈل ایک کمپیوٹنگ پر بھاری پاس میں کی-ویلیو (KV) کیش بناتا ہے؛ آؤٹ پٹ بناتے وقت وہ اس کیش سے بار بار پڑھتا اور اسے بڑھاتا ہے. فراہمی کی بہترین تشکیل, جیسے بیچنگ, شارڈنگ اور KV management, ورک لوڈ پر بہت منحصر ہوتی ہے—جس میں پرومپٹ اور آؤٹ پٹ کی لمبائی, بیچ کا حجم, کیش کی کامیابی کی شرح, استفسار کی خصوصیات وغیرہ عوامل شامل ہیں. تاہم, تشکیل کے امکانات پہلے اتنے وسیع تھے کہ انہیں منظم طریقے سے بہتر نہیں بنایا جا سکتا تھا, اس لیے انجینئروں کو عمومی تخمینی اصولوں پر انحصار کرنا پڑتا تھا. Codex میں GPT‑5.6 Sol کی مدد سے ہم پروڈکشن ورک لوڈز کا تجزیہ, ممکنہ تشکیلات کی تیاری اور جانچ, اور ہر صورت حال کے لیے انجن اور ماڈل کی تشکیل کو انتہائی بہتر بنانے کے قابل ہوئے. اس سے کام کے مخصوص بوجھ کے مطابق اصلاح کی نئی سطح عملی ہو جاتی ہے اور اسی ہارڈ ویئر سے زیادہ مفید انفرنس حاصل ہوتا ہے.
انفرنس کی اصلاح ایک مسلسل تاثراتی چکر ہے. ہم پروڈکشن کے رویے کی پیمائش کرتے, بڑے خلا شناخت کرتے, تبدیلیاں نافذ کرتے اور تصدیق کرتے ہیں کہ وہ کسی الگ تھلگ معیار کے بجائے پورے نظام کو بہتر بناتی ہیں. GPT‑5.6 Sol اور Codex اس چکر کے ہر حصے کو تیز کرتے ہیں. اس کا مطلب ہے کہ ہماری ٹیم مزید خیالات آزما سکتی ہے, بدلتے ہوئے کام کے بوجھ کا زیادہ تیزی سے جواب دے سکتی ہے اور صارفین کے لیے کم تاخیر, زیادہ صلاحیت اور کم لاگت والا انفرنس نظام بنا سکتی ہے.
ChatGPT Work اور Codex ماڈل کی درخواستوں اور ٹول کالز کے سلسلے کے ذریعے پیچیدہ کام مکمل کرتے ہیں. ایک ہی ٹرن میں—صارف کی درخواست سے حتمی جواب تک—Codex سورس کوڈ دیکھ سکتا ہے, ڈپلائمنٹ ہسٹری تلاش کر سکتا ہے, اِنسیڈنٹ رپورٹس پڑھ سکتا ہے, فائل میں ترمیم کر سکتا ہے اور ٹیسٹ چلا سکتا ہے. ہر مرحلے کے لیے ایک ریکویسٹ درکار ہو سکتی ہے.
سیاق تیار کرنے, ڈیٹا منتقل کرنے, انفرنس چلانے, ٹولز کو کال کرنے اور عمل شروع کرنے میں وقت اور کمپیوٹنگ قوت لگتی ہے. اگر کسی کام کے لیے ماڈل کی 30 درخواستیں درکار ہوں تو ہر درخواست میں ایک اضافی سیکنڈ مجموعی طور پر خاصا بڑھ جاتا ہے. مجموعی کارکردگی بہتر بنانے کا مطلب صرف ماڈل کو تیز کرنا نہیں, بلکہ پورے سسٹم میں دہرائے گئے کام کو کم کرنا ہے.
صارف کے ایک ٹرن میں ماڈل اور ٹول کی متعدد تکراری کارروائیاں شامل ہو سکتی ہیں. دہرائے جانے والے حصے کے اندر آنے والی کوئی بھی لاگت متعدد بار ادا کرنی پڑ سکتی ہے.
ان عوامل نے ہمارے ایجنٹک ہارنیس کے ڈیزائن کی رہنمائی کی, جو Rust پر مبنی ایک آرکیسٹریشن لیئر ہے اور ہمارے ماڈلز, ٹولز, اور صارف کے ماحول کو آپس میں جوڑتی ہے. اگلے حصے میں ہم دیکھیں گے کہ سیاق کے غیر ضروری پھیلاؤ سے بچنا, ٹولز کو لوڈ کرنا, اور پہلے سے کیے گئے کام کو دوبارہ استعمال کرنا, ہر ریکویسٹ کو کس طرح زیادہ مؤثر بناتا ہے.
جیسے جیسے ایجنٹس کو زیادہ ٹولز, مہارتوں, پلگ اِنز اور گفتگو کی ہسٹری تک رسائی ملتی ہے, سیاق ونڈوز آسانی سے وسیع ہو سکتی ہیں. اس سے لاگت بڑھتی ہے, ماڈل کی توجہ بٹتی ہے اور غیر ضروری ریزننگ شروع ہوتی ہے. ہارنیس مؤخر دریافت کے ذریعے یہ اضافی بوجھ کم کر سکتا ہے, جس سے انضمامات, حسب ضرورت MCP ٹولز, مہارتیں اور پلگ اِنز صرف ضرورت کے وقت دستیاب ہوتے ہیں. ہارنیس انفرادی ٹولز اور MCP انضمامات کو غیر متوقع طور پر سیاق ونڈو استعمال کرنے سے بھی روکتا ہے. اگر ماڈل کوئی مختلف حد طلب نہ کرے تو ٹول کے آؤٹ پٹ کی طے شدہ حد 10,000 ٹوکنز ہے.
جیسا کہ پہلے بتایا گیا ہے, ایک ایجنٹ لوپ ایک ہی ٹرن کے دوران وہی ہدایات, گفتگو کی ہسٹری, ٹول کی تعریفیں, اور پہلے کے نتائج متعدد بار GPUs کو بھیج سکتا ہے. ان دہرائے جانے والے اِن پٹس پر عمل کرنا مہنگا ہوتا ہے, اس لیے پرومپٹ کیشنگ پہلے سے پروسیس کیے گئے پرومپٹ prefix سے وابستہ کمپیوٹیشن کو دوبارہ استعمال کرتی ہے. اس prefix کو برقرار رکھنے کے لیے, ہارنیس ماڈل کو نظر آنے والی تمام ہسٹری کو append-only سمجھتا ہے: نئے پیغامات, ٹول کے نتائج, اور ماحول کی اپ ڈیٹس کو پہلے سے موجود سیاق میں داخل کرنے کے بجائے آخر میں شامل کیا جاتا ہے. ٹولز بھی ایک متعین ترتیب میں پیش کیے جاتے ہیں, جبکہ approval policies جیسی رن ٹائم سیٹنگز کو ٹول کی تعریفوں میں شامل کرنے کے بجائے عمل درآمد کے دوران لاگو کیا جاتا ہے. یہ ڈیزائن انتخاب Codex اور ChatGPT Work میں مجموعی طور پر پرومپٹ کیش ہٹ ریٹ کو بلند رکھنے میں مدد دیتا ہے.
تدریجی ترسیل یہ تبدیل کرتی ہے کہ نیٹ ورک پر کیا منتقل ہوتا ہے, جبکہ پرومپٹ کیشنگ یہ تبدیل کرتی ہے کہ ماڈل کو کن حسابات کا دوبارہ حساب لگانے سے بچایا جا سکتا ہے. چوڑائیاں تصوراتی ہیں, اور اضافی کمپریشن کی تہہ نہیں دکھائی گئی ہے.
GPT‑5.6 کے ساتھ ہماری حاصل کردہ کارکردگی میں بہتری, تحقیق, انفرنس, اور ہمارے ایجنٹک ہارنیس سمیت پورے اسٹیک میں برسوں کے دوران جمع ہونے والی بہتریوں کا نتیجہ ہے. ان میں سے بہت سی بہتریوں کی فراہمی میں GPT‑5.6 کے کردار نے ہمیں اس بات کے بارے میں پُرامید بنایا ہے کہ آپٹیمائزیشنز کی رفتار مزید تیز ہوگی. ہم اپنے اسٹیک میں بنیادی بہتریوں کے ساتھ ساتھ kernel optimization جیسے شعبوں میں مزید آپٹیمائزیشنز جاری رکھیں گے. ہمیں ان مسلسل, پسِ منظر میں ہونے والی بہتریوں کو زیادہ وسیع پیمانے پر دستیاب, کم لاگت والی انٹیلیجنس کی صورت میں اپنے صارفین اور گاہکوں تک پہنچانے کا انتظار ہے.
اس تحریر میں تعاون پر تکنیکی عملے کے ارکان Matthew Ferrari, Philippe Tillet, Ahmed Ibrahim, Joe Gershenson اور Steve Coffey کا خصوصی شکریہ.
