GPT‑5.6 Sol کی تیز رفتار ویڈیو، جس میں وہ ARC-AGI-3 بینچ مارک کے معمے حل کرنے کی کوشش کرتا ہے. بائیں طرف آفیشل ہارنیس اور دائیں طرف ہمارا ریسپانسز API ہارنیس ہے، جو ریزننگ برقرار رکھتا اور کمپیکشن فعال کرتا ہے. اس گیم(نئی ونڈو میں کھلتا ہے) کے لیڈر بورڈ پر کوئی جدید ترین ماڈل پہلے لیول سے آگے کوئی لیول حل نہیں کرتا. ہمارے ہارنیس کے ساتھ GPT‑5.6 Sol تمام چھ لیول حل کرتا ہے.
جب ہم نے پہلی بار ARC-AGI-3(نئی ونڈو میں کھلتا ہے) بینچ مارک پر GPT‑5.6 Sol کے کم اسکور دیکھے تو ہم حیران رہ گئے.
GPT‑5.6 Sol نے ریاضی کے دیرینہ حل طلب مسائل، مثلاً سائیکل ڈبل کور قیاس(نئی ونڈو میں کھلتا ہے)، حل کیے ہیں اور پوکیمون فائر ریڈ جیسے گیمز میں فتح پائی ہے. لیکن دو جہتی معماتی گیمز کے بینچ مارک ARC-AGI-3 پر GPT‑5.6 Sol نے صرف 7.8% اسکور کیا، جبکہ GPT‑5.5 بمشکل گیمز کھیل سکا اور اس کا معمولی سا اسکور 0.4% رہا.
کیا دو جہتی معماتی گیمز ہمارے ماڈلز کے لیے غیر معمولی حد تک مشکل تھے؟ یا معاملہ کچھ اور تھا؟
بینچ مارکس صرف AI ماڈلز کو الگ تھلگ نہیں جانچتے۔. وہ API سیٹنگز، ہارنیس کے ڈیزائن اور ہدایات دینے سے متعلق کم نمایاں فیصلوں کو بھی جانچتے ہیں. ARC-AGI-3 کے معاملے میں ہمیں پتا چلا کہ ChatGPT اور Codex میں استعمال ہونے والی دو API سیٹنگز—ریزننگ برقرار رکھنا اور کمپیکشن—فعال کرنے سے عوامی ٹاسک سیٹ پر اسکور تین گنا ہو گئے اور آؤٹ پٹ ٹوکنز چھ گنا کم ہو گئے.
آفیشل ہارنیس کے ساتھ، GPT‑5.6 Sol نے ARC-AGI-3 کے عوامی سیٹ پر 13.3% اسکور کیا. ریزننگ برقرار رکھنے اور کمپیکشن کے ساتھ اس نے 38.3% اسکور کیا. اسکور نسبتی انسانی عملی کارکردگی (RHAE(نئی ونڈو میں کھلتا ہے))—یعنی ماڈل کی کارکردگی کا انسانی بنیادی معیار سے موازنہ کرنے والے پیمانے—پر مبنی ہے. آفیشل گیم پلے لاگز(نئی ونڈو میں کھلتا ہے) کی بنیاد پر ہمارا اندازہ ہے کہ اوسط انسانی آزمائندے نے 48% اسکور کیا. ماڈلز کو یہ نہیں بتایا جاتا کہ اسکور کیسے دیا جائے گا اور وہ دورانِ کھیل اپنا اسکور نہیں دیکھ سکتے—ہر عمل کے جواب میں صرف ہر فریم کی متنی نمائندگی اور موجودہ لیول کی اطلاع ملتی ہے.
ARC-AGI-3 ایک بینچ مارک ہے جسے یہ جانچنے کے لیے بنایا گیا ہے کہ AI ایجنٹس کتنی اچھی طرح سیکھتے اور ریزننگ کرتے ہیں. ایجنٹس ناواقف دو جہتی گیمز کھوجتے ہیں اور واضح ہدایات کے بغیر یہ اندازہ لگاتے ہیں کہ وہ کیسے کام کرتے ہیں. آپ arcprize.org/tasks(نئی ونڈو میں کھلتا ہے) پر 25 نمائشی گیمز کھیل سکتے ہیں.
ARC-AGI-3 جان بوجھ کر ایک عمومی ہارنیس استعمال کرتا ہے، جس میں ٹولز یا خصوصی خصوصیات نہیں ہیں. ARC کی منطق یہ تھی کہ سادہ ہارنیس ماڈل کی خامیوں کو زیادہ نمایاں اور ماڈلز کے موازنے کو زیادہ منصفانہ بناتا ہے. اس کے برعکس، تجارتی ڈویلپرز ہر ماڈل کی خصوصیات اور انوکھی عادتوں کے مطابق ہارنیس کو بہتر بناتے ہیں.
گیمز میں GPT‑5.6 Sol نے صرف بصارت والے ہارنیس کے ساتھ پوکیمون فائر ریڈ کو شکست دی ہے، جسے GPT_Plays_Pokemon(نئی ونڈو میں کھلتا ہے) نے براہ راست نشر کیا؛ Codex کے کمپیوٹر استعمال کے ذریعے سلے دی اسپائر کو شکست دی، جسے EpochAI(نئی ونڈو میں کھلتا ہے) نے براہ راست نشر کیا؛ اور بابا از یو کے ابتدائی مراحل مکمل کیے، جیسا کہ Piotr Migdał & Piotr Grabowski(نئی ونڈو میں کھلتا ہے) نے شیئر کیا. ARC-AGI-3 میں اتنا مختلف کیا تھا؟
ایتھن مولک دکھاتے ہیں(نئی ونڈو میں کھلتا ہے) کہ Codex میں GPT‑5.6 Sol، سلے دی اسپائر 2 کا بے ترتیب یومیہ چیلنج جیت رہا ہے. یہ گیم GPT‑5.6 Sol کے علمی معلومات کی حد کے بعد جاری ہوا تھا.
GPT‑5.5 کی خامیوں کے بارے میں ARC کے تجزیے(نئی ونڈو میں کھلتا ہے) سے متاثر ہو کر ہم نے GPT‑5.6 Sol کی کچھ کوششوں کا جائزہ لیا. ARC کی طرح ہمیں بھی لگا کہ ماڈل کچھ زیادہ ذہین نظر نہیں آ رہا تھا. وہ ہر عمل پر بہت دیر سوچتا اور آگے بڑھنے میں دقت محسوس کرتا تھا.
لیکن مزید گہرائی سے جائزہ لینے پر پتا چلا کہ ماڈل کی زیادہ تر الجھن خود ماڈل کی وجہ سے نہیں تھی۔ بلکہ ہارنیس کی سیٹنگز کا نتیجہ تھی۔
پہلے ہم نے دیکھا کہ گیم کے ہر عمل کے بعد تمام نجی ریزننگ حذف کر دی جاتی تھی. اس کا مطلب تھا کہ ہر عمل پر GPT‑5.6 Sol سے گیم کو نئے سرے سے سمجھنے کو کہا جاتا، کیونکہ اسے اپنی پچھلی سوچ یاد نہیں رہتی تھی. ماڈل پچھلی چالوں کا ریکارڈ اور ان کے ساتھ مختصر نوٹس تو دیکھ سکتا تھا، مگر ان تک پہنچانے والے منصوبے، بصیرتیں یا خیالات نہیں دیکھ سکتا تھا.
دوسرا، ہم نے دیکھا کہ ہارنیس متحرک تراش کی ونڈو استعمال کرتا تھا، جس کے باعث سرگزشت بڑھنے پر پرانے اعمال نظروں سے اوجھل ہو جاتے تھے. یوں GPT‑5.6 Sol نہ صرف اپنی پچھلی سوچ یاد نہیں رکھ سکتا تھا بلکہ پچھلے اعمال کی یاد بھی کھو رہا تھا.
ہارنیس کی یہ دونوں خصوصیات—ریزننگ حذف کرنا اور متحرک تراش—مل کر واضح کرتی ہیں کہ GPT‑5.6 Sol وقت کے ساتھ سیکھنے میں کیوں دشواری محسوس کر رہا تھا.
ہمارے ماڈلز کو جوابات یا ٹول کالز پیش کرنے سے پہلے نجی ریزننگ پیغامات کے ذریعے سوچنے کی تربیت دی جاتی ہے. یہ نجی فکری پیغامات گفتگو کی سرگزشت کے حصے کے طور پر برقرار رکھے جاتے ہیں. اگر گفتگو بہت طویل ہو جائے تو ہم اس کا خلاصہ بنا کر آگے بڑھتے ہیں.
ہمارے ماڈلز کو اسی طرح تربیت دی جاتی ہے اور ChatGPT اور Codex میں بھی اسی طرح استعمال کیا جاتا ہے. اپنے عملی نظام سے بہتر مطابقت کے لیے ہم نے اپنی ریسپانسز API(نئی ونڈو میں کھلتا ہے) کے ذریعے ARC-AGI-3 ہارنیس نافذ کیا. ہماری API سیاق کا نظم آسان بناتی ہے: GPT‑5.6 کے لیے پچھلے جواب کی شناخت بھیجنے سے ٹول کالز اور گفتگو کی باریوں میں ریزننگ خودکار طور پر برقرار رہتی ہے.
ریزننگ برقرار رکھنے پر ہمیں دو بڑی تبدیلیاں نظر آئیں. پہلی، GPT‑5.6 Sol نے ہر عمل سے پہلے سوچنے میں کم وقت لگایا، کیونکہ اب اسے ہر باری گیم کو ابتدا سے سمجھنے کی ضرورت نہیں تھی. دوسری، اپنی پچھلی سوچ یاد رکھنے پر GPT‑5.6 Sol وقت کے ساتھ سیکھنے اور مربوط حکمتِ عملیوں کے استعمال میں بھی بہتر ہو گیا.
اگلی بہتری متحرک تراش کی جگہ کمپیکشن(نئی ونڈو میں کھلتا ہے) سے تبدیل کرنے سے آئی، جو ریسپانسز API کی ایک اور سیٹنگ ہے.
ARC-AGI-3 ہارنیس متحرک تراش کے ذریعے سیاق کی حدوں سے نمٹتا ہے. گفتگو کا سیاق 175,000 حروف سے بڑھنے پر سب سے پرانے پیغامات حذف کر دیے جاتے ہیں.
متحرک تراش کے دو نقصانات ہیں. پہلا، ماڈل ابتدائی مشاہدات اور اعمال بھول جاتا ہے. دوسرا، وہ ٹاسک کا بڑا حصہ زیادہ بھری ہوئی سیاق ونڈو کے ساتھ انجام دیتا ہے، جس سے کارکردگی قدرے متاثر ہو سکتی ہے.
ARC-AGI-3 پر کمپیکشن فعال کرنے سے GPT‑5.6 Sol طویل کوششوں کے دوران ہر گیم کے بارے میں سیکھی ہوئی باتیں بہتر طور پر محفوظ رکھ سکا اور کم آؤٹ پٹ ٹوکنز کے ساتھ زیادہ اسکور حاصل کیا.
ریزننگ برقرار رکھنے اور کمپیکشن فعال کرنے کا اثر واضح کرنے کے لیے یہ حرکت نما منظر دکھاتا ہے کہ ہر ہارنیس کے ساتھ ARC-AGI-3 کے متعدد معمے حل کرتے وقت GPT‑5.6 Sol کی 175K سیاق ونڈو کیسے استعمال ہوتی ہے.
درمیانی دو کالم دکھاتے ہیں کہ ہر ہارنیس ماڈل کی سیاق ونڈو کو مختلف انداز میں کیسے استعمال کرتا ہے. اپنے ماضی کی بہتر یادداشت کے باعث GPT‑5.6 Sol ہر عمل پر کم سوچتا اور کہیں زیادہ تیزی سے آگے بڑھتا ہے. نوٹ: ہمارا نفاذ حروف کی بجائے 175,000 ٹوکنز کی حد استعمال کرتا ہے، مگر نتیجہ تقریباً یکساں رہتا ہے کیونکہ زیادہ تر متن ایکشن گرڈز پر مشتمل ہوتا ہے، جنہیں ہمارا ٹوکن ساز 1:1 کے تناسب سے ٹوکنز میں تقسیم کرتا ہے.
ریزننگ برقرار رکھنے اور کمپیکشن کے مشترکہ استعمال سے GPT‑5.6 Sol (Max) تقریباً تین گنا اسکور حاصل کرتا ہے، جبکہ آؤٹ پٹ ٹوکنز چھ گنا کم ہوتے ہیں.
ہمیں امید ہے کہ یہ تجربات یاد دلائیں گے کہ جائزے شاذ ہی ماڈلز کو الگ تھلگ جانچتے ہیں—وہ API سیٹنگز، ہارنیس کے ڈیزائن اور ہدایات دینے سے متعلق کم نمایاں فیصلوں کے مجموعے کو بھی جانچتے ہیں. یہ پہلی بار نہیں کہ عوامی بینچ مارک پر کم اسکور نے ہمیں حیران کیا اور پھر پتا چلا کہ جائزہ چلانے والا نظام ایک عمومی ہارنیس استعمال کر رہا تھا جو ریزننگ پیغامات حذف کر دیتا تھا.
اگر آپ API ڈویلپر ہیں اور کارکردگی زیادہ سے زیادہ کرنا چاہتے ہیں تو ہم وہی سیٹنگز استعمال کرنے کی سفارش کرتے ہیں جو اپنی مصنوعات میں نافذ کرتے ہیں:
- ہماری پرانی Chat Completions API کے بجائے Responses API استعمال کریں
- ریزننگ برقرار رکھیں
- کمپیکشن استعمال کریں
اور اگر آپ ماڈلز کا موازنہ کر رہے ہیں تو ہم ایسے جائزوں پر بھروسا کرنے کی سفارش کرتے ہیں جو اوپر دی گئی سیٹنگز استعمال کرتے ہوں، کیونکہ یہی ChatGPT اور Codex کے حقیقی استعمال سے سب سے زیادہ مطابقت رکھتی ہیں.
ہم AGI کے جائزے پر برسوں سے جاری ARC کے تخلیقی کام اور اس تجزیے کے شکر گزار ہیں جس نے ہمیں یہاں زیادہ باریک بینی سے دیکھنے کی تحریک دی.
اگر آپ جدید ترین ماڈلز کے مقابلے میں اپنی صلاحیت کو پرکھنا چاہتے ہیں تو arcprize.org/tasks(نئی ونڈو میں کھلتا ہے) پر عوامی گیمز خود آزمائیں.
