ریزننگ ماڈلز اپنے چین-آف-تھاٹ کو کنٹرول کرنے میں جدوجہد کرتے ہیں اور یہ اچھی بات ہے

جیسے جیسے AI ایجنٹس مزید پیچیدہ اور خود مختار ٹاسکس انجام دینے کے قابل ہوتے جا رہے ہیں، ان کے رویّے پر قابلِ اعتماد نگرانی برقرار رکھنا زیادہ اہم ہو جاتا ہے. ہمارے تدریجی ڈیپلائمنٹ کے اصول کے مطابق، ہم حقیقی دنیا کے ماحول میں سسٹمز کے رویّے کا مطالعہ کرتے ہیں اور جیسے جیسے صلاحیتیں آگے بڑھتی ہیں، حفاظتی اقدامات کو مسلسل بہتر بناتے رہتے ہیں. اس کی معاونت کرنے کے لیے، ہمارا حفاظتی طریقۂ کار⁠ ڈیفنس اِن ڈیپتھ استعمال کرتا ہے، جس میں دفاع کی متعدد تکمیلی پرتیں شامل ہیں جیسے حفاظتی تربیت⁠, رویّاتی جانچ⁠، ایجنٹک کوڈ ریویو⁠(نئی ونڈو میں کھلتا ہے) اور  چین-آف-تھاٹ (CoT) مانیٹرنگ⁠. CoT مانیٹرنگ ان ریزننگ مراحل کا تجزیہ کرتی ہے جو ایجنٹس ٹاسکس کو انجام دیتے ہوئے تیار کرتے ہیں. یہ ریزننگ ٹریسز تربیت اور تعیناتی دونوں کے دوران قیمتی سگنلز فراہم کر سکتے ہیں، جس سے مانیٹرنگ سسٹمز کو یہ شناخت کرنے میں مدد ملتی ہے کہ کب کسی ایجنٹ کا رویہ غیر محفوظ ہو سکتا ہے یا صارف کے مطلوبہ اہداف کے ساتھ غیر ہم آہنگ ہو سکتا ہے.

آج، ہم یہ پاتے ہیں کہ ماڈلز کی ریزننگ عموماً قابلِ تشریح ہے اور نگرانی کرنا آسان ہے⁠. تاہم، مستقبل میں، نگرانی کی صلاحیت مختلف وجوہات کی بنا پر⁠(نئی ونڈو میں کھلتا ہے) ناکام ہو سکتی ہے. یہاں، ہم ایسے ہی ایک راستے پر توجہ دیتے ہیں: اگر ایجنٹس اس قابل ہو جائیں کہ جب انہیں معلوم ہو کہ ان کی نگرانی کی جا رہی ہے تو وہ جان بوجھ کر اپنی ریزننگ کو ازسرِنو تشکیل دیں یا اسے مبہم کر دیں، تو تشخیصات کسی نظام کی ہم آہنگی یا حفاظت کو بڑھا چڑھا کر اندازہ لگا سکتی ہیں اور نگرانی کے نظام کم قابلِ اعتماد ہو سکتے ہیں. 

اس کام میں، ہم یہ مطالعہ کرتے ہیں کہ آیا موجودہ ریزننگ ماڈل اپنے چین-آف-تھاٹ کو ایسے طریقوں سے کنٹرول کی صلاحیت رکھتے ہیں جو مانیٹر ایبلٹی کو کم کرتے ہیں. اس صلاحیت کو سمجھنا یہ یقینی بنانے کے لیے اہم ہے کہ جیسے جیسے AI سسٹمز زیادہ قابل ہوتے جائیں، CoT مانیٹرنگ ایک مضبوط حفاظتی تدبیر کے طور پر برقرار رہے. ہمیں معلوم ہوتا ہے کہ موجودہ ریزننگ ماڈل اپنے CoTs کو کنٹرول کرنے میں جدوجہد کرتے ہیں، حتیٰ کہ جب انہیں بتایا جائے کہ ان کی نگرانی کی جا رہی ہے. اگرچہ بڑے ماڈلز کے لیے کنٹرول کی صلاحیت زیادہ ہوتی ہے، لیکن جب ماڈلز سے طویل مدت تک استدلال کرنے کو کہا جاتا ہے اور جب وہ اضافی بعد از تربیت سے گزرتے ہیں تو یہ کم ہو جاتی ہے. ہمارے نتائج سے ظاہر ہوتا ہے کہ CoT کی کنٹرول کی صلاحیت کا فی الحال CoT کی نگرانی کی صلاحیت کے لیے ایک بڑا خطرہ بننا غالباً ممکن نہیں، تاہم جیسے جیسے ماڈلز ترقی کرتے جائیں گے مسلسل جائزہ لینا اہم ہوگا.

چین-آف-تھاٹ سے مراد وہ درمیانی ریزننگ مراحل ہیں جو ایک AI ایجنٹ کسی کام کو حل کرتے وقت پیدا کرتا ہے. یہ ریزننگ ٹریسز مفید حفاظتی سگنلز فراہم کر سکتے ہیں، جس سے مانیٹرنگ سسٹمز کو یہ جانچنے میں مدد ملتی ہے کہ آیا کسی ایجنٹ کا رویہ محفوظ یا ہم آہنگ ہے.

CoT کنٹرول کی صلاحیت ایک ریزننگ ماڈل کی یہ صلاحیت ہے کہ وہ اپنے CoT کی خصوصیات کو ایسے طریقوں سے کنٹرول کرے جو مانیٹر ایبلٹی کو کم کریں. عملی طور پر جن مانیٹرز سے بچنے کے لیے حقیقت پسندانہ ترغیبات کی مکمل وسعت کے تحت ہم توقع کر سکتے ہیں، اس صلاحیت کی پیمائش کرنا چیلنجنگ ہے. اس کے بجائے، ہم ایک عملی متبادل استعمال کرتے ہیں: ہم ماڈل کی یہ صلاحیت ناپتے ہیں کہ وہ صارف کی ان کے خیالات کے سلسلہ (CoT) کے بارے میں ہدایات پر عمل کر سکے. مثال کے طور پر، ہم یہ جانچ کرتے ہیں کہ آیا کوئی ماڈل ایسی ہدایات پر عمل کر سکتا ہے جو اس کی اندرونی ریزننگ کو متاثر کرتی ہیں—مثلاً صرف چھوٹے حروف استعمال کرنا، کچھ مخصوص کلیدی الفاظ سے گریز کرنا، یا مخصوص فقرے شامل کرنا—بجائے اس کے کہ محض اس کے نظر آنے والے آؤٹ پُٹ کو تبدیل کیا جائے.

اس کا مطالعہ کرنے کے لیے، ہم CoT-کنٹرول متعارف کراتے ہیں، جو ایک اوپن سورس ایویلیوایشن سوئٹ ہے تاکہ ریزننگ ماڈلز کی CoT کنٹرول کی صلاحیت کی پیمائش کی جا سکے. CoT-کنٹرول میں قائم شدہ بینچ مارکس سے تیار کردہ 13,000 سے زیادہ ٹاسکس شامل ہیں:  GPQA, MMLU-Pro, HLE, BFCL اور SWE-Bench Verified⁠. ہر کام ایک بینچ مارک مسئلے کو ایک CoT ہدایت کے ساتھ جوڑ کر بنایا جاتا ہے، جیسے CoT میں مسئلے سے متعلق بعض کلیدی الفاظ سے گریز کرنا، صرف چھوٹے حروف استعمال کرنا، یا ہر جملے کے آخر میں ایک دیا گیا لفظ شامل کرنا.

ہم 13 ریزننگ ماڈلز پر جائزے چلاتے ہیں اور پاتے ہیں کہ وہ سب اپنے CoTs کو قابلِ اعتماد طریقے سے کنٹرول کرنے میں جدوجہد کرتے ہیں. ہم کنٹرول کی صلاحیت کو ریزننگ ٹریسز کے اس حصے کے طور پر ناپتے ہیں جہاں ماڈل ہماری CoT ہدایات کی کامیابی سے تعمیل کرتا ہے. تمام جدید ترین ماڈلز میں، CoT کنٹرول کی صلاحیت کے اسکور کم ہیں، جو 0.1% سے شروع ہوتے ہیں اور ہمارے ٹیسٹ کیے گئے کسی بھی موجودہ جدید ترین ماڈل کے لیے 15.4% سے زیادہ نہیں ہوتے. 

یہ عدم صلاحیت کام کو غلط سمجھنے کی وجہ سے نہیں ہے: ماڈل اکثر اپنے CoT میں یہ پہچان لیتے ہیں کہ وہ انہیں دی گئی CoT ہدایات کی تعمیل کرنے میں ناکام ہو رہے ہیں اور—اس ادراک کے بعد بھی—پھر بھی ناکام رہتے ہیں. یہ حیرت انگیز طور پر کم کارکردگی CoT کی نگرانی کی صلاحیت کے لیے اچھی خبر ہے: اس سے یہ اشارہ ملتا ہے کہ ماڈل میں اسی طرح ہماری نگرانی سے بچنے کے لیے اپنی ریزننگ کو مبہم بنانے کی صلاحیت کی کمی ہو سکتی ہے.

اگرچہ ہم دیکھتے ہیں کہ ماڈل کے سائز کے ساتھ کنٹرول کی صلاحیت بڑھتی ہے، ہم یہ بھی پاتے ہیں کہ یہ بعد از تربیت اور ٹیسٹ کے وقت کی کمپیوٹ کی مقدار کے ساتھ تیزی سے کم ہو جاتی ہے. اوپن ویٹ ماڈلز کے دو خاندانوں میں دیکھنے پر، بڑے ماڈلز اپنے چین-آف-تھاٹ کو کنٹرول کرنے میں کچھ حد تک بہتر تھے، اگرچہ بڑے سائز پر یہ اثر بتدریج کم ہوتا گیا. لیکن جب ہم ماڈلز کو زیادہ دیر تک سوچنے دیتے ہیں، تو وہ چین-آف-تھاٹس کو کنٹرول کرنے کے قابل کم ہو جاتے ہیں. ہم نے OLMo-3-7B-RL-Zero-Math کی RL تربیت کے لیے بھی اسی طرح کا رجحان دیکھا: تربیت کے دوران اس کا کنٹرول کی صلاحیت اسکور دس گنا سے بھی زیادہ کم ہو گیا.

اوپن ویٹ ماڈلز میں پیمانے کے ساتھ کنٹرول کی صلاحیت بڑھتی ہے لیکن طویل ریزننگ اور زیادہ RL ٹریننگ کے ساتھ کم ہو جاتی ہے.

نگرانی کرنے والوں سے بچنے کے لیے حقیقت پسندانہ ترغیبات کی نقل کرنے کے لیے، ہم کنٹرول کی صلاحیت کی پیمائش اس وقت کرتے ہیں جب ماڈل کو بتایا جاتا ہے کہ ان کی نگرانی کی جا رہی ہے یا ان کا جائزہ لیا جا رہا ہے. یہ کچھ حد تک (لیکن نمایاں طور پر) کنٹرول کی صلاحیت میں اضافہ کرتا ہے. ہم اعلٰی کنٹرول کی صلاحیت پیدا کرنے والی پرومپٹس تلاش کرنے کے لیے خودکار پرومپٹ آپٹیمائزیشن بھی استعمال کرتے ہیں. اگرچہ آپٹمائزر تربیتی سیٹ پر کنٹرول کی صلاحیت میں اضافہ کر سکتا ہے، لیکن یہ فوائد نئی ہدایات کی اقسام میں کم منتقل ہوتے ہیں (مثلاً الفاظ کے درمیان کوئی اسپیس درکار نہ ہونا).

CoT-کنٹرول میں کام عملی نمائندے ہیں: ایک مثالی CoT کنٹرول کی صلاحیت کی جانچ میں یہ آزمائش شامل ہوگی کہ آیا وہ ماڈل جو فطری طور پر غیر ہم آہنگ اہداف کا تعاقب کرتے ہیں، نگرانی سے بچنے کے لیے اپنی CoT کو کنٹرول کر سکتے ہیں یا نہیں. اس کے بجائے، ہم ایجنٹس کی اپنے خیالات کے سلسلہ (CoT) کو کنٹرول کی صلاحیت کا اندازہ ان کی اپنے خیالات کے سلسلہ (CoT) کے بارے میں ہدایات پر عمل کرنے کی صلاحیت کی پیمائش کے ذریعے لگاتے ہیں. مزید برآں، ماڈلز اپنے CoT کی کچھ خصوصیات کو دوسروں کے مقابلے میں بہتر طور پر کنٹرول کر سکتے ہیں، اور CoT-کنٹرول صرف کنٹرول کی صلاحیت کی اقسام کے ایک محدود مجموعے کی پیمائش کر کے کنٹرول کی صلاحیت کا زیادہ یا کم اندازہ لگا رہا ہو سکتا ہے.

کم CoT کنٹرول کی صلاحیت ایک فیچر ہے، بگ نہیں. موجودہ ریزننگ ماڈلز کی کم کنٹرول کی صلاحیت ایک حفاظتی اقدام کے طور پر CoT مانیٹرنگ کو زیادہ قابلِ اعتماد بناتی ہے. اسی وقت، ہم ابھی تک یہ نہیں سمجھتے کہ موجودہ ریزننگ ماڈلز کی کنٹرول کی صلاحیت کم کیوں ہے—یا آیا یہ خاصیت ماڈلز کے زیادہ قابل ہوتے جانے کے ساتھ برقرار رہے گی. لہٰذا، CoT کنٹرول کی صلاحیت ایوالیویشنز کو کینری ایوالیویشن کے طور پر دیکھا جا سکتا ہے: یہ اس بات کی ابتدائی انتباہی علامت ہے کہ آیا ماڈل اپنی ریزننگ کو شکل دینے یا چھپانے میں بہتر ہو رہے ہیں. 

ہمارے نتائج سے ظاہر ہوتا ہے کہ CoT کی کنٹرول کی صلاحیت کا فی الحال CoT کی نگرانی کی صلاحیت کے لیے ایک بڑا خطرہ بننا غالباً ممکن نہیں ہے. تاہم، کم قابلِ کنٹرول ہونا بذاتِ خود اعلٰی نگرانی کی صلاحیت کی ضمانت دینے کے لیے کافی نہیں ہے کیونکہ نگرانی کی صلاحیت دیگر طریقۂ کار کی وجہ سے بھی کم ہو سکتی ہے، جیسے کہ CoTs پر براہ راست اصلاحی دباؤ. 

وقت کے ساتھ ان حرکیات کو ٹریک کرنے میں مدد کے لیے، ہم GPT‑5.4 سے شروع کرتے ہوئے، مستقبل کے جدید ترین ماڈلز کے سسٹم کارڈز میں CoT نگرانی کی صلاحیت⁠ کے ساتھ ساتھ CoT کنٹرول کی صلاحیت کی رپورٹنگ شروع کرنے جا رہے ہیں. ہماری جاری وابستگی⁠ کی بنیاد پر، جدید ترین ریزننگ ماڈلز کے CoTs پر براہ راست آپٹیمائزیشن دباؤ لاگو نہ کرنے کے حوالے سے.