کنٹرول روم

جیسے جیسے ہمارے ماڈل زیادہ طاقتور ہوتے جا رہے ہیں اور ان سے وابستہ تحفظ اور سلامتی کے خطرات بڑھ رہے ہیں، یہ مزید ضروری ہوتا جا رہا ہے کہ ہم ممکنہ مسائل کا پتا لگا سکیں اور ضرورت پڑنے پر ماڈلوں کو تیزی سے روک سکیں. اس ضرورت کو پورا کرنے کے لیے ہم نے کنٹرول روم بنایا.

کنٹرول روم ایک مرکزی نظام ہے جو ہمارے پورے تحقیقی ڈھانچے میں ماڈلوں کے ورک لوڈز کی نگرانی کرتا ہے اور تحفظ یا سلامتی سے متعلق خدشات پیدا ہونے پر انہیں تیزی سے روک دیتا ہے. یہ تحقیق میں انفرنس کے ہر ورک لوڈ کو مربوط کرتا ہے, جن میں ماڈل کی ٹریننگ اور جانچ کے لیے ایجنٹوں کے ذریعے نمونہ گیری, ڈیٹا کی عمل کاری اور دیگر کام شامل ہیں. یہ ہمارے مقاصد سے انحراف کی نگرانی کے نظاموں کے ساتھ مل کر کام کرتا ہے, اور کسی کام کو روکنے یا عارضی طور پر معطل کرنے کے لیے مداخلت کا فیصلہ ہونے کے 35 سیکنڈ کے اندر ماڈل سے نتائج کی تیاری روک دیتا ہے. اسے اس طرح بنایا گیا ہے کہ دوسرے نظام ناکام ہونے پر بھی یہ کام کرتا رہے, اور اگر خود کنٹرول روم بند ہو جائے تو ماڈل سے نتائج کی تیاری روک دے.

کنٹرول روم ہمارے پورے تحقیقی ڈھانچے میں پہلے ہی نافذ ہے، جہاں اس کی سب سے زیادہ ضرورت ہے. بیرونی صارفین کو ماڈل فراہم کرنے والا ہمارا نظام اپنی نوعیت میں پہلے ہی کہیں زیادہ مرکزی ہے، اور اس میں ضرورت پڑنے پر تعینات ماڈلوں کو تیزی سے بند کرنے کی پختہ عملی صلاحیت موجود ہے.

کنٹرول روم چند نظاموں کو یکجا کرکے کام کرتا ہے: ورک لوڈ، انفرنس انجن اور مرکزی کنٹرول روم کی خدمت.

• ورک لوڈ سے مراد وہ کام ہے جو انجام دیا جا رہا ہو, مثلاً ری اِنفورسمنٹ لرننگ کا کوئی تجربہ, کوئی ایویلیوایشن, بڑے پیمانے پر سیمپلنگ یا ڈیٹا پروسیسنگ کا کام. ہماری شرط ہے کہ ایجنٹک انفرنس کرنے والا ہر تحقیقی ورک لوڈ ایک منظور شدہ سیفٹی کیس سے وابستہ ہو.

• انفرنس انجن، یا مختصراً انجن، خود ماڈل ہی ہوتا ہے. آپ انجن کو ماڈل کا دماغ سمجھ سکتے ہیں، جو براہِ راست گرافکس پروسیسنگ یونٹوں پر چلتا ہے. ایک ورک لوڈ عموماً ایک یا زیادہ ماڈل استعمال کرتا ہے، جو انفرنس کے ایک یا زیادہ مختلف انجنوں پر چل رہے ہو سکتے ہیں. انفرنس کا ایک ہی انجن ایک سے زیادہ مختلف ورک لوڈز کے لیے استعمال ہو سکتا ہے.

• کنٹرول روم کی خدمت کاموں کی نگرانی کرتی ہے اور طے کرتی ہے کہ انہیں ماڈل سے نتائج بنوانا جاری رکھنے کی اجازت ہے یا نہیں. انجن کسی درخواست کو پورا کرنے سے پہلے کنٹرول روم کی خدمت سے اجازت کی تصدیق کرتے ہیں. اگر کسی کام کو روکا جا چکا ہو تو یہ خدمت درخواست مسترد کرکے مزید نتائج کی تیاری روک دیتی ہے.

کنٹرول روم کا انضمام درج ذیل طریقے سے ہوتا ہے:

• نیا کام شروع کرتے وقت ورک لوڈ کا کوڈ کنٹرول روم سے ایک نیا job_id طلب کرتا ہے.

• جب بھی ورک لوڈ کو کسی ماڈل سے ٹوکنوں کی نمونہ گیری درکار ہوتی ہے, تو وہ اس ماڈل کو چلانے والے انفرنس انجن کو job_id کے ساتھ درخواست بھیجتا ہے. انجن اس درخواست کو پورا کرنے کے لیے کنٹرول روم کو job_id بھیج کر اجازت طلب کرتا ہے.

• کنٹرول روم جانچتا ہے کہ آیا اس کام کو ختم کیا جا چکا ہے, اور اگر ایسا ہو تو انفرنس کی درخواست مسترد کر دیتا ہے. انجن ورک لوڈ کی انفرنس کی درخواست کے جواب میں انکار بھیجتا ہے, جس سے اس کام کے لیے ماڈل سے مزید نتائج کی تیاری رک جاتی ہے.

جدید ترین ماڈلوں کی ری اِنفورسمنٹ لرننگ کے ہمارے تمام کام ایک نگران کے ساتھ چلتے ہیں. نگران ایک دوسرا ماڈل ہوتا ہے جو ٹریننگ حاصل کرنے والے ماڈل کی ہر سرگرمی کا معائنہ کرتا ہے اور کوئی مسئلہ ملنے پر انتباہ جاری کرتا ہے. مثلاً, ہمارے حالیہ ڈومین ناموں کے نظام سے متعلق واقعے⁠(نئی ونڈو میں کھلتا ہے) کا پتا ایک نگران نے لگایا تھا.

کنٹرول روم اور ہمارا نگرانی کا نظام درج ذیل طریقے سے مربوط ہیں:

• اگر نگرانی کے نظام کو کسی ممکنہ مسئلے کا پتا چلتا ہے, تو وہ اس کی تفصیلات اور سنگینی کے لحاظ سے کام روکنے کا فیصلہ کر سکتا ہے.

• اس صورت میں نگرانی کا نظام کنٹرول روم کو job_id کے ساتھ کام روکنے کا پیغام بھیجتا ہے. کنٹرول روم درج کر لیتا ہے کہ کام ختم کر دیا گیا ہے.

• اگلی بار جب اس job_id والا کام کسی بھی انجن پر چلنے والے کسی بھی ماڈل سے مزید ٹوکن حاصل کرنے کے لیے انفرنس کی درخواست کرے گا, تو درخواست مسترد کر دی جائے گی اور ماڈل سے مزید نتائج کی تیاری رک جائے گی.

کنٹرول روم کو کسی کام کو روکنے کی ہدایت ملنے سے لے کر اس کام میں مزید پیش رفت ناممکن ہونے تک زیادہ سے زیادہ 35 سیکنڈ لگتے ہیں. 35 سیکنڈ کی یہ تاخیر انفرنس کی اجازت کے لیے استعمال ہونے والی کیشنگ کی تہہ کی وجہ سے ہوتی ہے, جو درخواستوں کی مطلوبہ تعداد سنبھالنے کے لیے ضروری ہے. ہم اس دورانیے کو صفر تک لانے پر کام کر رہے ہیں تاکہ کاموں کو فوراً ختم کر سکیں.

تجربات, جانچ کے کام اور دیگر ورک لوڈ عموماً محققین یا ان کی ٹیموں کی ملکیت میں ہوتے ہیں اور وہی انہیں چلاتے ہیں. اس لیے ورک لوڈز کے کوڈ میں اکثر تبدیلیاں ہوتی رہتی ہیں, اور بنیادی اہمیت رکھنے والے حفاظتی اقدامات نافذ کرنے کے لیے یہ موزوں جگہ نہیں ہے. اسی لیے ہم نے اپنا نظام اس طرح بنایا ہے کہ ورک لوڈز کے کوڈ میں غلطیوں یا خرابیوں کے باوجود یہ مؤثر رہے.

ہم یہ مقصد انفرنس لیئر میں کام ختم کرنے کا طریقۂ کار نافذ کرکے حاصل کرتے ہیں. ورک لوڈز کا کوڈ بہت متنوع اور غیر مرکزی ہوتا ہے. اس کے برعکس، OpenAI کی تمام تحقیق میں انفرنس کوڈ کے بہت کم راستے استعمال ہوتے ہیں، اور ان کی تنصیب کہیں زیادہ مرکزی اور یکساں ہوتی ہے. اس کا مطلب ہے کہ انفرنس لیئر ایک ایسے لازمی گزرگاہ کا کام دے سکتی ہے جہاں ہم مضبوط ضمانت حاصل کر سکیں کہ تحقیق میں ماڈل سے انفرنس کی ہر درخواست پر کنٹرول روم کی اجازت کی جانچ ہوتی ہے. اس کے علاوہ، ہم ایجنٹوں اور پروگراموں کے ذریعے مسلسل چھان بین کرتے ہیں تاکہ یہ یقینی بنائیں کہ صارفین غلطی سے یا بدنیتی سے انجن کے ایسے غیر مجاز نسخے نہیں چلا رہے جن میں کنٹرول روم شامل نہ ہو یا اسے غیر فعال کر دیا گیا ہو.

آخر میں، ہمارا نظام ”خرابی پر رسائی بند“ کر دیتا ہے. اس کا مطلب ہے کہ انجنوں میں کنٹرول روم کا انضمام اس طرح ترتیب دیا گیا ہے کہ اگر کنٹرول روم کی خدمت کسی نظامی خرابی یا کسی بھی دوسری وجہ سے بند ہو جائے، بشمول کسی بدنیت شخص کی چھیڑ چھاڑ کے، تو انفرنس کی تمام درخواستیں اس وقت تک مسترد ہوتی رہیں گی جب تک کنٹرول روم معمول کے مطابق دوبارہ کام نہ کرنے لگے. خرابی پر رسائی بند کرنے کا طریقہ اب جدید ترین ماڈلوں کی تحقیق کے تمام ورک لوڈز پر نافذ ہو چکا ہے، اور اگلے چند دنوں میں باقی تمام تحقیقی کاموں پر بھی اس کا نفاذ مکمل ہو جائے گا.

کنٹرول روم جدید ترین ماڈلوں کی محفوظ تربیت اور تعیناتی کے لیے ہمارے جامع طریقۂ کار کا صرف ایک حصہ ہے. آنے والے مہینوں میں ہم اس نظام کو مزید مضبوط اور وسیع کرتے رہیں گے، اور ساتھ ہی مطلوبہ مقاصد سے منحرف رویے اور سلامتی کی خلاف ورزیوں کی نگرانی میں بھی سرمایہ کاری جاری رکھیں گے. اگر آپ AGI کی محفوظ ترقی اور تعیناتی کے لیے نظام بنانے میں مدد کرنا چاہتے ہیں، تو ہم⁠ بھرتی کر رہے ہیں⁠!