گزشتہ کئی ہفتوں کے دوران, دو پیش رفتوں نے تیزی سے زیادہ قابل AI سسٹمز سے وابستہ بڑھتے ہوئے خطرات کو نمایاں کیا ہے: OpenAI-Hugging Face واقعہ اور, الگ طور پر, ابتدائی شواہد کہ ہمارا آئندہ ماڈل Astra, ہمارے تیاری کے فریم ورک کے تحت کریٹیکل سائبر سیکیورٹی کی صلاحیت کی حد تک پہنچ سکتا ہے. ان پیش رفتوں اور ہماری داخلی تحقیق میں تیز رفتار پیش رفت نے مل کر ٹریننگ کے عمل کے تمام مراحل میں نگرانی, ہم آہنگی اور محدود رکھنے کے حفاظتی اقدامات کو مضبوط بنانے کے ہمارے کام کو مزید فوری بنا دیا ہے.
جیسے جیسے ماڈلز زیادہ قابل ہوتے ہیں, انہیں داخلی طور پر تیار کرنے اور آزمانے سے وابستہ خطرات بھی بڑھتے ہیں. نگرانی, ہم آہنگی اور سکیورٹی کے ہمارے معیارات کو ان خطرات سے آگے رہنا چاہیے. ہم ان معیارات کو پورا کرنے کے لیے ضروری وقت لینا چاہتے تھے, اس لیے ہم نے توسیع کی رفتار عارضی طور پر کم کر دی. اس کے تحت قابلِ ڈیپلائمنٹ ہمارے تازہ ترین ماڈلز کی ری اِنفورسمنٹ لرننگ (RL) ٹریننگ دو ہفتوں کے لیے روک دی گئی, جبکہ ہم نے اپنے تحقیقی ماحول کو مزید محفوظ بنایا, اس کی مخالفانہ جانچ کی اور اپنے نگرانی کے سسٹمز کا دائرہ وسیع کیا. جدید ترین RL کی ہماری سب سے بڑی منصوبہ بند آزمائش فی الحال موقوف ہے, جبکہ ہم چھوٹے پیمانے پر ٹریننگ اور جائزے کر کے ماڈل کے رویے کا اندازہ, حفاظتی اقدامات کی توثیق اور آگے بڑھنے سے پہلے ہم آہنگی کے مزید شواہد قائم کر رہے ہیں.
ہم آہنگی—یعنی AI کے سسٹمز سے مطلوبہ طرزِ عمل کرانا اور انہیں انسانی نگرانی کا جواب دہ بنانا—طویل عرصے سے ہمارے تحقیقی پروگرام کا بنیادی حصہ رہی ہے. اب ہم پوری ٹریننگ کے دوران ہم آہنگ رویے کے زیادہ مضبوط شواہد کا تقاضا کرتے ہیں اور اس کے لیے جاری تحقیق اور جائزوں کو بنیاد بناتے ہیں. زیادہ قابل ہوتے سسٹمز کو ہم آہنگ رکھنا ایک ایسا چیلنج ہے جس سے پورے شعبے کو نمٹنا ہوگا. آئندہ ماڈلز کی پیش رفت سے ملنے والے اشارے واضح کرتے ہیں کہ ہمیں ایک زیادہ جامع طریقہ اپنانا ہوگا—جو موجودہ تیاری کے فریم ورک پر استوار ہو اور اس سے آگے بھی جائے.
ہمارے خیال میں اپنے بدلتے ہوئے طریقۂ کار کے بارے میں شفاف ہونا اہم ہے. ذیل میں ہم اپنی تحقیقی کارروائیوں اور بنیادی ڈھانچے میں پہلے ہی کی گئی تبدیلیوں اور اب بھی جاری کام کی وضاحت کرتے ہیں.
زیادہ قابل ماڈلز تیار کرنے کا ہمارا طریقہ تین باہم تقویت دینے والے حفاظتی اقدامات پر مبنی ہے:
- نگرانی, جو تشویش ناک رویے کا پتا لگاتی ہے اور ہمیں اس پر کارروائی کرنے کے قابل بناتی ہے.
- ہم آہنگی, جو نقصان دہ یا غیر مجاز کارروائیوں کا امکان کم کرتی ہے.
- سکیورٹی کے اقدامات, جو AI کے سسٹمز کی رسائی یا اثرانداز ہونے کی صلاحیت محدود کرتے ہیں.
ہمیں توقع ہے کہ جلد ہی ماڈلز سکیورٹی کے بیشتر کام انجام دیں گے, جن میں دوسرے ماڈلز سے دفاع بھی شامل ہے. اس سے تینوں حفاظتی اقدامات ماڈل کی صلاحیت کے ساتھ وسعت اختیار کر سکیں گے, جسے ہم نہایت اہم سمجھتے ہیں.
ہم یہ حفاظتی اقدامات تحقیق اور ڈیپلائمنٹ دونوں میں لاگو کرتے ہیں اور انہیں ہر ماڈل کی صلاحیتوں, عملی ماحول اور خطرے کی سطح کے مطابق ڈھالتے ہیں.
جدید ترین ماڈلز کی سائبر سکیورٹی صلاحیتیں بڑھنے کے ساتھ ہم ان ماحولوں کے سکیورٹی معیارات بھی بلند کر رہے ہیں جہاں انہیں ٹریننگ دی جاتی اور جانچا جاتا ہے. ان معیارات کو پورا کرنے کے لیے انجینئرنگ کا خاصا کام کرنا پڑا ہے, جس سے جدید ترین تحقیق پر بھاری لاگت آئی اور تاخیر ہوئی ہے. OpenAI-Hugging Face واقعے* کے فوراً بعد ہم نے تحقیقی کلسٹرز میں جدید ترین ماڈلز کا استنباط ان آزمائشوں کے لیے روک دیا جو کوڈ چلا سکتی تھیں یا انٹرنیٹ تک رسائی رکھنے والے ٹولز استعمال کر سکتی تھیں. ہم نے کوڈ چلانے کا ایک زیادہ محدود اور محفوظ راستہ نسبتاً جلد بحال کر دیا, پھر ہر کام کا الگ جائزہ لیا کہ آیا اسے محفوظ طور پر دوبارہ شروع کیا جا سکتا ہے. کچھ تحقیقی کام ان نئے ضوابط کے تحت دوبارہ شروع ہو گئے, جبکہ دیگر کے لیے مزید تبدیلیاں درکار تھیں.
اس کے بعد کے ہفتوں میں ہم نے جدید ترین تحقیقی کاموں کے لیے زیادہ سخت سکیورٹی تقاضے مقرر کیے اور ان پر عمل درآمد شروع کیا. مثال کے طور پر:
- ورک لوڈ کی علیحدگی: اب ہم ایسے ورک لوڈز کے لیے زیادہ مضبوط آئسولیشن ("سینڈ باکسز") لازمی قرار دیتے ہیں جو ماڈل کے تیار کردہ یا کسی اور صورت میں غیر معتبر کوڈ کو ایگزیکیوٹ کرتے ہیں. یہ ان سافٹ ویئر پر بھی لاگو ہوتا ہے جو ماڈل کے نتائج پر کارروائی کرتے ہوئے متاثر ہو سکتے ہیں.
- نیٹ ورک کی علیحدگی: ہم نے زیادہ خطرے والے اور ناقابلِ اعتماد کاموں کو انٹرنیٹ سے الگ رکھنے کے لیے مزید ضوابط نافذ کیے ہیں. ہم نے یہ ضوابط اس طرح بنائے ہیں کہ کسی ایک کام یا معاون خدمت میں ایک بار دراندازی بذاتِ خود انٹرنیٹ یا دیگر داخلی نیٹ ورکس تک غیر مجاز رسائی کا سبب نہ بن سکے.
- مسلسل سکیورٹی جانچ: ہم نے ممکنہ طور پر کمزور مشترکہ خدمات ہٹانے, مستقل مراعات کم کرنے اور سکیورٹی و اعتماد کی حدود بہتر بنانے کے لیے اپنے ماحول کو ازسرِ نو ترتیب دیا ہے. ہم سکیورٹی ریکارڈ جمع کرنے اور ان کی نگرانی کرنے کی اپنی صلاحیت بھی بہتر بنا رہے ہیں. آخر میں, ہم اپنے ماڈلز کے ذریعے ان حدود کو فرضی حملوں کے مقابل مسلسل جانچنے کے لیے خودکاری میں سرمایہ کاری کر رہے ہیں.
یہ ضوابط مل کر کئی سطحوں پر دفاع فراہم کرتے ہیں اور ہمارے تحقیقی ماحول کو حملوں سے محفوظ رکھنے میں مدد دیتے ہیں. فی الحال ہم Astra یا سائبر ماڈلز سے متعلق کاموں کے لیے سخت ترین سکیورٹی حفاظتی اقدامات لازمی قرار دیتے ہیں, کیونکہ ہم نے طے کیا ہے کہ Astra ماڈلز میں سائبر صلاحیت کی اہم سطح موجود ہو سکتی ہے. یہ حفاظتی اقدامات سائبر سے متعلق دیگر تمام کاموں پر بھی لاگو ہوتے ہیں.
اگرچہ Astra کی کچھ ٹریننگ اور جائزے ان تقاضوں پر پورے اترتے ہیں, لیکن بہت سے کام اس وقت تک موقوف رہیں گے جب تک انہیں مکمل طور پر منتقل اور بہتر بنا کر نئے سکیورٹی معیار کے مطابق نہ کر دیا جائے. ہم ان نئے ماحولوں میں منتقلی کے لیے سب سے پہلے حفاظت اور ہم آہنگی کے کاموں کو ترجیح دے رہے ہیں.
نگرانی طویل عرصے سے ہمارے ماڈل ڈیولپمنٹ کے عمل کا اہم حصہ رہی ہے, جس میں اندرونی کوڈنگ ایجنٹس کے لیے نگرانی اور طویل دورانیے کے سیشنز شامل ہیں. ہماری نگرانی کی کوششیں بالخصوص جدید ترین ماڈلز کی اندرونی ڈیپلائمنٹس اور جدید ترین RL ٹریننگ کی آزمائشوں پر مرکوز تھیں, جنہیں ہم سب سے زیادہ خطرے والے کام سمجھتے تھے, کیونکہ ان میں ماڈل کی جدید صلاحیتیں ٹولز, حساس سسٹمز اور اندرونی یا بیرونی نیٹ ورکس تک رسائی کے ساتھ یکجا ہو سکتی ہیں. ان کا اطلاق ٹولز استعمال کرنے والی تمام استنباطی اور ٹریننگ کی آزمائشوں پر نہیں کیا گیا تھا. ہم نے نگرانی کے نئے انتظام کے ساتھ اپنے طریقۂ کار پر نظرِ ثانی کرتے ہوئے اسے وسیع کیا ہے.
نگرانی کا یہ نیا سیٹ اپ کئی مراحل پر مشتمل ہے. یہ ایکٹیویشن کلاسیفائرز سے شروع ہوتا ہے, جو ماڈل کی داخلی سرگرمی کا معائنہ کرتے ہیں, ہر سیمپل کیے گئے ٹوکن پر چلتے ہیں اور ممکنہ خدشات کو بتدریج زیادہ جدید اور زیادہ کمپیوٹ استعمال کرنے والے خودکار تفتیش کاروں تک پہنچاتے ہیں. یہ سسٹم غیر مجاز رسائی, ڈیٹا کی چوری, تباہ کن رویے اور حفاظتی اقدامات کو ناکام بنانے کی کوششوں کے لیے ٹول ایکشنز, دستیاب ریزننگ اور سرگرمی کی مکمل ترتیب کا جائزہ لیتے ہیں. ہمارا ہدف ہے کہ نگرانی کے سسٹم میں تشویش ناک سرگرمی سامنے آنے کے 30 منٹ کے اندر الرٹ جاری کر دی جائے. اگر نگرانی کا سسٹم کسی اہم سکیورٹی حد کی ممکنہ خلاف ورزی کی شناخت کرتا ہے تو وہ سب سے زیادہ ترجیح والا الرٹ جاری کرتا ہے. ہمارے موجودہ نفاذ میں حفاظت, سکیورٹی اور تحقیق کی ٹیموں کو فوری اطلاع دی جاتی ہے. اگر وہ 30 منٹ میں حتمی طور پر یہ طے نہ کر سکیں کہ نشان دہی غلط تھی تو ان ٹیموں سے سرگرمی روکنے کی توقع کی جاتی ہے.
یہ نگرانی Sol یا اس سے زیادہ صلاحیت والے ماڈلز کی ان تمام RL ٹریننگز اور جائزوں کے لیے لازمی ہے جن میں ٹولز شامل ہوں. 7 اگست کو یہ طے کرنے کے بعد کہ Astra میں اہم سائبر صلاحیتیں ہو سکتی ہیں, ہم نے ٹولز کے ساتھ Astra کے تمام استنباط کے لیے نگرانی کا ایک اضافی تقاضا شامل کیا, (نہ کہ صرف RL ٹریننگ اور جائزوں کے لیے).
ان حفاظتی اقدامات کے لیے خاصی کمپیوٹنگ درکار ہوتی ہے. ہمارے موجودہ تخمینوں کے مطابق نگرانی کا اضافی بوجھ زیرِ نگرانی استنباطی کمپیوٹنگ کا تقریباً 20 فیصد ہے, اگرچہ ٹریننگ اور جائزے کے کاموں میں لاگت خاصی مختلف ہوتی ہے. ہم جلد شائع ہونے والی ایک بلاگ تحریر میں اس سسٹم کی مزید تفصیلات پیش کریں گے.
ہم آہنگی کی تحقیق ہمارے مقصد کا بنیادی حصہ ہے. ہمارا مقصد یہ یقینی بنانا ہے کہ آرٹیفیشل جنرل انٹیلیجنس پوری انسانیت کے لیے فائدہ مند ہو. جیسے جیسے ماڈلز سائبر حملہ کرنے جیسی جدید صلاحیتیں حاصل کرتے اور زیادہ پیچیدہ ماحولوں میں کام کرتے ہیں, ریوارڈ ہیکنگ (reward hacking), یعنی مطلوبہ نتیجہ حاصل کیے بغیر ٹریننگ میں زیادہ انعام پانے کے طریقے ڈھونڈنا, دھوکا دہی یا غیر مجاز رسائی جیسے غیر ہم آہنگ رویے بڑھتے ہوئے سنگین خطرات پیدا کریں گے.
سب سے زیادہ قابل ماڈلز کی RL آزمائشوں میں اب ہم ٹریننگی عمل کے مزید مراحل میں ہم آہنگی کی اپنی بنیادی تکنیکیں لاگو کر رہے ہیں. اس میں مختلف کاموں اور ماحولوں میں غیر محفوظ رویے کو بہتر طور پر پہچاننے اور روکنے کے لیے انعامی ماڈلز کو بہتر بنانا, ماڈلز کو اپنی کارروائیوں, صلاحیتوں اور حدود کے بارے میں زیادہ دیانت دار بنانا, اور ان رویوں کو کم کرنا شامل ہے جو انعامات, جائزہ کاروں, ٹولز یا نگرانی کی کمزوریوں سے فائدہ اٹھاتے ہیں. ہم ان رویوں کے لیے ٹریننگ کا دائرہ بھی بڑھا رہے ہیں جو ماڈلز کے خارجی سسٹمز یا وسائل سے تعامل کے دوران نقصان پہنچا سکتے ہیں.
ہم آہنگی کی تحقیق میں بھرپور سرمایہ کاری, جائزوں کا دائرہ وسیع کرنے اور حاصل شدہ معلومات کو ٹریننگ اور حفاظتی اقدامات کی رہنمائی کے لیے استعمال کرنے کا سلسلہ جاری رکھے ہوئے ہیں. ہم مستقبل قریب میں ہم آہنگی کی اپنی تحقیق کے بارے میں کہیں زیادہ معلومات پیش کرنے کا ارادہ رکھتے ہیں, جن میں ماڈل کے رویے سے متعلق ہماری سیکھ اور سامنے آنے والے نئے چیلنجز شامل ہیں.
ہم اپنے تیاری کے فریم ورک کو بہتر بنائیں گے تاکہ ان حفاظتی اقدامات کو ٹریننگ اور ڈیپلائمنٹ میں یکجا کیا جا سکے اور مستقبل کے ماڈلز کی صلاحیتوں اور ان کے عملی ماحولوں کی بہتر عکاسی ہو. ان صلاحیتوں کے ساتھ وسعت اختیار کرنے والے طریقے تیار کرنے کے لیے ماڈل کی مدد سے چلنے والی سکیورٹی میں مسلسل سرمایہ کاری, زیادہ مؤثر نگرانی اور ہم آہنگی کی تحقیق میں مستقل پیش رفت درکار ہوگی. ہم خارجی اداروں کو شامل کرنے اور اپنا طریقۂ کار بہتر ہونے کے ساتھ حاصل شدہ معلومات میں سے مزید کا اشتراک کرنے کا ارادہ رکھتے ہیں.
جدید ترین ماڈلز کی صلاحیتیں تیزی سے بڑھ رہی ہیں. انہیں سمجھنے, ہم آہنگ کرنے اور محفوظ بنانے کی ہماری صلاحیت کو ان سے آگے رہنا ہوگا.
*ہم آنے والے ہفتوں میں اپنی حاصل کردہ معلومات پر ایک تکنیکی رپورٹ شائع کریں گے.
