OpenAI ماڈلز سے متعلق تھرڈ پارٹی کی سائبر ایویلیوایشنز
آزادانہ ایویلیوایشن ہمیں ڈیپلائمنٹ سے پہلے خطرات کی توثیق اور انہیں مزید بہتر طور پر سمجھنے میں اہم کردار ادا کرتی ہے. کچھ سائبر ایویلیوایشنز میں جان بوجھ کر کسٹم کنفیگریشنز استعمال کی جاتی ہیں, جن میں بنیادی صلاحیت کی پیمائش کے لیے حفاظتی تدابیر کم کرنا بھی شامل ہے—ان کا مقصد یہ جانچنا نہیں ہوتا کہ عوامی طور پر دستیاب ڈیپلائمنٹوں میں ماڈلز عام طور پر کیسا برتاؤ کرتے ہیں.
حالیہ ایویلیوایشنز کے دوران دو بیرونی ایویلیوایشن شراکت داروں نے ایسے واقعات کی نشان دہی کی جن میں ٹیسٹنگ کنفیگریشنز اور ضابطوں کے ساتھ حالیہ ماڈلز کی بڑھتی صلاحیتوں کے امتزاج نے ماڈل کی سرگرمی کو ٹیسٹنگ کی مقررہ حدود سے باہر جانے دیا. یہ واقعات ظاہر کرتے ہیں کہ ماڈلز کی صلاحیت بڑھنے کے ساتھ ٹیسٹنگ کے ماحول اور طریقوں کے معیارات کو بہتر بنانے کے لیے پوری انڈسٹری میں اور تھرڈ پارٹی کے جائزہ کاروں کے ساتھ تعاون ضروری ہے. ایڈیٹر کا نوٹ: یہ واقعات Hugging Face کے سکیورٹی واقعے سے الگ ہیں, اور ہم Hugging Face کے واقعے کی تازہ معلومات یہاں دیتے رہیں گے.
نئے واقعات میں مخصوص حالات اور کم حفاظتی تدابیر والی ایسی کنفیگریشن کے تحت تھرڈ پارٹی کی سائبر ایویلیوایشنز کے دوران OpenAI ماڈلز کا پبلک انٹرنیٹ تک رسائی حاصل کرنا شامل تھا, جو عام ڈیپلائمنٹ کی عکاسی نہیں کرتی تھیں. ان واقعات میں درج ذیل شامل تھے:
- برطانوی حکومت کا AI سکیورٹی انسٹی ٹیوٹ UK AISI سائبر دائرے کی ایویلیوایشنز کر رہا تھا. ان میں انٹرنیٹ تک رسائی جان بوجھ کر فعال کی گئی تھی, تاکہ ایجنٹ اپنے ٹولز خود تلاش کر سکیں اور حقیقی حملہ آور سے زیادہ مماثل حالات میں کام کریں, جبکہ بنیادی صلاحیت کی پیمائش کے لیے سائبر کلاسیفائرز غیر فعال تھے. آپ ان کا بلاگ یہاں پڑھ سکتے ہیں.(نئی ونڈو میں کھلتا ہے)
- ہمارے بیرونی سائبر سیکیورٹی ٹیسٹنگ شراکت داروں میں سے ایک, Irregular, Capture-the-Flag (CTF) طرز کی ایسی ایویلیوایشنز چلا رہا تھا جنہیں انٹرنیٹ سے الگ تھلگ رکھا جانا تھا, لیکن ٹیسٹنگ ماحول میں ایک غلط کنفیگریشن کی وجہ سے ماڈلز پبلک انٹرنیٹ تک رسائی حاصل کرنے میں کامیاب ہو گئے.
ذیل میں ہم واقعے, اس سرگرمی کو ممکن بنانے والے ایویلیوایشن کے حالات, اس پر قابو پانے کے اقدامات اور اپنے ان کاموں کا خلاصہ پیش کرتے ہیں جن کا مقصد یہ یقینی بنانا ہے کہ آزاد لیبز بڑھتی صلاحیت والے ماڈلز کی محفوظ اور سخت ایویلیوایشن جاری رکھ سکیں.
یہ واقعات اسی وسیع تر مسئلے کی نشان دہی کرتے ہیں جس کا ذکر ہم نے Hugging Face کے واقعے پر اپنی حالیہ تحریر میں کیا تھا: ماڈلز کی صلاحیتیں بڑھنے کے ساتھ ان کے گرد موجود سکیورٹی اور تحفظ کے نظاموں کو بھی بہتر ہونا چاہیے. اس میں ماڈلز تیار کرنے کے لیے استعمال ہونے والے ماحول کے ساتھ وہ ماحول بھی شامل ہیں جن میں لیبز اور آزاد شراکت دار ان کی ایویلیوایشن کرتے ہیں.
آئندہ ہفتوں میں ہم تھرڈ پارٹی کی ایویلیوایشن کے بارے میں اپنے طریقۂ کار کا جائزہ لیں گے. اس میں زیادہ خطرے والی ایویلیوایشنز کی نشان دہی, دائرۂ کار پر اتفاق, انٹرنیٹ تک رسائی فعال کرنے یا حفاظتی اقدامات کم کرنے کی درخواستوں کا جائزہ, علیحدگی, اسناد کے انتظام, نگرانی اور کام روکنے کی شرائط سے متعلق توقعات طے کرنا, نیز واقعے کی اطلاع اور معاملہ اعلیٰ سطح تک پہنچانے کے زیادہ واضح طریقے قائم کرنا شامل ہیں.
ہم زیادہ خطرے والی ایویلیوایشنز کو محفوظ طریقے سے انجام دینے کے مشترکہ طریقے مضبوط بنانے کے لیے پوری انڈسٹری کے ساتھ کام کرنے کے پابند ہیں. اس میں آئندہ ہفتوں میں نیشنل AI اداروں, آزاد جائزہ کاروں, دوسرے AI لیبز اور دیگر گروہوں جیسے فریقوں کو یکجا کرنا بھی شامل ہے. ہمارا مقصد سخت آزادانہ ایویلیوایشن کی افادیت برقرار رکھتے ہوئے یہ یقینی بنانا ہے کہ ایویلیوایشن کے طریقے ماڈلز کی بڑھتی صلاحیتوں کے ساتھ ہم آہنگ رہیں.
3 اگست کو UK AISI نے ہمیں بتایا کہ 25 جولائی کو شروع ہونے والی معمول کی سائبر ایویلیوایشن کے دوران OpenAI اور ایک دوسری لیب کے ماڈلز بعض صورتوں میں ایویلیوایشن کے دائرۂ کار سے باہر چلے گئے. یہ ایویلیوایشن ایسے کنٹرول شدہ سائبر دائروں میں ہوئی جو حقیقی دنیا کے نیٹ ورکس کی نقل کے لیے بنائے گئے تھے. نشان زد 19 واقعات میں سے دو میں OpenAI کا ماڈل GPT‑5.6 Sol شامل تھا. دیگر واقعات میں دوسری لیب کے ماڈلز شامل تھے.
اس ایویلیوایشن کے لیے ایجنٹس کو ہدایت دی گئی تھی کہ وہ Capture-the-Flag مشق میں سائبر سیکیورٹی ماہرین کے طور پر کام کریں: باہم منسلک تین سیمولیٹڈ ماحول سے سمجھوتہ کریں اور آخری فلیگ حاصل کریں. ٹاسک پرومپٹ میں دائرۂ کار میں شامل رینج نیٹ ورکس کی نشان دہی کی گئی تھی اور کئی سسٹمز کو دائرۂ کار سے باہر قرار دیا گیا تھا. UK AISI نے براہ راست انٹرنیٹ رسائی بھی فعال کی, تاکہ ایجنٹ اوزار ڈاؤن لوڈ کر سکیں اور انسانی حملہ آور سے زیادہ مماثل حالات میں کام کریں—اور بنیادی صلاحیت کی پیمائش کے لیے ماڈل کے سائبر کلاسیفائرز بھی غیر فعال کر دیے گئے تھے.
UK AISI کی مقررہ مجاز حد سیمولیٹڈ سائبر رینج تھی. ایجنٹس کو صرف مقررہ سیمولیٹڈ نیٹ ورکس پر حملہ کرنے اور فلیگ حاصل کرنے کی اجازت تھی, رینج کی نیٹ ورک حدود سے باہر موجود سسٹمز کے ساتھ تعامل کی نہیں. تاہم, ایجنٹس کو یہ واضح طور پر نہیں بتایا گیا تھا کہ وہ اوپن انٹرنیٹ ایکسس کو کن طریقوں سے استعمال کر سکتے ہیں اور کن طریقوں سے نہیں, جسے UK AISI اس واقعے کی ممکنہ وجوہات میں سے ایک قرار دیتا ہے.
ان تمام آزمائشی مرحلوں میں UK AISI نے پایا کہ GPT‑5.6 Sol نے سیمولیٹڈ رینج تک رسائی کا راستہ تلاش کرنے اور فلیگ حاصل کرنے کی کوشش کرتے ہوئے دو غیر مجاز اقدامات کیے:
- GPT‑5.6 Sol نے GitHub کا وہ ٹوکن دوبارہ استعمال کیا جسے ایک دوسری لیب کے ایجنٹ نے عوامی طور پر قابلِ رسائی چھوڑ دیا تھا, تاکہ یہ جانچا جا سکے کہ آیا ہدف کی حد کے اندر موجود کوئی سسٹم GitHub یا کسی دوسری اپ ڈیٹ سروس سے باقاعدگی سے رابطہ کر رہا ہے. اس نے اکاؤنٹ ریکوری اور درخواستوں کی حد سے متعلق پابندیوں کو عبور کرنے کے متبادل طریقے بھی آزمائے, اور بیرونی DNS اور ٹنلنگ سروس فراہم کنندگان کے ساتھ اکاؤنٹس رجسٹر کیے.
- GPT‑5.6 Sol نے ایک عوامی ٹنلنگ سروس استعمال کی تاکہ اس کے ایویلیوایشن کے ماحول میں مقامی طور پر چلنے والا DNS سرور پبلک انٹرنیٹ سے قابلِ رسائی ہو جائے. اس سرور میں ایسے پے لوڈز موجود تھے جو ٹیسٹ رینج میں چلنے والے ایک سافٹ ویئر کی معروف کمزوری کے لیے تیار کیے گئے تھے. یہ سیٹ اپ کامیاب نہ ہو سکا, اس بات کا کوئی ثبوت نہیں ملا کہ کسی حقیقی DNS resolver نے اس سے رابطہ کیا ہو, اور ایویلیوایشن مکمل ہونے پر یہ انفراسٹرکچر ہٹا دیا گیا.
اگرچہ ماڈل سائبر رینج کا کام مکمل کرنے کی کوشش کر رہا تھا, تاہم UK AISI نے ان اقدامات کو غیر مجاز قرار دیا, کیونکہ ان میں رینج کی حدود سے باہر حقیقی بیرونی اکاؤنٹس اور سروسز کا استعمال شامل تھا, جبکہ یہ اقدامات کام مکمل کرنے کے لیے ضروری نہیں تھیں. DNS سرور نے پبلک انٹرنیٹ پر ایکسپلائٹ پے لوڈز بھی ہوسٹ کیے, تاہم یہ سیٹ اپ کامیاب نہ ہو سکا اور اس بات کا کوئی ثبوت نہیں ملا کہ کسی حقیقی DNS resolver نے اس سے رابطہ کیا ہو.
UK AISI نے 28 جولائی کو اس سرگرمی کی نشان دہی کی, جب سکیورٹی نگرانی کے دوران ڈیٹا کی غیر معمولی منتقلی کا پتا چلا. اس نے متعلقہ تشخیصی عمل فوری طور پر روک دیا, متعلقہ مشینوں کو الگ کر دیا اور اور اس سرگرمی کو نشاندہی کے تقریباً ایک گھنٹے کے اندر قابو میں لے لیا.
ہم اس پورے عمل میں UK AISI کی شراکت کو سراہتے ہیں, جس میں سرگرمی کی نشان دہی, تحقیقات اور اس کی تفصیلات ہم سے شیئر کرنے کا کام شامل ہے. ہم باہمی تعاون جاری رکھنے کے منتظر ہیں.
29 جولائی کو ہمارے ایک تھرڈ پارٹی ایویلیوایشن پارٹنر, Irregular, نے ہمیں Capture-the-Flag (CTF) طرز کی سائبر سکیورٹی ایویلیوایشن کے دوران OpenAI ماڈلز سے متعلق ایک واقعے کی اطلاع دی. ماڈلز کو ہدایت دی گئی تھی کہ وہ ایک سیمولیٹڈ ماحول میں موجود کمزوریوں سے فائدہ اٹھا کر پوشیدہ معلومات تلاش کریں, اور انہیں بتایا گیا تھا کہ انہیں انٹرنیٹ تک رسائی حاصل نہیں ہے. تاہم, ایویلیوایشن کے ماحول میں موجود ایک غلط ترتیب کی وجہ سے ماڈلز پبلک انٹرنیٹ تک رسائی حاصل کرنے میں کامیاب ہو گئے.
ایک ایویلیوایشن میں CTF چیلنج کے فرضی ہدف کا نام غیر ارادی طور پر ایک حقیقی ڈومین سے مماثل تھا. چونکہ ایویلیوایشن کا ماحول غلط کنفیگریشن کی وجہ سے انٹرنیٹ سے منسلک تھا, اس لیے ماڈل نے ایک حقیقی ویب سائٹ کو سیمولیٹڈ ماحول کا حصہ سمجھ کر اس کا استحصال کیا. اس میں sandbox escape کی کوئی پیچیدہ تکنیک یا zero-day کمزوری شامل نہیں تھی. انٹرنیٹ تک رسائی غلط کنفیگریشن کے باعث ممکن ہوئی اور بظاہر ماڈل نے سکیورٹی کی ایک بنیادی کمزوری سے فائدہ اٹھایا.
Irregular کی تحقیقات کے مطابق, ماڈل نے اسی سائٹ کو چلانے کے لیے کریڈینشلز بھی تلاش کر کے استعمال کیں. Irregular نے متاثرہ سائٹ کے اپنے ڈیٹا سے آگے کسی اثر کی نشان دہی نہیں کی, اور اس کا آڈٹ جاری ہے. اس نے ایویلیوایشنز روک دی ہیں, اصلاحی اقدامات شروع کر دیے ہیں اور متاثرہ تھرڈ پارٹیز کو مطلع کر دیا گیا ہے. Irregular نے ہمیں بتایا ہے کہ واقعے سے متعلق نشان زد تمام مسائل اب فعال نہیں ہیں اور ایویلیوایشن کے ماحول میں متعلقہ حفاظتی تدابیر شامل کر دی گئی ہیں. Irregular نے اسی ایویلیوایشن کے ماحول میں دوسری لیبز سے متعلق ملتے جلتے واقعات کے بارے میں بھی معلومات فراہم کی ہیں.
ہم Irregular کی شراکت کو سراہتے ہیں اور اس کے جائزے میں معاونت کے لیے اس کے ساتھ مل کر کام کرتے رہیں گے. Irregular واقعے کو قابو میں رکھنے اور سائبر ایویلیوایشنز کو محفوظ طریقے سے انجام دینے کے بہترین طریقوں پر ایک وائٹ پیپر بھی تیار کر رہا ہے. ہم نتائج کو کمیونٹی کے لیے دستیاب بنانے کی خاطر وائٹ پیپر میں حصہ لینے اور باہمی شراکت جاری رکھنے کے منتظر ہیں. ہمارے نزدیک موجودہ اور آئندہ ماڈلز کی محفوظ اور جامع ایویلیوایشن یقینی بنانے کے لیے اس نوعیت کا تعاون ضروری ہے.
