ماڈل جائزے کے دوران سکیورٹی واقعے سے نمٹنے کے لیے OpenAI اور Hugging Face کی شراکت

گزشتہ ہفتے Hugging Face نے ایک نئی قسم کا سکیورٹی واقعہ ظاہر کیا⁠(نئی ونڈو میں کھلتا ہے)، جب انہوں نے ایک AI ایجنٹ کا پتا لگا کر اسے روک دیا جس نے ان کے بنیادی ڈھانچے کو متاثر کیا تھا؛ ہم توقع کرتے ہیں کہ بڑھتی ہوئی سائبر صلاحیت رکھنے والے ماڈلز کے پھیلاؤ کے ساتھ ایسے واقعات زیادہ عام ہوں گے. تحقیقات کے بعد اب ہمیں معلوم ہے کہ یہ خاص واقعہ OpenAI ماڈلز کے ایک امتزاج سے پیش آیا، جن میں GPT‑5.6 Sol اور ریلیز سے پہلے کا ایک اس سے بھی زیادہ قابل ماڈل شامل تھا، اور جائزے کے مقصد سے ان سب میں سائبر انکار کم کیے گئے تھے، جب انہیں سائبر صلاحیتوں کے ایک بینچ مارک⁠(نئی ونڈو میں کھلتا ہے) پر اندرونی طور پر آزمایا جا رہا تھا.

ہم اس واقعے کو ایک بے مثال سائبر واقعہ سمجھتے ہیں، جس میں جدید ترین سائبر صلاحیتیں شامل تھیں، اور اسی کے مطابق ردعمل دے رہے ہیں. ہم اس مرحلے پر ابتدائی نتائج شیئر کر رہے ہیں تاکہ دفاع کار سمجھ سکیں کہ کیا ہوا اور یہ اندازہ لگا سکیں کہ ماڈلز اب کیا کرنے کے قابل ہیں. ہم Hugging Face کے ساتھ مل کر جامع تحقیقات جاری رکھیں گے اور تحقیقات مکمل ہونے پر کمزوریوں، واقعے اور نتائج کے بارے میں مزید تفصیلات شیئر کریں گے.

یہ واقعہ ایک اندرونی جائزے کے دوران پیش آیا، جس میں ماڈلز کو ان کی سائبر صلاحیتوں کی پیمائش کے لیے پیچیدہ حملہ راستوں سے جدید استحصال کی کوشش کرنے پر ابھارا جاتا ہے. ہم یہ جائزہ ان پروڈکشن درجہ بندی کاروں کے بغیر چلا کر زیادہ سے زیادہ سائبر صلاحیتوں کا اندازہ لگاتے ہیں جو ماڈلز کو زیادہ خطرے والی سائبر سرگرمی کرنے سے روکتے ہیں. ہمارے بینچ مارکس انتہائی الگ تھلگ ماحول میں چلتے ہیں، جہاں نیٹ ورک رسائی اندرونی طور پر ہوسٹ کیے گئے تیسرے فریق کے سافٹ ویئر کے ذریعے پیکجز نصب کرنے تک محدود ہوتی ہے، جو پیکیج رجسٹریز کے لیے پراکسی اور کیش کا کام کرتا ہے.

ماڈلز نے OpenAI کے تحقیقی ماحول اور Hugging Face کے پروڈکشن بنیادی ڈھانچے میں کمزوریوں کی شناخت کر کے انہیں جوڑا، تاکہ ٹیسٹ حل براہ راست Hugging Face کے پروڈکشن ڈیٹا بیس سے حاصل کیے جا سکیں. تمام شواہد بتاتے ہیں کہ ماڈلز ExploitGym کا حل تلاش کرنے پر غیر معمولی حد تک مرکوز تھے، اور ایک نسبتاً محدود آزمائشی مقصد حاصل کرنے کے لیے انتہائی اقدامات تک گئے.

ہمارے sandboxed جانچ ماحول میں کام کرتے ہوئے، ہمارے ماڈلز نے جائزے کا مسئلہ حل کرنے کی کوشش میں کھلی انٹرنیٹ رسائی حاصل کرنے کا راستہ ڈھونڈنے پر inference compute کی خاصی مقدار خرچ کی. رسائی حاصل کرنے کے لیے، ماڈلز نے پیکیج رجسٹری کیش پراکسی میں ایک زیرو ڈے کمزوری شناخت کر کے اس کا استحصال کیا، جسے ہم اب vendor کو ذمہ داری سے بتا چکے ہیں. اس رسائی کے ساتھ، ہمارے ماڈلز نے ہمارے تحقیقی جانچ ماحول میں privilege escalation اور lateral movement کی ایک سلسلہ وار کارروائیاں کیں، یہاں تک کہ ماڈلز انٹرنیٹ رسائی والے ایک نوڈ تک پہنچ گئے.

انٹرنیٹ رسائی حاصل کرنے کے بعد، ماڈلز نے اندازہ لگایا کہ Hugging Face ممکنہ طور پر ExploitGym کے ماڈلز، ڈیٹا سیٹس اور حل ہوسٹ کرتا ہے. یہ جان کر، ماڈل نے خفیہ معلومات تک رسائی کے طریقے تلاش کیے اور کامیابی سے ڈھونڈ لیے، جنہیں وہ جائزے میں دھوکا دینے کے لیے استعمال کر سکتا تھا. ایک مثال میں، ماڈل نے متعدد حملہ ویکٹرز کو جوڑا، جن میں چوری شدہ credentials اور زیرو ڈے کمزوریوں کا استعمال شامل تھا، تاکہ Hugging Face سرورز پر remote code execution کا راستہ تلاش کیا جا سکے. OpenAI کی سکیورٹی ٹیم نے یہ غیر معمولی سرگرمی اندرونی طور پر دریافت کی.

Hugging Face کی سکیورٹی ٹیم اور ایجنٹس نے اپنے بنیادی ڈھانچے پر اس سرگرمی کا پتا لگا کر اسے روک دیا تھا، اور جب ہماری ٹیمیں ان سے جڑیں تو وہ اپنے اوپن سورس ماڈلز کے ساتھ containment اور فورینزک تعمیر نو پہلے ہی شروع کر چکے تھے. ہم اس واقعے کی تحقیقات جاری رکھنے کے لیے ان کے ساتھ سرگرمی سے کام کر رہے ہیں. ہم تحقیقات اور اصلاح میں Hugging Face کے تیز اور قریبی تعاون کے لیے شکر گزار ہیں.

1. تحقیقات کے حصے کے طور پر، ہم کمزوریوں کی اصلاح تک تحقیق کی رفتار کی قیمت پر بنیادی ڈھانچے کی ترتیب میں سخت کنٹرول نافذ کر رہے ہیں. ہم اپنی سیفٹی اینڈ سکیورٹی کمیٹی کو ان کنٹرولز اور ان کے اثرات کے بارے میں باقاعدگی سے بریف کر رہے ہیں.
2. ہم Hugging Face کے ساتھ مل کر اس واقعے کی فورینزک تحقیقات کر رہے ہیں.
3. ہم نے اندرونی طور پر ہوسٹ کیے گئے تیسرے فریق کے سافٹ ویئر میں شناخت شدہ زیرو ڈے کمزوری کو ذمہ داری سے ظاہر کر دیا ہے اور اس کی اصلاح کے لیے ان کے ساتھ کام کر رہے ہیں.
4. ہم نے Hugging Face کو قابل اعتماد رسائی⁠ پروگرام میں شامل کیا ہے اور ان کی ٹیموں کی مدد کر رہے ہیں کہ وہ اپنے دفاع کو بہتر بنانے کے لیے ہمارے ماڈلز کی صلاحیتوں کو تیزی سے استعمال کریں.
5. ہم مستقبل کی تربیت اور جائزوں کے گرد مضبوط تر تحفظات بہتر بنا رہے ہیں اور نئے تحفظات شامل کر رہے ہیں. اس ہفتے ہم نے طویل زمانی افق (time horizon) والے ماڈلز کے دور میں حفاظت اور الائنمنٹ کو بہتر بنانے⁠ پر ایک بلاگ شائع کیا. یہ تعیناتی حفاظتی اقدامات اس جائزے کے دوران جان بوجھ کر فعال نہیں کیے گئے تھے، کیونکہ اس کا مقصد سائبر کمزوریوں کی جانچ کرنا تھا. یہ واقعہ ظاہر کرتا ہے کہ ہمارے ماڈل کی الائنمنٹ، جائزے کے وقت سائبر تحفظات، اور اندرونی جانچ کے دوران نگرانی کو مزید مضبوط کرنے کی ضرورت ہے.

جیسا کہ ہم نے حال ہی میں⁠ بتایا، AI کمزوریوں کی دریافت اور ان کے استحصال کو تیز کر رہا ہے. اس واقعے سے بنیادی سبق یہ ہے کہ ماڈل کی سکیورٹی اور حفاظت کو تیزی سے بڑھتی صلاحیتوں کے ساتھ قدم ملا کر چلنا ہوگا. ہم ماڈل کی تیاری کے دوران استعمال ہونے والی containment، نگرانی، رسائی کنٹرولز اور جائزے کے طریقوں کو مضبوط کر رہے ہیں.

UK AISI کا جائزہ دکھاتا ہے کہ GPT‑5.6 Sol جیسے ماڈلز طویل زمانی افق (time horizon) میں پیچیدہ، کئی مرحلوں والی سائبر کارروائیاں برقرار رکھنے کے قابل ہوتے جا رہے ہیں. یہ واقعہ ظاہر کرتا ہے کہ یہ نظریاتی صلاحیتیں حقیقی دنیا کے حالات میں بھی لاگو ہوتی ہیں.

یہ واقعہ یہ بھی واضح کرتا ہے کہ جدید ماڈلز سورس کوڈ تک رسائی کے بغیر حقیقی دنیا کے نظاموں میں حملے کے نئے راستے دریافت کر کے ان کا استحصال کر سکتے ہیں. یہ اس بات کو اجاگر کرتا ہے کہ جدید سائبر صلاحیتیں مضبوط تر حفاظتی اقدامات اور دفاعی ٹولز کے ساتھ ساتھ تیار کی جانی چاہئیں.

ہمارا خیال ہے کہ جدید سائبر صلاحیت رکھنے والے ماڈلز کو سکیورٹی ٹیموں کی مدد کرنی چاہیے کہ وہ حملہ آوروں سے پہلے کمزوریاں تلاش کریں، سمجھیں کہ کمزوریوں کو کس طرح جوڑا جا سکتا ہے، اور انہیں مشینی رفتار سے دور کریں. ہم ان صلاحیتوں کو بنیادی ڈھانچے کی ترتیب اور ماڈل کے جائزے کے ماحول کے گرد تحفظات کو مزید مضبوط کرنے کے لیے استعمال کر رہے ہیں؛ جیسے جیسے ہم سیکھیں گے، اپنی دریافتیں اور بہترین طریقے شیئر کریں گے. ہم دوسرے دفاع کاروں کی حوصلہ افزائی کرتے ہیں کہ وہ قابل اعتماد رسائی کے لیے درخواست دیں⁠ اور ابھی ان ماڈلز کے ساتھ تجربہ کریں، تاکہ ان صلاحیتوں کو بہتر روک تھام، تیز تر شناخت، اور زیادہ مؤثر واقعہ ردعمل میں بدلا جا سکے.