OpenAI

جدید ترین AI کے خطرات کا انتظام: تربیت سے تعیناتی تک

18 نومبر، 2026 · تحفظ

جدید ترین ماڈلز کی صلاحیتیں تیزی سے بڑھ رہی ہیں، اور انہیں سمجھنے، ہم آہنگ کرنے اور محفوظ رکھنے کی ہماری صلاحیت کو ان سے آگے رہنا چاہیے. ہم اپنے ماڈلز کی تیاری اور اجرا کی رفتار قابو میں رکھ رہے ہیں. جب حفاظتی معیار پورے کرنے کے لیے مزید وقت چاہیے تو اس میں اندرونی تربیت⁠(نئی ونڈو میں کھلتا ہے) روکنا یا GPT‑6.1 Astra جیسے ماڈلز کا اجرا مؤخر کرنا بھی شامل ہے. ہم نے تحفظ کے ثبوت پر مبنی استدلال جیسے نئے طریقۂ کار متعارف کرائے ہیں، اور پوری تربیت کے دوران ہم آہنگ رویّے کے زیادہ مضبوط شواہد لازم کرتے ہیں. یہ شرائط ماڈلز کے اجرا کی رفتار کم کرتی ہیں، مگر ہمیں محفوظ انداز میں آگے بڑھنے کا زیادہ اعتماد دیتی ہیں.

جولائی میں ہگنگ فیس واقعے⁠ کے بعد سے ہم نے ماڈلز کی تربیت، جانچ اور تعیناتی کے لیے حفاظتی اقدامات اور ہم آہنگی کی شرائط مضبوط کی ہیں. اس تحریر میں بتایا گیا ہے کہ سختی سے الگ رکھے گئے تربیتی ماحول سے لے کر آپ کے کمپیوٹر پر استعمال ہونے والے Codex تک، ہم ہر مرحلے میں خطرے کو کیسے جانچتے اور سنبھالتے ہیں. ہم ہر مرحلے میں ماڈلز اور حفاظتی اقدامات دونوں کی جانچ کرتے ہیں، اور اگلے مرحلے میں جانے کے لیے حفاظتی جائزہ لازم ہوتا ہے.

ماڈل کے پورے دورِ حیات میں تہہ دار دفاع

ہم تحفظ کی متعدد تہوں پر مبنی تہہ دار دفاع اپناتے ہیں، جس سے کسی ایک حفاظتی اقدام پر انحصار کم ہوتا ہے. اگر ایک تہہ ناکام ہو تو دوسری تہیں نقصان روکنے، اثرات محدود کرنے یا ہمیں خبردار کرنے میں مدد دیتی ہیں تاکہ ہم مداخلت کر سکیں.

ہمارا حفاظتی انتظام چار تہوں پر مشتمل ہے:

مؤثر نگرانی ماڈل کی قابلیتِ نگرانی پر منحصر ہے، یعنی نگرانی کے نظام ماڈل کی ریزننگ اور اقدامات سے غلطیوں یا غیر محفوظ رویّے کا کتنے بھروسے سے پتہ لگا سکتے ہیں. مثلاً جو ماڈل اپنی چین-آف-تھاٹ (سی او ٹی) میں دھوکا دینے کا ارادہ بیان کرتا ہے، اس کی نگرانی اس ماڈل سے آسان ہے جو یہ معلومات چھوڑ دیتا ہے. ہم تربیت کے دوران اور تعیناتی سے پہلے قابلیتِ نگرانی جانچتے ہیں، اسے ناپنے کے بہتر طریقے⁠(نئی ونڈو میں کھلتا ہے) بناتے ہیں، اور اس پر اثر ڈالنے والے عوامل کا مطالعہ کرتے ہیں⁠(نئی ونڈو میں کھلتا ہے).

ہگنگ فیس واقعے نے واضح کیا کہ انتہائی قابل ماڈلز کو محدود رکھنے کے لیے ہمیں صرف سینڈباکس پر انحصار کیوں نہیں کرنا چاہیے. اب ہم بیشتر اندرونی اور بیرونی تعیناتیوں میں جدید ترین ماڈلز کی نگرانی کرتے ہیں، جن میں آلات استعمال کرنے والی تمام اندرونی تعیناتیاں شامل ہیں.

ماڈل کی تیاری اور تعیناتی کے تین مراحل میں ہر تہہ کا کردار بدلتا ہے:

  • تحقیق: ہم سینڈباکس ماحول میں ماڈلز کو تربیت دیتے، جانچتے اور استعمال کرتے ہیں.

  • اندرونی تعیناتی: OpenAI کے ملازمین ماڈلز کو عملی کاموں میں استعمال کرتے ہیں.

  • بیرونی تعیناتی: ماڈلز لوگوں اور تنظیموں کو زیادہ وسیع پیمانے پر دستیاب ہوتے ہیں.

ہم مختلف مراحل میں مختلف تہوں پر انحصار کرتے ہیں. تربیت کے دوران، جب ہم آہنگی پر یقین کم ہوتا ہے، ہم سینڈباکس کے ذریعے محدود رکھنے اور نگرانی پر زیادہ انحصار کرتے ہیں. تعیناتی کے دوران ماڈلز کو زیادہ وسیع رسائی ملنے کے ساتھ ہم آہنگی اور نظامی سطح کی پابندیاں زیادہ اہم ہوتی جاتی ہیں. ہر مرحلے میں ہم جانچتے ہیں کہ مجموعی حفاظتی انتظام ماڈل کی صلاحیتوں اور رسائی کے لحاظ سے کافی ہے یا نہیں. ہمارے فیصلوں کا سیفٹی ایڈوائزری گروپ (سیفٹی ایڈوائزری گروپ) کے ساتھ جائزہ لیا جا سکتا ہے، اور OpenAI Foundation کے مجلسِ منتظمین کی سیفٹی اینڈ سیکورٹی کمیٹی (سیفٹی اینڈ سیکورٹی کمیٹی) ان کی نگرانی کر سکتی ہے.

تحقیق کے دوران: ماڈلز کو سینڈباکس ماحول میں محدود رکھنا

تحقیقی مرحلے میں ہم ماڈلز کی جانچ کرتے ہیں تاکہ ان کی ہم آہنگی کی خصوصیات پر اعتماد حاصل ہو. چونکہ نقصان روکنے کے لیے ہم ابھی ہم آہنگی پر مکمل انحصار نہیں کر سکتے، اس لیے ماڈلز کی رسائی اور اقدامات محدود کرنے کے لیے سلامتی اور سینڈباکس پر بہت زیادہ انحصار کرتے ہیں.

ہم آہنگی کی تحقیق، نگرانی کے نظاموں اور انٹرنیٹ کے بنیادی ڈھانچے کی سلامتی کی موجودہ حالت کو دیکھتے ہوئے، ہمارا خیال ہے کہ ذمہ دارانہ طریقہ جدید ترین ماڈلز کو براہ راست انٹرنیٹ رسائی کے بغیر تربیت دینا ہے. ہگنگ فیس واقعے کے بعد ہم نے اپنے اندرونی تحقیقی نظاموں کی ساخت میں بڑی تبدیلیاں کیں تاکہ ماڈلز کو ان طریقوں سے محدود رکھا جائے:

  • ایسے سینڈباکس جو ماڈل کے اختیارات محدود کرتے ہیں

  • مجازی مشینیں، جو جاری کام کو میزبان کمپیوٹر سے مزید الگ رکھتی ہیں

  • نیٹ ورک اور کلاؤڈ کی حدود، جو پورے کمپیوٹر جھرمٹ کو انٹرنیٹ سے الگ کرتی ہیں

ہم اس نظام کی مسلسل جارحانہ جانچ کرتے ہیں. اس میں ہمارے طاقت ور ترین ماڈلز کی ٹیمیں براہ راست انٹرنیٹ تک پہنچنے، حفاظتی حدود توڑنے یا ان ایجنٹس سے رابطہ کرنے کی کوشش کرتی ہیں جن سے انہیں الگ رہنا چاہیے. اس سے ہمیں جانچنے میں مدد ملتی ہے کہ یہ حصار ان ماڈلز کی صلاحیتوں کے سامنے برقرار رہتا ہے یا نہیں جنہیں محدود رکھنا اس کا مقصد ہے.

دفاع کی اضافی تہہ کے طور پر ہم جدید ترین ماڈلز کے ہر استنتاجی عمل کی نگرانی کرتے ہیں، تاکہ پتہ چل سکے کہ ماڈل نے ہمارے لازمی حفاظتی اصولوں کو تو نہیں توڑا. اگر نگرانی سے پتہ چلے کہ ماڈل انٹرنیٹ تک پہنچ گیا ہے تو ہم اپنی حفاظتی ٹیموں کو فوری اطلاع دیتے ہیں اور جاری کام خودکار طور پر روک دیتے ہیں.

حصار ناکام ہونے پر نگرانی ایک اہم آخری حفاظتی سہارا بنتی ہے. عدم ہم آہنگی کی ایک حالیہ رپورٹ میں ہم نے بتایا کہ نگرانی کے نظاموں نے ایک اندرونی تحقیقی ماڈل کو ڈی این ایس کی غلط ترتیب کا فائدہ اٹھاتے ہوئے پکڑا⁠(نئی ونڈو میں کھلتا ہے)، جس سے وہ محدود انٹرنیٹ رسائی حاصل کر رہا تھا. ہم نے 20 ستمبر سے یکم اکتوبر تک اپنے سب سے قابل ماڈلز کی تربیت اور جانچ روکے رکھی، اور اس دوران تحقیق کرکے حفاظتی خامی دور کی.

مداخلت تیز اور قابلِ اعتماد بنانے کے لیے ہم نے کنٹرول روم⁠ بنایا. یہ مرکزی نظام تحقیقی کاموں پر نظر رکھتا ہے اور کسی کام کو روکنے کی ہدایت ملنے کے 35 سیکنڈ کے اندر ماڈل کی مزید پیداوار روک دیتا ہے. یہ پابندیاں براہ راست استنتاجی بنیادی ڈھانچے میں نافذ ہوتی ہیں، اس لیے ہر تحقیقی کام کے لیے الگ بندش کا طریقہ بنانے پر ان کا انحصار نہیں. جدید ترین ماڈلز کے تحقیقی کاموں میں، کنٹرول روم دستیاب نہ رہے تو بھی یہ ماڈل کی پیداوار روک دیتی ہیں.

ریڈ ٹیمنگ اور نگرانی ایک ساتھ کام کرتی ہیں. ہم ضمانت نہیں دے سکتے کہ سینڈباکس ناقابلِ عبور ہے، مگر ریڈ ٹیمنگ سے اندازہ ہوتا ہے کہ اس سے نکلنے کے لیے ماڈل کو کتنی کوشش کرنا پڑے گی. ماڈل کو جتنی زیادہ کوشش درکار ہوگی، نگرانی کے نظاموں کو اسے پکڑنے اور روکنے کا اتنا زیادہ موقع ملے گا.

تحقیقی مرحلے میں مضبوط حفاظتی اور نگرانی کے انتظامات لازم کرنے کی چند وجوہ ہیں:

  • ماڈلز کی جانچ ابھی جاری ہے. بعض ماڈلز کی عوامی اجرا کے لیے ضروری حفاظتی تربیت، ہم آہنگی کی پڑتال اور جائزے ابھی مکمل نہیں ہوئے ہیں.

  • جدید ترین تحقیق کے ماحول میں خطرات بڑھ سکتے ہیں. بعض تحقیقی کاموں کے لیے زیادہ وسیع انتظام درکار ہوتا ہے، جس سے ماڈل بیرونی تعیناتی کے مقابلے میں زیادہ ثابت قدم یا قابل بن جاتا ہے. مثلاً نیویئر اسٹوکس مسئلے کو حل کرنے کے لیے 10,000 ایجنٹس کی ٹیم درکار تھی.

  • تربیت بڑے پیمانے پر، کم براہ راست انسانی نگرانی میں ہوتی ہے. عام Codex سیشن کے برعکس، ہمارے تربیتی کاموں میں ماڈل بڑی تعداد میں اقدامات کرتا ہے اور کوئی شخص ہر تعامل کی نگرانی نہیں کرتا.

اندرونی تعیناتی: ہم آہنگی کی جانچ اور رویّے کی کڑی نگرانی

وسیع اجرا سے پہلے، ملازمین سینڈباکس میں تحقیقی استعمال سے آگے بڑھ کر جدید ترین ماڈلز کو سینڈباکس سے باہر اندرونی کاموں میں استعمال کرنے لگتے ہیں، مثلاً ماڈل کو ملازمین کے لیے ChatGPT میں دستیاب کیا جاتا ہے. اس سے ہمیں بہتر سمجھ آتی ہے کہ ماڈلز عملی حالات میں کیسا برتاؤ کرتے ہیں⁠(نئی ونڈو میں کھلتا ہے)، اور تعیناتی کے فیصلوں میں مدد ملتی ہے.

اس مرحلے میں ہم ماڈل کو وسیع تر انٹرنیٹ، اپنے Slack، اپنے کوڈ کے ذخیرے اور اندرونی بنیادی ڈھانچے تک رسائی دیتے ہیں. اس سے خطرے کی نوعیت نمایاں طور پر بدلتی ہے، کیونکہ ماڈل کے اقدامات اب ان نظاموں پر براہ راست اثر ڈالتے ہیں جن سے ہم OpenAI کی تعمیر اور اسے چلانے کا کام کرتے ہیں. اندرونی تعیناتی کے دوران ہمیں حفاظتی پابندیوں کے بجائے ماڈل کی ہم آہنگی، نظام کے حفاظتی اقدامات اور نگرانی پر زیادہ انحصار کرنا پڑتا ہے.

کسی جدید ترین ماڈل کو سینڈباکس سے باہر تعینات کرنے سے پہلے اس کی ہم آہنگی اور قابلیتِ نگرانی کی جانچ⁠(نئی ونڈو میں کھلتا ہے) ضروری ہے. ہم آہنگی کی جانچ کے ہمارے مجموعے میں مخصوص ناکامیوں، مثلاً تحفظ و سلامتی کی پابندیوں سے بچ نکلنے، کو پرکھا جاتا ہے. اس میں عمومی رجحانات کی پیمائش بھی ہوتی ہے، مثلاً Codex کے اندرونی عملی سلسلوں سے دوبارہ نمونے لے کر عدم ہم آہنگی جانچنا. ہم آہنگی اور قابلیتِ نگرانی کی ہماری جانچ کے بارے میں مزید تفصیل تازہ ترین GPT‑6 Astra سسٹم کارڈ⁠(نئی ونڈو میں کھلتا ہے) میں مل سکتی ہے.

اپنے عملی نظاموں کی طرز پر، ہم نظام کی سطح پر درجہ بندی کرنے والے نظاموں سے دفاع کی ایک اضافی تہہ بناتے ہیں. یہ جدید ترین صلاحیتوں سے پیدا ہونے والے نقصانات، مثلاً سائبر غلط استعمال اور حیاتیاتی ہتھیار سازی، سے تحفظ کے لیے بنائے گئے ہیں. Codex استعمال کرنے والے ملازمین کے لیے ہم عموماً خودکار جائزہ⁠(نئی ونڈو میں کھلتا ہے) بھی لازم کرتے ہیں، جو ممکنہ پُرخطر اقدامات کو جانچ کر فیصلے کے لیے صارف کے پاس واپس بھیجتا ہے.

آخر میں، اندرونی تعیناتی کے دوران جدید ترین ماڈلز کے ہر استنتاجی عمل میں ہم عدم ہم آہنگی والے رویّے کی نگرانی کرتے ہیں. چونکہ ماڈل کو اب زیادہ اختیارات اور اندرونی معلومات و نظاموں تک رسائی حاصل ہوتی ہے، اس لیے ڈیٹا چوری یا حساس ڈیٹا کسی غیر مجاز مقام پر بھیجنے جیسے خطرات کا پتہ لگانا خاص اہمیت رکھتا ہے. نگرانی ہمیں عدم ہم آہنگی کی نئی صورتوں⁠(نئی ونڈو میں کھلتا ہے) کی تحقیق میں بھی مدد دیتی ہے.

بیرونی تعیناتی: بڑے پیمانے پر غلط استعمال اور عدم ہم آہنگی سے تحفظ

عوامی تعیناتی میں ماڈلز کہیں زیادہ صارفین، کاموں اور ماحول سے واسطہ رکھتے ہیں، جس سے خطرات کا پیمانہ اور تنوع دونوں بڑھتے ہیں. اس مرحلے پر ہمیں ایسے ممکنہ بدنیت عناصر سے بھی تحفظ درکار ہوتا ہے جو جان بوجھ کر ماڈل کو نقصان پہنچانے کی ہدایات دیتے ہیں.

عوامی اجرا سے پہلے ماڈلز اور نظام کے حفاظتی اقدامات کو بیرونی تعیناتی کی ہماری حفاظتی شرائط پوری کرنا ہوتی ہیں. ہم ان کی جانچ یوں کرتے ہیں:

  • ہم آہنگی اور تحفظ کی زیادہ وسیع جانچ کرنا. جدید ترین ماڈلز کے لیے اس میں ہمارے اندرونی خودکار ریڈ ٹیمنگ نظاموں کے ذریعے حسبِ حالات بدلتی جانچ⁠ کے نئے دور بھی شامل ہیں، تاکہ سخت حالات میں ماڈل کی مضبوطی پرکھی جا سکے. ہم صلاحیتوں اور تحفظ کی جانچ کے نتائج اپنے سسٹم کارڈز⁠(نئی ونڈو میں کھلتا ہے) میں شائع کرتے ہیں.

  • اپنے سب سے قابل ماڈلز کی جانچ ہم تیسرے فریقوں کے ساتھ بھی کرتے ہیں تاکہ غلط استعمال کے خلاف حفاظتی اقدامات اور ماڈلز کی بنیادی ہم آہنگی، دونوں کو سخت حالات میں پرکھ سکیں.

  • بنیادی ماڈل کی اصل ہم آہنگی میں تبدیلیوں کا پتہ رکھنے کے لیے اندرونی تعیناتی کے مرحلے میں نگرانی سے ملنے والے انتباہات کا جائزہ لینا.

اپنے ”ساتھ ساتھ کام کرنے والے“ حفاظتی اقدامات، مثلاً ماڈل کی حفاظتی تربیت اور نظامی درجہ بندی، کے علاوہ بیرونی تعیناتی میں ہم فوری تعامل سے الگ نفاذ اور تفتیش سے بھی کام لیتے ہیں. یہ ٹیمیں بڑے پیمانے پر تحقیقاتی ایجنٹس اور انسانی جائزے کو ملا کر ممکنہ خطرہ پیدا کرنے والے عناصر کا پتہ لگاتی اور ان کی شناخت کرتی ہیں. ان میں سائبر غلط استعمال، حیاتیاتی ہتھیار سازی، ماڈل سے علم کشید کرنا⁠ اور خود ماڈل کی عدم ہم آہنگی شامل ہیں. فوری تعامل سے الگ نفاذ خاص طور پر مختلف کھاتوں سے معلومات جمع کرنے میں مفید ہے، تاکہ ممکنہ خطرے کی زیادہ مکمل تصویر بن سکے.

قابلِ اعتماد رسائی کے پروگرام، مثلاً ڈے بریک اور روزالنڈ⁠، تحفظ کی ایک اور تہہ فراہم کرتے ہیں. یہ ممکنہ حملہ آوروں کی رسائی محدود رکھتے ہوئے دفاع کرنے والوں اور جائز محققین کا کام تیز کرتے ہیں.

واقعات پر ردعمل اور انکشاف

جب ہمیں اپنی کسی حفاظتی تہہ میں ناکامی نظر آتی ہے تو، چاہے واقعی نقصان ہوا ہو یا نہیں، ہم فوراً تحقیق، شدت کے مطابق ترجیح طے کرنے اور، جہاں ممکن و مناسب ہو، بیرونی طور پر اس ناکامی کا انکشاف کرنا چاہتے ہیں. ہماری عدم ہم آہنگی کی اطلاع دینے⁠ کی پالیسی کے تحت کوئی بھی ملازم کسی واقعے کو عوامی انکشاف کے لیے نشان زد کر سکتا ہے. ان رپورٹوں کی تحقیق ہوتی ہے. اگر بیرونی انکشاف پر اختلاف ہو تو فیصلہ ہماری سیفٹی ایڈوائزری گروپ (سیفٹی ایڈوائزری گروپ) کو بھیجا جاتا ہے. ملازمین کی رپورٹوں پر انحصار کے ساتھ ہم خود بھی عدم ہم آہنگی کے واقعات تلاش کرتے ہیں، تاکہ ان کا تدارک کریں اور نتائج دوسروں تک پہنچائیں.

عدم ہم آہنگی کی ہماری رپورٹیں آپ یہاں⁠(نئی ونڈو میں کھلتا ہے) دیکھ سکتے ہیں.

​


​

یہ کام تحقیقی پیش رفت اور عملی نظم و ضبط، دونوں پر منحصر ہے: پابندیوں کی درست ترتیب، ان کے باہمی اثرات کی جانچ، اور ناکامی پر فیصلہ کن ردعمل. نیٹ ورک خدمت کی غلط ترتیب یا خودکار بندش کی ناکامی، باقی مضبوط حفاظتی انتظامات کو بھی کمزور کر سکتی ہے.

ماڈلز کی نئی صلاحیتوں کے ساتھ ہمیں اپنے حفاظتی اقدامات کے مفروضوں کو مسلسل پرکھنا اور جہاں ضروری ہو انہیں بہتر بنانا ہوگا. تحقیق، اندرونی استعمال اور عوامی تعیناتی سے حاصل اسباق کو آئندہ ماڈلز کی تربیت، جانچ اور تعیناتی کی رہنمائی کرنی چاہیے.

ہم سسٹم کارڈز، واقعات کی رپورٹوں، اندرونی تعیناتی کی خطراتی رپورٹوں⁠(نئی ونڈو میں کھلتا ہے) اور بیرونی جانچ⁠ کے ذریعے نتائج بتاتے رہیں گے، تاکہ دوسرے ہمارے طریقے اور اس کی حدود کو پرکھ سکیں. جب شواہد ہمارے حفاظتی معیار سے کم ہوں گے تو ہم شرائط پوری ہونے تک دوبارہ تربیت روکیں گے یا اجرا مؤخر کریں گے.

متعلقہ تحقیق اور وسائل

حفاظتی معیار مقرر کرنا

ہم آہنگ رویّے کی تعریف اور جانچ

ماڈلز کو محدود رکھنا اور حفاظتی اقدامات بہتر بنانا

واقعات پر ردعمل اور انکشاف

تحقیقی پیش رفت اور استعمال