مرکزی مواد پر جائیں
OpenAI

۲۲ دسمبر، ۲۰۲۵

سیکیورٹی

ChatGPT Atlas کو پرامپٹ انجیکشن حملوں کے خلاف مسلسل مضبوط بنانا

خودکار ریڈ ٹیمنگ—جو ری انفورسمنٹ لرننگ سے تقویت یافتہ ہے—ہمیں حقیقی دنیا میں ایجنٹ کے استحصال کو ہتھیار بننے سے پہلے دریافت کرنے اور ان کی مرمت کرنے میں فعال طور پر مدد کرتی ہے۔

لوڈ ہو رہا ہے…

ChatGPT Atlas میں ایجنٹ موڈ اب تک کی سب سے زیادہ عمومی مقصد کی ایجنٹک خصوصیات میں سے ایک ہے جو ہم نے آج تک جاری کی ہیں۔ اس موڈ میں، براؤزر ایجنٹ ویب صفحات کو دیکھتا ہے اور آپ کے براؤزر کے اندر کارروائیاں، کلکس اور کی اسٹروکس کرتا ہے، بالکل جیسے آپ کرتے ہیں۔ یہ ChatGPT کو آپ کے روزمرہ کے بہت سے ورک فلو پر براہ راست کام کرنے کی اجازت دیتا ہے، وہ بھی اسی جگہ، سیاق و سباق اور ڈیٹا کا استعمال کرتے ہوئے۔

جب براؤزر ایجنٹ آپ کو زیادہ کام کرنے میں مدد دیتا ہے، تو یہ مخالفانہ حملوں کا ایک زیادہ قدر والا ہدف بھی بن جاتا ہے۔ یہ AI سیکیورٹی کو خاص طور پر اہم بناتا ہے۔ ChatGPT Atlas کے آغاز سے بہت پہلے، ہم مسلسل ابھرتے ہوئے خطرات کے خلاف دفاعی اقدامات کو مضبوط اور مستحکم کر رہے ہیں جو خاص طور پر اس نئے "براؤزر میں ایجنٹ" کی تمثیل کو ہدف بناتے ہیں۔ پرامپٹ انجیکشن ان اہم خطرات میں سے ایک ہے جن کے خلاف ہم فعال طور پر دفاع کرتے ہیں تاکہ یہ یقینی بنایا جا سکے کہ ChatGPT Atlas آپ کی جانب سے محفوظ طریقے سے کام کر سکتا ہے۔ 

اس کوشش کے ایک حصے کے طور پر، ہم نے حال ہی میں Atlas کے براؤزر ایجنٹ کے لیے ایک سیکیورٹی اپ ڈیٹ بھیجا ہے، جس میں ایک نیا مخالفانہ تربیت یافتہ ماڈل اور مضبوط حفاظتی اقدامات شامل ہیں۔ یہ اپ ڈیٹ ہماری داخلی خودکار ریڈ ٹیمنگ کے ذریعے دریافت ہونے والے ایک نئے طبقے کے پرامپٹ انجیکشن حملوں کی وجہ سے کی گئی تھی۔

اس پوسٹ میں، ہم وضاحت کرتے ہیں کہ ویب پر مبنی ایجنٹس کے لئے پرامپٹ-انجیکشن کے خطرات کیسے پیدا ہو سکتے ہیں اور ہم ایک تیز ردعمل کا لوپ اشتراک کرتے ہیں جو ہم نے نئے حملوں کو مسلسل دریافت کرنے اور جلدی سے روک تھام کے اقدامات کرنے کے لئے بنایا ہے—جسے اس حالیہ سیکیورٹی اپ ڈیٹ کے ذریعے واضح کیا گیا ہے۔

ہم پرامپٹ انجیکشن کو ایک طویل مدتی AI سیکیورٹی چیلنج کے طور پر دیکھتے ہیں اور ہمیں اس کے خلاف اپنی دفاعی صلاحیتوں کو مسلسل مستحکم کرنے کی ضرورت ہوگی (بالکل اسی طرح جیسے انسانوں کو نشانہ بنانے والے آن لائن فراڈز مسلسل ارتقاء پذیر ہوتے رہتے ہیں)۔ ہمارا تازہ ترین تیز ردعمل کا سائیکل اس سفر میں ایک اہم آلہ کے طور پر ابتدائی امید افزا نتائج دکھا رہا ہے: ہم اندرونی طور پر نئے حملے کی حکمت عملیوں کو دریافت کر رہے ہیں اس سے پہلے کہ وہ عام طور پر ظاہر ہوں۔ ہماری طویل مدتی وژن یہ ہے کہ ہم (1) اپنے ماڈلز تک وائٹ باکس رسائی، (2) اپنے دفاع کی گہری سوجھ بوجھ اور (3) کمپیوٹ اسکیل کو مکمل طور پر استعمال کریں تاکہ بیرونی حملہ آوروں سے آگے رہ سکیں—استعمالات کو جلدی تلاش کریں، تخفیف کو تیزی سے بھیجیں اور مسلسل لوپ کو سخت کریں۔ نئی تکنیکوں پر سرحدی تحقیق کے ساتھ مل کر پرامپٹ انجیکشن کو حل کرنے اور دیگر سیکیورٹی کنٹرولز میں بڑھتی ہوئی سرمایہ کاری کے ساتھ، یہ مرکب سائیکل حملوں کو بتدریج مشکل اور مہنگا بنا سکتا ہے، جس سے حقیقی دنیا میں پرامپٹ انجیکشن کے خطرے کو مادی طور پر کم کیا جا سکتا ہے۔ آخرکار، ہمارا مقصد یہ ہے کہ آپ ChatGPT ایجنٹ پر اتنا ہی بھروسہ کر سکیں جتنا آپ ایک انتہائی قابل، سیکیورٹی سے آگاہ ساتھی یا دوست پر کرتے ہیں کہ وہ آپ کے براؤزر کو استعمال کرے۔

ایجنٹ سیکیورٹی کے لیے پرامپٹ انجیکشن ایک کھلے چیلنج کے طور پر

پرامپٹ انجیکشن حملہ AI ایجنٹس کو نشانہ بناتا ہے، جس میں نقصان دہ ہدایات کو اس مواد میں شامل کیا جاتا ہے جو ایجنٹ پروسیسز انجام دیتا ہے۔ یہ ہدایات ایجنٹ کے رویے کو اووررائیڈ یا دوسرے پتے پر لے جانے کے لیے تیار کی گئی ہیں—اسے صارف کے بجائے حملہ آور کے ارادے پر عمل کرنے پر مجبور کرتی ہیں۔

ChatGPT Atlas جیسے براؤزر ایجنٹ کے لیے، پرامپٹ انجیکشن روایتی ویب سیکیورٹی خطرات (جیسا کہ صارف کی غلطی یا سافٹ ویئر کی کمزوریاں) سے آگے ایک نیا خطرہ ویکٹر شامل کرتا ہے۔ انسانوں کو فشنگ کرنے یا براؤزر کے نظام کی کمزوریوں کا استحصال کرنے کے بجائے، حملہ آور براؤزر کے اندر کام کرنے والے ایجنٹ کو نشانہ بناتا ہے۔

ایک فرضی مثال کے طور پر، ایک حملہ آور ایک بدطنیت ای میل بھیج سکتا ہے جس کا مقصد ایجنٹ کو صارف کی درخواست کو نظرانداز کرنے اور اس کے بجائے حساس ٹیکس دستاویزات کو حملہ آور کے کنٹرول میں موجود ای میل ایڈریس پر بھیجنے کے لئے دھوکہ دینا ہو سکتا ہے۔ اگر کوئی صارف ایجنٹ سے پڑھے نہ ہوئی ای میلز کا جائزہ لینے اور اہم نکات کا خلاصہ کرنے کا کہتا ہے، تو ایجنٹ اس ورک فلو کے دوران نقصان دہ ای میل کو بھی شامل کر سکتا ہے۔ اگر یہ انجیکٹ کردہ ہدایات پر عمل کرتا ہے، تو یہ ٹاسک سے ہٹ سکتا ہے—اور غلطی سے حساس معلومات کا اشتراک کر سکتا ہے۔

یہ صرف ایک مخصوص منظرنامہ ہے۔ وہی عمومی خصوصیت جو براؤزر ایجنٹ کو مفید بناتی ہے، خطرات کو بھی وسعت دیتی ہے: ایجنٹ غیر معتبر ہدایات کا سامنا کر سکتا ہے جو مؤثر طور پر غیر محدود سطح پر پھیلی ہوئی ہیں—ای میلز اور منسلکات، کیلنڈر دعوت نامے، مشترکہ دستاویزات، فورمز، سوشل میڈیا پوسٹس اور غیر متعین ویب صفحات۔ چونکہ ایجنٹ وہی کارروائیاں انجام دے سکتا ہے جو ایک صارف براؤزر میں کر سکتا ہے، اس لیے ایک کامیاب حملے کا اثر نظریاتی طور پر اتنا ہی وسیع ہو سکتا ہے: حساس ای میل کو فارورڈ کرنا، پیسے بھیجنا، کلاؤڈ میں فائلوں کو ایڈٹ یا حذف کریں اور مزید۔

ہم نے ایک پہلے پوسٹ میں اشتراک کیا تھا کہ ہم نے پرامپٹ انجیکشن کے خلاف دفاع کرنے میں متعدد حفاظتی تہوں کے ذریعے پیش رفت کی ہے۔ تاہم، پرامپٹ انجیکشن ایجنٹ کی سیکیورٹی کے لیے ایک کھلا چیلنج بنا ہوا ہے اور ہم توقع کرتے ہیں کہ آنے والے سالوں تک اس پر کام جاری رکھیں گے۔

خودکار پرامپٹ انجیکشن حملے کی دریافت اختتام سے آخر تک اور زیادہ کمپیوٹ ری انفورسمنٹ لرننگ کے ذریعے

اپنی دفاعی صلاحیتوں کو مضبوط کرنے کے لئے، ہم مسلسل پروڈکشن میں ایجنٹ سسٹمز کے خلاف نئے پرامپٹ انجیکشن حملوں کو تلاش کر رہے ہیں۔ ان حملوں کی نشاندہی کرنا مضبوط تخفیف کی تعمیر کے لیے ایک ضروری پیشگی شرط ہے: یہ آپ کو حقیقی دنیا کے خطرات کو سمجھنے میں مدد دیتی ہے، ہماری دفاعی خامیوں کو ظاہر کرتی ہے اور ٹھوس پیچز کو آگے بڑھاتی ہے۔

اسے بڑے پیمانے پر کرنے کے لئے، ہم نے ایک LLM پر مبنی خودکار حملہ آور تیار کیا اور اسے پرامپٹ انجیکشن حملوں کی تلاش کے لئے تربیت دی جو کامیابی سے براؤزر ایجنٹ پر حملہ کر سکتے ہیں۔ ہم نے اس حملہ آور کو ری انفورسمنٹ لرننگ کے ذریعے مکمل تربیت دی، تاکہ یہ اپنی کامیابیوں اور ناکامیوں سے سیکھ کر اپنی ریڈ ٹیمنگ کی مہارت کو بہتر بنا سکے۔ ہم اسے "بھیجنے سے پہلے آزمانے" کی اجازت بھی دیتے ہیں، جس کا مطلب ہے: اپنے سلسلہ خیالات کی منطق کے دوران، حملہ آور ایک ممکنہ انجیکشن کی تجویز دے سکتا ہے اور اسے ایک بیرونی سمیلیٹر کو بھیج سکتا ہے۔ سمولیٹر ایک متبادل منظرنامہ چلاتا ہے کہ ہدف بنائے گئے متاثرہ ایجنٹ (مدافع) انجیکشن کا سامنا کرنے پر کیسے برتاؤ کرے گا اور متاثرہ ایجنٹ کی مکمل استدلال اور کارروائی کا سراغ واپس کرتا ہے۔ حملہ آور اس ٹریس کو فیڈبیک کے طور پر استعمال کرتا ہے، حملے پر دوبارہ غور کرتا ہے اور سیمولیشن کو دوبارہ چلاتا ہے—اس لوپ کو کئی بار دہراتا ہے اس سے پہلے کہ حتمی حملے کا فیصلہ کرے۔ یہ حملہ آور کو ایک واحد پاس/فیل سگنل کے مقابلے میں زیادہ بھرپور سیاق و سباق میں فیڈبیک فراہم کرتا ہے۔ یہ حملہ آور کے ٹیسٹ کے وقت کی کمپیوٹ کو بھی بڑھاتا ہے۔ مزید برآں، محافظ کے استدلال کے نشانات تک خصوصی رسائی (جو ہم بیرونی صارفین کو ظاہر نہیں کرتے) ہمارے داخلی حملہ آور کو ایک غیر متوازن فائدہ فراہم کرتی ہے—جس سے یہ امکانات بڑھ جاتے ہیں کہ یہ بیرونی مخالفین سے آگے نکل سکتا ہے۔

لائٹ موڈ ویب پیج کا ماک اپ جو ری انفورسمنٹ لرننگ کو ظاہر کرتا ہے، جس میں ایک سجیلا روبوٹک بازو روشن میلان پس منظر پر تیرتے ہوئے جیومیٹرک اشکال کے ساتھ تعامل کر رہا ہے۔

ری انفورسمنٹ لرننگ (RL) کیوں؟ہم نے کئی وجوہات کی بنا پر خودکار حملہ آور کو تربیت دینے کے لیے ری انفورسمنٹ لرننگ کا انتخاب کیا۔

  1. طویل مدتی اور غیر مسلسل حملہ آور کے مقاصد کو بہتر بنانا۔ ہمارا مقصد یہ ہے کہ ہم پرامپٹ انجیکشن حملوں کو تلاش کریں جو ایجنٹ کو دھوکہ دے کر پیچیدہ مخالفانہ ٹاسک انجام دینے پر مجبور کر سکتے ہیں (مثلاً، ای میل بھیجنا، بینک ٹرانزیکشنز) جو حقیقی دنیا میں وقوع پذیر ہو سکتے ہیں۔ یہ مخالفانہ ٹاسکس فطری طور پر طویل المدتی ہوتے ہیں، جن کے لیے ماحول کے ساتھ استدلال اور تعامل کے کئی مراحل کی ضرورت ہوتی ہے اور جن میں کامیابی کے اشارے کم اور تاخیر سے ملتے ہیں۔ ری انفورسمنٹ لرننگ اس منتشر، تاخیر شدہ انعامی ساخت کے لیے موزوں ہے۔
  2. فرنٹیئر LLM کی صلاحیتوں سے فائدہ اٹھانا۔ ہم نے فرنٹیئر LLMs کو براہ راست خودکار ریڈ ٹیمرز کے طور پر تربیت دی، تاکہ حملہ آور کو فرنٹیئر ماڈلز میں استدلال اور منصوبہ بندی میں بہتری سے براہ راست فائدہ ہو۔ جب بنیادی ماڈلز مضبوط تر ہوتے ہیں، تو حملہ آور بھی قدرتی طور پر زیادہ قابل ہو جاتا ہے—یہ ہمارے دفاع پر دباؤ برقرار رکھنے کا ایک قابل پیمانہ طریقہ ہے جب ہمارے ماڈلز ترقی کرتے ہیں۔
  3. کمپیوٹ کی پیمائش اور موافقت پذیر حملہ آوروں کی نقل کرنا۔ ری انفورسمنٹ لرننگ بڑے پیمانے پر ماڈلز اور سیکھنے کے مراحل کے دوران حملوں کی تلاش کے لیے خرچ کی جانے والی کمپیوٹیشن کو بڑھانے کے لیے موزوں ہے اور یہ بھی قریب سے ظاہر کرتا ہے کہ کس طرح موافقت پذیر انسانی حملہ آور برتاؤ کرتے ہیں: حکمت عملیوں کو بار بار آزمانا، نتائج سے سیکھنا اور کامیاب رویوں کو تقویت دینا۔

ہمارا خودکار حملہ آور اختتام سے آخر تک نئے، حقیقی پرامپٹ انجیکشن حملے دریافت کر سکتا ہے۔ زیادہ تر پچھلے خودکار ریڈ ٹیمنگ کام کے برعکس، جو سادہ ناکامیوں کو ظاہر کرتا تھا جیسا کہ مخصوص آؤٹ پٹ سٹرنگز کو حاصل کرنا یا ایجنٹ سے غیر ارادی سنگل سٹیپ ٹول کال کو متحرک کرنا، ہمارا RL تربیت یافتہ حملہ آور ایجنٹ کو پیچیدہ، طویل مدتی نقصان دہ ورک فلو کو انجام دینے کی طرف لے جا سکتا ہے جو درجنوں (یا یہاں تک کہ سینکڑوں) مراحل پر محیط ہوتا ہے۔ ہم نے کچھ نئی حملے کی حکمت عملیاں بھی مشاہدہ کیں جو ہماری انسانی ریڈ ٹیمنگ مہم یا بیرونی رپورٹس میں ظاہر نہیں ہوئی ہیں۔

ذیل میں دیا گیا ڈیمو ایک ٹھوس پرامپٹ انجیکشن حملہ پیش کرتا ہے جو ہمارے خودکار حملہ آور نے دریافت کیا، جسے ہم نے پھر ChatGPT Atlas کی دفاعی صلاحیتوں کو زیادہ مستحکم بنانے کے لیے استعمال کیا۔ حملہ آور صارف کے ان باکس میں ایک بدطنیت ای میل بھیجتا ہے جس میں ایک پرامپٹ انجیکشن شامل ہوتا ہے جو ایجنٹ کو صارف کے CEO کو استعفیٰ کا خط بھیجنے کی ہدایت دیتا ہے۔ بعد میں، جب صارف ایجنٹ سے آفس سے باہر کے جواب دیں کا مسودہ تیار کرنے کو کہتا ہے، تو ایجنٹ عام ٹاسک کی انجام دہی کے دوران اس ای میل کا سامنا کرتا ہے، پرامپٹ کو مستند سمجھتا ہے اور اس کو فالو کرتا ہے۔ آفس سے غیر حاضری کا پیغام کبھی نہیں لکھا جاتا اور اس کے بجائے ایجنٹ صارف کی طرف سے استعفیٰ دے دیتا ہے۔

پرامپٹ انجیکشن کی نوعیت کی وجہ سے حتمی سیکیورٹی کی ضمانتیں دینا مشکل ہوتا ہے، لیکن ہماری خودکار سیکیورٹی تحقیق کو بڑھا کر، مخالفانہ جانچ اور ہمارے تیز رفتار ردعمل کے لوپ کو مضبوط کر کے، ہم ماڈل کی مضبوطی اور دفاع کو بہتر بنانے کے قابل ہیں - اس سے پہلے کہ جنگل میں کوئی حملہ ہو۔ 

ہم یہ ڈیمو اشتراک کر رہے ہیں تاکہ صارفین اور محققین کو ان حملوں کی نوعیت کو بہتر طور پر سمجھنے میں مدد مل سکے—اور ہم ان کے خلاف فعال طور پر کیسے دفاع کر رہے ہیں۔ ہمیں یقین ہے کہ یہ خودکار ریڈ ٹیمنگ کی صلاحیتوں کی سرحدوں کی نمائندگی کرتا ہے اور ہم اپنی تحقیق کو جاری رکھنے کے لیے بے حد پُرجوش ہیں۔

ChatGPT Atlas کو ایک فعال اور تیز رفتار ردعمل کے لوپ کے ساتھ مضبوط کرنا

ہمارا خودکار ریڈ ٹیمنگ ایک فعال تیز ردعمل کا لوپ چلا رہا ہے: جب خودکار حملہ آور ایک نئی قسم کے کامیاب پرامپٹ انجیکشن حملوں کو دریافت کرتا ہے، تو یہ فوری طور پر ہماری دفاعی صلاحیتوں کو بہتر بنانے کے لیے ایک ٹھوس ہدف بناتا ہے۔

نئے دریافت شدہ حملوں کے خلاف معاندانہ طور پر تربیت کرنا۔ہم مسلسل اپنے تازہ ترین ایجنٹ ماڈلز کو ہمارے بہترین خودکار حملہ آور کے خلاف تربیت دیتے ہیں—ان حملوں کو ترجیح دیتے ہوئے جہاں ہدف ایجنٹ فی الحال ناکام ہو رہے ہیں۔ مقصد یہ ہے کہ ایجنٹس کو معاوندانہ ہدایات کو نظرانداز کرنے اور صارف کی نیت کے ساتھ ہم آہنگ رہنے کی تربیت دی جائے، تاکہ نئی دریافت شدہ پرامپٹ انجیکشن حکمت عملیوں کے خلاف مزاحمت کو بہتر بنایا جا سکے۔ یہ ماڈل چیک پوائنٹ پر براہ راست انوکھے، اعلٰی طاقت کے حملوں کے خلاف مضبوطی کی "جانچ کرتا ہے"۔ مثال کے طور پر، حالیہ خودکار ریڈ ٹیمنگ نے براہ راست ایک نیا معاوندانہ تربیت یافتہ براؤزر-ایجنٹ چیک پوائنٹ تیار کیا ہے جو پہلے ہی تمام ChatGPT Atlas صارفین کے لیے جاری کیا جا چکا ہے۔ یہ بالآخر ہمارے صارفین کو نئی قسم کے حملوں سے بہتر طور پر محفوظ رکھنے میں مدد کرتا ہے۔

حملے کے نشانات کو استعمال کرتے ہوئے وسیع تر دفاعی اسٹیک کو بہتر بنانا۔ہمارے خودکار ریڈ ٹیم کے ذریعے دریافت کیے گئے کئی حملے کے راستے ماڈل کے علاوہ دیگر بہتری کے مواقع بھی ظاہر کرتے ہیں—جیسے نگرانی میں، وہ حفاظتی ہدایات جو ہم ماڈل کے سیاق و سباق میں شامل کرتے ہیں، یا نظام کی سطح پر حفاظتی تدابیر۔ یہ نتائج ہمیں مکمل دفاعی اسٹیک پر تکرار کرنے میں مدد دیتے ہیں، نہ کہ صرف ایجنٹ چیک پوائنٹ پر۔

فعال حملوں کا جواب دینا۔ یہ لوپ فعال حملوں کا بہتر جواب دینے میں بھی مدد کر سکتی ہے۔ جب ہم اپنی عالمی موجودگی میں ممکنہ حملوں کا جائزہ لیتے ہیں، تو ہم ان تکنیکوں اور حکمت عملیوں کو جو ہم بیرونی مخالفین کو استعمال کرتے ہوئے دیکھتے ہیں، اس لوپ میں شامل کر سکتے ہیں، ان کی سرگرمی کی نقل کر سکتے ہیں اور اپنے پلیٹ فارم پر دفاعی تبدیلی کو فروغ دے سکتے ہیں۔

Outlook: ایجنٹ کی سیکیورٹی کے لیے ہمارا طویل مدتی عزم

ہمارے ایجنٹوں کی ریڈ ٹیم کرنے کی صلاحیت کو مضبوط بنانا اور اس کام کے کچھ حصے کو خودکار بنانے کے لیے ہمارے سب سے قابل ماڈلز کا استعمال کرنا—یہ دریافت سے درستگی کے عمل کو بڑھا کر Atlas براؤزر ایجنٹ کو مزید مضبوط بنانے میں مدد کرتا ہے۔ یہ مضبوطی کی کوشش سیکیورٹی سے ایک واقف سبق کو تقویت دیتی ہے: مضبوط تحفظ کا ایک اچھی طرح سے پہنا ہوا راستہ حقیقی نظاموں کو مسلسل دباؤ کی جانچ کرنا، ناکامیوں پر رد عمل ظاہر کرنا اور کنکریٹ کو ٹھیک کرنا ہے۔

ہم توقع کرتے ہیں کہ مخالفین ڈھلتے رہیں گے۔ ویب پر دھوکہ دہی اور اور سوشل انجینئرنگ کی طرح فوری انجیکشن کے مکمل طور پر "حل" ہونے کا امکان نہیں ہے۔ لیکن ہم پر امید ہیں کہ ایک فعال، انتہائی جوابی تیز رفتار رسپانس لوپ وقت کے ساتھ ساتھ  حقیقی دنیا کے خطرے کو مادی طور پر کم کرتا رہ سکتا ہے۔ خودکار حملے کی دریافت کو مخالفانہ تربیت اور نظام کی سطح کے تحفظات کے ساتھ ملا کر، ہم حملے کے نئے ماڈلز کی پہلے شناخت کر سکتے ہیں، تیزی سے خلا کو ختم کر سکتے ہیں اور استحصال کی لاگت کو مسلسل بڑھا سکتے ہیں۔

ChatGPT Atlas میں ایجنٹ موڈ طاقتور ہے—اور یہ سیکیورٹی خطرے کی سطح کو بھی بڑھاتا ہے۔ ذمہ داری کے ساتھ تعمیر کرنے کا حصہ یہ ہے کہ ان سمجھوتوں کے بارے میں واضح نظر رکھنا ضروری ہے۔ ہمارا مقصد یہ ہے کہ ہر تکرار کے ساتھ Atlas کو معنی خیز طور پر زیادہ محفوظ بنایا جائے: ماڈل کی مضبوطی کو بہتر بنانا، حفاظتی نظام کو مضبوط کرنا اور فطری ماحول میں ابھرتے ہوئے غلط استعمال کے ماڈلز کی نگرانی کرنا۔

ہم تحقیق اور تعیناتی میں سرمایہ کاری جاری رکھیں گے، بہتر خودکار ریڈ ٹیمنگ کے طریقے تیار کریں گے، تہہ در تہہ حفاظتی اقدامات متعارف کرائیں گے اور جیسے جیسے ہم سیکھتے جائیں گے، تیزی سے تبدیلیاں کریں گے۔ ہم بھی جو کچھ ہم کر سکتے ہیں، وسیع تر کمیونٹی کے ساتھ اشتراک کریں گے۔

ایجنٹس کو محفوظ طریقے سے استعمال کرنے کی سفارشات

جبکہ ہم نظام کی سطح پر Atlas کو مضبوط بناتے ہوئے جاری رکھیں، صارفین ایجنٹ استعمال کرتے وقت خطرے کو کم کرنے کے لیے اقدامات کر سکتے ہیں۔ 

جب ممکن ہو تو لاگ ان کریں کی رسائی کو محدود کریں۔ہم صارفین کو تجویز کرتے ہیں کہ وہ لاگ آؤٹ موڈ(نئی ونڈو میں کھلتا ہے) کا فائدہ اٹھائیں جب Atlas میں ایجنٹ کا استعمال کرتے وقت ان ویب سائٹس تک رسائی کی ضرورت نہ ہو جن پر آپ لاگ ان ہیں، یا ٹاسک کے دوران ان مخصوص سائٹس تک رسائی کو محدود کرنے کے لیے جن پر آپ سائن ان کرتے ہیں۔ 

تصدیق کی درخواستوں کا بغور جائزہ لیں۔ کچھ اہم کارروائیوں کے لیے، جیسا کہ خریداری مکمل کرنا یا ای میل بھیجنا، ایجنٹس آپ کی تصدیق طلب کرتے ہیں اس سے پہلے کہ وہ آگے بڑھیں۔ جب کوئی ایجنٹ آپ سے کسی کارروائی کی تصدیق کرنے کو کہے، تو اس بات کی تصدیق کرنے کے لئے ایک لمحہ لیں کہ کارروائی درست ہے اور جو معلومات اشتراک کی جا رہی ہیں وہ اس سیاق و سباق کے لئے مناسب ہیں۔

ایجنٹس کو جب ممکن ہو تو واضح ہدایات فراہم کریں۔ ایسے بہت زیادہ وسیع پرامپٹ سے پرہیز کریں جیسے "میرے ای میلز کا جائزہ لیں اور جو بھی کارروائی ضروری ہو وہ کریں۔" وسیع گنجائش ایجنٹ کو متاثر کرنے کے لئے مخفی یا بدنیتی پر مبنی مواد کو آسان بناتی ہے، چاہے حفاظتی اقدامات موجود ہوں۔ یہ زیادہ محفوظ ہے کہ ایجنٹ سے مخصوص، اچھی طرح متعین کیے گئے ٹاسک کرنے کو کہا جائے۔ اگرچہ یہ خطرے کو مکمل طور پر ختم نہیں کرتا، لیکن یہ حملوں کو انجام دینا مشکل بنا دیتا ہے۔

اگر ایجنٹ روزمرہ کے ٹاسک کے لئے قابل اعتماد ساتھی بننا چاہتے ہیں، تو انہیں اس قسم کی ہیرا پھیری کے خلاف مضبوط ہونا چاہئے جو کھلے ویب کو فعال کرتی ہے۔ پرامپٹ انجیکشن کے خلاف مضبوطی ایک طویل مدتی عزم ہے اور ہماری اولین ترجیحات میں سے ایک ہے۔ ہم جلد ہی اس کام کے بارے میں مزید معلومات کا اشتراک کریں گے۔

مصنف

OpenAI