پرومپٹ انجیکشن کے خلاف مزاحمت کرنے والے AI ایجنٹس ڈیزائن کرنا

AI ایجنٹس تیزی سے ویب براؤز کرنے، معلومات حاصل کرنے اور صارف کی طرف سے کارروائیاں کرنے کے قابل ہو رہے ہیں. وہ صلاحیتیں مفید ہیں، لیکن وہ حملہ آوروں کے لیے سسٹم کو کنٹرول کرنے کی کوشش کرنے کے نئے طریقے بھی پیدا کرتی ہیں.

یہ حملے اکثر پرومپٹ انجیکشن⁠ کے طور پر بیان کیے جاتے ہیں: بیرونی مواد میں رکھی گئی ہدایات، جن کا مقصد ماڈل سے ایسا کچھ کروانا ہوتا ہے جو صارف نے نہیں کہا ہوتا. ہمارے تجربے میں، ان حملوں کے سب سے مؤثر حقیقی دنیا کی ورژن تیزی سے سادہ پرومپٹ اووررائیڈز کے مقابلے میں سوشل انجینئرنگ سے زیادہ مشابہ ہوتے جا رہے ہیں.

اس تبدیلی کی اہمیت ہے. اگر مسئلہ صرف ایک بدنیتی پر مبنی سٹرنگ کی شناخت نہیں، بلکہ سیاق و سباق میں گمراہ کن یا جوڑ توڑ پر مبنی مواد کے خلاف مزاحمت کرنا ہے، تو اس کے خلاف دفاع صرف اِن پٹس کو فلٹر کرنے پر انحصار نہیں کر سکتا. اس کے لیے نظام کو اس طرح ڈیزائن کرنا بھی ضروری ہے کہ چھیڑ چھاڑ کے اثرات محدود رہیں، چاہے کچھ حملے کامیاب ہو جائیں.

ابتدائی "پرومپٹ انجیکشن" قسم کے حملے اتنے سادہ ہو سکتے تھے جتنا کہ کسی ویکیپیڈیا مضمون میں ترمیم کر کے اس میں اسے دیکھنے والے AI ایجنٹس کے لیے براہِ راست ہدایات شامل کر دینا؛ ایسی مخالفانہ ماحول کا تربیت کے وقت تجربہ نہ ہونے کی صورت میں AI ماڈل اکثر بغیر سوال کیے ان ہدایات پر عمل کر لیتے تھے¹. جیسے جیسے ماڈلز زیادہ ذہین ہوتے گئے ہیں، وہ اس قسم کی تجویز کے لیے کم کمزور بھی ہوتے گئے ہیں اور ہم نے مشاہدہ کیا ہے کہ پرومپٹ انجیکشن طرز کے حملوں نے جواباً سوشل انجینئرنگ کے عناصر شامل کرنا شروع کر دیئے ہیں.

وسیع تر AI سیکیورٹی ایکو سسٹم کے اندر "AI فائر والنگ" جیسی تکنیکوں کی سفارش کرنا عام ہو گیا ہے، جس میں AI ایجنٹ اور بیرونی دنیا کے درمیان ایک ثالث بدنیتی پر مبنی پرومپٹ انجیکشن اور معمول کے اِن پٹس میں فرق کرنے کے لیے اِن پٹس کی درجہ بندی کرنے کی کوشش کرتا ہے—لیکن یہ مکمل طور پر تیار شدہ حملے عموماً ایسے سسٹمز کے ذریعے نہیں پکڑے جاتے. ایسے نظاموں کے لیے، بدنیتی پر مبنی اِن پٹ کا پتہ لگانا جھوٹ یا غلط معلومات کا پتہ لگانے جیسا ہی ایک بہت مشکل مسئلہ بن جاتا ہے اور اکثر ضروری سیاق و سباق کے بغیر.

جیسے جیسے حقیقی دنیا میں پرومپٹ انجیکشن حملے پیچیدگی میں بڑھتے گئے، ہم نے پایا کہ سب سے مؤثر جارحانہ تکنیکیں سوشل انجینئرنگ کی حکمت عملیوں سے فائدہ اٹھاتی تھیں. ان پرومپٹ انجیکشن حملوں کو سوشل انجینئرنگ کے ساتھ ایک الگ یا مکمل طور پر نئے مسئلے کے طبقے کے طور پر دیکھنے کے بجائے، ہم نے اسے اسی زاویے سے دیکھنا شروع کیا جو دوسرے شعبوں میں انسانوں پر سوشل انجینئرنگ کے خطرے کو منظم کرنے کے لیے استعمال کیا جاتا ہے. ان سسٹمز میں، مقصد صرف بدنیتی پر مبنی اِن پٹس کی کامل شناخت تک محدود نہیں ہے، بلکہ ایجنٹس اور سسٹمز کو اس طرح ڈیزائن کرنا ہے کہ ہیرا پھیری کے اثرات محدود رہیں، چاہے وہ کامیاب ہی کیوں نہ ہو. ایسے سسٹمز خود کو پرومپٹ انجیکشن اور سوشل انجینئرنگ دونوں کے تدارک میں مؤثر ثابت کرتے ہیں.

اس طرح، ہم AI ایجنٹ کو ایک کسٹمر سروس ایجنٹ کی طرح کے تین-فریق نظام میں موجود تصور کر سکتے ہیں؛ ایجنٹ اپنے آجر کی جانب سے عمل کرنا چاہتا ہے، لیکن وہ مسلسل بیرونی اِن پٹ کے سامنے رہتا ہے جو اسے گمراہ کرنے کی کوشش کر سکتا ہے. کسٹمر سپورٹ ایجنٹ، انسان ہو یا AI، کی صلاحیتوں پر حدود عائد ہونی چاہئیں تاکہ ایسے بدنیتی پر مبنی ماحول میں موجود ہونے سے وابستہ منفی خطرے کو محدود کیا جا سکے.

ایک ایسی صورتِ حال کا تصور کریں جس میں ایک انسان کسٹمر سپورٹ سسٹم چلاتا ہے اور صارف کو پیش آنے والی تکالیف، جیسے ڈیلیوری میں سستی، خرابی کے نتیجے میں نقصان وغیرہ، کے بدلے گفٹ کارڈز اور ریفنڈز جاری کرنے کے قابل ہو. یہ ایک کثیر فریقی مسئلہ ہے جس میں کارپوریشن کو اس بات پر اعتماد کرنا ہوتا ہے کہ ایجنٹ درست وجوہات کی بنا پر رقم کی واپسی جاری کرتا ہے، جبکہ ایجنٹ تیسرے فریق کے ساتھ بھی تعامل کرتا ہے جو انہیں گمراہ کرنے کی کوشش کر سکتے ہیں یا حتیٰ کہ انہیں دباؤ میں بھی ڈال سکتے ہیں.

حقیقی دنیا میں، ایجنٹ کو فالو کرنے کے لیے قواعد کا ایک مجموعہ دیا جاتا ہے، لیکن یہ توقع کی جاتی ہے کہ، جس مخالفانہ ماحول میں وہ موجود ہیں، اس میں انہیں گمراہ کیا جائے گا. ممکن ہے کوئی صارف یہ دعویٰ کرتے ہوئے پیغام بھیجے کہ ان کی رقم کی واپسی کبھی مکمل نہیں ہوئی، یا اگر رقم کی واپسی نہ دی گئی تو نقصان پہنچانے کی دھمکی دے. ایجنٹ جن تعیناتی نظاموں کے ساتھ تعامل کرتا ہے وہ کسی صارف کو دیے جانے والے ریفنڈز کی مقدار کو محدود کرتے ہیں، ممکنہ فشنگ ای میلز کو نشان زد کرتے ہیں اور کسی فرد واحد ایجنٹ کے سمجھوتہ ہو جانے کے اثرات کو محدود کرنے کے لیے اس طرح کی دیگر تخفیفات فراہم کرتے ہیں. 

اس ذہنیت نے انسدادی اقدامات کے ایک مضبوط مجموعے کی رہنمائی کی ہے جسے ہم نے نافذ کیا ہے، جو ہمارے صارفین کی سیکیورٹی سے متعلق توقعات کو برقرار رکھتا ہے.

ChatGPT میں، ہم اس سوشل انجینئرنگ ماڈل کو زیادہ روایتی سیکیورٹی انجینئرنگ طریقۂ کار کے ساتھ یکجا کرتے ہیں، جیسے کہ سورس سنک تجزیہ.

اس فریمنگ میں، حملہ آور کو ایک ماخذ، یا نظام کو متاثر کرنے کا طریقہ، اور ایک سنک، یا ایسی صلاحیت دونوں کی ضرورت ہوتی ہے جو غلط تناظر میں خطرناک ہو جاتی ہے. ایجنٹک نظاموں کے لیے، اس کا اکثر مطلب یہ ہوتا ہے کہ ناقابل اعتماد بیرونی مواد کو کسی کارروائی کے ساتھ ملایا جائے، جیسے کہ معلومات کو تیسرے فریق کو منتقل کرنا، کسی لنک کی پیروی کرنا، یا کسی ٹول کے ساتھ تعامل کرنا.

ہمارا مقصد صارفین کے لیے سیکیورٹی کی ایک بنیادی توقع کو برقرار رکھنا ہے: ممکنہ طور پر خطرناک کارروائیاں، یا ممکنہ طور پر حساس معلومات کی ترسیل، خاموشی سے یا مناسب حفاظتی اقدامات کے بغیر نہیں ہونی چاہیے.

ChatGPT کے خلاف جو حملے ہم سب سے زیادہ دیکھتے ہیں وہ اکثر اس بات پر مشتمل ہوتے ہیں کہ اسسٹنٹ کو قائل کرنے کی کوشش کی جائے کہ اسے گفتگو سے کچھ خفیہ معلومات لے کر کسی بدنیتی پر مبنی تیسرے فریق کو منتقل کر دینی چاہیے. زیادہ تر ایسے معاملات میں جن سے ہم واقف ہیں، یہ حملے ناکام ہو جاتے ہیں کیونکہ ہماری حفاظت کی تربیت ایجنٹ کو انکار کرنے پر مجبور کرتی ہے. ان معاملات کے لیے جن میں ایجنٹ کو یقین ہو، ہم نے محفوظ Url نامی ایک تخفیفی حکمتِ عملی تیار کی ہے جو اس بات کا پتہ لگانے کے لیے بنائی گئی ہے کہ گفتگو میں اسسٹنٹ نے جو معلومات سیکھی ہیں وہ کسی تیسرے فریق کو منتقل کی جائیں گی. ان نایاب صورتوں میں ہم یا تو صارف کو وہ معلومات دکھاتے ہیں جو منتقل کی جائیں گی اور ان سے تصدیق کرنے کو کہتے ہیں، یا ہم اسے بلاک کر دیتے ہیں اور ایجنٹ کو کہتے ہیں کہ صارف کی درخواست کے ساتھ آگے بڑھنے کے لیے کوئی اور طریقہ آزمائے.

یہی طریقہ کار Atlas⁠ میں نیویگیشن اور بُک مارکس پر لاگو ہوتا ہے؛ اور ڈیپ ریسرچ⁠ میں تلاش اور نیویگیشن پر. ChatGPT Canvas⁠ & ChatGPT Apps⁠ بھی اسی طرح کا طریقہ اپناتے ہیں، جس سے ایجنٹ کو فعال ایپلیکیشنز بنانے اور استعمال کرنے کی اجازت ملتی ہے—یہ ایک سینڈ باکس میں چلتی ہیں جو غیر متوقع مواصلات کا پتا لگا سکتا ہے اور صارف سے ان کی رضامندی طلب⁠(نئی ونڈو میں کھلتا ہے) کر سکتا ہے.

آپ محفوظ Url کے بارے میں مزید معلومات پڑھ سکتے ہیں اور اس کی ساخت کے بارے میں ایک پیپر اس کی مخصوص بلاگ پوسٹ جب ایک AI ایجنٹ کسی لنک پر کلک کرتا ہے تو اپنے ڈیٹا کو محفوظ رکھنا⁠ میں تلاش کر سکتے ہیں.

مخالف بیرونی دنیا کے ساتھ محفوظ تعامل مکمل طور پر خودمختار ایجنٹس کے لیے ضروری ہے. جب کسی AI ماڈل کو کسی ایپلیکیشن سسٹم کے ساتھ انٹیگریٹ کیا جائے، تو ہم یہ پوچھنے کی سفارش کرتے ہیں کہ اسی طرح کی صورتِ حال میں ایک انسانی ایجنٹ کے پاس کون سے کنٹرولز ہونے چاہئیں اور انہیں نافذ کریں. ہم توقع کرتے ہیں کہ ایک زیادہ سے زیادہ ذہین AI ماڈل ایک انسانی ایجنٹ کے مقابلے میں سوشل انجینئرنگ کا بہتر طور پر مقابلہ کر سکے گا، لیکن یہ ہمیشہ قابلِ عمل یا لاگت کے لحاظ سے مؤثر نہیں ہوتا، جو کہ ایپلیکیشن پر منحصر ہے.

ہم AI ماڈلز کے خلاف سوشل انجینئرنگ کے مضمرات اور اس کے خلاف دفاعی اقدامات کا جائزہ لینا جاری رکھتے ہیں اور اپنی دریافتوں کو اپنی ایپلیکیشن سیکیورٹی آرکیٹیکچرز اور اس تربیت دونوں میں شامل کرتے ہیں جس سے ہم اپنے AI ماڈلز کو گزارتے ہیں.