تصميم وكلاء ذكاء اصطناعي قادرين على مقاومة حقن المطالبات

أصبحت وكلاء الذكاء الاصطناعي أكثر قدرة على تصفح الويب، واسترجاع المعلومات، واتخاذ إجراءات نيابةً عن المستخدم. وهذه القدرات مفيدة، لكنها في الوقت نفسه تفتح مسارات جديدة يمكن للمهاجمين استغلالها لمحاولة التلاعب بالنظام.

وغالبًا ما تُوصَف هذه الهجمات بأنها حقن للمطالبات⁠: أي تعليمات تُدرَج داخل محتوى خارجي في محاولة لدفع النموذج إلى تنفيذ أمر لم يطلبه المستخدم. لكن تجربتنا تشير إلى أن أكثر هذه الهجمات فاعلية في العالم الواقعي باتت تشبه أساليب الهندسة الاجتماعية أكثر من كونها مجرد محاولات مباشرة لتجاوز المطالبات.

وهذه النقطة مهمة. فإذا لم تكن المشكلة تقتصر على رصد سلسلة خبيثة من النصوص، بل تمتد إلى مقاومة المحتوى المضلل أو التلاعبي داخل السياق، فإن التصدي لها لا يمكن أن يعتمد على تصفية المدخلات وحدها. بل يتطلب أيضًا تصميم النظام بطريقة تحدّ من أثر التلاعب، حتى لو نجحت بعض الهجمات.

في المراحل المبكرة، كانت هجمات "حقن المطالبات" بسيطة أحيانًا، إلى حدّ تعديل مقال على ويكيبيديا لإدراج تعليمات مباشرة لوكلاء الذكاء الاصطناعي الذين يزورونه. ومن دون خبرة كافية في التعامل مع البيئات العدائية، كانت نماذج الذكاء الاصطناعي كثيرًا ما تتبع تلك التعليمات بلا تردد¹. لكن مع ازدياد ذكاء النماذج، أصبحت في الوقت نفسه أقل عرضةً لهذا النوع من الهجمات، وقد لاحظنا أن الهجمات الشبيهة بحقن المطالبات بدأت تتطور عبر دمج عناصر من الهندسة الاجتماعية:

ضمن المنظومة الأوسع لأمن الذكاء الاصطناعي، أصبح من الشائع التوصية بتقنيات مثل "جدران الحماية للذكاء الاصطناعي"، حيث يعمل وسيط بين وكيل الذكاء الاصطناعي والعالم الخارجي في محاولة لتصنيف المدخلات إلى حقن مطالبات خبيثة أو مدخلات عادية. لكن هذه الأنظمة لا تنجح عادةً في رصد الهجمات المتطورة بالكامل. ففي مثل هذه الحالات، تصبح محاولة كشف المدخلات الخبيثة معضلةً شديدة الصعوبة، تشبه إلى حدّ كبير اكتشاف الكذب أو المعلومات المضللة، وغالبًا ما يتم ذلك من دون سياق كافٍ.

مع ازدياد تعقيد هجمات حقن المطالبات في العالم الواقعي، وجدنا أن أكثر التقنيات الهجومية فعالية كانت تستفيد من أساليب الهندسة الاجتماعية. وبدلًا من التعامل مع هجمات حقن المطالبات هذه المصحوبة بالهندسة الاجتماعية بوصفها فئة منفصلة أو مشكلة جديدة تمامًا، بدأنا ننظر إليها من خلال المنهج نفسه المستخدم في إدارة مخاطر الهندسة الاجتماعية التي يتعرض لها البشر في مجالات أخرى. ففي هذه الأنظمة، لا يقتصر الهدف على التعرّف بدقة إلى المدخلات الخبيثة، بل يشمل أيضًا تصميم الوكلاء والأنظمة بطريقة تحدّ من أثر التلاعب، حتى إذا نجح. وقد أثبت هذا النهج فاعليته في الحد من كلٍّ من حقن المطالبات والهندسة الاجتماعية.

ومن هذا المنطلق، يمكن تصوّر وكيل الذكاء الاصطناعي ضمن منظومة ثلاثية الأطراف مشابهة لبيئة عمل موظف خدمة العملاء. فالوكيل يسعى إلى التصرّف نيابةً عن الجهة التي يعمل لصالحها، لكنه في الوقت نفسه يظل معرّضًا باستمرار لمدخلات خارجية قد تحاول تضليله. لذلك، يجب أن تكون هناك قيود مفروضة على قدرات وكيل دعم العملاء، سواء كان بشريًا أو ذكاءً اصطناعيًا للحد من مخاطر الجانب السلبي الكامنة في الوجود ضمن بيئة خبيثة إلى هذا الحد.

ولتوضيح ذلك، تخيّل حالةً يتولى فيها شخص تشغيل نظام لخدمة العملاء، ويكون مخوّلًا بتقديم بطاقات هدايا أو ردّ المبالغ المالية لتعويض العملاء عن مشكلات مثل تأخر التسليم أو الأضرار الناتجة عن خلل ما. هنا نحن أمام مسألة متعددة الأطراف، إذ يجب على المؤسسة أن تثق في أن هذا الموظف لن يقدّم التعويض إلا لأسباب مبررة، مع أنه يتعامل في الوقت نفسه مع أطراف خارجية قد تسعى إلى تضليله أو حتى ممارسة الضغط عليه.

وفي الواقع العملي، يُزوَّد هذا الموظف بمجموعة من القواعد التي يجب الالتزام بها، مع افتراض أنه يعمل داخل بيئة قد تكون عدائية. فقد يرسل أحد العملاء رسالة يدّعي فيها أن المبلغ المسترد لم يصله، أو يهدد باتخاذ إجراء إذا لم يحصل على تعويض. ولهذا السبب، تفرض الأنظمة الحاسمة التي يتفاعل معها الوكيل حدودًا على قيمة المبالغ التي يمكن ردّها إلى العميل، كما ترصد رسائل التصيّد الإلكتروني المحتملة، وتوفّر تدابير وقائية أخرى مماثلة للحد من أثر اختراق وكيل واحد.

وقد أسهم هذا التصور في تشكيل مجموعة قوية من التدابير الوقائية التي نشرناها، بما يحافظ على مستوى الأمان الذي يتوقعه مستخدمونا.

في ChatGPT، نجمع بين هذا النموذج المستند إلى الهندسة الاجتماعية وبين أساليب أكثر تقليدية في الهندسة الأمنية، مثل تحليل المصدر والمصب.

وفي هذا الإطار، يحتاج المهاجم إلى عنصرين معًا: مصدر، أي وسيلة للتأثير في النظام، ومصب، أي قدرة قد تصبح خطرة إذا استُخدمت في سياق غير مناسب. وفي الأنظمة الوكيلة، يعني ذلك غالبًا الجمع بين محتوى خارجي غير موثوق وإجراء مثل نقل المعلومات إلى طرف ثالث، أو اتباع رابط، أو التفاعل مع أداة.

ويتمثل هدفنا في الحفاظ على توقع أمني أساسي لدى المستخدمين: وهو ألا تُنفَّذ الإجراءات التي قد تكون خطرة، أو تُنقل المعلومات التي قد تكون حساسة، بشكل صامت أو من دون ضمانات مناسبة.

أما الهجمات التي نراها تُطوَّر ضد ChatGPT، فغالبًا ما تقوم على محاولة إقناع المساعد بوجوب أخذ معلومات سرية من محادثة ما وإرسالها إلى طرف ثالث خبيث. وفي معظم الحالات التي اطّلعنا عليها، تفشل هذه الهجمات لأن تدريب السلامة لدينا يدفع الوكيل إلى الرفض. لكن في الحالات التي يقتنع فيها الوكيل، طوّرنا استراتيجية تخفيف تُسمّى Safe Url، وهي مصممة لرصد متى يمكن أن تُنقل معلومات واردة في المحادثة إلى طرف ثالث. وفي هذه الحالات النادرة، نُظهر للمستخدم إمّا المعلومات التي ستُنقل ونطلب منه تأكيد ذلك، أو نمنع الإجراء ونطلب من الوكيل البحث عن طريقة أخرى للمضي قدمًا في تنفيذ طلب المستخدم.

وتنطبق هذه الآلية نفسها على عمليات التنقل والإشارات المرجعية في Atlas⁠، وكذلك على البحث والتنقل في البحث التفصيلي.⁠ كما تتبع ChatGPT Canvas⁠ وChatGPT Apps⁠ نهجًا مشابهًا، إذ تسمح للوكيل بإنشاء تطبيقات وظيفية واستخدامها، على أن تعمل هذه التطبيقات داخل بيئة معزولة قادرة على رصد أي اتصالات غير متوقعة، وطلب موافقة المستخدم عليها أولًا⁠(يفتح في نافذة جديدة).

ويمكنك الاطلاع على مزيد من المعلومات عن Safe Url، وقراءة مقالة حول بنيتها، في التدوينة المخصّصة بعنوان الحفاظ على أمان بياناتك عندما ينقر وكيل ذكاء اصطناعي على رابط⁠.

يُعدّ التفاعل الآمن مع العالم الخارجي العدائي أمرًا ضروريًا للوكلاء الذين يعملون باستقلالية كاملة. وعند دمج نموذج ذكاء اصطناعي مع نظام تطبيقي، نوصي بالنظر في الضوابط التي ينبغي أن يمتلكها الوكيل البشري في موقف مماثل، ثم العمل على تطبيقها. ونحن نتوقع أن يكون نموذج الذكاء الاصطناعي الأعلى ذكاءً قادرًا على مقاومة الهندسة الاجتماعية بدرجة أفضل من الوكيل البشري، لكن ذلك لا يكون ممكنًا دائمًا ولا مجديًا من حيث التكلفة في جميع التطبيقات.

ونواصل استكشاف آثار الهندسة الاجتماعية على نماذج الذكاء الاصطناعي وسبل الدفاع ضدها، ونعمل على دمج ما نتوصل إليه من نتائج في بنى أمن التطبيقات لدينا، وفي برامج التدريب التي نخضع لها نماذج الذكاء الاصطناعي.