نظرة متعمقة في حقن المطالبات: أبرز التحديات الأمنية المعاصرة
لم يعد دور أدوات الذكاء الاصطناعي مقتصرًا على مجرد الردود التقليدية، بل انتقلت لتصبح مساعدًا تنفيذيًا قادرًا على تصفح الإنترنت، وإدارة البحوث، وتنظيم السفر، والمساعدة في التسوق. ولكن، مع ازدياد هذه الكفاءة والقدرة على النفاذ إلى بيانات التطبيقات المختلفة والعمل بالنيابة عن المستخدم، ظهرت على السطح مخاطر أمنية مستحدثة، وفي مقدمة ما نركز عليه حاليًا هجمات "حقن المطالبات".
تمثل عملية حقن المطالبات شكلًا من أشكال الهندسة الاجتماعية التي تستهدف الذكاء الاصطناعي التفاعلي بشكل خاص. في السابق، كانت الأنظمة الذكية تعتمد على حوارات ثنائية بسيطة بين المستخدم ووكيل الذكاء الاصطناعي؛ أما الآن، فقد باتت المحادثات تشمل بيانات مستقاة من مصادر شتى، ومنها الإنترنت. وتتمحور خطورة هذا الأمر في إمكانية تدخل 'طرف ثالث' خارجي للتلاعب بالنموذج وتضليله عن طريق غرس تعليمات برمجية خبيثة في سياق الحوار، وهو ما أدى لظهور مصطلح "حقن المطالبات" لوصف تلك الثغرة الأمنية.
بنفس الطريقة التي تحاول بها رسائل البريد الإلكتروني الاحتيالية أو أساليب النصب الرقمي استدراج الأفراد للإفصاح عن بيانات سرية، تحاول هجمات "حقن المطالبات" استغلال الذكاء الاصطناعي وجرّه لتنفيذ مهام خارج إطار طلباتك الأصلية أو تطلعاتك.
لنتصور سيناريو تطلب فيه من مساعد ذكاء اصطناعي التخطيط لرحلتك القادمة، وبينما يتصفح الويب لجمع المعلومات، يواجه نصوصًا مضللة أو توجيهات خبيثة دستها جهة ما في ثنايا إحدى الصفحات، كأن تكون في خانة التعليقات أو التقييمات. هذا المحتوى قد يكون مصممًا ببراعة فائقة للإيقاع بالذكاء الاصطناعي ودفعه للتوصية بوجهة غير صحيحة، أو حتى التمادي في الخبث للوصول إلى بيانات بطاقتك الائتمانية وسرقتها.
ما ذكرناه لا يمثل إلا غيضًا من فيض من هجمات "حقن المطالبات"، وهي توجيهات خبيثة تهدف إلى تضليل الذكاء الاصطناعي ليقوم بإجراءات تخالف نيتك الأصلية، وغالبًا ما تُدَسُّ هذه التوجيهات ببراعة داخل نصوص طبيعية تمامًا، كصفحات الويب أو الوثائق أو حتى رسائل البريد الإلكتروني.
تزداد هذه المخاطر مع وصول أنظمة الذكاء الاصطناعي إلى بيانات حساسة أكثر وتوليها المزيد من المبادرات والمهام الأطول.
الملخص | ما طلبت من الذكاء الاصطناعي القيام به | الخطوات التي نفذها المهاجم | تداعيات نجاح الهجوم |
تطلب من الذكاء الاصطناعي البحث عن شقق، ولكنه يتعرض لهجوم حقن المطالبات يدفعه للتوصية بإعلان مسكن ليس هو الخيار الأفضل لك. | تطلب من الذكاء الاصطناعي البحث عن شقق بناءً على معايير محددة قدمتها له. | يقوم المهاجم بتضمين هجوم "حقن المطالبات" داخل إعلان الشقة لخداع الذكاء الاصطناعي وإيهامه بضرورة اختيار هذا الإعلان بغض النظر عن تفضيلات المستخدم المعلنة. | إذا نجح الهجوم، فقد يوصي الذكاء الاصطناعي بشكل خاطئ بإعلان شقة "دون المستوى المثالي" بناءً على تفضيلاتك الحقيقية. |
تطلب من وكيل الذكاء الاصطناعي الرد على رسائلك المتراكمة ليلًا، فينتهي به الأمر بمشاركة كشوف حساباتك البنكية. | تطلب من وكيل الذكاء الاصطناعي الرد بشكل عام على رسائل البريد الإلكتروني الواردة ليلًا نظرًا لانشغالك هذا الصباح. انظر القسم "احرص، قدر الإمكان، على إعطاء الوكيل توجيهات واضحة ومحددة" أدناه | أرسل لك المهاجم رسالة إلكترونية تتضمن معلومات مضللة تخدع النموذج ليدفعه للبحث عن كشوف حساباتك البنكية ومشاركتها مع المهاجم. | إذا نجح الهجوم، فقد يبحث الوكيل عن أي ملفات تشبه كشوف الحسابات البنكية في بريدك (الذي منحت صلاحية الوصول إليه) ويشاركها مع المهاجم. |
تُعد الحماية من هجمات "حقن المطالبات" تحديًا استراتيجيًا يطال صناعة الذكاء الاصطناعي قاطبة، وتضعه OpenAI على رأس أولوياتها. ومع إدراكنا بأن المهاجمين سيواصلون ابتكار أساليب اختراق جديدة، فإننا نطور آليات دفاعية تضمن إنجاز الغرض الذي ينشده المستخدم بدقة، رغماً عن أي محاولات تضليلية نشطة. إن امتلاك هذه الكفاءة هو شرط أساسي لجني ثمار الذكاء الاصطناعي العام (AGI) في إطار من الأمان والموثوقية.
لحماية مستخدمينا وسعيًا لتطوير كفاءة نماذجنا في مواجهة هذه التهديدات، فإننا نتبنى نهجًا متعدد المستويات يتضمن الآتي:
إن طموحنا هو بناء ذكاء اصطناعي يميز هجمات حقن المطالبات ويصمد أمامها. غير أن تحصين الأنظمة ضد الهجمات المعادية يمثل تحديًا مزمنًا في عصر تعلم الآلة، مما يبقي هذه المسألة قضية تقنية شائكة قيد البحث. وبناءً عليه، قدمنا بحثًا حول هرمية التعليمات لمساعدة النماذج في التفريق بين الأوامر الصادرة من مصادر موثوقة وتلك المجهولة. كما نستمر في تطوير نُهُج لتدريب النماذج على رصد أنماط حقن المطالبات بذكاء، لتقوم إما بتجاهلها أو إخطار المستخدم بوجودها. ومن الأدوات التي نعتمدها اختبار تقييم المخاطر الآلي، وهو تخصص تعمقنا في دراسته(يفتح في نافذة جديدة) لسنوات بهدف ابتكار سيناريوهات حقن متطورة تسبق تهديدات المهاجمين.
ابتكرنا مصفوفة من أدوات المراقبة الآلية المدعومة بالذكاء الاصطناعي لكشف هجمات حقن المطالبات وإحباطها. وتعتبر هذه الأدوات متممة لأساليب التدريب على معايير الأمان، إذ تمنحنا مرونة عالية في التحديث السريع لصد أي أنماط هجومية مكتشفة حديثًا. وفضلًا عن دور هذه الأدوات في المساعدة في رصد هجمات حقن المطالبات المحتملة وحماية المستخدمين منها، فهي تمكننا من رصد الأنشطة البحثية والاختبارات التخريبية التي تستهدف منصتنا عبر حقن المطالبات، مما يساعدنا في تحييد هذه الهجمات قبل وصولها إلى نطاق الاستخدام العام.
لقد صُممت منتجاتنا وبنيتنا الأساسية لتشمل تدابير حماية أمنية متراكبة تهدف إلى تعزيز سلامة بيانات المستخدم. ونحن نقوم بتخصيص هذه الميزات بما يتوافق مع متطلبات كل منتج بعينه، وسنتطرق إليها بتفاصيل تقنية أعمق في مقالاتنا القادمة. ومن باب التوضيح، حرصًا منا على إبعادكم عن المواقع المشبوهة، سنقوم بطلب إذنكم للموافقة على روابط محددة في ChatGPT قبل الانتقال إليها، خاصةً تلك المواقع التي تطلب منا عدم فهرستها(يفتح في نافذة جديدة). كما نطبق تقنية "بيئة الاختبار المعزولة" في الحالات التي يقوم فيها الذكاء الاصطناعي باستخدام أدوات لتشغيل برامج أو أكواد أخرى (كما هو الحال في Canvas أو أداة التطوير Codex)، وذلك لتحصين النظام ضد أي تغييرات تخريبية قد تسببها هجمات "حقن المطالبات".
تتضمن منتجاتنا أدوات تحكم ذاتية تهدف لتعزيز حماية المستخدم؛ ففي نظام ChatGPT Atlas مثلًا، يمكنك تفعيل "وضع تسجيل الخروج" الذي يُمكّن وكيل ChatGPT من مباشرة المهام دون تسجيل الدخول للمواقع المختلفة. أضف إلى ذلك أن وكيل ChatGPT يتوقف لطلب موافقتك قبل الإقدام على خطوات تتسم بالحساسية كعمليات الشراء. وفي حالة تعامل الوكيل مع مواقع حساسة، استحدثنا خاصية 'وضع المراقبة' التي تحذرك من طبيعة الموقع وتفرض بقاءك في علامة التبويب النشطة لمتابعة عمل الوكيل لحظة بلحظة، حيث سيتوقف الوكيل عن العمل فور مغادرتك لعلامة التبويب التي تتضمن معلومات حساسة. مما يكفل لك البقاء يقظًا ومتحكمًا تمامًا في كافة تصرفات الوكيل.
نقوم بتنفيذ اختبار شامل لتحدي المخاطر عبر أفرقة عمل داخلية ومن جهات خارجية، بهدف فحص كفاءة دفاعاتنا وتطويرها، ومحاكاة أساليب المهاجمين، وابتكار طرق لرفع مستوى الأمان لدينا. وقد كرسنا آلاف الساعات من العمل لتركز بشكل محدد على ثغرات حقن المطالبات. وبفضل رصدنا المستمر للتقنيات والهجمات المستحدثة، تبادر أفرقتنا إلى سد الثغرات الأمنية وتطوير سبل الوقاية والتحصين في بنية النماذج لدينا.
حرصًا منا على تحفيز الباحثين الأمنيين المستقلين الذين يتسم عملهم بالنزاهة للمساهمة في كشف أساليب وهجمات حقن المطالبات المبتكرة، نخصص مكافآت مالية من خلال "برنامج مكافآت اكتشاف الثغرات(يفتح في نافذة جديدة)" عند استعراضهم لسيناريو هجومي عملي من شأنه أن يتسبب في تسريب غير متعمد لبيانات المستخدمين. ونحن نهدف بذلك إلى تشجيع هؤلاء الخبراء الخارجيين على الكشف عن هذه الثغرات في أقرب وقت ممكن، ليتسنى لنا معالجتها وتدعيم منظومتنا الدفاعية.
نحرص على توعية مستخدمينا بالمخاطر التي قد تكتنف استخدام بعض خصائص المنتج، بما يضمن لهم اتخاذ خيارات واعية ومبنية على المعرفة. ومن ذلك، أننا عند ربط ChatGPT بتطبيقات خارجية، نشرح طبيعة البيانات المتاحة للوصول وآليات معالجتها، والتهديدات المحتملة، مثل تعرض البيانات للسرقة من قبل مواقع معينة، مع تزويد المستخدم برابط يوضح سبل الحماية. وعلاوة على ذلك، نوفر للمنظمات أدوات تحكم تسمح لها بتحديد الميزات المسموح بتفعيلها أو تداولها بين الموظفين في مساحات عملهم المشتركة.
تُعد ظاهرة حقن المطالبات من التحديات الأمنية المتقدمة التي ستشهد -في تقديرنا- تطورًا مطردًا مع مرور الزمن؛ فالمستويات الفائقة من الذكاء والإمكانيات تفرض تطورًا مشتركًا بين التقنية والوعي المجتمعي واستراتيجيات تقليل المخاطر. وبالمقارنة مع ظهور فيروسات الأجهزة في مطلع الألفية، نرى ضرورة إدراك الجميع لماهية تهديدات حقن المطالبات وسبل مواجهتها، لنحقق أقصى استفادة آمنة من هذه الابتكارات. إذ يساهم الوعي والحيطة في تعزيز أمن بياناتك عند التعامل مع أنظمة الذكاء الاصطناعي وميزات الوكلاء التي تملك صلاحية التنفيذ بالنيابة عنك.
احرص، قدر الإمكان، على تقييد صلاحيات الوصول الممنوحة للوكيل بحيث لا تتجاوز البيانات الحساسة أو بيانات تسجيل الدخول اللازمة لإنجاز المهمة. فمثلاً، عند تفعيل نمط الوكيل في ChatGPT Atlas للبحث عن وجهات سياحية، وكان العمل يقتصر على جمع المعلومات دون الحاجة للنفاذ إلى حساباتك الشخصية، فمن الأفضل تفعيل وضع "تسجيل الخروج".
نحرص في كثير من الأحيان على تصميم الوكلاء لطلب موافقتك النهائية قبل الإقدام على أفعال تترتب عليها نتائج ملموسة، كإتمام المعاملات الشرائية أو إرسال المراسلات البريدية. وحين يطلب منك الوكيل تأكيدًا لأي إجراء، من الضروري أن تتثبت من سلامة هذا الإجراء، وأن تتأكد من أن المعلومات الجاري تداولها هي بيانات ملائمة للمشاركة ضمن ذلك السياق تحديدًا.
حينما يباشر الوكيل مهامه في موقع يتسم بالحساسية، مثل موقع البنك، عليك متابعة تحركات الوكيل لحظة بلحظة. فهذه العملية تماثل مراقبة سيارة ذاتية القيادة بينما تظل يداك قابضتين على المقود.
من شأن منح الوكيل تعليمات عامة جدًا، كقولك "راجع رسائلي الإلكترونية واتخذ ما يلزم من إجراءات"، أن يمهّد الطريق أمام المحتويات الضارة المستترة لخداع النموذج وتوجيهه بشكل خاطئ، حتى مع وجود آليات حماية تفرضه عليه مراجعتك قبل تنفيذ المهام ذات الطبيعة الحساسة.
ويُعد توجيه الوكيل لتنفيذ أوامر واضحة ومحددة، بدلًا من منحه حرية التصرف بصلاحيات واسعة قد تقوده للانصياع لتوجيهات خبيثة من مصادر خارجية كالبريد الإلكتروني، نهجًا أكثر أمانًا. ورغم أن هذا لا يكفل الحماية المطلقة من الهجمات، إلا أنه يضع عراقيل أمام المهاجمين ويقلل من فرص نجاحهم.
مع استمرار تطور الذكاء الاصطناعي، سوف تبرز تحديات وتدابير حماية جديدة. تابع آخر أخبار OpenAI وغيرها من المصادر الموثوقة لتبقى على دراية بأحدث وأفضل الممارسات.
يظل حقن المطالبات يمثل منطقة لم تُكتشف أبعادها بالكامل بعد، وهي مشكلة بحثية تنطوي على تحديات كبيرة؛ ونحن نتوقع أن تستمر جهودنا في هذا المسار تمامًا كما هو الحال في مواجهة أساليب الاحتيال الإلكتروني المعتادة. ومع أننا لم نرصد بعد استخدامًا ملحوظًا لهذا الأسلوب من قِبل المهاجمين، إلا أننا ندرك أن الجهات المعادية ستكرس وقتًا وجهدًا هائلين لاكتشاف ثغرات تجعل الذكاء الاصطناعي يستسلم لهذه الهجمات. ومن جانبنا، فنحن مستمرون في ضخ استثمارات ضخمة لجعل منتجاتنا آمنة، ولدعم الأبحاث التي ترفع من مستوى صمود الذكاء الاصطناعي في وجه هذه الأخطار. سنوافيكم بالنتائج والتحديثات تباعًا، بما في ذلك ما نحرزه من تقدم في الجوانب الأمنية لهذا الملف. فمثلًا، نعمل حاليًا على بناء تقرير سيُنشر قريبًا، يتناول بالتفصيل آليات رصدنا لأي تسريب محتمل للمعلومات من محادثاتك أثناء تواصل الذكاء الاصطناعي مع الإنترنت.
إننا نسعى للوصول بهذه الأنظمة إلى مستوى من الاعتمادية والسلامة يماثل التعامل مع صديق مخلص أو زميل عمل يتمتع بأقصى درجات الوعي الأمني. وسنستمر في التعلم من واقع الاستخدام الفعلي، والقيام بعمليات التحسين المستمرة بكل أمان، مع الالتزام بمشاركة المعارف التي نكتسبها مع المضي قدمًا في مسيرة التطور التقني.


