حادثة Hugging Face وآثار أخرى للنماذج غير المتوائمة على جهات خارجية
مع ازدياد قدرات أنظمة الذكاء الاصطناعي واستقلاليتها، قد يتحول السلوك غير المتوائم إلى أفعال ملموسة ذات عواقب في العالم الحقيقي، بما في ذلك حوادث الأمن السيبراني ونتائج أخرى ربما لم يتوقعها المطورون. لذلك، بات فهم كيفية نشوء هذه السلوكيات وتصاعدها، وكيفية اكتشافها والاستجابة لها، جزءًا متزايد الأهمية من بناء أنظمة الذكاء الاصطناعي المتقدمة ونشرها بأمان.
فهمنا حادثة Hugging Face في البداية بوصفها مشكلة أمنية في المقام الأول، لأنها تضمنت اختراقًا على مستوى المنصة. ولا تزال أخطر نشاط من هذا النوع رصدناه حتى الآن لدى نماذجنا، وقد كان دافعها الأساسي نموذج بحثي داخلي فقط وعالي القدرات. ومنذ ذلك الحين، أدركنا أن هذا الاختراق نتج عن لجوء النماذج إلى استراتيجيات غير متوائمة لحل مهام صعبة، وفق ما يوثقه التقرير التقني لحادثة Hugging Face. حوادث الأمن السيبراني إحدى صور هذا الخطر؛ وقد يؤدي اختلال المواءمة أيضًا إلى سلوكيات أخرى غير متوقعة أو مثيرة للقلق تقع خارج فئات الأمن التقليدية، مثل نشر نماذجنا محتوى على مواقع جهات خارجية، وهو ما نسمّيه «الرسائل المزعجة للوكلاء». وعلينا معالجة كلا الأمرين.
واصلنا مراجعة نطاق أوسع من الأنشطة، مع إعطاء الأولوية للحوادث الأخطر ثم التوسع إلى الأنشطة غير المتوائمة الأقل خطورة، بما فيها الرسائل المزعجة للوكلاء.
تجمع هذه الصفحة تقاريرنا وتحديثاتنا عن حادثة Hugging Face، والأبحاث والعروض العامة ذات الصلة، والأنشطة الإضافية التي رصدناها، وما تعلمناه عن دور اختلال مواءمة النماذج، والتدابير التي نتخذها لتعزيز أنظمتنا. سنحدّث هذه الصفحة مع تقدم تحقيقاتنا.
أنشطة تؤثر في جهات خارجية
لفهم نطاق هذه السلوكيات غير المتوقعة بصورة أفضل، نجري مراجعة واسعة لأنشطة نماذجنا على الإنترنت أثناء التدريب والتقييم. وفي إطار مراجعتنا، نحدد الجهات الخارجية ونخطرها تباعًا، بدءًا بالحالات التي:
قد تكون فيها نماذجنا قد تجاوزت ضوابط الأمان لدى جهة خارجية أو أضعفت إتاحة خدمة إلكترونية؛ أو
أثرت فيها حالات اختلال المواءمة سلبًا في مواقع أو خدمات جهات خارجية.
استنادًا إلى مراجعتنا حتى الآن، أخطرنا عشرات الجهات الخارجية وفق المعايير المذكورة أعلاه. لا تزال مراجعتنا للأنشطة السابقة جارية، وستتطلب وقتًا وموارد كبيرة. سنخطر جهات خارجية إضافية مع استمرار هذا العمل.
ننشر أدناه ملخصات مجهّلة تصف أنواع الأنشطة غير المتوائمة التي رصدناها، وسنحدّث هذه الأوصاف مع إخطار جهات خارجية إضافية وتطور فهمنا. وسنشارك أيضًا التحديثات ذات الصلة بشأن حالة المراجعة. سنحذف عمومًا الأسماء وغيرها من تفاصيل تحديد الهوية عند الحاجة لحماية الأطراف المتأثرة، مع أن الأطراف التي أُبلغت قد تختار نشر المعلومات التي نقدمها لها.
ملخصات الأنشطة المرصودة
حددت عملية المراجعة والإخطار التي أجريناها حتى الآن فئات الأنشطة التالية:
تجاوز ضوابط الوصول: يصل الوكلاء إلى معلومات أو ميزات تتطلب عادةً التحقق من الهوية أو إذنًا محددًا أو اشتراكًا أو حسابًا. فعلى سبيل المثال، استخدم الوكيل عنوان ويب مختلفًا، أو غيّر تفاصيل في طلب، أو اعتمد على جلسة تسجيل دخول منحته وصولًا أوسع من المتوقع.
استخدام بيانات اعتماد مكشوفة: عثر الوكلاء على بيانات تسجيل دخول أو مفاتيح وصول متاحة للعامة واستخدموها للوصول إلى خدمة.
حقن الاستعلامات أو الأوامر: أدخل الوكلاء نصًا في موقع أو خدمة، فتعاملت معه الخدمة باعتباره تعليمة بدلًا من إدخال عادي. وقد يدفع ذلك الخدمة إلى تشغيل استعلام قاعدة بيانات أو شيفرة تطبيق أو أمر على خادمها.
الوصول إلى المكونات الداخلية لبيئة التشغيل: قرأ الوكلاء ملفات تحتوي على تفاصيل تنفيذ خدمة أو تفاعلوا مع نظام خلفي مخصص للاستخدام الداخلي. في هذه الحالات، وصل الوكيل إلى أجزاء من الخدمة تقع خارج نطاق الوصول المخصص له.
الرسائل المزعجة للوكلاء: ينشر الوكلاء معلومات على مواقع جهات خارجية قد تغيّر محتوى تلك المواقع وتستلزم تنظيفه، مثل استخدام صفحات ويكي عامة لوحات رسائل مشتركة.