OpenAI وHugging Face تتعاونان لمعالجة حادثة أمنية أثناء تقييم النماذج
الأسبوع الماضي، كشفت Hugging Face عن نوع جديد من الحوادث الأمنية(يفتح في نافذة جديدة) بعدما رصدت واحتوت وكيلًا للذكاء الاصطناعي اخترق بنيتها التحتية، وهو أمر نتوقع أن يصبح أكثر شيوعًا مع انتشار نماذج تزداد قدرة على العمليات السيبرانية. بعد التحقيق، نعلم الآن أن هذه الحادثة بالذات نتجت عن مزيج من نماذج OpenAI — بما فيها GPT‑5.6 Sol ونموذج ما قبل الإصدار أكثر قدرة — وقد خُفّضت فيها جميعًا استجابات الرفض المتعلقة بالأمن السيبراني لأغراض التقييم، أثناء اختبارها داخليًا على معيار قياس(يفتح في نافذة جديدة) للقدرات السيبرانية.
نعدّ هذه الحادثة حادثة سيبرانية غير مسبوقة تنطوي على قدرات سيبرانية على أحدث مستوى، ونتعامل معها وفقًا لذلك. نشارك في هذه المرحلة نتائج أولية لمساعدة المدافعين على فهم ما حدث، ولمساعدتهم على معايرة تصورهم لما أصبحت النماذج قادرة عليه الآن. سنواصل إجراء تحقيق شامل إلى جانب Hugging Face، وسنشارك مزيدًا من التفاصيل حول الثغرات والحادثة والنتائج عند اكتمال تحقيقنا.
وقعت هذه الحادثة أثناء تقييم داخلي يدفع النماذج إلى السعي لاستغلال متقدم عبر مسارات هجوم معقدة، بهدف قياس قدراتها السيبرانية. نقدّر القدرات السيبرانية القصوى بتشغيل هذا التقييم من دون مصنفات الإنتاج المستخدمة لمنع النماذج من متابعة نشاط سيبراني عالي المخاطر. تُشغّل معايير القياس لدينا في بيئة شديدة العزل، مع تقييد الوصول إلى الشبكة بحيث يقتصر على القدرة على تثبيت الحزم عبر برمجية خارجية مستضافة داخليًا تعمل كوسيط وذاكرة تخزين مؤقت لسجلات الحزم.
حددت النماذج ثغرات وربطتها عبر بيئة البحث في OpenAI وبنية Hugging Face الإنتاجية للحصول على حلول الاختبار مباشرة من قاعدة بيانات الإنتاج لدى Hugging Face. تشير كل الأدلة إلى أن النماذج كانت شديدة التركيز على إيجاد حل لـ ExploitGym، وبذلت جهودًا استثنائية لتحقيق هدف اختباري محدود نسبيًا.
أثناء عمل نماذجنا في بيئة الاختبار المعزولة لدينا، أنفقت قدرًا كبيرًا من حوسبة الاستدلال لإيجاد طريقة للحصول على وصول مفتوح إلى الإنترنت، سعيًا إلى حل مسألة التقييم. للحصول على الوصول، حددت النماذج واستغلت ثغرة يوم الصفر (أفصحنا عنها الآن بمسؤولية للمورّد) في وسيط التخزين المؤقت لسجل الحزم. وبهذا الوصول، نفذت نماذجنا سلسلة من إجراءات تصعيد الامتيازات والحركة الجانبية في بيئة الاختبار البحثية لدينا، إلى أن وصلت إلى عُقدة لديها وصول إلى الإنترنت.
بعد الحصول على وصول إلى الإنترنت، استنتجت النماذج أن Hugging Face قد تستضيف نماذج ومجموعات بيانات وحلولًا لـ ExploitGym. وبناءً على ذلك، بحث النموذج ونجح في العثور على طرق للوصول إلى معلومات سرية يمكنه استخدامها للغش في التقييم. في أحد الأمثلة، ربط النموذج عدة نواقل هجوم، بما في ذلك استخدام بيانات اعتماد مسروقة وثغرات يوم الصفر للعثور على مسار لتنفيذ التعليمات البرمجية عن بُعد على خوادم Hugging Face. اكتشف فريق الأمن في OpenAI هذا النشاط الشاذ داخليًا.
رصد فريق الأمن والوكلاء لدى Hugging Face النشاط وأوقفوه على بنيتهم التحتية، وكانوا قد بدأوا بالفعل الاحتواء وإعادة بناء تسلسل الأحداث لأغراض التحقيق الجنائي الرقمي باستخدام نماذجهم المفتوحة المصدر عندما تواصلت فرقنا. نعمل معهم بنشاط لمواصلة التحقيق في الحادثة. نحن ممتنون لتعاون Hugging Face السريع والوثيق في التحقيق والمعالجة.
- في إطار التحقيق، نطبق ضوابط صارمة على إعدادات البنية التحتية، ولو كان ذلك على حساب سرعة البحث، إلى حين تصحيح الثغرات. كما نطلع لجنة السلامة والأمن لدينا بانتظام على هذه الضوابط وتأثيرها.
- نعمل مع Hugging Face لإجراء تحقيق جنائي رقمي في الحادثة.
- أفصحنا بمسؤولية عن ثغرة يوم الصفر المحددة في برمجية خارجية مستضافة داخليًا، ونعمل معهم على تصحيحها.
- أدخلنا Hugging Face في برنامج الوصول الموثوق، وندعم فرقهم في استخدام قدرات نماذجنا بسرعة لتحسين دفاعاتهم.
- نحسن الحمايات المحيطة بالتدريب والتقييمات المستقبلية ونضيف حمايات أقوى. نشرنا هذا الأسبوع تدوينة حول تحسين السلامة والمواءمة في عصر النماذج ذات الأفق الزمني الطويل. لم تُفعّل وسائل حماية النشر هذه عمدًا أثناء هذا التقييم، لأنه كان يهدف إلى اختبار الثغرات السيبرانية. تشير هذه الحادثة إلى الحاجة إلى مزيد من تعزيز مواءمة نموذجنا، والحمايات السيبرانية أثناء التقييم، والمراقبة خلال الاختبارات الداخلية.
كما شاركنا مؤخرًا، يسرّع الذكاء الاصطناعي اكتشاف الثغرات واستغلالها. الدرس الأساسي من هذه الحادثة هو أن أمن النماذج وسلامتها يجب أن يواكبا القدرات التي تتقدم بسرعة. نعزز ممارسات الاحتواء والمراقبة وضوابط الوصول والتقييم المستخدمة أثناء تطوير النماذج.
يُظهر تقييم UK AISI أن نماذج مثل GPT‑5.6 Sol باتت أكثر قدرة على مواصلة عمليات سيبرانية معقدة ومتعددة الخطوات عبر آفاق زمنية طويلة. وتشير هذه الحادثة إلى أن هذه القدرات النظرية تنطبق فعلًا في بيئات العالم الحقيقي.
وتوضح الحادثة أيضًا أن النماذج المتقدمة قادرة على اكتشاف مسارات هجوم جديدة واستغلالها في أنظمة العالم الحقيقي من دون الوصول إلى الشفرة المصدرية. وتبرز أن القدرات السيبرانية المتقدمة يجب أن تُطوّر بالتوازي مع وسائل حماية وأدوات دفاعية أقوى.
نعتقد أن النماذج ذات القدرات السيبرانية المتقدمة يجب أن تساعد فرق الأمن على العثور على نقاط الضعف قبل المهاجمين، وفهم كيف يمكن ربط الثغرات معًا، ومعالجتها بسرعة الآلة. نستخدم هذه القدرات لمواصلة تعزيز الحمايات حول إعدادات البنية التحتية وبيئات تقييم النماذج؛ وسنشارك نتائجنا وأفضل الممارسات كلما تعلّمنا المزيد. نشجع المدافعين الآخرين على التقدم للحصول على وصول موثوق وتجربة هذه النماذج الآن لتحويل هذه القدرات إلى وقاية أفضل، وكشف أسرع، واستجابة أكثر فاعلية للحوادث.
«نحن ممتنون للتعاون مع OpenAI في هذا الموضوع وغيره. تثبت هذه الحادثة، التي قد تكون الأولى من نوعها، نقطة طالما آمنا بها: لن تُحل سلامة الذكاء الاصطناعي على يد شركة واحدة تعمل في السر. بل ستُحل علنًا وبالتعاون، مع إتاحة واسعة للذكاء الاصطناعي لكل مدافع، في كل مكان».
