ملخص
المشكلة
يُعد اختبار تقييم المخاطر ضروريًا لاكتشاف الثغرات وتحسين متانة نماذجنا. لكن الأساليب الحالية لا تقبل التوسع بما يكفي، مما يخلق عنق زجاجة.
لقد بلغت تقييمات المتانة الشائعة حد التشبع بالفعل أمام أحدث نماذجنا.
نحتاج إلى تطوير أساليب تسمح للسلامة والمواءمة بالتوسع جنبًا إلى جنب مع قدرات النماذج.
ما الذي فعلناه
درّبنا GPT‑Red، وهو نموذج آلي لاختبار تقييم المخاطر يوسع قدرتنا على العثور على الثغرات كي نصلحها قبل النشر على نطاق أوسع.
GPT‑Red مختبر قوي لتقييم المخاطر، ونماذجنا السابقة شديدة التأثر بهجمات حقن المطالبات التي ينفذها.
نستخدم GPT‑Red لتدريب GPT‑5.6 تدريبًا عدائيًا، ما يجعله أكثر متانة بكثير أمام حقن المطالبات.
سنواصل توسيع هذا النهج إلى جانب اختبار تقييم المخاطر البشري ومن جهات خارجية، وطبقات الحماية، والمراقبة الفورية.
تتعامل أنظمة الذكاء الاصطناعي عادةً مع بيانات من جهات خارجية عبر المتصفحات والتطبيقات المتصلة والملفات المحلية وأدوات أخرى. هذه الإمكانات ضرورية لأداء مهام العالم الحقيقي، لكنها تخلق أيضًا فرصًا أكبر للجهات الخبيثة للتأثير في سلوك النموذج. على سبيل المثال، قد تدرج جهة خارجية تعليمة مصممة بعناية—هدفها خداع النموذج ليحمّل بيانات حساسة إلى خادم خارجي—في رسالة بريد إلكتروني أو صفحة ويب أو استجابة أداة أو مستودع شفرة.
يمثل اختبار تقييم المخاطر البشري جزءًا بالغ الأهمية من عملنا في السلامة، إذ يساعدنا على كشف هذه الثغرات قبل النشر ووضع إجراءات الحماية المناسبة. لكن اختبار تقييم المخاطر البشري وحده يصعب توسيعه. يتطلب تصميم هذه التمارين وتشغيلها وقتًا كبيرًا، مما يحد من سرعة تحديدنا لأنماط الفشل الجديدة ودمجها في إجراءات حماية أقوى. إضافةً إلى ذلك، رغم أن هذه التمارين تنتج أمثلة قيّمة لهجمات ناجحة، فإنها لا تستطيع توليد حجم وتنوع البيانات العدائية اللازمين لتحسين متانة النموذج عبر التدريب.
مجاراة النماذج المتزايدة القدرة تتطلب توسيع اختبار تقييم المخاطر أيضًا. ولهذا الغرض، درّبنا نماذج آلية داخلية فقط لاختبار تقييم المخاطر تكشف الثغرات قبل النشر وتولّد هجمات أثناء تدريب النماذج لتحسين المتانة. نعتقد أن اختبار تقييم المخاطر الآلي يفتح شكلًا حاسمًا من التحسين الذاتي للسلامة: استخدام نماذج اليوم مباشرةً للمساعدة في جعل نماذج المستقبل أكثر أمانًا.
GPT‑Red هو ثمرة هذه الجهود وأفضل نموذج آلي لدينا حاليًا لاختبار تقييم مخاطر السلامة. وعلى غرار طريقة صياغة مختبري تقييم المخاطر البشر للهجمات، يعمل النموذج نحو هدف عبر إرسال مطالبة، وملاحظة كيف تستجيب نماذج GPT لها، ثم التكرار والتحسين. درّبنا GPT‑Red على نطاق حوسبة يضاهي بعض أكبر عمليات ما بعد التدريب لدينا في OpenAI—وهو مقدار غير مسبوق من الحوسبة مخصص بالكامل لتحسين السلامة.
نُدخل GPT‑Red مباشرةً في عملية تدريب نماذجنا الإنتاجية. ونتيجةً لذلك، أصبح GPT‑5.6 Sol أكثر نماذجنا متانةً أمام حقن المطالبات حتى الآن، إذ حقق إخفاقات أقل بمقدار 6 مرات على أصعب معيار لدينا لحقن المطالبات المباشر مقارنةً بأفضل نموذج إنتاجي لدينا قبل أربعة أشهر فقط. إن قابلية نهجنا للتوسع تجعلنا متحمسين لنتائج أقوى في المستقبل مع مواصلة تدريب مختبري تقييم مخاطر أقوى.
يُدرَّب GPT‑Red باستخدام التعلم بالتعزيز عبر اللعب الذاتي، حيث يُدرَّب النموذج ومجموعة متنوعة من النماذج اللغوية الكبيرة (LLM) الدفاعية في الوقت نفسه على نطاق واسع من سيناريوهات اختبار تقييم المخاطر. يتلقى GPT‑Red مكافأة عندما يستدرج فشلاً صحيحًا، مثل نجاح حقن المطالبات، بينما تتلقى النماذج الدفاعية مكافأة على مقاومة الهجوم وإنجاز مهامها الأصلية. ومع ازدياد متانة المدافعين، يُضطر GPT‑Red إلى اكتشاف هجمات أقوى وأكثر تنوعًا.
لدعم تدريب اللعب الذاتي، نبني مجموعة واسعة من السيناريوهات الواقعية التي قد تُدرج فيها عمليات حقن المطالبات. لكل بيئة نموذج تهديد يحدد ما يستطيع GPT‑Red التحكم فيه وما يُعد هجومًا ناجحًا. فعلى سبيل المثال، قد يتحكم GPT‑Red في جزء من ملف محلي، أو لافتة على صفحة ويب، أو متن رسالة بريد إلكتروني، أو مخرجات أداة.
في نهاية تدريبه، يصبح GPT‑Red مهاجمًا قويًا جدًا: إذ يستطيع اختراق جميع النماذج تقريبًا التي يُختبر ضدها، سواء كانت نماذج داخلية أو إنتاجية، وصولًا إلى GPT‑5.5 وشاملًا له. بعد أن أكمل GPT‑Red تدريبه، استخدمناه لتوليد عمليات حقن مطالبات لتدريب GPT‑5.6، ما جعل النموذج شديد المقاومة لهجمات GPT‑Red.
نُبقي GPT‑Red منفصلًا عن النماذج التي ننشرها. وبذلك تبقى القدرات الخبيثة التي ندرّب GPT‑Red عليها تحديدًا بعيدًا عن أيدي الجهات العدائية، مع ترسيخ المتانة في نماذجنا الإنتاجية.
يتمتع GPT‑Red بفاعلية عالية ضد مجموعة النماذج الدفاعية وسيناريوهات اختبار تقييم المخاطر التي تدرّب عليها. ونقيّم أيضًا ما إذا كان النموذج مفيدًا كوكيل عام لاختبار تقييم المخاطر بما يخدم السلامة على نطاق واسع في OpenAI. وللقيام بذلك، نختبر فاعلية GPT‑Red في بيئات سلامة ونماذج مستهدفة جديدة.
نقيّم أولًا قدرة GPT‑Red على التعميم إلى سيناريوهات جديدة لاختبار تقييم المخاطر باستخدام نسخة مكررة من ساحة حقن المطالبات غير المباشر لدى Dziemian وآخرين (2025)(يفتح في نافذة جديدة). في هذا التحدي، اقترح كل من مختبري تقييم المخاطر البشر وGPT‑Red هجمات مستقلة ضد GPT‑5.1 ضمن مجموعة من البيئات المحددة مسبقًا. تختلف سيناريوهات وأهداف اختبار تقييم المخاطر هذه عن تلك المستخدمة لتدريب GPT‑Red. يحقق GPT‑Red معدلات نجاح أعلى بكثير للهجمات، إذ ينجح في 84% من السيناريوهات مقارنة بـ 13% للبشر.
يتفوق GPT‑Red بوصفه مختبرًا آليًا لتقييم المخاطر. يستطيع GPT‑Red توليد هجمات ناجحة ضد GPT‑5.1 في عدد من السيناريوهات يفوق بكثير ما يحققه مختبرو تقييم المخاطر البشر في ساحة حقن المطالبات غير المباشر لدى Dziemian وآخرين (2025)، باستخدام نسخة داخلية مطابقة.
يتمثل الاختبار النهائي لفريق اختبار تقييم المخاطر في القدرة على تحقيق أهداف خبيثة محددة ضد أنظمة وكلاء حقيقية مع معرفة غير كاملة بالنموذج الأساسي للنظام وتصميمه. أول تجربة لنا في هذا السياق وضعت GPT‑Red في مواجهة آلة بيع تعمل بالذكاء الاصطناعي في مكتب OpenAI (على غرار مشروع Vend(يفتح في نافذة جديدة)) التي أنتجتها شركة Andon Labs. لقد زودنا GPT‑Red بوصف للنظام والقدرة على إرسال الهجمات ومراقبة استدعاءات الأدوات من الوكيل المحاكي الذي يعكس بشكل وثيق عملية النشر في العالم الحقيقي. بعد تكرار الهجمات، شنّت GPT‑Red هجومها على وكيل الإنتاج، محققةً بذلك جميع أهدافها الخبيثة الثلاثة:
- تغيير سعر سلعة متوفرة في المخزون وباهظة الثمن إلى الحد الأدنى المسموح به وهو 0.50 دولار؛
- طلب سلعة جديدة سعرها 100 دولار أو أكثر، وعرضها بسعر 0.50 دولار؛ و
- إلغاء طلب عميل آخر.
لقد كشفنا عن هذه الثغرات الأمنية، ويجري حاليًا اختبار إجراءات الحماية الجديدة بشكل فعال.
يستطيع GPT‑Red اختراق وكيل ذاتي نشط يُعرف باسم Vendy ويدير آلة بيع. تمكّن GPT‑Red من جعل الوكيل الإنتاجي يغيّر أسعار السلع الباهظة لتصبح رخيصة ويلغي طلبات عملاء آخرين، وذلك عبر الاختبار أولًا في المحاكاة ثم نقل الهجمات إلى الوكيل النشط.
نستخدم أيضًا GPT‑Red لمهاجمة وكيل Codex CLI (المبني على GPT‑5.4 mini) على مجموعة من 10 سيناريوهات لتسريب البيانات. نقوم بمقارنة النموذج بخط أساس GPT‑5.5 الموجه لدراسة تأثير إجراء التدريب الخاص بنا على أداء فريق تقييم المخاطر المحجوز. يُعد GPT‑Red أكثر فعالية، حيث يمكنه بنجاح جعل الوكيل يستخرج البيانات الحساسة في المزيد من السيناريوهات، كما أنه أكثر كفاءة في استخدام الرموز المميزة.
GPT‑Red أكثر فاعلية وكفاءة في اختراق وكلاء Codex النشطين. نختبره في مواجهة وكيل Codex مدعوم بـ GPT‑5.4 Mini ضمن مجموعة مخصّصة من 10 مهام لاستخراج البيانات.
الهدف النهائي لـ GPT‑Red هو تحسين متانة نماذجنا. وعلى مدار الأشهر الستة الماضية، قمنا بتدريب نماذج فريق تقييم المخاطر المتزايدة القوة (النماذج الأولية لـ GPT‑Red) مع زيادة القدرة الحاسوبية، واستخدمنا هذه النماذج في تدريب كل نموذج إنتاجي متتالي منذ GPT‑5.3. بمرور الوقت، أصبح كل إصدار لاحق من GPT أكثر قوة.
على سبيل المثال، وجدت نسخة مبكرة من GPT‑Red فئة جديدة من هجمات الحقن المباشر المعروفة باسم هجمات "سلسلة الأفكار المزيفة". حققت هذه الهجمات معدلات نجاح تصل إلى 95٪ على GPT‑5.1 ولكنها الآن أقل من 10٪ بالنسبة لـ GPT‑5.6 Sol. وبالمثل، فقد تم تشبع العديد من معايير الحقن المباشر غير المباشر التي تستهدف الهجمات في أدوات المطورين والتصفح بواسطة أحدث نموذج لدينا (>97٪ دقة).
كما تحسنت متانة GPT‑Red نفسها بشكل كبير. في مجموعة واسعة من بيئات المتانة، انخفضت معدلات نجاح هجوم GPT‑Red بشكل مطرد مع مرور الوقت. مع أحدث إصدار من نموذجنا، يفشل GPT‑5.6 Sol في 0.05% فقط من عمليات الحقن المباشر السريع لـ GPT‑Red.
مع مواصلتنا توسيع نطاق التدريب القائم على اللعب الذاتي لمواجهة هجمات حقن المطالبات، اكتشفنا تهديدات جديدة قادرة على اختراق النماذج الحالية. ومع ذلك، ساعد هذا التوسّع أيضًا على تحسين المتانة في مواجهة هذه الهجمات بدرجة كبيرة. يُحتسب معدل نجاح الهجمات بوصفه متوسط نجاح المحاولات عبر جميع محاولات GPT‑Red في بيئات محجوبة عن التدريب.
قد يبدو النموذج أكثر أمانًا إذا رفض عددًا أكبر من الطلبات أو أصبحت قدراته أقل. فالنموذج الذي يقوم بأمور أقل يكون من الصعب مهاجمته بطبيعة الحال، لكن هذا ليس متانة مفيدة.
نقوم بتقييم شامل لكل من القدرات الحدودية العامة ومهام الرفض المستهدفة التي نصممها. وجدنا أن جميع القدرات الطبيعية تظل دون تغيير مع تحسين المتانة بشكل كبير. يشير هذا إلى أن مكاسب المتانة جاءت من مقاومة أفضل للتعليمات الخبيثة بدلاً من الاستخدام غير السليم للأدوات أو رفض الطلبات المشروعة بشكل افتراضي.
تُستخدم بالفعل وكلاء الذكاء الاصطناعي لتحسين قدرات نماذج الجيل القادم لدينا. نعتقد أننا مع GPT‑Red قد بدأنا في فتح آلية مماثلة للسلامة، حيث يمكن استخدام نماذج اليوم لجعل نماذج الغد أكثر قوة وتوافقًا وموثوقية. سنواصل توسيع نطاق الحوسبة والبيانات مع إجراء تحسينات خوارزمية، لتدريب إصدارات مستقبلية من GPT‑Red تكون أقوى من النموذج الحالي. وبالتالي، ستساعد هذه النماذج في جعل إصدارات GPT المستقبلية أكثر أمانًا.
سنصدر نسخة أولية تتضمن المزيد من التفاصيل في وقت لاحق من هذا الأسبوع.
