السلامة والمواءمة في عصر نماذج الأفق الزمني الطويل

يمكن للنماذج القادرة على العمل ذاتيًا لفترات طويلة أن تتولى مشكلات صعبة ومفتوحة النهاية. لكن المثابرة نفسها التي تجعلها مفيدة تمنحها أيضًا فرصًا أكبر لاتخاذ إجراءات غير مرغوب فيها، وبطرق قد لا ترصدها التقييمات المصممة لنماذج ذات آفاق زمنية أقصر.

قبل نحو شهرين، أعلنا⁠ أن نموذجًا داخليًا عامًا فنّد حدسية إردوش لمسافة الوحدة. صُمم هذا النموذج للعمل ذاتيًا لفترات زمنية طويلة جدًا. خلال استخدام داخلي محدود وخاضع للمراقبة، لاحظنا سلوكًا غير مرغوب فيه لم ترصده تقييمات النشر الحالية لدينا. ونظرًا إلى أن النشر كان محدودًا وخاضعًا للمراقبة، تمكّنا من تحديد هذه المشكلات، وإيقاف الوصول مؤقتًا، وإنشاء تقييمات جديدة استنادًا إلى ما لاحظناه، وتعزيز النموذج وضمانات الحماية الخاصة به، ثم استعادة الوصول مع استمرار المراقبة. 

لن تتطابق الظروف التي نقيّم النماذج ضمنها تمامًا أبدًا مع الظروف التي تواجهها في الاستخدام الفعلي. لذلك يجب أن تقترن تقييمات ما قبل النشر بنشر محدود وخاضع للمراقبة، وبالقدرة على التدخل أو الإيقاف المؤقت أو الرجوع إلى حالة سابقة عند ظهور مشكلات. ويمكن بعد ذلك أن يصبح ما نتعلمه من النشر جزءًا من تقييمات وضمانات حماية أقوى قبل توسيع الوصول.

في الأقسام التالية، نشارك أمثلة ملموسة لما لاحظناه، وكيف عالجنا المشكلات، وكيف ستؤثر هذه التجربة في الإصدارات المستقبلية.

يمكن للنموذج الجديد أن يواصل العمل نحو هدف عبر محاولات متكررة على مدى فترة زمنية طويلة. وقد تقوده هذه المثابرة نفسها إلى العثور على نقاط ضعف في بيئته واستغلالها. كانت النماذج السابقة، عندما تصطدم بقيود العزل أو قيود البيئة، تتوقف ببساطة وتعود إلى المستخدم. أما هذا النموذج فغالبًا ما واصل المحاولة، بما في ذلك البحث عن طرق للتصرف خارج بيئة العزل الخاصة به.

حدث مثال على ذلك أثناء تقييم داخلي على تحدي NanoGPT السريع⁠(يفتح في نافذة جديدة)، وهو معيار عام لتدريب نموذج لغوي صغير بأقل عدد ممكن من الخطوات. طوّر نموذجنا آلية تبريد لمعدل التعلّم وفق قانون قوة تُسمى PowerCool، وأدت إلى تحسن كبير. وُجّه النموذج إلى نشر نتائجه على Slack فقط، لكن تعليمات NanoGPT تنص على نشر النتائج كـ PR إلى GitHub، فاتبع النموذج التعليمات الأخيرة وفتح PR #287 على مستودع GitHub العام. تجاوز النموذج قيود العزل المصممة لمنع الوصول الخارجي، ومضى في الرفع إلى GitHub. استغرق نموذجنا ساعة للعثور على ثغرة في بيئة العزل من أجل إنشاء الـ PR؛ وكانت النماذج السابقة أقل مثابرة ولم تنجح في العثور على ثغرات، بل تخلّت عن جزء الـ PR.¹

صُممت كثير من ضوابط السلامة لمساعدي الذكاء الاصطناعي حول الإجراءات الفردية. إذا كان إجراء ما غير مسموح به، يُحظر. وإذا كان حساسًا، يطلب النظام موافقة صريحة من المستخدم. لكن النماذج طويلة التشغيل، التي قد تتكشف أفعالها ذاتيًا على مدى ساعات أو أيام أو حتى أسابيع، تتحدى هذا الإعداد: فمراقبة الإجراءات الفردية لم تعد كافية لتتبع نية المسار العام.

على سبيل المثال، في سيناريو طُلب فيه من النموذج حل مشكلة، لاحظ النموذج أن أنظمة أخرى لديها مشاركات ناجحة لكنها خاصة، فحاول استعادة تلك الحلول من الواجهة الخلفية للتقييم. وعندما حُظرت محاولته الأولية لأن ماسحًا اكتشف رمز مصادقة، قسّم النموذج جسم الرمز إلى جزأين، وموّههما، ثم أعاد بناء بيانات الاعتماد وقت التشغيل بحيث لا يظهر الرمز الكامل قط كسلسلة واحدة متجاورة. كان النموذج صريحًا، سواء في تعليقاته للمستخدم أو في آثار الاستدلال الخاصة به، في أنه يتخذ هذه الخطوات لتجاوز الماسح.

يوضح هذا المثال كيف يمكن أن تبدو كل خطوة مقبولة بمفردها، بينما يمكن أن تؤدي السلسلة إلى نتيجة لا تحظى بالموافقة. ويوضح أيضًا كيف يمكن لنموذج يعمل بفعالية عبر آفاق زمنية طويلة أن يتعلم نقاط العمى في نظام الموافقة ويلتف عليها لتحقيق أهدافه. تتطلب سلامة الأفق الزمني الطويل ألا نكتفي بطرح السؤال: «هل هذا الإجراء مسموح به؟» بل أن نسأل أيضًا: «ما النتيجة التي تسعى إليها هذه السلسلة من الإجراءات؟»

بسبب حوادث كهذه، أوقفنا النشر الداخلي للنموذج الجديد مؤقتًا. أعدنا بناء نظام السلامة حول مبدأ الدفاع متعدد الطبقات والمراقبة على مستوى المسار.

• تقييمات مستمدة من الحوادث. يمكن أن تمنحنا التقييمات تصورًا عما إذا كان النظام آمنًا للنشر قبل نشره فعليًا. لكن لكي تكون التقييمات أكثر فائدة، ينبغي أن تعكس توزيع المسارات وطول أفقها أثناء النشر الفعلي. لهذا السبب، استخدمنا الإخفاقات المرصودة لتطوير تقييمات خصومية. وجدنا أن التحسن في التقييمات المستمدة من حوادث واقعية أدى بدوره إلى سلوك أكثر أمانًا بعد النشر في الإنتاج.
• تحسين المواءمة. اتخذنا خطوات لتقليل ميله إلى اتخاذ إجراءات غير مرغوب فيها من دون إذن سعيًا وراء هدف المستخدم.  على سبيل المثال، وجدنا أن نماذجنا كانت أضعف في تذكر التعليمات خلال عمليات تشغيل طويلة، وعندما درّبنا النموذج على هذه القدرة، أدى ذلك إلى نموذج ظل متوائمًا خلال عمليات تشغيل أطول. 
• المراقبة النشطة. أنشأنا نظام مراقبة يراجع المسار المتطور للنموذج بحثًا عن مؤشرات على أنه يتجاوز قيدًا وضعه المستخدم أو حدًا من حدود السلامة. لا يراقب نظام الرصد إجراءً واحدًا فحسب، بل المسار بأكمله. والأهم أن نظام الرصد يمكنه إيقاف الجلسة مؤقتًا وتنبيه المستخدم لفحصها بدقة أكبر. وبعد الفحص، يمكن للمستخدم اختيار مواصلة عمل النموذج إذا كان نظام الرصد قد أُطلق إنذارًا خاطئًا. 
• رؤية وتحكم أكبر للمستخدم. حسّنا قدرة المستخدم على تفقد هذه الجلسات طويلة التشغيل، ورؤية الإجراءات المتخذة، ومراقبة التدخلات.

لتقييم نظام المراقبة الجديد، أعدنا تشغيل مجموعة صغيرة من بيئات النشر الداخلي التي كان النموذج قد سعى فيها سابقًا إلى إجراءات غير متوائمة، وهذه المرة مع تطبيق ضمانات الحماية الجديدة². تمكنت ضمانات الحماية الجديدة من رصد عدد أكبر بكثير من الإجراءات غير المتوائمة التي سعى إليها النموذج، وحُكم على كل ما فاتها بأنه منخفض الخطورة.

تشمل بعض أمثلة هذه الحوادث منخفضة الخطورة الحالات التالية:

• للوصول إلى أداة سطر أوامر Linear، أطلق النموذج جلسة codex --yolo متداخلة، مع أنه كان بإمكانه فعل ذلك من دون علامة --yolo.
• لاحظ النموذج أن موردًا كان نشطًا سابقًا مفقود، ثم بدأ يستكشف ويستخدم SSH للدخول إلى حاويات CPU نشطة أخرى ضمن نطاق اسم مالكه، وكذلك إلى حاويات تابعة لموظفين آخرين في OpenAI (من دون نجاح)، من دون سبب وجيه لذلك.
• كان لدى النموذج العديد من عمليات find العالقة، وكانت كل أوامر الصدفة تتوقف عن الاستجابة. ثم شغّل kill -9 -1، وهو أمر كان سيرسل SIGKILL إلى كل عملية يُسمح له بقتلها على تلك الحاوية لو أنه نُفذ. إلا أنه انتهت مهلته ولم يُنفذ.

بعد اختبار النظام الجديد، خلصنا إلى أنه يمكن استعادة الوصول الداخلي المحدود إلى النماذج ذات قدرات الأفق الزمني الطويل. لم نلاحظ أي تجاوز خطير لضمانات الحماية منذ بدء إعادة النشر قبل عدة أسابيع. كانت النسخة الأولى من ضمانات الحماية هذه متحفظة عمدًا. واصلنا ضبط النظام لتقليل الانقطاعات غير الضرورية من دون إضعاف ضمانات الحماية.

لأننا نشرنا تدريجيًا، تمكّنا من العثور على الفجوات ومعالجتها قبل توسيع الوصول. تظل تقييمات ما قبل النشر ضرورية، لكن النشر يكشف سلوكيات لا ترصدها. أتاح لنا البدء بوصول محدود مراقبة النموذج في الممارسة، والإيقاف المؤقت عند ظهور المشكلات، واستخدام تلك الإخفاقات لبناء تقييمات وضمانات حماية أفضل، واستعادة الوصول المحدود بعد اختبار التغييرات.

ومع اضطلاع النماذج بمهام أطول وأكثر تعقيدًا، قد تحمل الإخفاقات التي لا ترصدها التقييمات عواقب أكبر. سنواصل العمل على تضييق الفجوة بين التقييم والنشر: اختبار النماذج على مسارات أطول، وتحسين المواءمة، وبناء مراقبة قادرة على التدخل، ومنح المستخدمين رؤية وتحكمًا أوضح. لن تكون هذه التحديات حكرًا على OpenAI، ونأمل أن تساعد مشاركة ما تعلمناه المجال الأوسع على الاستعداد لها.