Control Room
مع ازدياد قدرات نماذجنا وتنامي مخاطر السلامة والأمن المرتبطة بها، تزداد أهمية قدرتنا على اكتشاف المشكلات المحتملة وإيقاف النماذج بسرعة عند الحاجة. ولتلبية هذه الحاجة، طوّرنا Control Room.
Control Room نظام مركزي لتتبّع أعباء عمل النماذج عبر بنيتنا التحتية البحثية وإيقافها بسرعة عند ظهور مخاوف تتعلق بالسلامة أو الأمن. يربط النظام جميع أعباء عمل الاستدلال البحثية، بما فيها توليد العينات بواسطة الوكلاء لتدريب النماذج وتقييمها، ومعالجة البيانات، وغير ذلك. يعمل هذا النظام بالتكامل مع أنظمتنا لرصد عدم التوافق، ويوقف توليد مخرجات النموذج خلال 35 ثانية من اتخاذ قرار بالتدخل لإيقاف مهمة أو تعليقها. وقد صُمّم ليستمر في العمل حتى عند تعطّل أنظمة أخرى، وليوقف توليد مخرجات النموذج إذا تعطّل Control Room نفسه.
نُشر Control Room بالفعل عبر بنيتنا التحتية البحثية، حيث تشتد الحاجة إليه. أما منظومة تقديم نماذجنا للمستخدمين الخارجيين، فهي أكثر مركزية بطبيعتها أصلًا، ولديها قدرات تشغيلية متطورة تتيح سحب النماذج المنشورة من الخدمة بسرعة عند الحاجة.
يعمل Control Room من خلال التكامل بين بضعة أنظمة: عبء العمل، ومحرك الاستدلال، وخدمة Control Room المركزية.
عبء العمل هو المهمة الجاري تنفيذها، مثل تجربة للتعلم بالتعزيز، أو تقييم، أو مهمة لتوليد عينات بكميات كبيرة أو لمعالجة البيانات. نشترط ربط كل عبء عمل بحثي يجري استدلالًا باستخدام وكلاء بـملف إثبات سلامة معتمد.
محرك الاستدلال، أو المحرك اختصارًا، هو النموذج نفسه. يمكنك تصوّر المحرك بوصفه عقل النموذج، الذي يعمل مباشرةً على وحدات معالجة الرسومات. يستخدم عبء العمل عادةً نموذجًا واحدًا أو أكثر، وقد تعمل هذه النماذج على محرك استدلال واحد أو عدة محركات مختلفة. وقد يستخدم أكثر من عبء عمل محرك الاستدلال نفسه.
تتتبّع خدمة Control Room المهام وتتحكم في السماح لها بمواصلة توليد مخرجات النماذج. تتحقق المحركات من الإذن لدى خدمة Control Room قبل تنفيذ أي طلب. إذا كانت المهمة قد أُوقفت، ترفض الخدمة الطلب، فتمنع توليد أي مخرجات إضافية.
يُدمج Control Room على النحو التالي:
عند بدء مهمة جديدة، تطلب شيفرة عبء العمل معرّف job_id جديدًا من Control Room.
كلما احتاج عبء العمل إلى توليد رموز من نموذج بطريقة أخذ العينات، يرسل طلبًا إلى محرك استدلال يشغّل ذلك النموذج، ويمرّر معه job_id. يطلب المحرك إذنًا من Control Room لتنفيذ ذلك الطلب، ويمرّر job_id إلى Control Room.
يتحقق Control Room مما إذا كانت المهمة قد أُنهيت، ويرفض طلب الاستدلال إن كان الأمر كذلك. يردّ المحرك بالرفض على طلب الاستدلال الوارد من عبء العمل، فيمنع توليد أي مخرجات إضافية من النموذج لتلك المهمة.
كيف يعمل Control Room
مهمة بحثية
محرك الاستدلال
يشغّل النموذج على وحدات معالجة الرسومات
Control Room
- job_039، نشطة
- job_040، نشطة
- job_041، نشطة
تعمل جميع مهام التعلم بالتعزيز الخاصة بنماذجنا الرائدة تحت إشراف نموذج مراقب. المراقب هو نموذج آخر يفحص كل ما يفعله النموذج الجاري تدريبه، ويُصدر تنبيهًا إذا اكتشف مشكلة. على سبيل المثال، رصد أحد نماذج المراقبة الحادثة التي وقعت لدينا مؤخرًا وكانت مرتبطة بنظام أسماء النطاقات (DNS).(يفتح في نافذة جديدة)
يتكامل Control Room مع نظام المراقبة لدينا على النحو التالي:
إذا اكتشف نظام المراقبة مشكلة محتملة، فقد يقرر إيقاف المهمة بحسب تفاصيل المشكلة وشدتها.
في هذه الحالة، يرسل نظام المراقبة رسالة إلى Control Room لإيقاف المهمة، ويمرّر معها job_id. يسجّل Control Room أن المهمة قد أُنهيت.
في المرة التالية التي تُرسل فيها المهمة التي تحمل المعرّف المذكور (job_id) طلب استدلال للتوليد مزيد من الرموز بطريقة أخذ العينات من أي نموذج يعمل على أي محرك، سيُرفض الطلب، مما يمنع توليد أي مخرجات إضافية من النموذج.
المدة القصوى بين تلقّي Control Room أمرًا بإيقاف مهمة واللحظة التي يصبح فيها إحراز أي تقدّم إضافي مستحيلًا هي 35 ثانية. يعود هذا التأخير البالغ 35 ثانية إلى طبقة تخزين مؤقت لأذونات الاستدلال، تتيح استيعاب حجم الطلبات المطلوب. نعمل على تقليص هذه المدة إلى الصفر لنتمكن من إنهاء المهام فورًا.
عادةً ما يتولى باحثون أو فرق بحثية مسؤولية أعباء العمل وتشغيلها، بما يشمل التجارب ومهام التقييم وغيرها. لذلك، يكثر تعديل شيفرة أعباء العمل، وليست المكان الأمثل لتنفيذ آليات حماية أساسية تعتمد عليها السلامة. ولهذا صمّمنا النظام ليظل فعالًا حتى لو احتوت شيفرة أعباء العمل على أخطاء أو تعطّلت.
نحقق ذلك بتنفيذ آلية الإنهاء في طبقة الاستدلال. تتسم شيفرة أعباء العمل بتنوّع كبير ولا مركزية عالية. في المقابل، لا يُستخدم سوى عدد محدود جدًا من مسارات شيفرة الاستدلال في جميع أبحاث OpenAI، وتتسم عمليات نشرها بقدر أكبر بكثير من المركزية والتوحيد. وهذا يعني أن طبقة الاستدلال يمكن أن تؤدي دور نقطة مرور إلزامية، توفر لنا ضمانات قوية بأن جميع عمليات استدلال النماذج الجارية في الأبحاث تخضع لفحوص أذونات Control Room مع كل طلب استدلال. نجري أيضًا عمليات فحص مستمرة باستخدام وكلاء وأدوات برمجية، للتأكد من أن المستخدمين لا يشغّلون، عن طريق الخطأ أو بسوء نية، نسخًا غير خاضعة للرقابة من المحركات لم يُدمج فيها Control Room أو جرى تعطيله فيها.
وأخيرًا، يعمل نظامنا وفق مبدأ «المنع عند التعطّل». وهذا يعني أن تكامل Control Room مع المحركات مُهيّأ بحيث تُرفض جميع طلبات الاستدلال إذا توقفت خدمة Control Room، سواء بسبب خطأ في النظام أو تعطيلها لأي سبب آخر، بما في ذلك العبث من جهة خبيثة، إلى أن يستأنف Control Room عمله الطبيعي. طُبّق مبدأ المنع عند التعطّل الآن على جميع أعباء العمل البحثية الخاصة بالنماذج الرائدة، وسيكتمل تطبيقه على بقية أعباء العمل البحثية خلال الأيام القليلة المقبلة.
ليس Control Room سوى جزء من نهجنا الشامل لتدريب النماذج الرائدة ونشرها بأمان. سنواصل تعزيز النظام وتوسيع نطاقه خلال الأشهر المقبلة، إلى جانب استثماراتنا في رصد السلوك غير المتوافق مع الأهداف المقصودة والاختراقات الأمنية. إذا أردت المساعدة في بناء أنظمة تدعم تطوير الذكاء الاصطناعي العام (AGI) ونشره بما يراعي متطلبات السلامة والأمن، فلدينا فرص عمل!
