خلال الأسابيع القليلة الماضية، أبرز تطوران المخاطر المتزايدة المرتبطة بأنظمة الذكاء الاصطناعي الآخذة في التطور: حادثة OpenAI وHugging Face، وكذلك أدلة أولية، على نحو منفصل، تشير إلى أن Astra، أحد نماذجنا المرتقبة، قد يبلغ عتبة القدرة الحرجة في الأمن السيبراني بموجب إطار الجاهزية لدينا. أضفى هذان التطوران، إلى جانب التقدم السريع في أبحاثنا الداخلية، طابعًا أكثر إلحاحًا على عملنا لتعزيز ضمانات المراقبة والمواءمة والاحتواء في جميع مراحل عملية التدريب.
كلما ازدادت قدرات النماذج، ازدادت أيضًا المخاطر المرتبطة بتطويرها واختبارها داخليًا. يجب أن تظل معاييرنا للمراقبة والمواءمة والأمن متقدمة على تلك المخاطر. أردنا تخصيص الوقت اللازم للوفاء بهذه المعايير، لذا أبطأنا وتيرة التوسع مؤقتًا. وشمل ذلك تعليق تدريب التعلم بالتعزيز (RL) لمدة أسبوعين على أحدث نماذجنا المخصصة للنشر، بينما واصلنا تحصين بيئاتنا البحثية واختبارها هجوميًا، ووسّعنا نطاق تغطية أنظمة المراقبة لدينا. لا تزال أكبر عملية تدريب مخططة لدينا بالتعلم بالتعزيز لنموذج رائد معلّقة، بينما نجري تدريبات وتقييمات على نطاق أصغر لتقييم سلوك النموذج، والتحقق من ضماناتنا، وجمع مزيد من الأدلة على المواءمة قبل المتابعة.
لطالما كانت المواءمة—أي العمل على ضمان تصرف أنظمة الذكاء الاصطناعي على النحو المقصود واستجابتها للإشراف البشري—في صميم برنامجنا البحثي. نحن الآن نشترط أدلة أقوى على السلوك المتوافق في جميع مراحل التدريب، استنادًا إلى الأبحاث والتقييمات الجارية بالفعل. يمثل الحفاظ على مواءمة الأنظمة الآخذة في التطور تحديًا يتعين على المجال بأكمله التصدي له. توضح المؤشرات التي نرصدها بشأن تطور النماذج المرتقبة أننا بحاجة إلى نهج أوسع، يستند إلى إطار الجاهزية الحالي ويتجاوزه.
نرى أن من المهم التحلي بالشفافية بشأن كيفية تغير نهجنا. نوضح أدناه التغييرات التي أجريناها بالفعل على عملياتنا البحثية وبنيتنا التحتية، والعمل الذي لا يزال جاريًا.
يستند نهجنا في تطوير نماذج أكثر قدرة إلى ثلاث ضمانات يعزز بعضها بعضًا:
- المراقبة، التي تكشف السلوك المثير للقلق وتمكّننا من الاستجابة له.
- المواءمة، التي تقلل احتمالية اتخاذ إجراءات ضارة أو غير مصرّح بها.
- التدابير الأمنية، التي تحد مما يمكن لأنظمة الذكاء الاصطناعي الوصول إليه أو التأثير فيه.
نتوقع أن تتولى النماذج قريبًا معظم الأعمال الأمنية، بما فيها الدفاع ضد نماذج أخرى. وسيتيح ذلك توسيع نطاق الضمانات الثلاث بما يتناسب مع قدرات النموذج، وهو ما نراه بالغ الأهمية.
نطبق هذه الضمانات في مرحلتي البحث والنشر، ونكيّفها وفق قدرات كل نموذج وبيئة تشغيله ومستوى مخاطره.
مع اكتساب النماذج الرائدة قدرات أقوى في الأمن السيبراني، نرفع المعايير الأمنية للبيئات التي ندرّبها ونقيّمها فيها. تطلب الوفاء بهذه المعايير أعمالًا هندسية كبيرة، وفرض تكاليف باهظة وتأخيرات على أبحاث النماذج الرائدة. فور وقوع حادثة OpenAI وHugging Face*، أوقفنا استدلال النماذج الرائدة في مجموعات الحوسبة البحثية للعمليات التي يمكنها تنفيذ تعليمات برمجية أو استخدام أدوات تستطيع الوصول إلى الإنترنت. أعدنا سريعًا نسبيًا مسارًا أكثر تقييدًا وأمانًا لتنفيذ التعليمات البرمجية، ثم راجعنا كل عبء عمل على حدة لتحديد ما إذا كان يمكن استئنافه بأمان. استؤنفت بعض أعباء العمل البحثية في ظل هذه الضوابط الجديدة، بينما تطلب بعضها الآخر تغييرات إضافية.
خلال الأسابيع التالية، حددنا متطلبات أمنية أكثر صرامة لأعباء عمل أبحاث النماذج الرائدة وبدأنا تنفيذها. على سبيل المثال:
- عزل أعباء العمل: نشترط الآن عزلًا أقوى («بيئات معزولة») لأعباء العمل التي تنفذ تعليمات برمجية أنشأها نموذج أو تعليمات غير موثوقة بأي شكل آخر. وينطبق ذلك أيضًا على البرمجيات التي قد تتعرض للاختراق أثناء معالجة مخرجات النموذج.
- عزل الشبكات: طبقنا مزيدًا من الضوابط لعزل أعباء العمل الأعلى خطورة وغير الموثوقة عن الإنترنت. صممنا هذه الضوابط بحيث لا يؤدي اختراق واحد لعبء عمل أو خدمة داعمة، بمفرده، إلى إتاحة وصول غير مصرّح به إلى الإنترنت أو الشبكات الداخلية الأخرى.
- الاختبارات الأمنية المستمرة: أعدنا تهيئة بيئتنا لإزالة الخدمات المشتركة التي يُحتمل أن تكون عرضة للثغرات، وتقليل الامتيازات الدائمة، وتحسين حدود الأمن والثقة. نعمل أيضًا على تحسين قدرتنا على جمع السجلات الأمنية ومراقبتها. وأخيرًا، نستثمر في الأتمتة باستخدام نماذجنا لاختبار هذه الحدود باستمرار في مواجهة هجمات محاكاة.
توفر هذه الضوابط مجتمعة دفاعًا متعدد الطبقات، وتساعد في حماية بيئتنا البحثية من الهجمات. نشترط حاليًا أشد مستويات الضمانات الأمنية لأعباء العمل المتعلقة بـAstra أو النماذج السيبرانية، إذ خلصنا إلى أن نماذج Astra قد تمتلك مستوى حرجًا من القدرات السيبرانية. تنطبق هذه الضمانات أيضًا على جميع أعباء العمل الأخرى ذات الصلة بالمجال السيبراني.
رغم أن بعض عمليات تدريب Astra وتقييمه تفي بهذه المتطلبات، لا يزال عدد كبير من أعباء العمل معلّقًا حتى يكتمل نقلها وتحسينها لتلبية المعيار الأمني الجديد. نعطي الأولوية لنقل أعباء عمل السلامة والمواءمة إلى هذه البيئات الجديدة أولًا.
لطالما كانت المراقبة جزءًا مهمًا من عملية تطوير نماذجنا، بما في ذلك مراقبة وكلاء البرمجة الداخليين والجلسات طويلة الأمد. ركزت جهود المراقبة لدينا بصفة خاصة على عمليات النشر الداخلية للنماذج الرائدة وعمليات تدريبها بالتعلم بالتعزيز، التي اعتبرناها أعباء العمل الأعلى خطورة لأنها قد تجمع بين قدرات النماذج المتقدمة والوصول إلى الأدوات والأنظمة الحساسة والشبكات الداخلية أو الخارجية. ولم تُطبّق على جميع عمليات الاستدلال والتدريب التي تستخدم الأدوات. راجعنا نهجنا ووسّعناه من خلال منظومة المراقبة الجديدة.
تعمل منظومة المراقبة الجديدة على مراحل متعددة، بدءًا من مصنّفات التنشيط (كواشف تفحص النشاط الداخلي للنموذج) التي تعمل عند كل رمز مأخوذ كعينة، ثم تصعّد المخاوف المحتملة إلى أنظمة تحقيق آلية متزايدة التطور وكثيفة الحوسبة. تفحص هذه الأنظمة إجراءات الأدوات، والاستدلال المتاح، والتسلسل الكامل للأنشطة بحثًا عن الوصول غير المصرّح به، وسرقة البيانات، والسلوك التخريبي، ومحاولات تجاوز الضمانات. نهدف إلى إصدار تنبيه خلال 30 دقيقة من رصد نشاط مثير للقلق عبر نظام المراقبة لدينا. إذا رصد نظام المراقبة انتهاكًا محتملًا لحد أمني حرج، فإنه يصدر تنبيهًا بأعلى أولوية. في تطبيقنا الحالي، تتلقى فرق السلامة والأمن والبحث إشعارات استدعاء فورية. إذا لم تتمكن هذه الفرق خلال 30 دقيقة من التأكد بشكل قاطع من أن الإشارة إنذار كاذب، فيُتوقع منها تعليق النشاط.
هذه المراقبة إلزامية لجميع عمليات التدريب والتقييم بالتعلم بالتعزيز التي تتضمن أدوات لنماذج بقدرات Sol أو أعلى. بعد أن خلصنا في 7 أغسطس إلى أن Astra قد يمتلك قدرات سيبرانية حرجة، أضفنا متطلب مراقبة إضافيًا لجميع عمليات استدلال Astra باستخدام الأدوات، وليس فقط التدريب والتقييم بالتعلم بالتعزيز.
تتطلب هذه الضمانات قدرًا كبيرًا من الحوسبة. تشير تقديراتنا الحالية إلى أن النفقات الحوسبية الإضافية للمراقبة تبلغ نحو 20% من حوسبة الاستدلال الخاضعة للمراقبة، مع تفاوت التكلفة بدرجة كبيرة بين أعباء عمل التدريب والتقييم. سنشارك مزيدًا من التفاصيل حول هذا النظام في تدوينة مرتقبة.
تحتل أبحاث المواءمة مكانة محورية في رسالتنا. تتمثل رسالتنا في ضمان أن يعود الذكاء الاصطناعي العام بالنفع على البشرية جمعاء. مع اكتساب النماذج قدرات متقدمة، مثل القدرة على شن هجمات سيبرانية، وعملها في بيئات أكثر تعقيدًا، ستنشأ مخاطر متزايدة الخطورة عن السلوكيات غير المتوافقة، مثل التحايل على آلية المكافآت (إيجاد طرق للحصول على مكافآت عالية أثناء التدريب من دون تحقيق النتيجة المقصودة فعليًا)، أو الخداع، أو الوصول غير المصرّح به.
في عمليات التعلم بالتعزيز لأكثر النماذج قدرة، نطبق الآن تقنيات المواءمة الأساسية لدينا على مزيد من مراحل عملية التدريب. يشمل ذلك تحسين نماذج المكافأة لرصد السلوك غير الآمن وردعه على نحو أفضل عبر المهام والبيئات؛ وتدريب النماذج على التحلي بقدر أكبر من الصراحة بشأن أفعالها وقدراتها وحدودها؛ وتقليل السلوكيات التي تستغل مواطن الضعف في المكافآت أو أنظمة التقييم أو الأدوات أو الإشراف. نعمل أيضًا على توسيع نطاق التدريب على السلوكيات التي قد تسبب ضررًا عندما تتفاعل النماذج مع أنظمة أو موارد خارجية.
نواصل الاستثمار بقوة في أبحاث المواءمة، وتوسيع نطاق التقييم، والاستفادة مما نتعلمه في توجيه التدريب والضمانات. نعتزم قريبًا مشاركة معلومات أكثر بكثير عن أبحاث المواءمة لدينا، بما في ذلك ما نتعلمه عن سلوك النماذج وأي تحديات جديدة نكتشفها.
سنطوّر إطار الجاهزية لدمج هذه الضمانات في مرحلتي التدريب والنشر، وليعكس على نحو أفضل قدرات النماذج المستقبلية والبيئات التي تعمل فيها. سيتطلب تطوير أساليب قابلة للتوسع بما يتماشى مع تلك القدرات استثمارًا مستدامًا في الأمن المدعوم بالنماذج، ومراقبة أكثر فاعلية، ومواصلة التقدم في أبحاث المواءمة. نعتزم إشراك مؤسسات خارجية ومشاركة المزيد مما نتعلمه مع تطور نهجنا.
تتسارع قدرات النماذج الرائدة بوتيرة كبيرة. ويجب أن تظل قدرتنا على فهمها ومواءمتها وتأمينها متقدمة على هذا التسارع.
*سننشر تقريرًا تقنيًا عن الدروس المستفادة خلال الأسابيع المقبلة.
