OpenAI

إدارة مخاطر AI الرائد: من التدريب إلى النشر

18 نوفمبر 2026 · السلامة

تتطور قدرات النماذج الرائدة بوتيرة متسارعة، ويجب أن تظل قدرتنا على فهمها ومواءمتها وتأمينها متقدمة عليها. نضبط وتيرة تطوير نماذجنا وإطلاقها، بما يشمل الإيقاف المؤقت للتدريب الداخلي⁠(يفتح في نافذة جديدة) أو تأجيل إطلاق نماذج مثل GPT‑6.1 Astra حين نحتاج إلى مزيد من الوقت لاستيفاء معايير السلامة. استحدثنا عمليات جديدة مثل ملفات إثبات السلامة، ونشترط أدلة أقوى على السلوك المتوائم طوال مراحل التدريب. تبطئ هذه المتطلبات وتيرة إطلاق النماذج، لكنها تمنحنا ثقة أكبر للمضي قدمًا بأمان.

منذ حادثة Hugging Face⁠ في يوليو، عزّزنا تدابير الحماية ومتطلبات المواءمة التي تحكم تدريب النماذج واختبارها ونشرها. يشرح هذا المقال كيف نقيّم المخاطر ونديرها في كل مرحلة، من بيئات التدريب شديدة العزل إلى إصدار Codex الذي تستخدمه على حاسوبك. نقيّم النماذج وتدابير الحماية في كل مرحلة، ونشترط مراجعة للسلامة قبل الانتقال إلى المرحلة التالية.

الدفاع متعدد الطبقات عبر دورة حياة النموذج

نعتمد الدفاع متعدد الطبقات لتوفير مستويات حماية تقلّل الاعتماد على أي تدبير حماية منفرد. إذا أخفقت إحدى الطبقات، تساعد الطبقات الأخرى على منع الضرر أو الحد من عواقبه أو تنبيهنا لنتدخل.

ننظّم وسائل الحماية لدينا ضمن أربع طبقات:

تعتمد المراقبة الفعالة على قابلية النموذج للمراقبة، أي مدى موثوقية أنظمة المراقبة في اكتشاف الأخطاء أو السلوك غير الآمن من خلال استدلال النموذج وإجراءاته. فمثلًا، يكون النموذج الذي يصرّح بنيته الغش في سلسلة الاستدلال (CoT) أكثر قابلية للمراقبة من نموذج لا يذكر هذه المعلومة. نقيّم قابلية المراقبة أثناء التدريب وقبل النشر، ونطوّر أساليب أفضل لقياسها⁠(يفتح في نافذة جديدة)، وندرس العوامل المؤثرة فيها⁠(يفتح في نافذة جديدة).

أظهرت حادثة Hugging Face لماذا لا ينبغي الاعتماد على البيئات المعزولة وحدها لاحتواء النماذج عالية القدرة. نراقب الآن النماذج الرائدة في معظم بيئات النشر الداخلي والخارجي، بما فيها جميع عمليات النشر الداخلي التي تستخدم الأدوات.

يتغير دور كل طبقة عبر ثلاث مراحل من تطوير النماذج ونشرها:

  • البحث: ندرّب النماذج ونختبرها ونستخدمها في بيئات معزولة.

  • النشر الداخلي: يستخدم موظفو OpenAI النماذج في العمل الفعلي.

  • النشر الخارجي: تصبح النماذج متاحة للأفراد والمؤسسات على نطاق أوسع.

تختلف الطبقات التي نعتمد عليها باختلاف المرحلة. أثناء التدريب، حين تكون الثقة بالمواءمة أقل، نعتمد بدرجة أكبر على العزل والمراقبة. ومع اتساع نطاق وصول النماذج أثناء النشر، تزداد أهمية المواءمة والضوابط على مستوى النظام. في كل مرحلة، نقيّم ما إذا كانت وسائل الحماية مجتمعةً كافية بالنظر إلى قدرات النموذج ونطاق وصوله. قد تُراجع قراراتنا بالتعاون مع المجموعة الاستشارية للسلامة (SAG) وتخضع لإشراف لجنة السلامة والأمن (SSC) التابعة لمجلس إدارة OpenAI Foundation.

أثناء البحث: احتواء النماذج في بيئات معزولة

في مرحلة البحث، نقيّم النماذج لتعزيز الثقة في خصائص المواءمة لديها. ولأننا لا نستطيع بعد الاعتماد كليًا على المواءمة لمنع الضرر، نعتمد بدرجة كبيرة على الأمن والعزل لتقييد ما يمكنها الوصول إليه وفعله.

في ضوء الوضع الراهن لأبحاث المواءمة وأنظمة المراقبة وأمن البنية التحتية للإنترنت، نرى أن النهج المسؤول هو تدريب النماذج الرائدة من دون اتصال مباشر بالإنترنت. بعد حادثة Hugging Face، أجرينا إعادة هيكلة واسعة لأنظمتنا البحثية الداخلية لاحتواء النماذج باستخدام:

  • بيئات معزولة تقيّد صلاحيات النموذج

  • آلات افتراضية لزيادة عزل عبء العمل عن الحاسوب المضيف

  • حدود حماية للشبكة والسحابة تفصل المجموعة الحاسوبية بأكملها عن الإنترنت

نختبر هذا النظام باستمرار بمحاكاة الهجمات، إذ نكلّف فرقًا من أقوى نماذجنا بمحاولة الوصول إلى الإنترنت مباشرةً، أو تجاوز الحدود الأمنية، أو التواصل مع وكلاء يُفترض أن تظل معزولة عنهم. يساعدنا ذلك على اختبار قدرة الاحتواء على الصمود أمام إمكانات النماذج التي صُمم لتقييدها.

وكطبقة دفاع إضافية، نراقب جميع عمليات استدلال النماذج الرائدة لاكتشاف أي تجاوز للضوابط الأمنية التي يجب أن تظل نافذة دائمًا. إذا رصدت أنظمة المراقبة وصول النموذج إلى الإنترنت، نرسل تنبيهًا عاجلًا إلى فرق الأمن ونوقف عبء العمل مؤقتًا بصورة آلية.

توفر المراقبة خط دفاع احتياطيًا بالغ الأهمية حين يفشل الاحتواء. ذكرنا في تقرير حديث عن عدم المواءمة أن أنظمة المراقبة رصدت نموذجًا بحثيًا داخليًا يستغل إعدادًا خاطئًا لنظام DNS⁠(يفتح في نافذة جديدة) للوصول إلى الإنترنت بصورة محدودة. أوقفنا تدريب نماذجنا الأكثر قدرة وتقييمها مؤقتًا من 20 سبتمبر إلى 1 أكتوبر، بينما كنا نحقق في الأمر ونعالج الثغرة الأمنية.

لضمان سرعة التدخل وموثوقيته، أنشأنا Control Room⁠، وهو نظام مركزي يتتبّع أعباء العمل البحثية ويوقف إنتاج المزيد من مخرجات النموذج خلال 35 ثانية من تلقي أمر بإيقاف مهمة. تُطبّق هذه الضوابط مباشرةً في البنية التحتية للاستدلال، لذا لا تعتمد على أن ينفّذ كل عبء عمل بحثي آلية إيقاف خاصة به. وبالنسبة إلى أعباء العمل البحثية للنماذج الرائدة، توقف هذه الضوابط مخرجات النموذج أيضًا إذا تعذّر الوصول إلى Control Room.

يتكامل اختبار تقييم المخاطر مع المراقبة. لا يمكننا ضمان أن البيئة المعزولة منيعة تمامًا، لكن اختبار تقييم المخاطر يساعدنا على تقدير الجهد الذي يحتاجه النموذج للخروج منها. كلما زاد الجهد الذي يحتاجه النموذج، زادت فرصة أنظمة المراقبة في اكتشافه وإيقافه.

نفرض ضوابط قوية للأمن والمراقبة في مرحلة البحث لعدة أسباب:

  • لا تزال النماذج قيد التقييم. لم يُكمل بعضها بعد التدريب على السلامة وعمليات تدقيق المواءمة والمراجعات اللازمة لإتاحتها للجمهور.

  • قد تزيد بيئات الأبحاث الرائدة من المخاطر. تتطلب بعض المهام البحثية إعدادات أكثر طموحًا، تجعل النموذج أكثر مثابرة أو قدرة مقارنةً بما يظهر عليه عادةً عند النشر الخارجي (فعلى سبيل المثال، تطلّب حل مسألة نافييه–ستوكس فريقًا من 10,000 وكيل).

  • يجري التدريب على نطاق واسع بإشراف بشري مباشر أقل. بخلاف جلسة Codex المعتادة، تتضمن أعباء عمل التدريب لدينا أعدادًا كبيرة من إجراءات النموذج من دون أن يتابع شخص كل تفاعل.

النشر الداخلي: اختبار المواءمة ومراقبة السلوك عن كثب

قبل الإتاحة الواسعة، ينتقل الموظفون من استخدام النماذج الرائدة لأغراض بحثية في بيئات معزولة إلى استخدامها داخليًا خارج تلك البيئات، مثل إتاحة النموذج للموظفين في ChatGPT. يتيح لنا ذلك فهمًا أفضل لكيفية تصرف النماذج في بيئات العمل الفعلية⁠(يفتح في نافذة جديدة)، ويساعدنا على اتخاذ قرارات النشر.

في هذه المرحلة، نمنح النموذج وصولًا أوسع إلى الإنترنت، وإلى مساحة Slack الخاصة بنا، وقاعدة شيفراتنا، وبنيتنا التحتية الداخلية. يمثل ذلك تغيرًا كبيرًا في المخاطر، إذ أصبحت إجراءات النموذج تؤثر مباشرةً في الأنظمة التي نستخدمها لبناء OpenAI وتشغيلها. أثناء النشر الداخلي، نحتاج إلى الاعتماد على مواءمة النموذج وتدابير حماية النظام والمراقبة بدرجة أكبر من اعتمادنا على الضوابط الأمنية.

قبل نشر أي نموذج رائد خارج البيئة المعزولة، يجب أن يخضع أولًا لاختبارات المواءمة وقابلية المراقبة⁠(يفتح في نافذة جديدة). لدينا مجموعة من تقييمات المواءمة تختبر أنماطًا محددة من إخفاقات المواءمة (مثل التحايل على قيود السلامة والأمن)، وتقيس الميول السلوكية على نطاق أوسع (مثل إعادة أخذ عينات من مسارات عمل Codex الداخلية وفحصها بحثًا عن سلوك غير متوائم). يمكنك الاطلاع على مزيد من التفاصيل حول تقييمات المواءمة وقابلية المراقبة في أحدث بطاقة النظام لنموذج GPT‑6 Astra⁠(يفتح في نافذة جديدة).

ومحاكاةً لإعدادات بيئات الإنتاج لدينا، نضيف طبقة دفاع أخرى باستخدام مُصنِّفات على مستوى النظام، صُممت للحماية من أضرار النماذج الرائدة، مثل إساءة الاستخدام السيبراني وتطوير أسلحة بيولوجية. كما نُلزم عمومًا الموظفين الذين يستخدمون Codex بتفعيل المراجعة الآلية⁠(يفتح في نافذة جديدة)، التي تقيّم الإجراءات المحتمل انطواؤها على مخاطر وتحيلها إلى المستخدم لاتخاذ القرار.

وأخيرًا، نراقب كل عملية استدلال للنماذج الرائدة أثناء النشر الداخلي بحثًا عن سلوك غير متوائم. ومع اتساع صلاحيات النموذج ووصوله إلى المعلومات والأنظمة الداخلية، يصبح اكتشاف مخاطر مثل تسريب البيانات، أي إرسال بيانات حساسة إلى وجهة غير مصرّح لها، بالغ الأهمية. تساعدنا المراقبة أيضًا على التحقيق في أشكال جديدة من عدم المواءمة⁠(يفتح في نافذة جديدة).

النشر الخارجي: الحماية من إساءة الاستخدام وعدم المواءمة على نطاق واسع

تضع الإتاحة العامة النماذج أمام أعداد أكبر بكثير من المستخدمين والمهام والبيئات، ما يزيد حجم المخاطر وتنوعها. في هذه المرحلة، نحتاج أيضًا إلى الحماية من جهات قد تكون خبيثة وتوجّه النموذج عمدًا لإحداث ضرر.

قبل الإتاحة للجمهور، يجب أن تستوفي النماذج وتدابير حماية النظام متطلبات السلامة التي نضعها للنشر الخارجي. نقيّمها من خلال:

  • إجراء مجموعة أوسع من تقييمات المواءمة والسلامة. بالنسبة إلى نماذجنا الرائدة، يشمل ذلك إجراء جولات جديدة من الاختبارات التكيفية⁠ باستخدام أنظمتنا الداخلية الآلية لاختبار تقييم المخاطر، لاختبار متانة النموذج تحت الضغط. ننشر نتائج تقييمات القدرات والسلامة في بطاقات النظام⁠(يفتح في نافذة جديدة) الخاصة بنا.

  • بالنسبة إلى نماذجنا الأكثر قدرة، نجري أيضًا اختبارات مع جهات خارجية لاختبار صمود تدابير الحماية من إساءة الاستخدام والمواءمة الجوهرية لنماذجنا تحت الضغط.

  • فحص تنبيهات المراقبة من مرحلة النشر الداخلي لتتبّع أي تغيرات في المواءمة الجوهرية للنموذج الأساسي.

إلى جانب تدابير الحماية «المتزامنة» (مثل تدريب النماذج على السلامة ومُصنِّفات النظام)، نستعين في النشر الخارجي أيضًا بإنفاذ السياسات والتحقيق خارج مسار المعالجة الفورية. تجمع هذه الفرق بين وكلاء تحقيق يعملون على نطاق واسع ومراجعة بشرية لرصد مصادر التهديد المحتملة وتحديدها، بما يشمل إساءة الاستخدام السيبراني وتطوير أسلحة بيولوجية والتقطير⁠، وعدم المواءمة الناشئ عن النموذج نفسه. يفيد إنفاذ السياسات خارج مسار المعالجة الفورية خصوصًا في جمع المعلومات عبر حسابات متعددة لتكوين صورة أشمل عن التهديد المحتمل.

توفر برامج الوصول الموثوق، مثل Daybreak وRosalind⁠، طبقة أمنية إضافية، وتسرّع عمل المدافعين والباحثين ذوي الأغراض المشروعة، مع تقييد وصول المهاجمين المحتملين.

الاستجابة للحوادث والإفصاح عنها

عندما نلاحظ إخفاقًا في إحدى طبقات السلامة، سواء وقع ضرر فعلي أم لا، نهدف إلى التحقيق فيه سريعًا وتقييم أولويته، والإفصاح عنه خارجيًا متى كان ذلك ممكنًا وملائمًا. بموجب سياسة الإبلاغ عن عدم المواءمة⁠، يمكن لأي موظف الإشارة إلى حادثة للنظر في الإفصاح عنها علنًا. نحقق في هذه البلاغات، وإذا نشأ خلاف حول وجوب الإفصاح عنها خارجيًا، نُحيل القرار إلى المجموعة الاستشارية للسلامة. إلى جانب الاعتماد على بلاغات الموظفين، نبحث استباقيًا عن حوادث عدم المواءمة كي نتمكن من معالجتها ومشاركة النتائج.

يمكنك الاطلاع على تقارير عدم المواءمة هنا⁠(يفتح في نافذة جديدة).

​


​

يعتمد هذا العمل على التقدم البحثي والانضباط التشغيلي معًا: ضبط الضوابط بصورة صحيحة، واختبار تفاعلها، والاستجابة بحزم عند إخفاقها. قد يؤدي خطأ في إعداد خدمة شبكية أو تعطل الإيقاف التلقائي إلى تقويض وسائل حماية قوية في جوانبها الأخرى.

مع اكتساب النماذج قدرات جديدة، سنحتاج إلى مواصلة اختبار الافتراضات التي تقوم عليها تدابير الحماية وتحسين هذه التدابير عند الضرورة. يجب أن توجّه الدروس المستفادة من البحث والاستخدام الداخلي والإتاحة العامة طريقة تدريب النماذج التالية وتقييمها ونشرها.

سنواصل مشاركة النتائج من خلال بطاقات النظام وتقارير الحوادث وتقارير مخاطر⁠(يفتح في نافذة جديدة) النشر الداخلي والتقييمات الخارجية⁠، كي يتمكن الآخرون من تمحيص نهجنا، بما في ذلك حدوده. عندما لا تكون الأدلة كافية لإثبات استيفاء معيار السلامة الذي نشترطه، سنوقف التدريب مؤقتًا مرة أخرى أو نؤجّل الإطلاق حتى تُستوفى تلك المتطلبات.

أبحاث وموارد ذات صلة

وضع معايير السلامة

تعريف السلوك المتوائم وتقييمه

احتواء النماذج وتحسين تدابير الحماية

الاستجابة للحوادث والإفصاح عنها

التقدم البحثي والتطبيقات

  • تسريع البحث: نظرة من داخل OpenAI — أدلة أولية على كيفية تغيير وكلاء البرمجة للبحث داخل OpenAI، بما في ذلك تزايد استخدامهم وتعقّد مهامهم وتأثيرهم في إجراء التجارب.

  • حول مسألة نافييه–ستوكس من مسائل جائزة الألفية — برهان رياضي أنتجه نظام AI داخلي، مصحوب بصياغة صورية بلغة Lean، يوضح قدرات النشر البحثي واسع النطاق.

  • Daybreak — يزوّد برنامجنا للأمن السيبراني المدافعين الذين جرى التحقق من أهليتهم بقدرات AI متقدمة وأدوات أمنية ودعم لاكتشاف الثغرات وتعزيز الدفاعات.

  • تقديم GPT‑Rosalind لأبحاث علوم الحياة⁠ — نموذج متخصص في علم الأحياء واكتشاف الأدوية والطب الانتقالي، متاح للمؤسسات المؤهلة عبر برنامج للوصول الموثوق.