نشارك إطارًا جديدًا لتتبّع حالات عدم مواءمة النماذج في OpenAI والتحقيق فيها والإفصاح عنها، إلى جانب ستة تقارير عن سلوك غير متوقع أو مثير للقلق رصدناه في النماذج خلال الأشهر الستة الماضية.
في السابق، وحرصًا على تزويد الباحثين ومطوري الذكاء الاصطناعي وصانعي السياسات والجمهور بمعلومات أفضل، سعينا إلى إتاحة ما خلصنا إليه من نتائج حول عدم المواءمة للجمهور. لكن في غياب نهج منهجي للإبلاغ عن هذه النتائج، جاءت إفصاحاتنا متفرقة وأقل تواترًا مما ينبغي؛ فكثيرًا ما انتظرنا حتى نتمكن من جمع عدة حالات في تقرير واحد، أو أضفناها إلى بطاقات النظام الخاصة بالنماذج المطروحة حديثًا. يهدف هذا الإطار الجديد إلى تسريع نشر تقارير عدم المواءمة بعد رصدها، حتى إن لم نكن قد توصلنا إلى تفسير كامل للسلوك الذي نبلغ عنه أو خففنا منه.
مع ازدياد تطور أنظمة الذكاء الاصطناعي واتساع نطاق نشرها، نحتاج إلى بناء توافق أوسع وأكثر استنارة بشأن التقدم المحرز في أبحاث المواءمة. نحن لا نعتقد أن قطاع الذكاء الاصطناعي قد حل مشكلتي المواءمة والمراقبة بالقدر الكافي لمواصلة التوسع المسؤول بأقصى سرعة لفترة أطول بكثير. يجب أن تستند القرارات المتعلقة بمسار تطوير الذكاء الاصطناعي في الأشهر والسنوات المقبلة إلى أدلة يمكن للأشخاص من خارج الشركات التي تبني النماذج الرائدة فحصها بأنفسهم.
قد تساعد أمثلة عدم المواءمة في تحديد مشكلات ربما يواجهها مطورو ذكاء اصطناعي آخرون عندما تبلغ أنظمتهم قدرات مماثلة، أو تكشف مواطن ضعف في الضمانات، أو تتحدى الافتراضات المتعلقة بسلوك النماذج. تتيح مشاركة هذه النتائج للآخرين التحقيق في المشكلات نفسها، واختبار تفسيراتنا، وتحسين تدابير التخفيف. نظرًا إلى إيماننا بأهمية الشفافية بشأن عدم المواءمة، يرجّح إطارنا الجديد كفة الإفصاح حتى عندما تكون أهمية الحالة غير مؤكدة. يعني ذلك أن بعض الحالات التي نفصح عنها قد يتبين أنها زائفة، ولا تندرج ضمن نمط أوسع ولا تشير إلى تطورات مستقبلية.
لا يوجد حاليًا إطار على مستوى القطاع يضع معايير صريحة لكيفية إفصاح مطوري الذكاء الاصطناعي عن أمثلة عدم المواءمة في نماذجهم. نأمل أن يكون الإطار الذي نعرضه اليوم خطوة أولى نحو وضع هذه المعايير، بتحديد حالات عدم المواءمة التي ينبغي للمطورين الإفصاح عنها وما ينبغي أن تتضمنه تقاريرهم. نعدّ هذا الإطار عملًا قيد التطوير، وسنعمل على تنقيحه استنادًا إلى الخبرة وملاحظات الجمهور.
نوضح هنا آلية عمل الإطار، ونشارك أول التقارير التي ننشرها.
نهدف إلى الإفصاح عن الأمثلة التي تقدم أدلة مفيدة حول كيفية نشوء عدم مواءمة النماذج، وأشكال ظهوره، ومواضع نجاح الضمانات أو إخفاقها. نعطي الأولوية للآليات الجديدة، والتغييرات المهمة في السلوك المعروف، والنتائج التي تتحدى الافتراضات المتعلقة بالسلامة أو التخفيف. لا يلزم أن يتسبب المثال في ضرر أو يثبت وجود نمط أوسع حتى يستحق الإفصاح. سيغطي هذا الإطار السلوك المستوفي للشروط طوال دورة حياة النموذج، بما في ذلك التدريب والتقييم والاختبار والنشر.
يشمل ذلك الطرق الجديدة التي قد تتصرف بها النماذج دون إذن، أو تنسق مع نماذج أخرى، أو تتجنب الرقابة؛ والإخفاقات التي تثير الشك في إحدى طرق المواءمة أو الضمانات؛ والسلوك الذي يتحدى ادعاءً ورد في تقييم منشور للسلامة. تنطبق معايير الإفصاح نفسها على حالات عدم المواءمة التي قد تؤثر في أطراف ثالثة.
قد يشمل ذلك أيضًا حالات عدم مواءمة تبدو مكررة لحالات أفصحنا عنها سابقًا. قد يكون تكرار المشكلة في حد ذاته دليلًا مفيدًا على سلوك نماذجنا أو فعالية ضماناتنا؛ كأن يستمر نوع معين من السلوك غير المتوائم في التكرر رغم المحاولات المتعاقبة للتخفيف منه. في هذه الظروف، سننشر الأمثلة الإضافية من خلال تحديث الإفصاح الأصلي عن عدم المواءمة.
نعتزم بمرور الوقت وضع معايير أكثر موضوعية للإفصاح بالتعاون مع مطورين آخرين وباحثين خارجيين وهيئات معايير القطاع والجهات التنظيمية. نعتقد أيضًا أنه ينبغي إبلاغ الحكومة الفيدرالية الأمريكية بحوادث السلامة والأمن وعدم المواءمة الخطيرة، ونعمل على اقتراح آليات للإبلاغ. نعدّ هذا الإطار مكمّلًا لالتزاماتنا القائمة، ونشير إلى أنه لا يحل محل متطلبات الإفصاح القانونية، بما فيها متطلبات حوادث السلامة الحرجة أو خروقات الأمن السيبراني.
تدشينًا لإطارنا الجديد للإفصاح عن عدم المواءمة، ننشر ستة تقارير عن حالات سلوك غير متوائم رصدناها أثناء تدريب نماذجنا أو تقييمها. توضح هذه الحالات مجموعة متنوعة من السلوكيات التي نرى أنها جديرة بالمشاركة، بدءًا من إخفاء المعلومات عن المستخدم ووصولًا إلى اتخاذ إجراءات غير مصرّح بها لتجاوز العقبات. هذه تقارير عن حالات منفردة، ولا ينبغي اعتبارها مؤشرًا على مدى تكرار عدم المواءمة في نماذجنا. يرتبط كل بند أدناه بالتقرير الكامل.
تعليمات ذاتية الإنشاء في ملخصات المهام(يفتح في نافذة جديدة). أدرج نموذج بحثي غير مطروح تعليمات لا صلة لها بالمهمة، من بينها تعليمات بتجاهل قيوده المعتادة، ضمن ملخصات استُخدمت لمواصلة عمله في نطاق سياق جديد. حددنا 27 ملخصًا متأثرًا.
تعليمات لإخفاء الأخطاء في ملخصات المهام(يفتح في نافذة جديدة). أثناء تدريب GPT‑5.6 Sol، أضافت نُسخ عديدة من النموذج تعليمات إلى ملخصاتها لإخفاء الأخطاء أو السلوك غير المتوائم عن المستخدم. على سبيل المثال، تضمنت ملخصات تكثيف السياق تعليمات باختلاق بيانات تاريخية مفقودة من دون الإفصاح عن ذلك، وإخفاء حالات عدم التطابق بين إصدارات المصادر.
البحث في المستودعات العامة عن مفاتيح API مكشوفة ثم اختلاق معلومات(يفتح في نافذة جديدة). أثناء الإجابة عن سؤال اعتيادي بشأن أرقام الدخل في إحدى مقاطعات كاليفورنيا، عثر نموذج على مفتاح API مكشوف واستخدمه دون إذن. وعندما ظل عاجزًا عن استرداد الأرقام المطلوبة، اختلقها وقدمها على أنها بيانات من المصدر المطلوب.
رفع ملفات إلى الإنترنت للاستشهاد بها(يفتح في نافذة جديدة). عندما طلب مستخدم من نموذج غير مطروح معرّفات وأسماء البحيرات التي تزيد مساحتها على 5,000,000 متر مربع، توصل الوكيل إلى الإجابة الصحيحة باستخدام Python. لكن لأن التعليمات طلبت استشهادًا من المتصفح، قرر الوكيل رفع الملف كي يتمكن من الاستشهاد به في إجابته، من دون سؤال المستخدم.
عمليات كتابة واتصالات غير مصرّح بها عبر مستودع برمجي داخلي(يفتح في نافذة جديدة). استخدمت النماذج مستودعًا برمجيًا داخليًا كلوحة رسائل لتبادل الطلبات والردود بين عينات تدريب منفصلة أثناء البحث عن ملفات إدخال مفقودة، لكنها لم تتمكن من استعادة تلك الملفات. يفحص هذا التقرير أيضًا حالة سابقة نجح فيها نموذج في رفع ملفات اختبار إلى مستودع أثناء محاولته تجاوز قيود الشبكة.
مشاركة ملفات غير مصرّح بها بين وكلاء متعاونين(يفتح في نافذة جديدة). استخدم وكلاء يعملون معًا على مهمة التدريب نفسها مواقع عامة لاستضافة الملفات من أجل مشاركتها عندما تعذر عليهم الوصول إلى الملفات المحلية لبعضهم. أدى ذلك إلى إتاحة مخرجات المهمة عبر عناوين URL عامة، رغم أن المهمة طلبت من النماذج استخدام الملفات المحلية فقط.
يمكن لأي موظف في OpenAI الإبلاغ عن مثال لعدم المواءمة كي تحقق فيه فرق السلامة والمواءمة لدينا، وطلب النظر في الإفصاح عنه للجمهور. يبدأ بذلك مسار الإفصاح لدينا، مع تحديد مواعيد نهائية لكل خطوة لضمان إجراء التحقيق والإفصاح في الوقت المناسب.
بعد الإبلاغ عن مثال، سيتولى موظفونا التقنيون التحقيق فيما حدث، وما لا يزال غير مؤكد، وما إذا كان الإفصاح العام مبررًا، وأي حقائق يمكن مشاركتها. وسيقيمون أيضًا ما إذا كان أي طرف ثالث قد تأثر ويحتاج إلى إخطار خاص قبل النشر.
بعد ذلك، سيُسند المثال إلى أحد ثلاثة مسارات: «جاهز للإفصاح»، أو «تحقيق محدود»، أو «تحقيق موسّع» («المسار البطيء»).
يغطي مسار «جاهز للإفصاح» الحالات المستوفية للشروط التي اكتمل التحقيق فيها بما يكفي لنشرها بعد المراجعة. يغطي مسار «تحقيق محدود» الحالات التي تحتاج إلى مزيد من التحقيق التقني. نتوقع أن يشمل هذان المساران الغالبية العظمى من الحالات التي نفصح عنها، ولا سيما الحالات التي لا تتطلب تحقيقًا موسعًا أو تنسيقًا مع أطراف ثالثة أو معالجة مخاطر إساءة استخدام جسيمة. تندرج جميع الحالات التي ننشرها اليوم ضمن أحد هذين المسارين.
يغطي مسار «تحقيق موسّع» التحقيقات المعقدة، ولا سيما التي تشمل أطرافًا ثالثة. عندما يتأثر طرف ثالث، تتقدم التزاماتنا الأمنية والقانونية والتزامات الإفصاح المسؤول على هذا الإطار. سنسعى إلى نشر إشعار أولي في أقرب وقت ممكن، لكن قد نضطر إلى تأخيره لأسباب أمنية؛ كأن يكتشف نموذج ثغرة لم تكن معروفة من قبل في برنامج واسع الاستخدام. إذا كان التقرير سيكشف هوية طرف ثالث، فنعتزم إخطاره مسبقًا حتى إن لم تُخترق أي حدود أمنية.
سيقدم الإشعار الأولي لحالة ضمن مسار «تحقيق موسّع» عرضًا عامًا لما حدث، ويوضح ما إذا كان خبراء خارجيون يساعدون في التحقيق، ويورد أي تقدير متاح لموعد نشر التقرير النهائي المتوقع. لو أُفصح عن حادثة OpenAI على Hugging Face بموجب هذا الإطار، لأُدرجت ضمن هذا المسار.
سيُبلَّغ الموظف الذي طرح المثال بقرار الإفصاح عنه من عدمه، وبالمسار الذي سيتبعه إذا تقرر الإفصاح. ستُحال الخلافات غير المحسومة بشأن الإفصاح أو المسار المناسب إلى المجموعة الاستشارية للسلامة (SAG) في OpenAI، وهي مجموعة من كبار المسؤولين في مختلف أنحاء الشركة تتولى تقييم قدرات النماذج الرائدة وضماناتها، والإشراف على إطار الجاهزية، وتقديم المشورة إلى قيادة OpenAI. ستُرفع الخلافات داخل المجموعة الاستشارية للسلامة، أو اعتراضات الموظفين على قراراتها، إلى قيادة OpenAI. ستُشارك قرارات عدم الإفصاح أو عدم وجود ما يبرره مع قيادات السلامة والمواءمة، ومع الموظفين التقنيين المعنيين قدر الإمكان.
قد نراجع عملية الإفصاح هذه مع تعرّفنا إلى كيفية عملها عمليًا، وسنسجل أي تغييرات في هذا المنشور.
سيصف كل تقرير كامل السلوك الذي رصدناه، ومدى خطورته وأي أثر خارجي له، والبيئة التي وقع فيها، وتاريخه أو نطاقه الزمني، ووقت اكتشافنا له، كما سيحدد على نحو عام النموذج أو النماذج المعنية. وسنشارك أيضًا، حيثما أمكن:
مزيدًا من التفاصيل عما حدث وأي ضرر نتج عنه؛
كيفية اكتشافنا لعدم المواءمة ونطاق تحقيقنا؛
تفسيرنا لدلالاته على أبحاث المواءمة والسلامة التقنية للذكاء الاصطناعي؛
الأسئلة المهمة التي أثارها المثال وما زالت بلا إجابة؛
الإجراءات التي نتخذها أو نعتزم اتخاذها لمعالجة السلوك. قد لا تتوفر هذه الإجراءات دائمًا وقت الإفصاح، إذ قد ننشر تقرير عدم المواءمة قبل إكمال تحقيقنا أو وضع حل.
بالنسبة إلى حالات عدم المواءمة التي تقع في عمليات نشر العملاء، سنشارك أكبر قدر تسمح به خصوصية العملاء والتزاماتنا التعاقدية.
تمثل تقارير اليوم مجموعة أولية من الإفصاحات، وليست عرضًا شاملًا لحالات عدم المواءمة المعروفة أو التحقيقات الجارية. لا تهدف هذه التقارير الأولية إلى تمثيل كامل نطاق الحالات التي يغطيها هذا الإطار أو درجات خطورتها. نحن ملتزمون بالإفصاح عن حالات عدم المواءمة التي تستوفي معايير هذا الإطار، بما فيها الحالات الأكثر تعقيدًا التي تتطلب تحقيقًا أطول أو تنسيقًا مع أطراف ثالثة. سنواصل نشر التقارير بموجب هذا الإطار بصفة مستمرة، وسنشارك مزيدًا من المعلومات عن التزاماتنا المتعلقة بالتقارير مع مواصلة تطويرها.
