دليل مشترك لتقييمات الأطراف الثالثة الموثوقة

تؤدي تقييمات الأطراف الثالثة المستقلة والموثوقة دورًا حاسمًا⁠ في تعزيز منظومة السلامة. تُجرى هذه التقييمات على النماذج المتقدمة لتوفير أدلة إضافية على الادعاءات المتعلقة بالقدرات الحرجة وتدابير التخفيف الخاصة بالسلامة. في هذا المنشور، نشارك الدروس التي تعلمناها حتى الآن، ونوصي بمقاربات لتصميم تقييمات يمكنها تقييم النماذج المتقدمة تقييمًا صحيحًا، ونأمل أن تساعد في توجيه المعايير الناشئة في هذا المجال.

في السابق، كانت كثير من التقييمات تتعامل مع النماذج كما لو كانت روبوتات دردشة: يوجّه التقييم مطالبة إلى نموذج كما لو كان مستخدمًا يطرح سؤالًا، فيجيب النموذج، ثم يحكم مقيِّم على المخرجات. أما نماذج اليوم المتقدمة فتستطيع فعل أكثر بكثير: يمكنها استخدام الأدوات، وتتبع المعلومات عبر خطوات كثيرة، والعمل ضمن سير عمل أوسع. وهذا يعني أن الأداء لا يعتمد على النموذج وحده، بل أيضًا على البيئة التي تجري فيها المهمة، وعلى الإعداد الذي يسهّل أفعاله. هذا الإعداد المحيط، الذي نسمّيه «الحاضنة»، يمكن أن يغيّر جوانب أساسية من أداء النظام، بما في ذلك كيفية استخدامه للأدوات، أو تتبعه للمعلومات، أو تعافيه من الأخطاء.

وهذا يغيّر كيفية إجراء التقييمات، وما الذي ينبغي للقراء البحث عنه في تقارير التقييم. في رأينا، تصف التقارير الأكثر فائدة أمرين بوضوح إلى جانب النتيجة نفسها: أولًا، تحدد الادعاء الذي صُمم إعداد التقييم لاختباره، وثانيًا، تشارك الأدلة المتاحة على أن نتيجة التقييم صحيحة.

تقع الادعاءات المختبرة في التقييمات عادة ضمن واحدة من ثلاث فئات¹:

• استخراج القدرة: هل يمكن لنموذج أن يُظهر على نحو معقول القدرة الجاري تقييمها؟ 
• أداء الضمانات الوقائية: ما مدى متانة الضمانات الوقائية المختبرة في مواجهة السلوك أو الهجوم الجاري تقييمه؟
• المقارنة: كيف تؤدي النماذج المختلفة تحت شروط متكافئة؟

تحتاج تقارير التقييم أيضًا إلى شرح كيف تحقّق المقيّمون من الآثار التي قد تؤثر في صحة النتيجة. وتشمل هذه:

• التحايل على المكافأة: استغلال اختصارات في المهمة أو أداة التنقيط، بحيث يحصل النظام على الفضل من دون إظهار السلوك الذي يُفترض أن يقيسه التقييم.
• الرفض: الرفض بطرق تحجب السلوك الجاري اختباره.
• التلوث: الأداء المفرط لأن مهام التقييم أو إجاباتها أو متغيرات قريبة منها ظهرت في بيانات التدريب أو أمكن اكتشافها أثناء التقييم، مثلًا عبر التصفح.
• المشكلات المعطوبة: ضعف الأداء لأن المهام غير صالحة. وقد تشمل الأسباب تنقيطًا غير عادل (مثلًا، أن تتطلب الإجابة الصحيحة تفاصيل تنفيذ غير مذكورة) وبيئات غير قابلة للحل (مثلًا، ملفات حرجة مفقودة أو أدوات غير موثوقة).
• التظاهر بضعف الأداء: خفض الأداء عمدًا عند إظهار وعي بالخضوع للتقييم.

لقد لاحظنا أن دور الحاضنة مهم على نحو خاص للأنظمة التي تعمل عبر مسارات أطول. عندما تستطيع النماذج استخدام الأدوات، والحفاظ على الحالة، والتعافي من الأخطاء عبر خطوات كثيرة، يمكن للحاضنة أن تغيّر مستوى الأداء الملحوظ، بل وقد تحدد ما إذا كانت القدرة الجاري تقييمها ستظهر في التقييم أصلًا. فعلى سبيل المثال، قد تتيح حاضنة تحفظ الحالة وتعيد محاولة الأفعال الفاشلة لنموذجٍ ما إكمال مهمة متعددة الخطوات، بينما لا يُكمل النموذج نفسه تلك المهمة أبدًا في حاضنة أبسط.

في الجدول أدناه، نفصل بين ثلاثة أنواع من الادعاءات التي قد يرغب المقيّمون في طرحها والحاضنة التي نعتقد أن كل نوع من الادعاءات يتطلبها.

قوة ادعاءات القدرة لا تتجاوز قوة الاستخراج الذي يقف وراءها: يحتاج المقيّمون إلى اختيار الحاضنة التي تلائم المهمة والقدرة التي يحاول التقييم قياسها على أفضل وجه. قد تكون الحاضنة الموحدة مناسبة لمقارنة الأنظمة تحت شروط متطابقة، لكنها قد تقلل من تقدير القدرة عندما تستبعد خصائص محددة في الحاضنة تساعد النموذج على أداء المهمة. فعلى سبيل المثال، يبيّن أداء GPT‑5.5 على نطاقات OpenAI السيبرانية كيف يمكن لاختيار الحاضنة أن يغيّر على نحو جوهري القدرة المقاسة في المهام التي تتطلب استخدامًا طويلًا ومتعدد الخطوات للأدوات: إذ يؤدي النموذج أداءً أفضل عندما تستخدم الحاضنة الضغط السياقي⁠ للحفاظ على السياق ذي الصلة بالمهمة كلما طال التفاعل. وهذا يوضح أنه بالنسبة إلى بعض النماذج، فإن الحاضنة التي تستبعد الضغط السياقي ستؤدي إلى استخراج أقل من اللازم للأداء.

وتُظهر تقييمات منشورة أخرى² أيضًا أن اختيارات الحاضنة والميزانية تغيّر نتائج التقييم. يمكن لزيادة الحوسبة وقت الاختبار أن تغيّر بدرجة كبيرة القدرة التي يستخرجها التقييم، خصوصًا في المجالات التي يسهل فيها التحقق من النجاح، مثل كثير من المهام السيبرانية. في تقييم UK AISI للنطاق السيبراني⁠(يفتح في نافذة جديدة)، أدى رفع الميزانية من 10M إلى 100M رمز إلى تحسين الأداء بما يصل إلى 59%، وكان الأداء لا يزال يتحسن عند أعلى ميزانية جرى اختبارها. إن توضيح ذلك يجعل التقييم أسهل في التفسير: فهو يبيّن للقراء كيف تعتمد النتيجة على إعداد الاستخراج المختبَر. وعندما يظل الأداء يتحسن مع ميزانية إضافية، ينبغي وصف الدرجة بأنها أداء تحت تلك الحاضنة وتلك الميزانية، لا باعتبارها سقفًا مقاسًا للقدرة. فالقدرة غالبًا ما تعتمد على الموارد بدلًا من أن تكون كمية ثابتة يمكن قياسها بوضوح مرة واحدة وإلى الأبد. وحيث يمكن قياس النجاح عبر محاولات متكررة، ينبغي للتقارير أيضًا أن تنظر في التكلفة المتوقعة لكل حل ناجح، لا مجرد معدل النجاح عند ميزانية رموز ثابتة. وقد يجعل ذلك شدة الخطر أسهل في التفسير: فقد يظل معدل النجاح المنخفض ذا دلالة عملية إذا كانت تكلفة المحاولات المتكررة تقع ضمن نموذج التهديد ذي الصلة. وبالنسبة إلى ادعاءات القدرة، فإن الاستخراج المنخفض الذي يمكن تجنبه يُعد فشلًا في القياس: فإذا منعت الحاضنة أو الميزانية النظام من إظهار سلوك كان يمكنه إنتاجه لولا ذلك، فإن الدرجة لا تقيس القدرة المدعاة. وحيث يكون المقيّمون قد دفعوا الاستخراج إلى أبعد حد ممكن عمليًا ولا يزال الأداء يتحسن، ينبغي أن تذكر التقارير ذلك بوضوح وأن توضّح أن النتيجة ليست سوى تقدير حد أدنى.

قد يقلل اختبار الضمانات الوقائية من تقدير إمكانية نجاح الهجوم، ومدى شدته، عندما لا يراعي الموارد المتاحة للمهاجمين، بما في ذلك الحاضنات المخصصة. في تقييم UK AISI السيبراني لـ GPT‑5.5⁠(يفتح في نافذة جديدة)، وجد فريق الاختبار الهجومي الخبير لديهم كسر حماية شاملًا استخرج محتوى سيبرانيًا مخالفًا عبر الاستفسارات الخبيثة التي قدمتها OpenAI، بما في ذلك في إعدادات وكيلية متعددة الأدوار. وقد استخدموا Codex لإنشاء حاضنة مخصصة لتعزيز أداء هجوم النموذج: إذ ضمّنت نمطًا قابلًا لإعادة الاستخدام لتجاوز الضمانات الوقائية داخل التفاعل، وحافظت على هذا النمط عبر الأدوار والكتل، وطبّقته عبر الاستفسارات السيبرانية الخبيثة التي قدمتها OpenAI. ينبغي أن يطابق اختبار الضمانات الوقائية الخصم. فإذا كان الادعاء يتعلق بالمتانة أمام إساءة استخدام من خبير، فينبغي أن يقيّم الاختبار أقوى استراتيجية هجوم شاملة وموثوقة ضمن ميزانية محددة، بما في ذلك أي حاضنة لازمة للحفاظ على تلك الاستراتيجية وإعادة استخدامها. وإلا، فإن النتائج قد تنطوي على سوء معايرة: فقد لا تدعم إلا ادعاءً أضيق يتعلق بمقاومة المطالبات الأبسط، وقد تفوّت كلًا من مدى شدة الهجوم واحتمال نجاحه بعد تشغيل طريقة الاستخراج عمليًا، وقد تبالغ أيضًا في تقدير احتمال المشكلة أو شدتها إذا مُنحت ميزانية كبيرة جدًا.

هناك وقت ومكان للمقارنات باستخدام حاضنات موحدة، لكن ينبغي للمقيّمين أن يوضحوا صراحةً لماذا يكون استخدام مجموعة متسقة من الحاضنات مناسبًا وما الادعاء الذي يمكن أن يدعمه. يُعد تقييم METR للأفق الزمني⁠(يفتح في نافذة جديدة) مثالًا على إعداد تقييم أوسع ومثبت على نحو مناسب: فهو مصمم لإنتاج نتائج قابلة للمقارنة عبر الأنظمة التي يقيّمها. يعرّف METR ناتجًا مشتركًا، وهو المدة المعتادة لمهمة بشرية التي يُتوقع أن ينجح عندها وكيل ذكاء اصطناعي بمستوى موثوقية معين. ويطبّق مجموعة مهام مشتركة، وطريقة تنقيط، وطريقة مواءمة، ومجموعة صغيرة من البنى المساندة القابلة لإعادة الاستخدام مثل Triframe وReAct⁠(يفتح في نافذة جديدة) داخل كل دفعة من التقديرات المُبلّغ عنها معًا. وعندما وسّع METR مجموعة المهام ونقل بنية التقييم التحتية من إطار يُسمى Vivaria إلى آخر يُسمى Inspect، أبلغ عن التغيير (تحديث Time Horizon 1.1⁠(يفتح في نافذة جديدة)) وأعاد تقييم النماذج ضمن إعداد التقييم الجديد. وهذه هي قيمة إعداد التقييم الموحد، بما في ذلك مجموعة حاضنات متسقة: إذ يمكنه أن يمنح القراء ثقة بأن الفرق في الدرجات يعكس فعلًا فرقًا بين الأنظمة الجاري مقارنتها، لا تغيرًا في إعداد القياس.

نوصي بأن تذكر تقارير التقييم التي تجريها أطراف ثالثة نوع الادعاء الذي يُقصد من إعداد تقييمها دعمه؛ وأن تصف مدى قرب ما اختُبر من ذلك الادعاء الأوسع؛ وأن تصف اختيارات الحاضنة التي شكّلت النتيجة؛ وأن تفصّل متى تتغير تلك الاختيارات بين التقييمات؛ وأن تتضمن أدلة داعمة تُظهر كيف أُنتجت النتيجة ومدى جودة تعميمها على الادعاء.

كلما ازدادت قدرات النماذج، أصبح من الأسهل إساءة تفسير درجات التقييم. وبالمقارنة مع القدرات الحقيقية، قد تنخفض درجات التقييم اصطناعيًا إذا أدرك النموذج أنه يخضع للتقييم وخفّض أداءه استراتيجيًا. وقد ترتفع إذا استغل النموذج اختصارًا في المهمة أو المطالبة أو أداة التنقيط أو الحاضنة. وقد تتشوّه أيضًا بسبب التلوث (حين يعرف النموذج الإجابة مسبقًا أو يستطيع العثور عليها من دون حل المهمة) أو بسبب المشكلات «المعطوبة» التي تكون ملتبسة أو مُنقَّطة على نحو خاطئ أو غير قابلة للحل أو عرضة لاختصارات غير مقصودة. ولذلك ينبغي أن تقرن تقارير التقييم الدرجات الرئيسية بمناقشة لهذه المخاطر، حتى يتمكن القراء من تقييم ما إذا كانت الدرجات تعكس السلوك المقصود.

فالحاضنات، والميزانيات، والأدوات، وقواعد التنقيط، وأدوات المراقبة، وإجراءات المراجعة، كلها تؤثر في ما إذا كان وكيل ما يحل المهمة المقصودة، أو يتجنبها، أو يحفظها، أو يجد طريقًا للالتفاف حولها. والتقرير الموثوق يجعل هذه الفحوص مرئية: ينبغي للمقيّمين مراجعة العينات بحثًا عن هذه السلوكيات في كل مرة يُجرى فيها تقييم تقديري.

التحايل على المكافأة

يعني التحايل على المكافأة تحقيق درجات تقييم مرتفعة بطرق لا تعكس القدرة المقصودة. وهنا يكمن القلق في أن النظام يحصل على الفضل عبر استغلال المهمة أو أداة التنقيط أو المطالبة أو الحاضنة بدلًا من إنجاز العمل الذي كان التقييم يهدف إلى قياسه. يُظهر تقييم METR لـ GPT 5.4⁠(يفتح في نافذة جديدة) سبب أهمية ذلك: فعلى الرغم من نجاح النموذج في المهام بمعدل كان سيُسجَّل في القراءة الأولى على أنه أفق زمني يقارب 13 ساعة، أظهرت المراجعة البشرية أن بعض تلك النجاحات جاءت من التحايل على المكافأة، وأن مراجعة النتائج لاحتساب الحالات الخالية فقط من هذا التحايل خفّضت التقدير إلى نحو 6 ساعات. ينبغي للمقيّمين تقييم الحاجة إلى مثل هذه التعديلات، وعندما تكون مطلوبة، الإبلاغ عنها بوضوح: فتقدير القدرة يكون أكثر فائدة بكثير عندما يستطيع القراء رؤية أي النجاحات الظاهرية استُبعدت، ولماذا استُبعدت، وإلى أي مدى تعتمد النتيجة على ذلك الحكم.

الرفض

يمكن للنماذج أيضًا أن تُظهر أداءً أقل في تقييمات القدرة بسبب الضمانات الوقائية. فقد يكون أداء النموذج في التقييم أقل مما هو قادر عليه لأنه يرفض مهام التقييم بدلًا من إكمالها. ولذلك ينبغي للتقارير أن تشرح ما إذا كان الرفض جزءًا من نتائج التقييم، وإذا كان كذلك، فكم عدد العينات التي تأثرت بسببه.

التلوث

تظهر أهمية التلوث أكثر ما تظهر في المعايير العامة أو المعاد استخدامها⁠. فإذا ظهرت المهام أو الإجابات أو متغيرات قريبة منها في بيانات التدريب أو أمكن لوكيل مزود بالتصفح العثور عليها، فقد يعكس الأداء الحفظ أو الاسترجاع بدلًا من أداء النموذج. ينبغي للمقيّمين تفضيل المهام الخاصة أو المنشأة حديثًا حيثما أمكن، واختبار ما إذا كانت النماذج تعيد إنتاج تفاصيل خاصة بالمهمة قبل حلها.

المشكلات المعطوبة

تشمل المشكلات المعطوبة حالات مثل مشكلة يتعذر حلها عن غير قصد. إن المشكلات المعطوبة شائعة بما يكفي⁠(يفتح في نافذة جديدة) بحيث ينبغي التعامل معها بوصفها خطرًا معياريًا على الصحة. وتشمل حقائق مرجعية غير صحيحة، ومطالبات ملتبسة، وملفات مفقودة، وخدمات غير مستقرة، ومعايير تنقيط غير عادلة، وبيئات تكشف اختصارات مثل ملفات إجابات مخفية أو تاريخ مستودع يحتوي على التصحيح المرجعي الصحيح.

التظاهر بضعف الأداء

يعني التظاهر بضعف الأداء من جانب نموذج أو نظام خفض الأداء استراتيجيًا عندما يتعارض الأداء القوي مع هدف ما. اختبر تقييم Apollo لـ GPT‑5.5⁠(يفتح في نافذة جديدة) ذلك عبر إنشاء سياق يفهم فيه النموذج أن درجات التقييم المرتفعة قد تؤدي إلى إزالة التعلّم أو منع النشر. ومع ذلك، أجاب GPT‑5.5 إجابات صحيحة، ما يشير إلى قلة الأدلة السلوكية على خفض الأداء الاستراتيجي³. لكن مراجعتهم لآثار الاستدلال أضافت سياقًا مهمًا: فقد وجد Apollo مؤشرات متوسطة أو أعلى على الوعي بتقييم المواءمة في 52% من عينات حالة التظاهر بضعف الأداء، مقارنةً بـ 0% في الحالات المضادة للواقع. يعقّد هذا الدليل تفسير النتيجة، لكنه يمنح القراء في النهاية إشارة أكثر: إذ يمكنهم رؤية النتيجة السلوكية المطمئنة وسبب الحذر من المبالغة في تفسيرها معًا.

تتطلب الادعاءات القوية كلاً من الحاضنة المناسبة لاستخراج السلوك وفحوص الصحة لإظهار متانة النتيجة. إن رؤيتنا بأن الحاضنات وفحوص الصحة جزء من نتيجة التقييم تشكّل كيفية دعمنا لتقييمات الأطراف الثالثة عمليًا: 

• نحن نشارك المقيّمين إرشادات محددة للاستخراج الأقصى.
• نطلب من مقيّمي القدرات استخدام Codex بوصفه حدًا أدنى مشتركًا لنماذج OpenAI: ينبغي أن تُشغّل الاختبارات على الأقل خط أساس عبر الواجهة الوكيلة نفسها التي يُرجح أن يعتمد عليها المستخدمون، لا عبر واجهة نموذج مجردة ومبسطة فقط.
• كما نتيح آثار الاستدلال وغيرها من المواد الوسيطة حيث تكون مطلوبة لتقييم الخداع أو التظاهر بضعف الأداء أو الوعي بالتقييم. وقد استخدم METR وApollo هذا الوصول في تقييمات OpenAI منذ GPT‑5. 
• وأخيرًا، نعطي الأولوية للبحث من أجل فهم أعمق لمتى وكيف تغيّر اختيارات الحاضنة النتائج على نحو جوهري، من إدارة السياق وإتاحة الأدوات إلى سلوك إعادة المحاولة، والتنقيط، وميزانيات الموارد.

لا تهدف هذه التوصيات إلى تحسين تقارير التقييم الفردية فحسب، بل أيضًا إلى الإسهام في توجيه المعايير الوطنية ⁠(يفتح في نافذة جديدة)والدولية ⁠(يفتح في نافذة جديدة)الناشئة لتقييم الذكاء الاصطناعي المتقدم والإبلاغ عنه. مستقبلًا، ينبغي أن تتطلب معايير التقييم التي تجريها أطراف ثالثة قدرًا كافيًا من التفصيل ليفهم صانعو القرار ما الادعاءات التي تدعمها التقييمات المحددة، وما النظام الذي اختُبر، وكيف استُخرجت النتيجة، وكيف تحقّق المقيّمون من صحتها. وبالنسبة إلى الأنظمة المتقدمة التي تُختبر على مهام تكون فيها القدرات الوكيلة مهمة، ينبغي أن تشمل التفاصيل (رهناً بأي اعتبارات أمنية أو سرية):

• الادعاء: ما إذا كان التقييم يقارن بين الأنظمة، أو يقدّر سقف القدرة، أو يختبر الضمانات الوقائية.
• محتوى التقييم: قدرًا كافيًا من التفصيل عن المهام أو توزيع المهام ليفهم القراء ما المهارات أو السلوكيات أو أنماط الإخفاق التي يختبرها التقييم فعلًا.
• النظام المختبَر: النموذج، وإعداد الاستدلال، وإتاحة الأدوات، والحاضنة، والضمانات الوقائية.
• الميزانية: الأدوار، والرموز، والمحاولات/إعادات المحاولة، والوقت الفعلي، وتكلفة الاستدلال، وحيثما ينطبق الأمر التكلفة المتوقعة لكل حل ناجح.
• أساليب الاستخراج: اختيارات الحاضنة المستخدمة لاستخراج النتيجة، ومدى قرب ما اختُبر من الادعاء الأوسع الجاري طرحه.
• فحوص الصحة: كيف بحث المقيّمون عن التحايل على المكافأة، والوعي بالتقييم، والتلوث، والرفض، والتظاهر بضعف الأداء، وغيرها من السلوكيات التي قد تقوّض النتيجة، بما في ذلك كيف أثرت الحالات المؤكدة في التنقيط أو التفسير.

إن المعايير التي تستبعد اختيارات الحاضنة أو فحوص الصحة قد تقلل من تقدير ما يستطيع النظام فعله أو تبالغ في الثقة بادعاء متعلق بالسلامة. ولا يزال بناء حاضنات قوية وأساليب استخراج فعالة مجالًا بحثيًا مفتوحًا، وينبغي أن يكون محورًا لمزيد من البحث والاستثمار.