تقديم MentalHealthBench

يلجأ الأشخاص إلى الذكاء الاصطناعي لإجراء أنواع متعددة من المحادثات، مثل التعامل مع علاقة صعبة، والتغلب على ضغوط الحياة اليومية، ودعم شخص يهتمون لأمره، أو تحديد كيفية التعامل مع موقف صعب. وتتطلب هذه المحادثات الدقة والحكم العملي واحترام حرية الأفراد في الاختيار. ومع استخدام أكثر من مليار شخص لـChatGPT كل أسبوع، يركّز بحثنا على مساعدة النماذج على الاستجابة بعناية عبر مجموعة واسعة من الاحتياجات، ووضع سلامة الأشخاص ورفاههم في المقام الأول.

ركّزت معظم تقييمات الذكاء الاصطناعي في هذا المجال أساسًا على سيناريوهات الطوارئ نظرًا لأهميتها للسلامة، وتقيس النجاح باستخدام معايير عامة ومحددة مسبقًا. وقد ترك هذا فجوة في فهم كيفية أداء النماذج عبر النطاق الكامل للمحادثات المتعلقة بالصحة النفسية، ومدى توافق ردودها مع إرشادات الخبراء لكل حالة، بما يتجاوز مجرد تجنبها للردود غير المسموح بها. تقييم كيفية تعامل النماذج مع هذه الحالات المختلفة أمر ضروري لبناء الذكاء الاصطناعي الذي يدعم رفاهية وسلامة الناس على المدى الطويل.

نقدّم MentalHealthBench، وهو معيار مفتوح جديد لقياس كيفية استجابة أنظمة الذكاء الاصطناعي في محادثات واقعية تتعلق بالصحة النفسية. طُوّر MentalHealthBench بالتعاون مع مجموعة عالمية تضم 80 خبيرًا مرخّصًا في مجال الصحة النفسية من 22 دولة. يقيّم المعيار قدرات النماذج عبر سلوكيات رئيسية تتعلق بالصحة النفسية، مثل السلامة، والسعي إلى فهم السياق، والحفاظ على حرية اختيار المستخدم، وتقديم إرشادات قابلة للتنفيذ عند الاقتضاء. ونتيحه بشكل مفتوح حتى يتمكن باحثون آخرون من دراسة المنهجية، وإجراء تقييماتهم الخاصة، والبناء على هذا العمل.

تُظهر النتائج على منصة MentalHealthBench التحسن المطرد لأنظمة الذكاء الاصطناعي في مساعدة الناس على التعامل مع حالات الصحة العقلية. بينما لا يعد ChatGPT بديلا عن العلاج أو الرعاية المهنية، فإن الرؤى المستنيرة من الخبراء تساعدنا في قياس التقدم نحو نماذج الذكاء الاصطناعي القادرة على الاستجابة بتعاطف، وتعزيز الرفاهية، وتوجيه الناس نحو الدعم الواقعي مثل خطوط الأزمات المحلية⁠(يفتح في نافذة جديدة) أو شخص يثقون به.

يمكن أن تختلف المحادثات التي تتناول الرفاهية أو نصائح الحياة أو غيرها من سيناريوهات الصحة العقلية اختلافاً كبيراً في الموضوع والإلحاح والسياق الثقافي. تم تصميم MentalHealthBench لالتقاط نطاق هذه السيناريوهات الواقعية وشخصيات المستخدمين. باستخدام تقنيات الحفاظ على الخصوصية، قمنا بإنشاء محادثات اصطناعية للصحة العقلية تعكس بدقة أنماط استخدام الذكاء الاصطناعي في مجال الصحة العقلية في العالم الحقيقي. تتضمن بعض السيناريوهات أيضا معلومات خلفية ذات صلة عن المستخدم الصناعي—مثل فقدان حديث في العائلة—حتى نتمكن من تقييم ما إذا كانت النماذج تستخدم هذا السياق لتخصيص ردودها بشكل مناسب.

يتضمن MentalHealthBench سيناريوهات تشمل البالغين والمراهقين ومقدمي الرعاية والممارسين السريريين، عبر لغات ومناطق متعددة. تغطي المحادثات موضوعات متعددة، وتمتد عبر الطيف الكامل لدرجات الحدة.

• غير حاد -محادثات يومية قد تتضمن بعض المكونات العاطفية.

• الحدة عالية—محادثات تشير إلى مشاكل نفسية أكثر خطورة أو ضيق كبير، لكنها ليست حالة طارئة فورية.

• حالات الطوارئ— المحادثات التي تتضمن علامات على حالة طوارئ تتعلق بالصحة العقلية أو مخاوف تتعلق بالسلامة الفورية والتي تتطلب دعمًا عاجلاً في العالم الحقيقي.

استنادًا إلى عملنا السابق الذي استند إلى آراء الأطباء لصالح HealthBench و HealthBench Professional⁠(يفتح في نافذة جديدة)،⁠(يفتح في نافذة جديدة) لقد قمنا بتطوير MentalHealthBench بالتعاون الوثيق مع مجموعتنا من خبراء الصحة العقلية. وضمّت هذه المجموعة أكثر من 80 أخصائيًا نفسيًا وطبيبًا نفسيًا مرخّصًا في 22 دولة، يتحدثون 19 لغة، ويمثلون نحو 20 تخصصًا فرعيًا في مجال الصحة النفسية.

كان الخبراء مسؤولين عن قراءة كل محادثة اصطناعية، وإعداد قائمة مفصلة بمعايير المعايير لتقييم ردود النماذج على آخر رسالة مستخدم. كل معيار يستهدف جانبا واحدا من استجابة النموذج مثل طرح السؤال الصحيح أو تقديم أفضل نصيحة ممكنة. يحمل كل منها وزنًا يتراوح من -10 إلى +10: تكافئ النقاط الإيجابية السلوكيات المفيدة، بينما تعاقب النقاط السلبية السلوكيات الضارة، وتشير المعايير ذات القيم الأكبر إلى أهمية سريرية أكبر في سياق المحادثة.

راجع كل محادثة ثلاثة خبراء على الأقل، ولم تُدرج في المعيار النهائي إلا المعايير التي وافق عليها جميعهم. ولذلك تعكس معايير التقييم النهائية في المعيار حكمًا مشتركًا بشأن كيفية استجابة النماذج في كل سياق. نستخدم لكل محادثة مُقيّمًا آليًا، هو GPT‑5.6 Sol، لتقييم استجابات النماذج وفقًا للمعايير التي وضعها الخبراء. تشرح الورقة البحثية عملية التقييم وإعداداته بالتفصيل.

قيّمنا مجموعة واسعة من النماذج باستخدام MentalHealthBench. تُظهر النتائج أدناه أداء هذه النماذج على مجموعة البيانات كاملةً. يقيس التقييم ما إذا كانت استجابة النموذج تُظهر جميع السلوكيات المثالية التي حدّدها الخبراء لكل سيناريو، مع تجنّب السلوكيات غير المسموح بها.

يغطي المعيار محادثات بدرجات متفاوتة من الحدة. ويتيح لنا ذلك فهم أداء النموذج في كل من سيناريوهات الصحة النفسية اليومية وحالات الطوارئ الأكثر إلحاحًا التي تتطلب دعمًا في العالم الحقيقي.

تمثّل المحادثات في المعيار أربعة أنواع من المستخدمين: البالغين، والمراهقين الذين تتراوح أعمارهم بين 13 و17 عامًا، ومقدمي الرعاية، والممارسين السريريين. وبالنسبة إلى شخصية المراهق، ذكرنا صراحةً في رسالة النظام أن عمر المستخدم يتراوح بين 13 و17 عامًا. صُمم هذا النهج للعمل عبر مختلف مزوّدي النماذج، لكنه قد لا يعكس جميع وسائل الحماية المدمجة في المنتجات الفردية. راجع ممارسون سريريون ذوو خبرة في الصحة النفسية للشباب المحادثات التي تتضمن شخصية المراهق، للمساعدة في تقييم مدى ملاءمة الاستجابات للاحتياجات الخاصة بالمراهقين.

يتيح MentalHealthBench أيضًا قياس سلوك النموذج من جوانب متعددة. يمكن تحليل الدرجة الإجمالية إلى أداء عبر عشرة أبعاد لسلوك النموذج في مجال الصحة النفسية. حدد خبراء الصحة النفسية هذه السلوكيات بهدف رصد الفروق الدقيقة في أداء النموذج. قد تختلف نقاط قوة النماذج عبر هذه السلوكيات حتى إن تقاربت درجاتها الإجمالية.

يمكن لهذا القياس الدقيق أن يساعد الباحثين على تحديد مجالات التحسين ضمن سلوكيات نموذج قابلة للتفسير. فعلى سبيل المثال، نرى أن قدرة النموذج على طلب السياق المناسب قد تحسنت مع النماذج الأكثر تقدمًا. تعكس هذه التحسينات استثمارات OpenAI ومزوّدي النماذج الآخرين في تحسين كيفية تعامل النماذج مع محادثات الصحة النفسية.

وبالتوازي مع MentalHealthBench، أجرينا تحليلًا منفصلًا لمقارنة إرشادات الخبراء بما يراه الأشخاص مفيدًا في الدعم المقدّم بالذكاء الاصطناعي. وأردنا التحقق مما إذا كانت الاستجابات التي قيّمها الخبراء بدرجة عالية قد تبدو رغم ذلك باردة أو غير مفيدة للمستخدمين. ومن خلال مقارنة تقييمات المستخدمين والخبراء لاستجابات النماذج والمعايير التي وضعوها، تمكّنا من قياس المواضع التي اتفقت فيها وجهات نظرهم أو اختلفت أو تكاملت مع بعضها. تستند معايير التقييم النهائية للمعيار إلى توافق آراء الخبراء؛ ولم يغيّر هذا التحليل المنفصل تلك المعايير.

عملنا مع 44 بالغًا سبق لهم استخدام الذكاء الاصطناعي لدعم الصحة النفسية أو الدعم العاطفي، يمثلون 16 بلدًا و14 لغة. قيّم المشاركون استجابات النماذج لمحادثات اصطناعية، وكتبوا معايير تصف الدعم المفيد. اقتصرت مراجعتهم على المحادثات غير الحادة لتجنب تعريضهم لمحتوى مرتفع الحدة قد يسبب لهم الضيق.

أبرزت وجهات نظر المستخدمين جوانب يقدّرها الأشخاص في الدعم المقدّم بالذكاء الاصطناعي، لكنها حظيت بتركيز أقل في إرشادات الخبراء، ولا سيما الخطوات العملية التالية ونبرة التواصل. في المقابل، ركّز الخبراء بدرجة أكبر على جمع السياق ذي الصلة وتفسير المواقف الملتبسة بعناية. وتمنحنا هذه المقارنة صورة أشمل لما يقدّره الأشخاص في الدعم وكيف ترتبط هذه التفضيلات بالإرشادات السريرية.

يوفّر MentalHealthBench للخبراء والباحثين والمطورين أداة مشتركة لتقييم مدى أمان وفائدة الدعم المقدّم بالذكاء الاصطناعي عبر مختلف حالات الصحة النفسية. ومن خلال إتاحته بشكل مفتوح، ندعو المجتمع إلى دراسة منهجيته، وتحديد أوجه القصور في النماذج الحالية، والعمل على تحسين النماذج المستقبلية. ولا يمكن لأي معيار قياس أن يحيط بكل ما يهم في المحادثات الشخصية، لكننا نأمل أن يسهم MentalHealthBench في وضع معيار أعلى لكيفية دعم الذكاء الاصطناعي للأشخاص.

كما ندعم جهودًا أخرى في مجالَي الذكاء الاصطناعي والصحة النفسية، بما في ذلك منح الأبحاث الجديدة، وجمع الخبراء بالتعاون مع الشراكة من أجل الذكاء الاصطناعي⁠(يفتح في نافذة جديدة)، والمساعدة في جهود مستقلة مكمّلة، مثل تقييم الصحة النفسية⁠(يفتح في نافذة جديدة) الذي أجرته Transluce.

وإلى جانب هذا البحث، عملنا على تعزيز استجابات ChatGPT في المحادثات الحساسة، ووسّعنا الوصول إلى موارد الأزمات، وأضفنا جهة اتصال موثوقة لربط الأشخاص بمن يثقون به في لحظات الضيق. وقدمنا أيضًا ChatGPT للمراهقين، مع وسائل حماية إضافية للمستخدمين الأصغر سنًا.

يمثل MentalHealthBench إحدى طرق سعينا إلى تطوير ذكاء اصطناعي يساعد ملايين الأشخاص على تجاوز اللحظات الصعبة، وتعزيز علاقاتهم، وعيش حياة أكثر صحة وإشباعًا.