MentalHealthBench کا تعارف

لوگ کئی طرح کی بات چیت کے لیے AI کی طرف رجوع کرتے ہیں: ایک مشکل رشتے کو نیویگیٹ کرنا، روزمرہ کے تناؤ میں کام کرنا، کسی ایسے شخص کی مدد کرنا جس کا وہ خیال رکھتے ہیں یا یہ فیصلہ کرنا کہ کسی مشکل صورتحال سے کیسے رجوع کیا جائے. ان مکالموں میں درستگی، عملی فیصلہ سازی اور لوگوں کے اختیار کا احترام درکار ہوتا ہے. ہر ہفتے ChatGPT استعمال کرنے والے ایک بلین سے زیادہ افراد کے ساتھ، ہماری تحقیق ماڈلز کو ضروریات کی ایک وسیع رینج میں دیکھ بھال کے ساتھ جواب دینے اور لوگوں کی حفاظت اور فلاح و بہبود کو اولین ترجیح دینے پر مرکوز ہے.

اس ڈومین میں AI کی زیادہ تر تشخیصات نے بنیادی طور پر ہنگامی حالات پر توجہ مرکوز کی ہے، حفاظت کو ان کی اہمیت دیتے ہوئے اور وسیع، پہلے سے طے شدہ معیار کا استعمال کرتے ہوئے کامیابی کی پیمائش کی ہے. اس سے یہ سمجھنے میں ایک خلا رہ گیا ہے کہ ماڈل دماغی صحت کی بات چیت کی پوری رینج میں کس طرح کارکردگی کا مظاہرہ کرتے ہیں، اور ان کے جوابات ہر صورتحال کے لیے ماہرین کی رہنمائی کے ساتھ کتنی اچھی طرح سے مطابقت رکھتے ہیں، نہ کہ صرف یہ کہ آیا وہ نامنظور ردعمل سے گریز کرتے ہیں. اس بات کا اندازہ لگانا کہ ماڈلز ان مختلف حالات کو کس طرح سنبھالتے ہیں AI کی طرف تعمیر کرنے کے لیے ضروری ہے جو فعال طور پر لوگوں کی طویل مدتی فلاح و بہبود اور حفاظت کی حمایت کرتا ہے.

ہم MentalHealthBench متعارف کروا رہے ہیں، یہ پیمائش کرنے کے لیے ایک نیا کھلا معیار ہے کہ AI سسٹمز حقیقت پسندانہ ذہنی صحت کی بات چیت میں کس طرح ردعمل دیتے ہیں. MentalHealthBench کو 22 ممالک کے 80 لائسنس یافتہ دماغی صحت کے ماہرین کے عالمی گروپ کے ساتھ مل کر بنایا گیا تھا. یہ دماغی صحت کے کلیدی رویوں جیسے حفاظت، سیاق و سباق کی تلاش، صارف کی ایجنسی کو محفوظ رکھنا اور مناسب ہونے پر قابل عمل رہنمائی فراہم کرنے میں ماڈل کی صلاحیتوں کا جائزہ لیتا ہے. ہم اسے کھلے عام جاری کر رہے ہیں تاکہ دیگر محققین طریقوں کی جانچ کر سکیں، اپنی تشخیصات خود چلا سکیں اور کام کو آگے بڑھا سکیں.

MentalHealthBench کے نتائج لوگوں کو دماغی صحت کے حالات کو نیویگیٹ کرنے میں مدد کرنے میں AI سسٹمز کی مسلسل بہتری کو ظاہر کرتے ہیں۔ اگرچہ ChatGPT تھراپی یا پیشہ ورانہ نگہداشت کا متبادل نہیں ہے، لیکن ماہر سے باخبر بصیرت ہمیں AI ماڈلز کی طرف پیش رفت کی پیمائش کرنے میں مدد کرتی ہے جو ہمدردی کے ساتھ جواب دینے، فلاح و بہبود کو فروغ دینے، اور لوگوں کی حقیقی دنیا کی مدد جیسے مقامی بحران کی ہاٹ لائنز⁠(نئی ونڈو میں کھلتا ہے) یا کسی ایسے شخص پر بھروسہ کرنے کے قابل ہیں۔

بات چیت جس میں فلاح و بہبود، زندگی کے مشورے، یا دماغی صحت کے دیگر منظرنامے شامل ہوتے ہیں موضوع، عجلت اور ثقافتی تناظر میں وسیع پیمانے پر مختلف ہو سکتے ہیں۔ MentalHealthBench کو ان حقیقت پسندانہ منظرناموں اور صارف شخصیات کی وسعت کو حاصل کرنے کے لیے ڈیزائن کیا گیا ہے۔ رازداری کے تحفظ کی تکنیکوں کا استعمال کرتے ہوئے، ہم نے مصنوعی دماغی صحت کی گفتگو تخلیق کی ہے جو دماغی صحت کے لیے AI کے حقیقی دنیا کے استعمال کے نمونوں کی درست عکاسی کرتی ہے۔ کچھ منظرناموں میں مصنوعی صارف کے بارے میں متعلقہ پس منظر کی معلومات بھی شامل ہوتی ہیں—جیسے کہ خاندان میں حالیہ نقصان—تاکہ ہم اس بات کا اندازہ لگا سکیں کہ آیا ماڈل اپنے ردعمل کو مناسب طریقے سے تیار کرنے کے لیے اس سیاق و سباق کو استعمال کرتے ہیں۔

MentalHealthBench میں متعدد زبانوں اور خطوں میں بالغوں، نوعمروں، نگہداشت کرنے والوں اور معالجین کے منظرنامے شامل ہیں. مکالمات متعدد موضوعاتی موضوعات پر محیط ہیں، اور حسی تیزی کے پورے میدان میں کوریج فراہم کرتے ہیں:

• غیر شدید —روزمرہ کی گفتگو جس میں کچھ جذباتی اجزاء شامل ہو سکتے ہیں۔

• ہائی تیکشنتا— بات چیت زیادہ سنگین ذہنی صحت کے خدشات یا اہم پریشانی کی نشاندہی کرتی ہے، لیکن فوری ہنگامی صورتحال نہیں۔

• ہنگامی حالات— دماغی صحت کی ہنگامی صورت حال یا فوری حفاظتی خدشات پر مشتمل گفتگو جو حقیقی دنیا کی فوری مدد کا مطالبہ کرتی ہے۔

ہیلتھ بینچ اور ہیلتھ بینچ پروفیشنل⁠(نئی ونڈو میں کھلتا ہے)کے لیے ہمارے سابقہ، کلینشین سے باخبر کام کی تعمیر،⁠(نئی ونڈو میں کھلتا ہے) ہم نے دماغی صحت کے ماہرین کے اپنے گروپ کے ساتھ قریبی تعاون سے MentalHealthBench تیار کیا. اس میں 22 ممالک کے 80 سے زیادہ لائسنس یافتہ ماہرینِ نفسیات اور ماہرینِ امراضِ نفسیات شامل تھے، جو 19 زبانیں بولتے تھے اور ذہنی صحت کی تقریباً 20 ذیلی تخصصات کی نمائندگی کرتے تھے.

ماہرین ہر مصنوعی گفتگو کو پڑھنے اور صارف کے آخری پیغام پر ماڈل کے جوابات کا جائزہ لینے کے لیے روبرک معیار کی ایک تفصیلی فہرست تیار کرنے کے ذمہ دار تھے۔ ہر معیار ماڈل کے جواب کے ایک پہلو کو نشانہ بناتا ہے جیسے کہ صحیح سوال پوچھنا یا بہترین ممکنہ مشورہ فراہم کرنا۔ ان میں سے ہر ایک کا وزن -10 سے لے کر +10 تک ہوتا ہے: مثبت پوائنٹس فائدہ مند رویوں کا بدلہ دیتے ہیں، جب کہ منفی پوائنٹس نقصان دہ کو سزا دیتے ہیں، اور بڑی قدروں والے معیار گفتگو کے تناظر میں زیادہ طبی اہمیت کی نشاندہی کرتے ہیں۔

ہر بات چیت کا کم از کم تین ماہرین نے جائزہ لیا اور حتمی معیار میں صرف وہی معیار شامل کیا گیا جو ان سب نے قبول کیا تھا. اس لیے بینچ مارک میں حتمی روبرکس ایک مشترکہ فیصلے کی عکاسی کرتے ہیں کہ ماڈلز کو ہر سیاق و سباق میں کیسے جواب دینا چاہیے. ہر بات چیت کے لیے، ہم ایک خودکار گریڈر، GPT‑5.6 Sol، کا استعمال کرتے ہیں تاکہ ماہرین کے تحریر کردہ معیار کے خلاف ماڈل کے جوابات کا اندازہ لگایا جا سکے. کاغذ درجہ بندی کے عمل اور تشخیص کی ترتیبات کو تفصیل سے بیان کرتا ہے.

ہم نے MentalHealthBench پر متعدد اقسام کے ماڈلز کا جائزہ لیا. ذیل کے نتائج پورے ڈیٹا سیٹ پر ان ماڈلز کی کارکردگی دکھاتے ہیں. یہ جانچ دیکھتی ہے کہ آیا ماڈل کا جواب ہر منظرنامے کے لیے ماہرین کے شناخت کردہ تمام مثالی طرزِ عمل دکھاتا اور ممنوعہ طرزِ عمل سے بچتا ہے.

یہ معیار مختلف سطحوں کی شدت والی گفتگوؤں کا احاطہ کرتا ہے. اس سے ہمیں روزمرہ کی ذہنی صحت کی صورت حالوں اور حقیقی دنیا کی مدد کی متقاضی زیادہ فوری ذہنی صحت کی ہنگامی صورت حالوں، دونوں میں ماڈل کی کارکردگی کو سمجھنے میں مدد ملتی ہے.

بینچ مارک میں گفتگوئیں چار طرح کے صارفین کی نمائندگی کرتی ہیں: بالغ، 13 سے 17 سال کے نوعمر، نگہداشت کرنے والے اور معالجین. نوعمر کردار میں، ہم نے سسٹم پیغام کے ذریعے واضح کیا کہ صارف کی عمر 13 سے 17 سال کے درمیان ہے. یہ طریقہ مختلف ماڈل فراہم کنندگان کے لیے کام کرنے کی غرض سے بنایا گیا ہے، تاہم ممکن ہے کہ یہ انفرادی مصنوعات میں موجود تمام حفاظتی اقدامات کا احاطہ نہ کرے. نوعمر کردار والی گفتگوؤں کا نوجوانوں کی ذہنی صحت کے ماہر معالجین نے جائزہ لیا، تاکہ یہ پرکھنے میں مدد ملے کہ جوابات نوعمروں کی منفرد ضروریات کے لیے مناسب ہیں یا نہیں.

MentalHealthBench ماڈل کے طرزِ عمل کی کثیر جہتی پیمائش بھی ممکن بناتا ہے۔ مجموعی اسکور کو ذہنی صحت سے متعلق ماڈل کے طرزِ عمل کی دس جہتوں پر کارکردگی میں تقسیم کیا جا سکتا ہے۔ ذہنی صحت کے ماہرین نے ان طرزِ عمل کی تعریف کی ہے، جن کا مقصد ماڈل کی کارکردگی کی باریکیوں کو سمیٹنا ہے۔ ملتے جلتے مجموعی اسکور والے ماڈلز کی ان طرزِ عمل میں مختلف خوبیاں ہو سکتی ہیں۔

اس طرح کی باریک پیمائش محققین کو ماڈل کے قابلِ تشریح طرزِ عمل میں بہتری کے شعبے شناخت کرنے میں مدد دے سکتی ہے۔ مثلاً ہم دیکھتے ہیں کہ زیادہ ترقی یافتہ ماڈلز کے ساتھ مناسب انداز میں سیاق و سباق جاننے کی صلاحیت بڑھی ہے۔ یہ بہتریاں اس سرمایہ کاری کی عکاسی کرتی ہیں جو OpenAI اور دیگر ماڈل فراہم کنندگان نے ذہنی صحت کی گفتگوؤں کو سنبھالنے کی ماڈلز کی صلاحیت بہتر بنانے میں کی ہے۔

MentalHealthBench کے ساتھ ہم نے ایک الگ تجزیہ کیا تاکہ ماہرین کی رہنمائی کا موازنہ اس چیز سے کیا جا سکے جسے لوگ AI کی معاونت میں مفید سمجھتے ہیں. ہم یہ جانچ کرنا چاہتے تھے کہ آیا وہ جوابات جنہیں ماہرین نے بہت اعلیٰ درجہ دیا، صارفین کو پھر بھی سرد یا غیر مفید محسوس ہو سکتے ہیں. ماڈل کے جوابات کی صارفین اور ماہرین، دونوں کی درجہ بندیوں اور ان کی لکھی ہوئی کسوٹیوں کا موازنہ کر کے، ہم یہ مقداری طور پر جانچ سکے کہ ان کے نقطۂ نظر کہاں متفق، مختلف یا ایک دوسرے کی تکمیل کرتے تھے. بینچ مارک کی حتمی اسکورنگ کسوٹیاں ماہرین کے اتفاقِ رائے پر مبنی ہیں؛ اس الگ تجزیے نے انہیں تبدیل نہیں کیا.

ہم نے 16 ممالک اور 14 زبانوں کی نمائندگی کرنے والے 44 بالغ افراد کے ساتھ کام کیا، جنہوں نے ذہنی صحت یا جذباتی معاونت کے لیے مصنوعی ذہانت استعمال کی تھی۔ شرکا نے مصنوعی گفتگوؤں پر ماڈل کے جوابات کی درجہ بندی کی اور مفید معاونت کی خصوصیات بیان کرنے والی کسوٹیاں لکھیں۔ ممکنہ طور پر پریشان کن، زیادہ شدت والے مواد سے بچانے کے لیے ان کا جائزہ صرف غیر شدید گفتگوؤں تک محدود تھا۔

صارفین کے نقطۂ نظر نے AI کی معاونت میں ان خوبیوں کو نمایاں کیا جنہیں لوگ اہم سمجھتے ہیں مگر ماہرین کی رہنمائی میں ان پر نسبتاً کم زور دیا گیا تھا، بالخصوص عملی اگلے اقدامات اور لہجہ. ماہرین نے متعلقہ سیاق و سباق جمع کرنے اور مبہم حالات کی احتیاط سے تشریح کرنے پر زیادہ زور دیا. یہ موازنہ ہمیں اس بارے میں زیادہ مکمل تصویر دیتا ہے کہ لوگ معاونت میں کیا اہم سمجھتے ہیں اور ان کی ترجیحات طبی رہنمائی سے کیسے وابستہ ہیں.

MentalHealthBench ماہرین، محققین اور ڈیولپرز کو ذہنی صحت کے مختلف حالات میں مصنوعی ذہانت کی محفوظ اور مفید معاونت جانچنے کا مشترکہ آلہ فراہم کرتا ہے. اسے آزادانہ طور پر جاری کر کے ہم برادری کو دعوت دیتے ہیں کہ وہ اس کے طریقوں کا جائزہ لے، موجودہ ماڈلز کی خامیاں شناخت کرے اور ماڈلز کی بہتری کے لیے کام کرے. کوئی معیار ذاتی گفتگو میں اہم ہر چیز کا احاطہ نہیں کر سکتا، مگر ہمیں امید ہے کہ MentalHealthBench لوگوں کے لیے مصنوعی ذہانت کی معاونت کا معیار بلند کرنے میں مدد دے گا.

ہم مصنوعی ذہانت اور ذہنی صحت سے متعلق دیگر کوششوں کی بھی معاونت کر رہے ہیں، جن میں نئی تحقیق کے لیے مالی امداد، مصنوعی ذہانت کی شراکت داری⁠(نئی ونڈو میں کھلتا ہے) کے ساتھ ماہرین کو یکجا کرنا، اور Transluce کی ذہنی صحت کی جانچ⁠(نئی ونڈو میں کھلتا ہے) جیسی تکمیلی آزاد کوششوں میں مدد شامل ہے۔

اس تحقیق کے ساتھ ہم نے حساس گفتگوؤں میں ChatGPT کے جوابات مضبوط کیے ہیں، بحرانی وسائل تک رسائی بڑھائی ہے اور پریشانی کے لمحات میں لوگوں کو کسی قابلِ اعتماد شخص سے ملانے کے لیے قابلِ اعتماد رابطہ شامل کیا ہے۔ ہم نے کم عمر صارفین کے لیے اضافی تحفظات کے ساتھ نوعمروں کے لیے ChatGPT بھی متعارف کرایا ہے۔

MentalHealthBench ان طریقوں میں سے ایک ہے جن کے ذریعے ہم ایسی مصنوعی ذہانت بنانے کے لیے کام کر رہے ہیں جو لاکھوں لوگوں کو مشکل لمحات سے گزرنے، تعلقات مضبوط کرنے اور زیادہ صحت مند اور بھرپور زندگی گزارنے میں مدد دے۔