معرفی MentalHealthBench

افراد برای انواع گفتگوها به هوش مصنوعی روی می آورند: عبور از یک رابطه دشوار، عبور از استرس های روزمره، حمایت از کسی که برایش مهم است یا تصمیم گیری درباره نحوه برخورد با یک موقعیت چالش برانگیز. این گفتگوها نیازمند دقت، قضاوت عملی و احترام به اختیار افراد است. با بیش از یک میلیارد نفر که هر هفته از ChatGPT استفاده می کنند، تحقیقات ما بر کمک به مدل ها برای پاسخگویی با مراقبت در طیف وسیعی از نیازها و قرار دادن ایمنی و رفاه افراد در اولویت تمرکز دارد.

بیشتر ارزیابی‌های هوش مصنوعی در این حوزه، با توجه به اهمیت آن‌ها در ایمنی، به طور عمده بر سناریوهای اضطراری متمرکز شده‌اند و موفقیت را با استفاده از معیارهای گسترده و از پیش تعریف شده اندازه‌گیری می‌کنند. این امر باعث ایجاد شکافی در درک چگونگی عملکرد مدل‌ها در طیف کاملی از گفتگوهای سلامت روان و میزان تطابق پاسخ‌های آن‌ها با راهنمایی متخصصان برای هر موقعیت، فراتر از اینکه آیا از پاسخ‌های غیر مجاز اجتناب می‌کنند یا خیر، شده است. ارزیابی چگونگی مدیریت این موقعیت‌های مختلف توسط مدل‌ها، برای ایجاد هوش مصنوعی که به طور فعال از رفاه و ایمنی بلندمدت افراد پشتیبانی می‌کند، ضروری است.

ما MentalHealthBench را معرفی می‌کنیم، یک معیار باز جدید برای سنجش نحوه واکنش سیستم‌های هوش مصنوعی در مکالمات واقع‌بینانه سلامت روان. MentalHealthBench با همکاری گروهی جهانی متشکل از ۸۰ متخصص سلامت روان دارای مجوز از ۲۲ کشور ایجاد شد. این مدل، قابلیت‌های مدل را در رفتارهای کلیدی سلامت روان مانند ایمنی، جستجوی زمینه، حفظ اختیار کاربر و ارائه راهنمایی‌های عملی در صورت لزوم ارزیابی می‌کند. ما آن را به صورت علنی منتشر می‌کنیم تا سایر محققان بتوانند روش‌ها را بررسی کرده، ارزیابی‌های خود را انجام داده و این کار را توسعه دهند.

نتایج MentalHealthBench نشان دهنده بهبود مداوم سیستم‌های هوش مصنوعی در کمک به افراد برای هدایت موقعیت‌های سلامت روان است. اگرچه ChatGPT جایگزینی برای درمان یا مراقبت‌های حرفه‌ای نیست، اما بینش‌های مبتنی بر اطلاعات متخصصان به ما کمک می‌کند تا پیشرفت به سمت مدل‌های هوش مصنوعی را که قادر به پاسخگویی با همدلی، ارتقای رفاه و هدایت افراد به سمت حمایت‌های دنیای واقعی مانند خطوط تلفن بحران محلی⁠(در یک پنجره جدید باز می‌شود) یا شخصی که به او اعتماد دارند ، اندازه‌گیری کنیم.

گفتگوهایی که شامل رفاه، توصیه‌های زندگی یا سایر سناریوهای سلامت روان می‌شوند، می‌توانند از نظر موضوع، فوریت و زمینه فرهنگی بسیار متفاوت باشند. MentalHealthBench به گونه‌ای طراحی شده است که وسعت این سناریوهای واقع‌گرایانه و شخصیت‌های کاربر را به تصویر بکشد. با استفاده از تکنیک‌های حفظ حریم خصوصی، ما مکالمات سلامت روان مصنوعی ایجاد کردیم که به طور دقیق الگوهای استفاده از هوش مصنوعی برای سلامت روان در دنیای واقعی را منعکس می‌کنند. برخی سناریوها همچنین شامل اطلاعات پیش‌زمینه مرتبط در مورد کاربر مصنوعی - مانند فقدان اخیر در خانواده - هستند، بنابراین می‌توانیم ارزیابی کنیم که آیا مدل‌ها از آن زمینه برای تنظیم مناسب پاسخ‌های خود استفاده می‌کنند یا خیر.

MentalHealthBench شامل سناریوهایی دربارهٔ بزرگسالان، نوجوانان، مراقبان و متخصصان بالینی در زبان‌ها و مناطق مختلف است. این مکالمات شامل چندین موضوع موضوعی است و طیف کاملی از تیزبینی را پوشش می‌دهد:

• غیرحاد -مکالمات روزمره که ممکن است شامل برخی از مؤلفه‌های احساسی باشند.

• شدت بالا—گفتگوهایی که نگرانی های جدی تر سلامت روان یا ناراحتی قابل توجه را نشان می دهند، اما اورژانس فوری نیستند.

• موارد اضطراری- مکالماتی که شامل علائم فوریت‌های سلامت روان یا نگرانی‌های فوری ایمنی هستند و نیاز به حمایت فوری در دنیای واقعی دارند.

با تکیه بر کارهای قبلی‌مان برای HealthBench و HealthBench Professional⁠(در یک پنجره جدید باز می‌شود) که با راهنمایی متخصصان بالینی انجام شده بودما⁠(در یک پنجره جدید باز می‌شود) MentalHealthBench را با همکاری نزدیک با گروه متخصصان سلامت روان خود توسعه دادیم. این مجموعه شامل بیش از ۸۰ روان شناس و روان پزشک دارای مجوز در ۲۲ کشور بود که به ۱۹ زبان صحبت می‌کردند و نماینده نزدیک به ۲۰ زیرتخصص سلامت روان بودند.

متخصصان مسئول خواندن هر مکالمه مصنوعی و تهیه فهرستی دقیق از معیارهای روبریک برای ارزیابی پاسخ‌های مدل به آخرین پیام کاربر بودند. هر معیار، یک جنبه واحد از پاسخ مدل را هدف قرار می‌دهد، مانند پرسیدن سوال درست یا ارائه بهترین توصیه ممکن. هر کدام از آنها وزنی از -10 تا +10 دارند: امتیازهای مثبت، رفتارهای مفید را پاداش می‌دهند، در حالی که امتیازهای منفی، رفتارهای مضر را جریمه می‌کنند، و معیارهایی با مقادیر بزرگتر، اهمیت بالینی بیشتری را در زمینه مکالمه نشان می‌دهند.

هر مکالمه حداقل توسط سه متخصص بررسی شد و تنها معیارهایی که توسط همه آنها پذیرفته شده بود، در معیار نهایی لحاظ شد. بنابراین، معیارهای نهایی در این معیار سنجش، قضاوت مشترکی را در مورد چگونگی واکنش مدل‌ها در هر زمینه منعکس می‌کنند. برای هر مکالمه، از یک ارزیاب خودکار، GPT‑۵.۶ Sol، استفاده می‌کنیم تا پاسخ‌های مدل را بر اساس معیارهایی که متخصصان نوشته‌اند ارزیابی کند. این مقاله فرآیند نمره‌دهی و تنظیمات ارزیابی را به تفصیل شرح می‌دهد.

طیف گسترده‌ای از مدل‌ها را با MentalHealthBench ارزیابی کردیم. نتایج زیر عملکرد این مدل‌ها را در کل مجموعه‌داده و بر اساس شدت وضعیت مکالمه نشان می‌دهد. این ارزیابی می‌سنجد که آیا پاسخ مدل همه رفتارهای ایدئالی را که کارشناسان برای هر سناریو مشخص کرده‌اند نشان می‌دهد و در عین حال از رفتارهای غیرمجاز پرهیز می‌کند.

مکالمه‌های مصنوعی‌ای ساختیم که نماینده چهار نوع کاربر بودند: بزرگسالان، نوجوانان ۱۳ تا ۱۷ ساله، مراقبان و متخصصان بالینی. اطلاعات پیش‌زمینه را از طریق پیام‌های سیستم ارائه کردیم و در شخصیت نوجوان نیز به‌صراحت گفتیم که کاربر ۱۳ تا ۱۷ سال دارد. این رویکرد برای کار با مدل‌های ارائه‌دهندگان مختلف طراحی شده است، هرچند ممکن است همه سازوکارهای حفاظتی تعبیه‌شده در محصولات مختلف را پوشش ندهد.

برای هر مکالمه، متخصصان بالینی معیارهایی نوشتند که مشخص می‌کرد پاسخ مناسب بعدی باید شامل چه مواردی باشد یا از چه چیزهایی پرهیز کند؛ سپس پاسخ‌های مدل را بر پایه همان معیارها ارزیابی کردیم. مکالمه‌های دارای شخصیت نوجوان را متخصصان بالینی حوزه سلامت روان جوانان بررسی کردند تا تناسب پاسخ‌ها با نیازهای خاص نوجوانان بهتر سنجیده شود.

MentalHealthBench همچنین امکان سنجش چندوجهی رفتار مدل را فراهم می‌کند. امتیاز کلی را می‌توان به عملکرد مدل در ده بُعد رفتاری مرتبط با سلامت روان تفکیک کرد. این رفتارها را کارشناسان سلامت روان تعریف کرده‌اند تا ظرافت‌های عملکرد مدل را منعکس کنند. مدل‌هایی با امتیاز کلی مشابه ممکن است در این رفتارها نقاط قوت متفاوتی داشته باشند.

چنین سنجش دقیقی می‌تواند به پژوهشگران کمک کند زمینه‌های بهبود را در رفتارهای تفسیرپذیر مدل شناسایی کنند. برای نمونه، می‌بینیم که توانایی مدل برای کسب اطلاعات زمینه‌ای به‌شکلی مناسب، در مدل‌های پیشرفته‌تر افزایش یافته است. این پیشرفت‌ها بازتاب سرمایه‌گذاری OpenAI و دیگر ارائه‌دهندگان مدل برای بهبود نحوه مدیریت مکالمه‌های سلامت روان توسط مدل‌هاست.

هم‌زمان با MentalHealthBench، تحلیل جداگانه‌ای انجام دادیم تا راهنمایی متخصصان بالینی را با آنچه مردم در حمایت هوش مصنوعی مفید می‌دانند مقایسه کنیم. این معیار از ضوابط امتیازدهی نوشته‌شده به‌دست متخصصان بالینی استفاده می‌کند؛ این تحلیل بررسی کرد که دیدگاه کاربران و متخصصان کجا همسو، متفاوت یا متعارض است.

با ۴۴ بزرگسال از ۱۶ کشور و گویندگان ۱۴ زبان که برای سلامت روان یا حمایت عاطفی از هوش مصنوعی استفاده کرده بودند همکاری کردیم. شرکت‌کنندگان به پاسخ‌های مدل در مکالمه‌های مصنوعی امتیاز دادند و معیارهایی نوشتند که ویژگی‌های یک حمایت مفید را توصیف می‌کرد. بررسی آن‌ها به مکالمه‌های غیرحاد محدود شد تا در معرض محتوای شدید و بالقوه ناراحت‌کننده قرار نگیرند.

دیدگاه کاربران ویژگی‌هایی را برجسته کرد که مردم در حمایت هوش مصنوعی ارزشمند می‌دانند اما در راهنمایی متخصصان کمتر بر آن‌ها تأکید شده بود، به‌ویژه گام‌های عملی بعدی و لحن. متخصصان بالینی بر گردآوری اطلاعات زمینه‌ای مرتبط و تفسیر دقیق موقعیت‌های مبهم تأکید بیشتری داشتند. این مقایسه تصویری کامل‌تر از ارزش‌های مورد نظر مردم در حمایت و ارتباط این ترجیحات با راهنمایی بالینی به ما می‌دهد.

MentalHealthBench ابزاری مشترک در اختیار کارشناسان، پژوهشگران و توسعه‌دهندگان می‌گذارد تا حمایت ایمن و مفید هوش مصنوعی را در موقعیت‌های مختلف سلامت روان ارزیابی کنند. با انتشار آزاد آن، از جامعه دعوت می‌کنیم روش‌هایش را بررسی کند، شکاف‌های مدل‌های موجود را بیابد و برای بهبود مدل‌ها بکوشد. هیچ معیاری همه جنبه‌های مهم یک مکالمه شخصی را در بر نمی‌گیرد، اما امیدواریم MentalHealthBench استاندارد بالاتری برای شیوه حمایت هوش مصنوعی از مردم تعیین کند.

همچنین از تلاش‌های دیگری در حوزه هوش مصنوعی و سلامت روان حمایت می‌کنیم؛ از جمله با کمک‌هزینه‌های پژوهش‌های جدید، گردهم‌آوردن کارشناسان با مشارکت در هوش مصنوعی⁠(در یک پنجره جدید باز می‌شود) و کمک به تلاش‌های مستقل مکمل، مانند ارزیابی سلامت روان⁠(در یک پنجره جدید باز می‌شود) Transluce.

در کنار این پژوهش، پاسخ‌های ChatGPT را در مکالمه‌های حساس تقویت کرده‌ایم، دسترسی به منابع بحران را گسترش داده‌ایم و مخاطب مورد اعتماد را افزوده‌ایم تا افراد در لحظات پریشانی با شخصی مورد اعتماد ارتباط بگیرند. همچنین ChatGPT برای نوجوانان را با حفاظت‌های بیشتر برای کاربران کم‌سن‌تر معرفی کرده‌ایم.

MentalHealthBench یکی از راه‌هایی است که از طریق آن برای ساخت هوش مصنوعی‌ای تلاش می‌کنیم که به میلیون‌ها نفر کمک کند لحظات دشوار را پشت سر بگذارند، روابطشان را تقویت کنند و زندگی سالم‌تر و رضایت‌بخش‌تری داشته باشند.