Memperkenalkan MentalHealthBench

Orang beralih ke AI untuk berbagai jenis percakapan: menavigasi hubungan yang sulit, mengatasi stres sehari-hari, mendukung seseorang yang mereka pedulikan, atau memutuskan bagaimana menghadapi situasi yang menantang. Percakapan ini membutuhkan keakuratan, pertimbangan praktis, dan penghormatan terhadap otonomi individu. Dengan lebih dari satu miliar orang menggunakan ChatGPT setiap minggu, penelitian kami berfokus pada membantu model merespons dengan hati-hati di berbagai kebutuhan dan mengutamakan keselamatan dan kesejahteraan emosional masyarakat.

Sebagian besar evaluasi AI di domain ini terutama berfokus pada skenario darurat, mengingat pentingnya bagi keselamatan, dan mengukur keberhasilan menggunakan kriteria yang luas dan telah ditentukan sebelumnya. Ini telah meninggalkan celah dalam memahami bagaimana model bekerja di seluruh rentang percakapan kesehatan mental, dan seberapa baik tanggapan mereka selaras dengan panduan ahli untuk setiap situasi, bukan hanya apakah mereka menghindari tanggapan yang tidak diizinkan. Menilai bagaimana model menangani situasi yang berbeda ini sangat penting untuk membangun AI yang secara aktif mendukung kesejahteraan emosional dan keselamatan jangka panjang orang.

Kami memperkenalkan MentalHealthBench, tolok ukur terbuka baru untuk mengukur bagaimana sistem AI merespons dalam percakapan kesehatan mental yang realistis. MentalHealthBench dibuat bersama dengan kohort global yang terdiri dari 80 ahli kesehatan mental berlisensi dari 22 negara. Tolok ukur ini menilai kemampuan model di seluruh perilaku kesehatan mental utama seperti keselamatan, mencari konteks, melestarikan agensi pengguna, dan memberikan panduan yang dapat ditindaklanjuti bila sesuai. Kami merilisnya secara terbuka agar peneliti lain dapat memeriksa metode, melakukan evaluasi mereka sendiri, dan mengembangkan pekerjaan tersebut.

Hasil di MentalHealthBench menunjukkan peningkatan sistem AI yang stabil dalam membantu orang menavigasi situasi kesehatan mental. Meskipun ChatGPT bukan pengganti terapi atau perawatan profesional, wawasan yang diinformasikan oleh para ahli membantu kami mengukur kemajuan menuju model AI yang mampu merespons dengan empati, meningkatkan kesejahteraan, dan membimbing orang menuju dukungan dunia nyata seperti hotline krisis lokal⁠(terbuka di jendela baru) atau seseorang yang mereka percayai.

Percakapan yang melibatkan kesejahteraan, nasihat hidup, atau skenario kesehatan mental lainnya dapat sangat bervariasi dalam topik, urgensi, dan konteks budaya. MentalHealthBench dirancang untuk menangkap luasnya skenario realistis dan persona pengguna ini. Dengan menggunakan teknik pelestarian privasi, kami menciptakan percakapan sintetis tentang kesehatan mental yang secara akurat mencerminkan pola penggunaan AI di dunia nyata untuk kesehatan mental. Beberapa skenario juga menyertakan informasi latar belakang yang relevan tentang pengguna sintetis—seperti kehilangan baru-baru ini dalam keluarga—sehingga kami dapat menilai apakah model menggunakan konteks itu untuk menyesuaikan tanggapan mereka dengan tepat.

MentalHealthBench mencakup skenario yang melibatkan orang dewasa, remaja, pengasuh, dan tenaga kesehatan, di berbagai bahasa dan wilayah. Percakapan mencakup berbagai tema topikal, dan memberikan cakupan di seluruh spektrum ketajaman keparahan:

• Non-akut—Percakapan sehari-hari yang mungkin melibatkan beberapa komponen emosional.

• Ketajaman tinggi— Percakapan yang menunjukkan masalah kesehatan mental yang lebih serius atau tekanan yang signifikan, tetapi bukan keadaan darurat segera.

• Keadaan Darurat—Percakapan yang melibatkan tanda-tanda darurat kesehatan mental atau masalah keselamatan langsung yang membutuhkan dukungan nyata yang mendesak.

Berdasarkan pekerjaan kami sebelumnya yang diinformasikan oleh klinisi untuk HealthBench dan HealthBench Professional⁠(terbuka di jendela baru),⁠(terbuka di jendela baru) kami mengembangkan MentalHealthBench dengan bekerja sama erat dengan kelompok ahli kesehatan mental kami. Organisasi ini terdiri dari lebih dari 80 psikolog dan psikiater berlisensi di 22 negara, berbicara dalam 19 bahasa, dan mewakili hampir 20 subspesialisasi kesehatan mental.

Para ahli bertanggung jawab untuk membaca setiap percakapan sintetis dan menghasilkan daftar rinci kriteria rubrik untuk mengevaluasi respons model terhadap pesan pengguna terakhir. Setiap kriteria menargetkan satu aspek dari respons model seperti mengajukan pertanyaan yang tepat atau memberikan saran terbaik. Masing-masing memiliki bobot antara -10 hingga +10: poin positif memberi penghargaan pada perilaku yang bermanfaat, sementara poin negatif menghukum perilaku yang merugikan, dan kriteria dengan nilai yang lebih besar menunjukkan pentingnya klinis yang lebih besar dalam konteks percakapan.

Setiap percakapan ditinjau oleh setidaknya tiga ahli, dan hanya kriteria yang diterima oleh semua ahli yang dimasukkan dalam tolok ukur akhir. Oleh karena itu, rubrik final dalam tolok ukur tersebut mencerminkan penilaian bersama tentang bagaimana model harus merespons dalam setiap konteks. Untuk setiap percakapan, kami menggunakan penilai otomatis, GPT‑5.6 Sol, untuk menilai respons model berdasarkan kriteria yang ditulis oleh para ahli. Makalah ini menjelaskan proses penilaian dan pengaturan evaluasi secara rinci.

Kami mengevaluasi beragam model di MentalHealthBench. Hasil di bawah menunjukkan performa model-model tersebut pada seluruh set data. Evaluasi ini mengukur apakah respons model menunjukkan seluruh perilaku ideal yang diidentifikasi para ahli untuk setiap skenario sekaligus menghindari perilaku yang dilarang.

Tolok ukur ini mencakup percakapan pada berbagai tingkat keparahan. Hal ini memungkinkan kami memahami performa model pada skenario kesehatan mental sehari-hari maupun keadaan darurat kesehatan mental yang lebih mendesak dan memerlukan dukungan di dunia nyata.

Percakapan dalam tolok ukur ini mewakili empat jenis pengguna: orang dewasa, remaja berusia 13–17 tahun, pengasuh, dan tenaga kesehatan. Untuk persona remaja, kami secara eksplisit menyatakan melalui pesan sistem bahwa pengguna berusia antara 13–17 tahun. Pendekatan ini dirancang agar dapat digunakan di berbagai penyedia model, meski mungkin tidak mencakup seluruh pengamanan yang ada dalam setiap produk. Percakapan yang melibatkan persona remaja ditinjau oleh tenaga kesehatan dengan keahlian dalam kesehatan mental kaum muda untuk membantu menilai apakah respons sesuai dengan kebutuhan unik remaja.

MentalHealthBench juga memungkinkan pengukuran perilaku model dari berbagai aspek. Skor keseluruhan dapat diuraikan menjadi performa pada sepuluh dimensi perilaku model terkait kesehatan mental. Perilaku ini ditetapkan oleh para ahli kesehatan mental dan bertujuan menangkap nuansa performa model. Model dengan skor keseluruhan serupa dapat memiliki keunggulan yang berbeda pada setiap perilaku tersebut.

Pengukuran terperinci seperti ini dapat membantu peneliti menemukan area yang perlu ditingkatkan berdasarkan perilaku model yang dapat ditafsirkan. Misalnya, kami melihat bahwa kemampuan model untuk menggali konteks secara tepat meningkat pada model yang lebih canggih. Peningkatan ini mencerminkan investasi OpenAI dan penyedia model lainnya untuk memperbaiki cara model menangani percakapan kesehatan mental.

Selain MentalHealthBench, kami melakukan analisis terpisah untuk membandingkan panduan pakar dengan apa yang dianggap bermanfaat oleh orang-orang terkait dukungan AI. Kami ingin memeriksa apakah respons yang dinilai tinggi oleh para pakar masih dapat terasa kurang hangat atau tidak membantu bagi pengguna. Dengan membandingkan penilaian pengguna maupun pakar terhadap respons model beserta kriteria yang mereka tulis, kami dapat mengukur sejauh mana perspektif mereka selaras, berbeda, atau saling melengkapi. Kriteria penilaian akhir tolok ukur ini didasarkan pada konsensus pakar; analisis terpisah ini tidak mengubahnya.

Kami bekerja sama dengan 44 orang dewasa dari 16 negara dan 14 bahasa yang pernah menggunakan AI untuk dukungan kesehatan mental atau emosional. Peserta menilai respons model terhadap percakapan sintetis dan menulis kriteria yang menjelaskan seperti apa dukungan yang bermanfaat. Tinjauan mereka dibatasi pada percakapan tidak akut agar mereka tidak terpapar materi berkeparahan tinggi yang berpotensi menimbulkan tekanan emosional.

Perspektif pengguna menyoroti kualitas yang dihargai orang terkait dukungan AI tetapi kurang ditekankan dalam panduan ahli, khususnya langkah praktis berikutnya dan nada penyampaian. Para ahli lebih menekankan pengumpulan konteks yang relevan dan penafsiran situasi ambigu secara cermat. Perbandingan ini memberi kami gambaran yang lebih lengkap tentang hal-hal yang dihargai orang dalam dukungan dan kaitan preferensi tersebut dengan panduan klinis.

MentalHealthBench menyediakan alat bersama bagi para ahli, peneliti, dan pengembang untuk mengevaluasi dukungan AI yang aman dan bermanfaat dalam berbagai situasi kesehatan mental. Dengan merilisnya secara terbuka, kami mengundang komunitas untuk menelaah metodenya, mengidentifikasi kekurangan model yang ada, dan bersama-sama meningkatkan model masa depan. Tidak ada tolok ukur yang dapat menangkap semua hal penting dalam percakapan pribadi, tetapi kami berharap MentalHealthBench membantu menetapkan standar yang lebih tinggi tentang cara AI mendukung orang.

Kami juga mendukung upaya lain di bidang AI dan kesehatan mental, termasuk melalui hibah untuk penelitian baru, mempertemukan para ahli bersama Partnership on AI⁠(terbuka di jendela baru), serta membantu upaya independen pelengkap seperti evaluasi kesehatan mental⁠(terbuka di jendela baru) Transluce.

Sejalan dengan penelitian ini, kami telah memperkuat respons ChatGPT dalam percakapan sensitif, memperluas akses ke sumber daya krisis, dan menambahkan Kontak Tepercaya untuk menghubungkan orang dengan seseorang yang mereka percayai saat mengalami tekanan. Kami juga memperkenalkan ChatGPT untuk Remaja, dengan perlindungan tambahan bagi pengguna yang lebih muda.

MentalHealthBench adalah salah satu cara kami mengembangkan AI yang membantu jutaan orang melewati masa sulit, memperkuat hubungan, serta menjalani hidup yang lebih sehat dan bermakna.