Memperkenalkan MentalHealthBench

Orang ramai beralih kepada AI untuk pelbagai jenis perbualan: menavigasi hubungan yang sukar, mengatasi tekanan harian, menyokong seseorang yang mereka sayangi atau memutuskan cara untuk menghadapi situasi yang mencabar. Perbualan ini memerlukan ketepatan, pertimbangan praktikal, dan rasa hormat terhadap kebebasan orang ramai. Dengan lebih daripada satu bilion orang menggunakan ChatGPT setiap minggu, kajian kami memberi tumpuan kepada membantu model bertindak balas dengan berhati-hati merentasi pelbagai keperluan dan mengutamakan keselamatan dan kesejahteraan orang ramai.

Kebanyakan penilaian AI dalam domain ini tertumpu terutamanya pada senario kecemasan, memandangkan kepentingannya terhadap keselamatan, dan mengukur kejayaan menggunakan kriteria yang luas dan telah ditetapkan. Ini telah meninggalkan jurang dalam memahami bagaimana model berprestasi merentasi keseluruhan rangkaian perbualan kesihatan mental, dan sejauh mana respons mereka sejajar dengan panduan pakar untuk setiap situasi, bukan sekadar sama ada mereka mengelakkan respons yang tidak dibenarkan. Menilai cara model mengendalikan situasi berbeza ini adalah penting untuk membina ke arah AI yang secara aktif menyokong kesejahteraan dan keselamatan jangka panjang manusia.

Kami memperkenalkan MentalHealthBench, penanda aras terbuka baharu untuk mengukur cara sistem AI bertindak balas dalam perbualan kesihatan mental yang realistik. MentalHealthBench telah dicipta bersama kohort global yang terdiri daripada 80 pakar kesihatan mental berlesen dari 22 buah negara. Ia menilai keupayaan model merentasi tingkah laku kesihatan mental utama seperti keselamatan, mencari konteks, memelihara agensi pengguna dan menyediakan panduan yang boleh diambil tindakan apabila sesuai. Kami melepaskannya secara terbuka supaya penyelidik lain boleh mengkaji kaedah tersebut, menjalankan penilaian mereka sendiri dan meneruskan usaha tersebut.

Keputusan di MentalHealthBench menunjukkan peningkatan berterusan sistem AI dalam membantu orang ramai menavigasi situasi kesihatan mental. Walaupun ChatGPT bukanlah pengganti terapi atau penjagaan profesional, pandangan pakar membantu kita mengukur kemajuan ke arah model AI yang dapat bertindak balas dengan empati, meningkatkan kesejahteraan dan membimbing orang ramai ke arah sokongan dunia sebenar seperti talian hotline krisis setempat⁠(dibuka dalam tetingkap baru) atau seseorang yang mereka percayai.

Perbualan yang melibatkan kesejahteraan, nasihat kehidupan atau senario kesihatan mental yang lain boleh berbeza-beza secara meluas dari segi topik, keperluan mendesak dan konteks budaya. MentalHealthBench direka bentuk untuk merangkumi keluasan senario realistik dan persona pengguna ini. Menggunakan teknik pemeliharaan privasi, kami mencipta perbualan kesihatan mental sintetik yang mencerminkan corak penggunaan AI di dunia sebenar untuk kesihatan mental dengan tepat. Sesetengah senario juga merangkumi maklumat latar belakang yang berkaitan tentang pengguna sintetik—seperti kehilangan ahli keluarga baru-baru ini—supaya kita dapat menilai sama ada model menggunakan konteks tersebut untuk menyesuaikan respons mereka dengan sewajarnya.

MentalHealthBench merangkumi senario yang melibatkan orang dewasa, remaja, penjaga dan klinisian, merentasi pelbagai bahasa dan wilayah. Perbualan ini merangkumi pelbagai tema topikal dan menyediakan liputan merentasi spektrum ketajaman yang lengkap:

• Tidak akut—Perbualan harian yang mungkin melibatkan beberapa komponen emosi.

• Ketajaman tinggi— Perbualan yang menunjukkan masalah kesihatan mental yang lebih serius atau tekanan yang ketara, tetapi bukan kecemasan segera.

• Kecemasan— Perbualan yang melibatkan tanda-tanda kecemasan kesihatan mental atau kebimbangan keselamatan segera yang memerlukan sokongan dunia sebenar segera.

Berdasarkan hasil kerja kami sebelum ini yang dimaklumkan oleh doktor untuk HealthBench dan HealthBench Professional⁠(dibuka dalam tetingkap baru),⁠(dibuka dalam tetingkap baru) kami membangunkan MentalHealthBench dengan kerjasama erat kohort pakar kesihatan mental kami. Ini terdiri daripada lebih 80 ahli psikologi dan pakar psikiatri berlesen di 22 buah negara, bertutur dalam 19 bahasa dan mewakili hampir 20 subkepakaran kesihatan mental.

Pakar-pakar bertanggungjawab membaca setiap perbualan sintetik dan menghasilkan senarai kriteria rubrik terperinci untuk menilai respons model terhadap mesej pengguna terakhir. Setiap kriteria menyasarkan satu aspek respons model seperti menanyakan soalan yang betul atau memberikan nasihat yang terbaik. Setiap satu mempunyai pemberat antara -10 hingga +10: mata positif memberi ganjaran kepada tingkah laku yang bermanfaat, manakala mata negatif menghukum tingkah laku yang berbahaya, dan kriteria dengan nilai yang lebih besar menunjukkan kepentingan klinikal yang lebih besar dalam konteks perbualan.

Setiap perbualan telah disemak oleh sekurang-kurangnya tiga orang pakar, dan hanya kriteria yang diterima oleh mereka semua dimasukkan dalam penanda aras akhir. Oleh itu, rubrik terakhir dalam penanda aras mencerminkan pertimbangan bersama tentang cara model perlu bertindak balas dalam setiap konteks. Bagi setiap perbualan, kami menggunakan penilai automatik, GPT‑5.6 Sol, untuk menilai respons model berdasarkan kriteria yang ditulis oleh pakar. Kertas kerja ini menerangkan proses penggredan dan tetapan penilaian secara terperinci.

Kami menilai pelbagai jenis model menggunakan MentalHealthBench. Dapatan di bawah menunjukkan prestasi model ini pada keseluruhan set data. Penilaian ini mengukur sama ada respons model menunjukkan semua tingkah laku ideal yang dikenal pasti oleh pakar bagi setiap senario sambil mengelakkan tingkah laku yang tidak dibenarkan.

Penanda aras ini merangkumi perbualan pada tahap ketajaman yang berbeza. Hal ini membolehkan kami memahami prestasi model bagi kedua-dua senario kesihatan mental harian dan kecemasan kesihatan mental yang lebih mendesak dan memerlukan sokongan dunia sebenar.

Perbualan dalam penanda aras mewakili empat jenis pengguna: orang dewasa, remaja berumur 13-17 tahun, penjaga dan klinisian. Bagi persona remaja, kami menyatakan dengan jelas melalui mesej sistem bahawa pengguna berumur antara 13-17 tahun. Pendekatan ini direka untuk berfungsi merentas penyedia model, walaupun mungkin tidak merangkumi semua perlindungan yang terbina dalam produk individu. Perbualan yang melibatkan persona remaja disemak oleh klinisian yang mempunyai kepakaran dalam kesihatan mental belia untuk membantu menilai sama ada respons sesuai dengan keperluan unik remaja.

MentalHealthBench turut membolehkan pengukuran tingkah laku model dari pelbagai aspek. Skor keseluruhan boleh diuraikan kepada prestasi sepanjang sepuluh dimensi tingkah laku model dalam kesihatan mental. Tingkah laku ini ditakrifkan oleh pakar kesihatan mental dan bertujuan merangkumi nuansa prestasi model. Model dengan skor keseluruhan yang serupa mungkin mempunyai kekuatan yang berbeza merentas tingkah laku ini.

Pengukuran terperinci seperti ini dapat membantu penyelidik mengenal pasti bidang yang boleh ditambah baik berdasarkan tingkah laku model yang boleh ditafsirkan. Sebagai contoh, kami mendapati keupayaan model mendapatkan konteks dengan sewajarnya meningkat dalam model yang lebih maju. Peningkatan ini mencerminkan pelaburan OpenAI dan penyedia model lain dalam menambah baik cara model mengendalikan perbualan kesihatan mental.

Di samping MentalHealthBench, kami menjalankan analisis berasingan untuk membandingkan panduan pakar dengan perkara yang dianggap berguna oleh orang ramai dalam sokongan AI. Kami ingin menyemak sama ada respons yang dinilai tinggi oleh pakar masih boleh dirasakan dingin atau tidak membantu oleh pengguna. Dengan membandingkan penilaian pengguna dan pakar terhadap respons model serta kriteria yang mereka tulis, kami dapat mengukur bahagian yang menunjukkan persamaan, perbezaan atau saling melengkapi antara perspektif mereka. Kriteria pemarkahan akhir penanda aras ini berdasarkan konsensus pakar; analisis berasingan ini tidak mengubahnya.

Kami bekerjasama dengan 44 orang dewasa yang pernah menggunakan AI untuk sokongan kesihatan mental atau emosi, mewakili 16 negara dan 14 bahasa. Peserta menilai respons model terhadap perbualan sintetik dan menulis kriteria yang menerangkan ciri sokongan yang bermanfaat. Semakan mereka dihadkan kepada perbualan tidak akut bagi mengelakkan pendedahan kepada bahan berkeakutan tinggi yang mungkin menimbulkan tekanan.

Perspektif pengguna menyerlahkan ciri yang dihargai dalam sokongan AI tetapi kurang ditekankan dalam panduan pakar, khususnya langkah praktikal seterusnya dan nada. Pakar lebih menekankan pengumpulan konteks yang berkaitan dan pentafsiran yang teliti terhadap situasi yang samar. Perbandingan ini memberi kita gambaran yang lebih menyeluruh tentang perkara yang dihargai dalam sokongan dan kaitan keutamaan tersebut dengan panduan klinikal.

MentalHealthBench menyediakan alat bersama kepada pakar, penyelidik dan pembangun untuk menilai sokongan AI yang selamat dan berguna dalam pelbagai situasi kesihatan mental. Dengan menerbitkannya secara terbuka, kami mengundang komuniti meneliti kaedahnya, mengenal pasti jurang dalam model sedia ada dan berusaha menambah baik model masa depan. Tiada penanda aras yang merangkumi semua perkara penting dalam perbualan peribadi, tetapi kami berharap MentalHealthBench membantu menetapkan standard lebih tinggi bagi cara AI menyokong orang ramai.

Kami turut menyokong usaha lain dalam AI dan kesihatan mental, termasuk melalui geran untuk penyelidikan baharu, menghimpunkan pakar bersama Partnership on AI⁠(dibuka dalam tetingkap baru), serta membantu usaha bebas yang saling melengkapi seperti penilaian kesihatan mental⁠(dibuka dalam tetingkap baru) Transluce.

Seiring dengan penyelidikan ini, kami telah memperkukuh respons ChatGPT dalam perbualan sensitif, meluaskan akses kepada sumber krisis dan menambahkan Kenalan Dipercayai untuk menghubungkan pengguna dengan orang yang mereka percayai ketika mengalami tekanan. Kami turut memperkenalkan ChatGPT untuk Remaja, dengan perlindungan tambahan bagi pengguna lebih muda.

MentalHealthBench ialah salah satu cara kami berusaha membangunkan AI yang membantu berjuta-juta orang mengharungi saat sukar, mengukuhkan hubungan dan menjalani kehidupan yang lebih sihat serta memuaskan.