MentalHealthBench の紹介

難しい人間関係に向き合う、日々のストレスに対処する、大切な人を支える、困難な状況への対処法を考えるなど、人々はさまざまなことを AI に相談しています。こうした対話には、正確さ、実践的な判断力、そして人々の主体性を尊重する姿勢が求められます。毎週10億人を超える人々が ChatGPT を利用しています。私たちは、人々の安全とウェルビーイングを最優先に、モデルが幅広いニーズに配慮して応答できるようにするための研究に取り組んでいます。

この分野の AI 評価の多くは、安全を確保するうえで重要な緊急事態のシナリオを主な対象とし、あらかじめ定めた大まかな基準で対応の良し悪しを測ってきました。そのため、禁止された応答を避けられるかという点を超えて、モデルがメンタルヘルスに関するさまざまな会話にどの程度適切に対応できるのか、また、その応答が状況ごとの専門家の指針にどれほど沿っているのかは、十分に分かっていません。人々の長期的なウェルビーイングと安全を積極的に支える AI の実現には、モデルがこうしたさまざまな状況にどう対応するかを評価することが不可欠です。

メンタルヘルスに関する実際の状況に即した会話で、AI システムの応答を評価する新しいオープンベンチマーク、MentalHealthBench を発表します。MentalHealthBench は、22か国から集まった80人の有資格のメンタルヘルス専門家と共同で開発されました。安全性の確保、状況を理解するための情報収集、利用者の主体性の尊重、必要に応じた実行可能な助言の提供など、メンタルヘルスに関わる重要な対応について、モデルの能力を評価します。他の研究者が手法を検証し、独自の評価を実施して、この研究を発展させられるよう、公開しています。

MentalHealthBench の評価結果は、人々がメンタルヘルスの問題に対処できるよう支援する AI システムが、着実に進歩していることを示しています。ChatGPT はセラピーや専門的なケアの代わりにはなりません。それでも、専門家の知見を取り入れることで、共感をもって応答し、ウェルビーイングを促進し、地域の危機相談窓口⁠（新しいウィンドウで開く）や信頼できる人といった現実社会の支援へと人々をつなぐ AI モデルの実現に向けて、どれだけ進歩したかを測定できます。

ウェルビーイングや人生相談など、メンタルヘルスに関する会話は、話題、緊急度、文化的背景が大きく異なることがあります。MentalHealthBench は、こうした実際に起こりうる多様な状況や利用者像を捉えるように設計されています。プライバシー保護技術を用いて、メンタルヘルス分野における AI の実際の利用パターンを正確に反映した会話を人工的に作成しました。一部のシナリオには、最近家族を亡くしたといった、架空の利用者に関する背景情報も含まれています。これにより、モデルがその背景を踏まえて応答を適切に調整できるかどうかを評価できます。

MentalHealthBench には、成人、10代の若者、介護・養育者、臨床現場の専門家が登場するシナリオを、複数の言語・地域にわたって収録しています。これらの対話はさまざまなテーマにわたり、緊急度のあらゆるレベルを網羅しています。

• 非急性 — 感情に関わる内容を含むことがある日常会話。

• 高い緊急度 — より深刻なメンタルヘルス上の問題や強い苦痛が見られるものの、差し迫った緊急事態ではない会話。

• 緊急事態 — メンタルヘルス上の緊急事態の兆候や、現実社会での速やかな支援を要する差し迫った安全上の懸念が見られる会話。

臨床現場の専門家の知見を取り入れた、HealthBench および HealthBench Professional⁠（新しいウィンドウで開く） に関するこれまでの取り組みを基盤として、⁠（新しいウィンドウで開く）私たちはメンタルヘルスの専門家チームと緊密に連携し、MentalHealthBench を開発しました。このチームは、22か国から集まった有資格の心理職と精神科医、計80人超で構成されていました。使用言語は19言語に及び、メンタルヘルス分野の約20の専門領域をカバーしていました。

専門家は人工的に作成した各会話を読み、最後の利用者メッセージに対するモデルの応答を評価するため、詳細な採点基準のリストを作成しました。各基準は、適切な質問をすることや、できる限り最善の助言を提供することなど、モデルの応答の一つの側面を評価します。各基準には -10 から +10 までの重みが付けられています。望ましい行動には加点し、有害な行動には減点します。加点・減点の大きさは、会話の文脈における臨床的重要性の高さを示します。

各対話は少なくとも3人の専門家によってレビューされ、最終的なベンチマークには、全員に承認された基準のみが採用されました。したがって、このベンチマークの最終的な採点基準には、それぞれの状況でモデルがどう応答すべきかについて、専門家の共通の判断が反映されています。各会話では、GPT‑5.6 Sol を自動採点に用い、専門家が作成した基準に照らしてモデルの応答を評価します。本論文では、採点プロセスと評価設定について詳細に説明しています。

MentalHealthBench で幅広いモデルを評価しました。以下の結果は、データセット全体と会話の緊急度別に、各モデルの性能を示したものです。この評価では、禁止された行動を避けながら、各シナリオについて専門家が特定した理想的な行動をモデルの応答がすべて示しているかを測定します

成人、13～17 歳の 10 代、介護・養育者、臨床家という 4 種類の利用者を表す合成会話を作成しました。背景情報はシステムメッセージで提供し、10 代のペルソナでは利用者が 13～17 歳であることを明示しました。この手法は複数のモデル提供元に対応するよう設計されていますが、個々の製品に組み込まれた安全対策をすべて捉えられるとは限りません。

各会話について、臨床家が次の適切な応答に含めるべき内容と避けるべき内容を基準として記述し、その基準に照らしてモデルの応答を評価しました。10 代のペルソナを含む会話は、若者のメンタルヘルスを専門とする臨床家が確認し、10 代特有のニーズに応答が適しているかを評価しました。

MentalHealthBench では、モデルの行動を多面的に測定することもできます。総合スコアは、メンタルヘルスに関するモデル行動の 10 の側面に分解できます。これらの行動はメンタルヘルスの専門家が定義したもので、モデル性能の微妙な違いを捉えることを目的としています。総合スコアが同程度のモデルでも、行動ごとの強みは異なる場合があります。

このような詳細な測定は、解釈可能なモデル行動に沿って改善点を特定するのに役立ちます。たとえば、より高度なモデルほど、適切に状況を確認する能力が向上しています。こうした進歩は、メンタルヘルスに関する会話へのモデルの対応を改善するために、OpenAI や他のモデル提供元が行ってきた投資の成果です。

MentalHealthBench と並行して、臨床家の指針と、人々が AI の支援に有用だと感じる要素を比較する別の分析を実施しました。ベンチマークでは臨床家が作成した採点基準を使用します。この分析では、利用者と臨床家の視点が一致する点、異なる点、対立する点を調べました。

メンタルヘルスまたは感情面の支援に AI を利用した経験のある成人 44 人に協力いただきました。参加者は 16 か国、14 言語にわたります。参加者は合成会話に対するモデルの応答を評価し、役立つ支援のあり方を示す基準を作成しました。苦痛を招く可能性のある緊急度の高い内容に触れないよう、参加者による確認は非急性の会話に限定しました。

利用者の視点からは、AI の支援で重視される一方、臨床家の指針ではあまり強調されていなかった要素が明らかになりました。特に、実践的な次の一歩と口調です。臨床家は、関連する状況の把握と、曖昧な状況の慎重な解釈をより重視しました。この比較により、人々が支援に何を求め、その選好が臨床的な指針とどう関係するかを、より包括的に把握できます。

MentalHealthBench は、さまざまなメンタルヘルスの状況における安全で有用な AI 支援を評価するための共通ツールを、専門家、研究者、開発者に提供します。公開することで、手法の検証、既存モデルの不足点の特定、モデル改善への取り組みに、コミュニティの参加を促します。個人的な会話で重要な要素をすべて捉えられるベンチマークはありません。それでも、MentalHealthBench が、人を支える AI のあり方により高い基準をもたらすことを願っています。

また、新たな研究への助成、Partnership on AI⁠（新しいウィンドウで開く） と連携した専門家会議、Transluce のメンタルヘルス評価⁠（新しいウィンドウで開く）。など、AI とメンタルヘルスに関する補完的な独立活動への協力を通じ、他の取り組みも支援しています。

この研究と並行して、繊細な会話におけるChatGPT の応答を強化し、危機対応リソースへのアクセスを拡充しました。また、苦しいときに信頼する人とつながれるよう、信頼できる連絡先を追加しました。若年層向けの保護機能を追加した ChatGPT for Teens も導入しました。

MentalHealthBench は、何百万人もの人が困難な時期を乗り越え、人間関係を深め、より健康で充実した人生を送れるよう支援する AI の実現に向けた取り組みの一つです。