MentalHealthBench 正式上线

人们在各种对话中都会求助于 AI：处理棘手关系、舒缓日常压力、支持自己关心的人，或者决定如何应对困境。这些对话需要准确性、务实的判断力以及对他人自主权的尊重。每周有超过 10 亿人使用 ChatGPT，我们的研究重点是帮助模型在各种需求上做出审慎的回应，并将人们的安全和福祉放在首位。

该领域对 AI 的大多数评估主要集中在紧急情况下，因为紧急情况对安全至关重要，并且使用一系列预定义的标准来衡量成效。这使得人们难以全面了解模型在各类心理健康对话中的表现，也难以判断其回应在多大程度上符合专家针对具体情境给出的指导，而不仅局限于模型能否避免做出违禁回应。评估模型如何处理这些不同情境，对于构建能够积极保障人们长期福祉和安全的 AI 至关重要。

我们推出了 MentalHealthBench，这是一个全新的开放基准，用于衡量 AI 系统在真实的心理健康对话中的回应。MentalHealthBench 由来自 22 个国家/地区的 80 位持证心理健康专家组成的全球团队共同创建。它用于评估模型在关键心理健康行为方面的能力，例如安全、寻求背景信息、维护用户自主权以及能否适时提供可行的指导建议。我们将其公开发布，以便其他研究人员检验相关方案，自行开展评估，并在此基础上推进工作。

MentalHealthBench 的结果显示， AI 系统在帮助人们应对心理健康问题方面取得了稳步进展。虽然 ChatGPT 不能替代治疗或专业护理，但专家提供的见解有助于我们衡量 AI 模型在实现以下目标方面取得的进展：这些模型能够以同理心回应，改善身心健康，并引导人们通过当地危机热线⁠（在新窗口中打开）或其信任的人等渠道寻求现实世界的支持。

涉及幸福感、生活建议或其他心理健康问题的对话，在主题、紧迫性和文化背景方面可能存在很大差异。MentalHealthBench 旨在覆盖这些多样化的真实场景和用户角色。我们利用隐私保护技术，创建了合成心理健康对话，准确反映了 AI 在心理健康领域的实际使用模式。有些场景还包括有关合成用户的相关背景信息（例如最近家中有人去世），以便我们评估模型能否利用该背景信息灵活调整其回应。

MentalHealthBench 包含涉及成人、青少年、照护者和临床专业人员的场景，覆盖多种语言和地区。对话涵盖多个热门话题，并涉及严重程度各异的心理健康问题：

• 非急性 — 日常对话，可能包含一些情感因素。

• 高危 — 对话表明存在更严重的心理健康问题或明显困扰，但并未构成紧急情况。

• 紧急情况 — 对话表明存在心理健康紧急状况或即刻安全隐忧等迹象，亟需现实世界的支持。

我们以之前为 HealthBench 和 HealthBench Professional⁠（在新窗口中打开） 所规划、由临床专业人员主导的工作为核心，⁠（在新窗口中打开）与一群心理健康专家密切合作，共同开发了 MentalHealthBench。该团队由来自 22 个国家/地区的 80 多名持证心理学家和精神病学家组成，他们使用 19 种语言，代表了近 20 个心理健康亚专业领域。

专家们负责阅读每段合成对话，并制定详细的评分标准清单，以评估模型对最后一条用户消息的回复。每个标准都针对模型回应的某个特定方面，例如提出正确的问题或提供最佳建议。各项标准的权重范围介于 -10 到 +10 之间：正分用于奖励有益行为，负分则用于惩罚有害行为；标准数值越大，则表示对话的临床意义越重大。

每次对话都由至少三位专家进行审查，只有所有专家都认可的标准才会被纳入最终的基准。因此，基准测试中的最终评分细则反映了专家对模型在每种情境下应如何响应的共同判断。对于每一次对话，我们都使用自动评分器 GPT‑5.6 Sol 来根据专家编写的标准评估模型的回应。本文详细描述了评分过程和评估设置。

我们使用 MentalHealthBench 评估了多种模型。以下结果展示了这些模型在整个数据集上的表现。这项评估用于衡量模型回应是否体现专家为每种场景确定的全部理想行为，同时避免违禁行为。

该基准涵盖不同严重程度的对话。这有助于我们了解模型在日常心理健康场景以及需要现实支持的紧急心理健康危机中的表现。

基准测试中的对话代表四类用户：成人、13 至 17 岁青少年、照护者和临床专业人员。对于青少年用户画像，我们通过系统消息明确声明用户年龄介于 13 至 17 岁之间。这种方法旨在兼容不同模型提供商，但可能无法涵盖各产品内置的全部保障措施。涉及青少年用户画像的对话由具备青少年心理健康专业知识的临床专业人员审核，以判断回应是否符合青少年的独特需求。

MentalHealthBench 还能从多个方面衡量模型行为。总分由模型在十项心理健康行为维度上的表现汇总而成。这些行为由心理健康专家定义，旨在捕捉模型表现中的细微差异。总分相近的模型在这些行为上可能各有所长。

此类精细衡量可帮助研究人员根据可解释的模型行为确定改进方向。例如，我们发现：模型越先进，其发掘相关背景信息的能力越强。这些进步体现了 OpenAI 和其他模型提供商在改善模型处理心理健康对话方式上的持续投入。

除 MentalHealthBench 外，我们还开展了独立分析，将专家指导与用户认为有所助益的 AI 支持进行比较。我们希望了解，专家评分较高的回应是否仍可能让用户感到冷漠或没有帮助。通过比较用户和专家对模型回应的评分，及其制定的标准，我们能够量化双方观点中的共识、分歧或互补项。该基准测试最终的评分标准以专家共识为基础；这项独立分析并未改变这些标准。

我们与 44 名曾使用 AI 获取心理健康或情感支持的成人用户合作，他们来自 16 个国家/地区，使用 14 种语言。参与者对模型针对合成对话的回应进行评分，并编写标准，描述有帮助的支持应具备的特征。他们仅审核非急性对话，以避免接触可能令人不适的高危案例。

用户观点凸显了人们看重、但专家指导较少强调的 AI 支持特质，尤其是切实可行的后续步骤和语气。专家则更重视收集相关上下文，并谨慎解读模糊情境。这项对比工作让我们更全面地了解人们在支持中看重什么，以及这些偏好与临床指导有何关联。

MentalHealthBench 为专家、研究人员和开发者提供了一项共享工具，用于评估 AI 在各种心理健康情境下能否提供安全、有用的支持。通过公开发布此工具，我们邀请社区审视其方法、找出现有模型的不足，并共同推动后续模型改进。没有任何基准能涵盖个人对话中的所有重要因素，但我们希望 MentalHealthBench 能为 AI 支持用户的方式树立更高标准。

我们也在支持 AI 与心理健康领域的其他工作，包括提供新研究资助、与 Partnership on AI⁠（在新窗口中打开） 共同召集专家，以及协助 Transluce 的心理健康评估⁠（在新窗口中打开）等互补性独立项目。

在开展这项研究的同时，我们还增强了 ChatGPT 回应敏感对话的能力，扩大了危机资源的获取渠道，并新增了受信任联系人功能，帮助人们在感到痛苦时联系自己信任的人。我们还推出了 ChatGPT 青少年版，为年轻用户提供更多保障。

MentalHealthBench 是我们推动 AI 进步的方式之一，旨在帮助数百万人应对困境、改善人际关系，并过上更健康、更充实的生活。