推出 MentalHealthBench

人們會就各種事情與 AI 對話，例如處理難以應對的人際關係、紓解日常壓力、支持自己關心的人，或決定如何面對困難的情況。這些對話需要準確的資訊、務實的判斷，以及對人們自主性的尊重。每週有超過 10 億人使用 ChatGPT，因此我們的研究着重協助模型因應不同需要，作出細心周到的回應，並以人們的安全和福祉為先。

由於緊急情境對保障安全至關重要，這個領域的大多數 AI 評估一直主要聚焦於這類情境，並以預先訂立的概括準則衡量表現。因此，除了模型是否避免作出不允許的回應，我們對模型在各類精神健康對話中的表現，以及回應在多大程度上符合專家針對不同情況提出的指引，仍然了解不足。要逐步發展出能積極支持人們長期福祉和安全的 AI，評估模型如何處理這些不同情況至關重要。

我們現正推出 MentalHealthBench，這是一項全新的開放基準測試，用於衡量 AI 系統在貼近現實的精神健康對話中如何回應。MentalHealthBench 由我們與來自 22 個國家的 80 名持牌執業精神健康專家共同開發。MentalHealthBench 評估模型在精神健康對話中各項關鍵行為的能力，包括保障安全、了解背景、尊重用戶自主性，以及在適當時提供可行建議。我們將其公開發佈，讓其他研究人員能夠審視研究方法、自行進行評估，並在這項工作的基礎上繼續發展。

MentalHealthBench 的結果顯示，AI 系統在協助人們應對各種精神健康情況方面持續進步。ChatGPT 並不能取代心理治療或專業照顧，但參考專家意見所得的見解，有助我們衡量 AI 模型在以下方面的進展：以同理心回應、促進福祉，以及引導人們尋求現實生活中的支援，例如當地的危機支援熱線⁠（在新視窗中開啟）或他們信任的人。

涉及福祉、生活建議或其他精神健康情境的對話，在主題、緊急程度和文化背景上可能有很大差異。MentalHealthBench 旨在涵蓋這些貼近現實的多樣情境及用戶角色。我們利用保障私隱的技術，建立合成精神健康對話，準確反映人們使用 AI 處理精神健康需要的實際模式。部分情境亦包含虛構用戶的相關背景資料，例如最近有家人離世，讓我們評估模型會否運用這些背景資料，適當調整回應。

MentalHealthBench 包含涉及成年人、青少年、照顧者及臨床專業人員的情境，涵蓋多種語言和地區。對話涵蓋多個主題，以及由輕至重的各種嚴重程度：

• 非急性：可能涉及情緒因素的日常對話。

• 嚴重程度較高：對話顯示較嚴重的精神健康問題或明顯困擾，但並非需要即時處理的緊急情況。

• 緊急情況：對話出現精神健康危機的跡象，或涉及迫切的安全問題，需要緊急尋求現實生活中的支援。

在先前參考臨床專業人員意見開發 HealthBench 及 HealthBench Professional⁠（在新視窗中開啟） 的工作基礎上，⁠（在新視窗中開啟）我們與精神健康專家團隊密切合作，開發了 MentalHealthBench。這個團隊由來自 22 個國家的 80 多名持牌執業心理學家及精神科醫生組成，使用 19 種語言，涵蓋近 20 個精神健康分科專業領域。

專家負責閱讀每段合成對話，並撰寫詳細的評分準則清單，用以評估模型對用戶最後一則訊息的回應。每個標準都針對模型回應的單一方面，例如提出正確的問題或提供最佳建議。每項準則的權重介乎 -10 至 +10：正分獎勵有益行為，負分則懲罰有害行為；加分或扣分幅度越大，表示該準則在對話情境中的臨床重要性越高。

每段對話均由至少 3 名專家審閱，只有獲所有審閱專家認可的準則，才會納入最終的基準測試。因此，基準測試的最終評分準則反映了對模型在各種情境下應如何回應的共同判斷。我們使用 GPT‑5.6 Sol 作為自動評分模型，根據由專家撰寫的準則，評估模型對每段對話的回應。論文詳細說明了評分流程及評估設定。

我們使用 MentalHealthBench 評估了多種模型。以下結果顯示這些模型在完整資料集上的表現，以及按對話嚴重程度劃分的表現。評估會衡量模型回應是否展現專家為每種情境確立的所有理想行為，同時避免不允許的行為。

我們建立了代表 4 類用戶的合成對話：成人、13 至 17 歲青少年、照顧者及臨床專業人員。我們透過系統訊息提供背景資料，並在青少年角色中明確指出用戶年齡介乎 13 至 17 歲。這種方法旨在適用於不同模型供應商，但未必能涵蓋個別產品內置的所有保障措施。

臨床專業人員為每段對話撰寫準則，說明適當的下一個回應應包含或避免甚麼，然後我們依據這些準則評估模型回應。涉及青少年角色的對話由具備青少年精神健康專業知識的臨床人員審核，以協助評估回應是否切合青少年的獨特需要。

MentalHealthBench 亦可從多個面向衡量模型行為。整體分數可分解為模型在精神健康方面十個行為維度的表現。這些行為由精神健康專家界定，旨在反映模型表現的細微差異。整體分數相若的模型，在這些行為上可能各有所長。

這類精細衡量可協助研究人員從可解讀的模型行為中找出有待改善之處。例如，我們發現模型越先進，適當了解情境的能力亦有所提升。這些進步反映 OpenAI 及其他模型供應商致力改善模型處理精神健康對話的方式。

除 MentalHealthBench 外，我們亦另行分析，比較臨床專業人員的建議與人們認為有幫助的 AI 支援。這項基準測試採用臨床專業人員撰寫的評分準則；本次分析則探討用戶與臨床專業人員的觀點在哪些方面一致、不同或有所衝突。

我們與 44 名曾使用 AI 尋求精神健康或情緒支援的成人合作，他們來自 16 個國家，使用 14 種語言。參與者為模型對合成對話的回應評分，並撰寫準則，說明有幫助的支援應具備甚麼特質。為免他們接觸可能令人不安、涉及較嚴重精神健康情況的內容，他們只審閱非急性對話。

用戶的觀點突顯了人們重視、但臨床專業人員的建議較少強調的 AI 支援特質，尤其是實際的後續步驟和語氣。臨床專業人員則更重視收集相關背景資料，以及審慎解讀含意不明的情況。這項比較讓我們更全面了解人們重視哪些支援元素，以及這些偏好與臨床專業人員的建議有何關係。

MentalHealthBench 為專家、研究人員和開發人員提供共同工具，用以評估 AI 在各種精神健康情境下能否提供安全而實用的支援。透過公開發佈，我們邀請社群審視其方法、找出現有模型的不足，並共同改善模型。沒有任何基準測試能涵蓋個人對話中所有重要因素，但我們期望 MentalHealthBench 能為 AI 如何支援人們訂立更高標準。

我們亦支持其他 AI 與精神健康相關工作，包括提供新研究資助、與 Partnership on AI⁠（在新視窗中開啟） 召集專家，以及協助 Transluce 的精神健康評估⁠（在新視窗中開啟）等互補的獨立工作。

除這項研究外，我們亦已改善 ChatGPT 在敏感對話中的回應、增加取得危機支援資源的途徑，並新增可信任聯絡人，讓人們在困境中可聯絡信任的人。我們亦推出了 ChatGPT 青少年版，為年輕用戶提供額外保障。

MentalHealthBench 是我們推動 AI 發展的其中一項工作，目標是協助數百萬人度過艱難時刻、鞏固人際關係，並活出更健康充實的人生。