Présentation de MentalHealthBench

Les gens se tournent vers l’IA pour de nombreux types de conversations : gérer une relation difficile, composer avec le stress quotidien, soutenir une personne qui leur est chère ou décider comment aborder une situation complexe. Ces conversations exigent de la précision, du jugement pratique et le respect de l’autonomie des gens. Avec plus d’un milliard de personnes qui utilisent ChatGPT chaque semaine, nos recherches visent à aider les modèles à répondre avec soin à un large éventail de besoins et à placer la sécurité et le bien-être des gens au premier plan.

La plupart des évaluations de l’IA dans ce domaine se sont principalement concentrées sur des scénarios d’urgence, compte tenu de leur importance pour la sécurité, et mesurent le succès à l’aide de critères généraux prédéfinis. Cela a créé une lacune dans notre compréhension des performances des modèles dans l’ensemble des conversations sur la santé mentale et de la mesure dans laquelle leurs réponses correspondent aux conseils d’experts pour chaque situation, au-delà du simple fait d’éviter les réponses interdites. Évaluer comment les modèles gèrent ces différentes situations est essentiel pour progresser vers une IA qui soutient activement le bien-être et la sécurité des personnes à long terme.

Nous lançons MentalHealthBench, un nouveau référentiel ouvert pour mesurer comment les systèmes d’IA réagissent dans des conversations réalistes sur la santé mentale. MentalHealthBench a été cocréé avec une cohorte mondiale de 80 experts agréés en santé mentale provenant de 22 pays. Il évalue les capacités des modèles selon des comportements clés en santé mentale, comme assurer la sécurité, rechercher des renseignements contextuels, préserver l’autonomie des utilisateurs et fournir des conseils concrets lorsque cela est approprié. Nous le publions en libre accès afin que d’autres chercheurs puissent examiner les méthodes, effectuer leurs propres évaluations et s’appuyer sur ce travail.

Les résultats de MentalHealthBench montrent l’amélioration constante des systèmes d’IA pour aider les gens à naviguer dans des situations de santé mentale. Bien que ChatGPT ne remplace pas la thérapie ou les soins professionnels, les analyses éclairées par des experts nous aident à mesurer les progrès vers des modèles d’IA capables de répondre avec empathie, de promouvoir le bien-être et d’orienter les gens vers un soutien concret, comme des lignes d’écoute de crise localisées⁠(s'ouvre dans une nouvelle fenêtre) ou quelqu’un en qui ils ont confiance.

Les conversations qui portent sur le bien-être, des conseils de vie ou d’autres situations de santé mentale peuvent varier considérablement en termes de sujet, d’urgence et de contexte culturel. MentalHealthBench est conçu pour représenter la diversité de ces scénarios réalistes et de ces profils d’utilisateurs. En utilisant des techniques de protection de la vie privée, nous avons créé des conversations synthétiques sur la santé mentale qui reflètent fidèlement les modes d’utilisation réels de l’IA pour la santé mentale. Certains scénarios incluent aussi des renseignements contextuels pertinents sur l’utilisateur synthétique — comme un décès récent dans la famille — afin que nous puissions évaluer si les modèles utilisent ce contexte pour adapter leurs réponses de manière appropriée.

MentalHealthBench comprend des scénarios impliquant des adultes, des adolescents, des personnes proches aidantes et des cliniciens, dans plusieurs langues et régions. Les conversations abordent plusieurs thèmes et couvrent tous les niveaux d’acuité :

• Sans caractère aigu—Conversations quotidiennes qui peuvent impliquer certains éléments émotionnels.

• Acuité élevée— Conversations indiquant des préoccupations de santé mentale plus graves ou une détresse importante, mais pas une urgence immédiate.

• Urgences— Conversations impliquant des signes d’urgence en santé mentale ou des préoccupations immédiates de sécurité nécessitant un soutien immédiat dans le monde réel.

S’appuyant sur nos travaux antérieurs, informés par les cliniciens, pour HealthBench et HealthBench Professional⁠(s'ouvre dans une nouvelle fenêtre),⁠(s'ouvre dans une nouvelle fenêtre) nous avons développé MentalHealthBench en étroite collaboration avec notre cohorte d’experts en santé mentale. Cette cohorte comptait plus de 80 psychologues et psychiatres agréés répartis dans 22 pays, parlant 19 langues et représentant près de 20 sous-spécialités de la santé mentale.

Les experts étaient responsables de lire chaque conversation synthétique et de produire une liste détaillée de critères d’évaluation pour évaluer les réponses du modèle au dernier message utilisateur. Chaque critère cible un aspect unique de la réponse du modèle, comme poser la bonne question ou fournir les meilleurs conseils possibles. Chacun a un poids allant de -10 à +10 : les points positifs récompensent les comportements bénéfiques, tandis que les points négatifs pénalisent les comportements nuisibles, et les critères à valeurs plus élevées indiquent une importance clinique plus grande dans le contexte d’une conversation.

Chaque conversation a été examinée par au moins trois experts, et seuls les critères acceptés par tous ont été inclus dans la référence finale. Les grilles définitives de la référence reflètent donc un jugement partagé sur la façon dont les modèles devraient répondre dans chaque contexte. Pour chaque conversation, nous utilisons un évaluateur automatisé, GPT‑5.6 Sol, pour évaluer les réponses des modèles selon les critères rédigés par les experts. L’article décrit en détail le processus de notation et les paramètres d’évaluation.

Nous avons évalué un vaste éventail de modèles avec MentalHealthBench. Les résultats ci-dessous montrent les performances de ces modèles sur l’ensemble des données. L’évaluation mesure si la réponse d’un modèle manifeste tous les comportements idéaux définis par les experts pour chaque scénario, tout en évitant les comportements interdits.

Le référentiel couvre des conversations présentant différents niveaux d’acuité. Cela nous permet de comprendre les performances du modèle dans des scénarios de santé mentale du quotidien comme dans des urgences en santé mentale plus pressantes nécessitant un soutien concret.

Les conversations du référentiel représentent quatre types d’utilisateurs : les adultes, les adolescents de 13 à 17 ans, les personnes proches aidantes et les cliniciens. Pour le profil adolescent, nous avons précisé dans un message système que l’utilisateur avait entre 13 et 17 ans. Cette approche est conçue pour fonctionner avec différents fournisseurs de modèles, mais elle pourrait ne pas prendre en compte toutes les mesures de protection intégrées à chaque produit. Les conversations utilisant le profil adolescent ont été examinées par des cliniciens spécialisés en santé mentale des jeunes afin d’évaluer si les réponses convenaient aux besoins particuliers des adolescents.

MentalHealthBench permet aussi une mesure multidimensionnelle du comportement des modèles. Le score global peut être décomposé selon dix dimensions du comportement des modèles en santé mentale. Ces comportements sont définis par des experts en santé mentale et visent à saisir les nuances de la performance des modèles. Des modèles ayant des scores globaux semblables peuvent présenter des forces différentes pour ces comportements.

Une mesure aussi détaillée peut aider les chercheurs à cerner les améliorations possibles parmi les comportements interprétables des modèles. Par exemple, nous constatons que la capacité d’un modèle à rechercher le contexte de façon appropriée s’est améliorée avec les modèles plus avancés. Ces améliorations reflètent les investissements d’OpenAI et d’autres fournisseurs pour améliorer la façon dont les modèles abordent les conversations sur la santé mentale.

Parallèlement à MentalHealthBench, nous avons mené une analyse distincte afin de comparer les conseils d’experts à ce que les gens trouvent utile dans le soutien offert par l’IA. Nous voulions vérifier si des réponses très bien évaluées par les experts pouvaient tout de même sembler froides ou peu utiles aux utilisateurs. En comparant les évaluations des utilisateurs et des experts sur les réponses du modèle, ainsi que les critères qu’ils ont rédigés, nous avons pu quantifier les points où leurs perspectives convergeaient, divergeaient ou se complétaient. Les critères de notation définitifs du référentiel reposent sur le consensus des experts; cette analyse distincte ne les a pas modifiés.

Nous avons travaillé avec 44 adultes de 16 pays, parlant 14 langues, qui avaient utilisé l’IA pour obtenir du soutien en santé mentale ou du soutien émotionnel. Les participants ont évalué les réponses des modèles à des conversations synthétiques et rédigé des critères décrivant à quoi devrait ressembler un soutien utile. Leur examen se limitait aux conversations non aiguës pour éviter de les exposer à du contenu à forte acuité potentiellement éprouvant.

Les perspectives des utilisateurs ont mis en lumière des qualités que les gens apprécient dans le soutien offert par l’IA, mais qui étaient moins mises en avant dans les conseils d’experts, notamment des prochaines étapes concrètes et le ton. Les experts accordaient davantage d’importance à la collecte du contexte pertinent et à l’interprétation prudente des situations ambiguës. Cette comparaison nous donne une vue plus complète de ce que les gens apprécient dans le soutien, et du lien entre leurs préférences et les conseils cliniques.

MentalHealthBench offre aux experts, aux chercheurs et aux développeurs un outil commun pour évaluer la sûreté et l’utilité du soutien offert par l’IA dans diverses situations de santé mentale. En le publiant en libre accès, nous invitons la communauté à examiner ses méthodes, à repérer les lacunes des modèles existants et à contribuer à l’amélioration des futurs modèles. Aucun référentiel ne saisit tout ce qui compte dans une conversation personnelle, mais nous espérons que MentalHealthBench contribuera à établir une norme plus élevée pour la façon dont l’IA soutient les gens.

Nous soutenons aussi d’autres initiatives en IA et en santé mentale, notamment par des subventions pour de nouvelles recherches, en réunissant des experts avec le Partnership on AI⁠(s'ouvre dans une nouvelle fenêtre) et en appuyant des initiatives indépendantes complémentaires comme l’évaluation de la santé mentale⁠(s'ouvre dans une nouvelle fenêtre) de Transluce.

Parallèlement à cette recherche, nous avons renforcé les réponses de ChatGPT dans les conversations sensibles, élargi l’accès aux ressources de crise et ajouté le contact de confiance pour mettre les gens en contact avec une personne de confiance en période de détresse. Nous avons également lancé ChatGPT pour les adolescents, qui offre des protections supplémentaires aux jeunes utilisateurs.

MentalHealthBench est l’un des moyens par lesquels nous travaillons à créer une IA qui aide des millions de personnes à traverser des moments difficiles, à renforcer leurs relations et à mener une vie plus saine et épanouissante.