Présentation de MentalHealthBench

Les gens se tournent vers l’IA pour de nombreux types de conversations : gérer une relation difficile, gérer le stress quotidien, soutenir quelqu’un qu’ils aiment, ou décider comment aborder une situation difficile. Ces conversations exigent de la précision, du discernement face aux situations concrètes et du respect de l’autonomie des gens. Avec plus d’un milliard de personnes utilisant ChatGPT chaque semaine, nos recherches visent à aider les modèles à répondre avec discernement à un large éventail de besoins, en donnant la priorité à la sécurité et au bien-être des personnes.

La plupart des évaluations de l’IA dans ce domaine se concentrent principalement sur les scénarios d’urgence, compte tenu de leur importance pour la sécurité, et mesurent la réussite à l’aide de critères généraux prédéfinis. Cette approche ne permet toutefois pas de bien comprendre comment les modèles se comportent dans toute la diversité des conversations sur la santé mentale, ni dans quelle mesure leurs réponses suivent les recommandations des experts pour chaque situation, au-delà du simple fait d’éviter les réponses interdites. Évaluer comment les modèles gèrent ces différentes situations est essentiel pour développer une IA qui soutient activement le bien-être et la sécurité à long terme des personnes.

Nous présentons MentalHealthBench, un nouveau référentiel ouvert permettant d’évaluer la manière dont les systèmes d’IA répondent dans des conversations réalistes sur la santé mentale. MentalHealthBench a été co-créé avec une cohorte mondiale de 80 professionnels agréés de la santé mentale issus de 22 pays. Il évalue les capacités du modèle sur les comportements clés en santé mentale tels que la sécurité, la recherche de contexte, la préservation de l’autonomie des utilisateurs, et la fourniture de conseils concrets lorsque cela est approprié. Nous le publions librement afin que d’autres chercheurs puissent examiner les méthodes, mener leurs propres évaluations et prolonger ces travaux.

Les résultats de MentalHealthBench montrent une amélioration constante des systèmes d’IA pour aider les personnes à faire face à des situations liées à la santé mentale. Bien que ChatGPT ne remplace pas la thérapie ou les soins professionnels, les analyses éclairées par des experts nous aident à mesurer les progrès vers des modèles d’IA capables de répondre avec empathie, de promouvoir le bien-être et d’orienter les personnes vers un soutien concret comme des lignes d’assistance locales en cas de crise⁠(ouverture dans une nouvelle fenêtre) ou une personne en qui elles ont confiance.

Les conversations qui portent sur le bien-être, des conseils de vie ou d’autres situations de santé mentale peuvent varier considérablement en termes de sujet, d’urgence et de contexte culturel. MentalHealthBench est conçu pour refléter la diversité de ces scénarios réalistes et de ces profils d’utilisateurs. En utilisant des techniques de protection de la vie privée, nous avons créé des conversations synthétiques sur la santé mentale qui reflètent fidèlement les modes d’utilisation réels de l’IA pour la santé mentale. Certains scénarios incluent également des informations de fond pertinentes sur l’utilisateur synthétique — comme une perte récente dans la famille — afin d’évaluer si les modèles utilisent ce contexte pour adapter leurs réponses de manière appropriée.

MentalHealthBench comprend des scénarios impliquant des adultes, des adolescents, des aidants et des cliniciens, dans plusieurs langues et régions. Les conversations couvrent de nombreux thèmes et tous les niveaux de gravité :

• Situations non aiguës— Conversations quotidiennes qui peuvent impliquer certains éléments émotionnels.

• Gravité élevée— Conversations faisant état de problèmes de santé mentale plus graves ou d’une détresse importante, sans constituer une urgence immédiate.

• Urgences— Conversations présentant des signes d’urgence en santé mentale ou un risque immédiat pour la sécurité, nécessitant une aide urgente dans la vie réelle.

En nous appuyant sur nos travaux précédents menés avec la contribution de cliniciens pour HealthBench et HealthBench Professional⁠(ouverture dans une nouvelle fenêtre),⁠(ouverture dans une nouvelle fenêtre) nous avons développé MentalHealthBench en étroite collaboration avec notre cohorte d’experts en santé mentale. Ce groupe comprenait plus de 80 psychologues et psychiatres agréés répartis dans 22 pays, parlant 19 langues et représentant près de 20 sous-spécialités de la santé mentale.

Les experts étaient chargés de lire chaque conversation synthétique et de produire une liste détaillée de critères permettant d’évaluer les réponses du modèle au dernier message de l’utilisateur. Chaque critère porte sur un seul aspect de la réponse du modèle, comme poser la bonne question ou fournir les meilleurs conseils possibles. Chacun a un poids allant de -10 à +10 : les points positifs récompensent les comportements bénéfiques, tandis que les points négatifs pénalisent les comportements nuisibles, et les critères dont la valeur absolue est plus élevée indiquent une plus grande importance clinique dans le contexte de la conversation.

Chaque conversation a été examinée par au moins trois experts, et seuls les critères acceptés par tous ont été inclus dans le référentiel final. Les grilles finales du référentiel reflètent donc un jugement partagé sur la manière dont les modèles doivent répondre dans chaque contexte. Pour chaque conversation, nous utilisons un évaluateur automatique, GPT‑5.6 Sol, pour évaluer les réponses du modèle selon les critères rédigés par les experts. L’article décrit en détail le processus de notation et les paramètres d’évaluation.

Nous avons évalué un large éventail de modèles avec MentalHealthBench. Les résultats ci-dessous présentent les performances de ces modèles sur l’ensemble des données. L’évaluation mesure si la réponse d’un modèle présente tous les comportements idéaux définis par les experts pour chaque scénario, tout en évitant les comportements interdits.

Le référentiel couvre des conversations à différents niveaux de gravité. Cela nous permet de comprendre les performances du modèle dans des scénarios de santé mentale du quotidien comme dans des situations de crise en santé mentale nécessitant une intervention plus urgente dans le monde réel.

Les conversations du référentiel représentent quatre types d’utilisateurs : adultes, adolescents âgés de 13 à 17 ans, aidants et cliniciens. Pour le persona adolescent, nous avons explicitement indiqué dans un message système que l’utilisateur avait entre 13 et 17 ans. Cette approche est conçue pour fonctionner avec différents fournisseurs de modèles, mais elle ne tient pas nécessairement compte de toutes les protections intégrées aux produits individuels. Les conversations impliquant le persona adolescent ont été examinées par des cliniciens spécialisés dans la santé mentale des jeunes afin d’évaluer si les réponses étaient adaptées aux besoins propres aux adolescents.

MentalHealthBench permet également une mesure multidimensionnelle du comportement des modèles. Le score global peut être décomposé en performances selon dix dimensions du comportement des modèles en matière de santé mentale. Ces comportements sont définis par des experts en santé mentale et visent à saisir les nuances des performances des modèles. Des modèles ayant des scores globaux similaires peuvent présenter des points forts différents selon ces comportements.

Une mesure aussi fine peut aider les chercheurs à repérer les améliorations possibles selon des comportements interprétables des modèles. Par exemple, nous constatons que la capacité d’un modèle à recueillir de manière appropriée les informations contextuelles nécessaires s’est améliorée avec les modèles plus avancés. Ces progrès reflètent les investissements d’OpenAI et d’autres fournisseurs visant à améliorer la façon dont les modèles gèrent les conversations sur la santé mentale.

Parallèlement à MentalHealthBench, nous avons mené une analyse distincte pour comparer les recommandations des experts à ce que les personnes jugent utile dans le soutien fourni par l’IA. Nous voulions vérifier si des réponses très bien notées par les experts pouvaient néanmoins sembler froides ou peu utiles aux utilisateurs. En comparant les évaluations des réponses des modèles par les utilisateurs et les experts, ainsi que les critères rédigés par les uns et les autres, nous avons pu quantifier les points de convergence, de divergence ou de complémentarité entre leurs perspectives. Les critères définitifs de notation du référentiel reposent sur le consensus des experts ; cette analyse distincte ne les a pas modifiés.

Nous avons travaillé avec 44 adultes ayant utilisé l’IA pour obtenir du soutien en matière de santé mentale ou sur le plan émotionnel, issus de 16 pays et parlant 14 langues. Les participants ont évalué les réponses des modèles à des conversations synthétiques et rédigé des critères décrivant les caractéristiques d’un soutien utile. Leur examen s’est limité aux conversations non aiguës afin de ne pas les exposer à des contenus potentiellement éprouvants présentant un degré de gravité élevé.

Les points de vue des utilisateurs ont mis en évidence des qualités appréciées dans le soutien fourni par l’IA, mais moins mises en avant dans les recommandations d’experts, notamment les mesures concrètes à prendre et le ton. Les experts ont davantage insisté sur le recueil d’informations pertinentes sur le contexte et l’interprétation prudente des situations ambiguës. Cette comparaison nous donne une vision plus complète de ce que les personnes apprécient dans le soutien et du rapport entre ces préférences et les recommandations cliniques.

MentalHealthBench fournit aux experts, chercheurs et développeurs un outil commun pour évaluer un soutien sûr et utile de l’IA dans diverses situations de santé mentale. En le publiant librement, nous invitons la communauté à examiner ses méthodes, à repérer les lacunes des modèles existants et à œuvrer à l’amélioration des futurs modèles. Aucun référentiel ne saisit tout ce qui compte dans une conversation personnelle, mais nous espérons que MentalHealthBench contribuera à établir un niveau d’exigence plus élevé quant à la manière dont l’IA accompagne les personnes.

Nous soutenons également d’autres initiatives liées à l’IA et à la santé mentale, notamment en accordant des subventions à de nouvelles recherches, en réunissant des experts en collaboration avec Partnership on AI⁠(ouverture dans une nouvelle fenêtre), et en contribuant à des initiatives indépendantes complémentaires, comme l’évaluation de la santé mentale⁠(ouverture dans une nouvelle fenêtre) menée par Transluce.

Parallèlement à cette recherche, nous avons renforcé les réponses de ChatGPT lors de conversations sensibles, élargi l’accès aux ressources d’aide en cas de crise et ajouté le contact de confiance pour mettre les personnes en relation avec quelqu’un en qui elles ont confiance dans les moments de détresse. Nous avons également lancé ChatGPT pour les adolescents, avec des protections supplémentaires pour les plus jeunes.

MentalHealthBench est l’un des moyens par lesquels nous œuvrons à une IA qui aide des millions de personnes à traverser des moments difficiles, à renforcer leurs relations et à mener une vie plus saine et plus épanouissante.