Presentamos MentalHealthBench

Las personas recurren a la IA para muchos tipos de conversaciones: sobrellevar una relación difícil, superar el estrés cotidiano, apoyar a alguien a quien quieren o decidir cómo afrontar una situación complicada. Estas conversaciones requieren precisión, juicio práctico y respeto por la autonomía de las personas. Con más de mil millones de personas que usan ChatGPT cada semana, nuestra investigación se centra en ayudar a los modelos a responder con cuidado a una amplia variedad de necesidades y poner la seguridad y el bienestar de las personas en primer lugar.

La mayoría de las evaluaciones de IA en este ámbito se han centrado principalmente en escenarios de emergencia, dada su importancia para la seguridad, y en medir el éxito mediante criterios amplios y predefinidos. Esto ha dejado un vacío para entender cómo se comportan los modelos en toda la gama de conversaciones sobre salud mental y en qué medida se alinean sus respuestas con la orientación de expertos para cada situación, más allá de si evitan o no las respuestas no autorizadas. Evaluar cómo los modelos manejan estas diferentes situaciones es esencial para avanzar hacia una IA que apoye activamente el bienestar y la seguridad a largo plazo de las personas.

Presentamos MentalHealthBench, una nueva evaluación comparativa abierta para medir cómo responden los sistemas de IA en conversaciones realistas sobre salud mental. MentalHealthBench se ha creado en colaboración con un grupo internacional de 80 expertos en salud mental colegiados procedentes de 22 países. Evalúa las capacidades del modelo en conductas clave de salud mental como la seguridad, la búsqueda de contexto, el respeto de la autonomía del usuario y la provisión de orientación práctica cuando sea apropiado. La publicamos abiertamente para que otros investigadores puedan examinar los métodos, hacer sus propias evaluaciones y partir de ese trabajo.

Los resultados de MentalHealthBench muestran la mejora constante de los sistemas de IA para ayudar a las personas a sobrellevar situaciones de salud mental. Aunque ChatGPT no sustituye la terapia o la atención profesional, los conocimientos informados por expertos nos ayudan a medir el progreso hacia modelos de IA capaces de responder con empatía, promover el bienestar y guiar a las personas hacia un apoyo real, como líneas de ayuda localizadas en crisis⁠(se abre en una ventana nueva) o alguien de confianza.

Las conversaciones que involucran bienestar, consejos de vida u otros escenarios de salud mental pueden variar mucho en tema, urgencia y contexto cultural. MentalHealthBench está diseñado para captar la amplitud de estos escenarios realistas y perfiles de usuario. Utilizando técnicas que preservan la privacidad, creamos conversaciones sintéticas sobre salud mental que reflejan con precisión los patrones reales de uso de la IA para la salud mental. Algunos escenarios también incluyen información de fondo relevante sobre el usuario sintético —como una pérdida reciente en la familia— para que podamos evaluar si los modelos utilizan ese contexto para adaptar adecuadamente sus respuestas.

MentalHealthBench incluye escenarios que involucran a adultos, adolescentes, cuidadores y profesionales sanitarios de múltiples idiomas y regiones. Las conversaciones abarcan múltiples temas y ofrecen una cobertura de todo el espectro de gravedad:

• No aguda—Conversaciones cotidianas que pueden implicar algunos componentes emocionales.

• Alta gravedad—Conversaciones que indican problemas de salud mental más graves o angustia significativa, pero no una emergencia inmediata.

• Emergencias—Conversaciones que involucran señales de una emergencia de salud mental o preocupaciones inmediatas de seguridad que requieren apoyo urgente en el mundo real.

Basándonos en nuestro trabajo anterior, informado por profesionales sanitarios, para HealthBench y HealthBench Professional⁠(se abre en una ventana nueva),⁠(se abre en una ventana nueva) desarrollamos MentalHealthBench en estrecha colaboración con nuestro grupo de expertos en salud mental. Este grupo estaba formado por más de 80 psicólogos y psiquiatras colegiados de 22 países, que hablaban 19 idiomas y representaban a casi 20 subespecialidades de salud mental.

Los expertos fueron responsables de leer cada conversación sintética y elaborar una lista detallada de criterios de rúbrica para evaluar las respuestas del modelo al último mensaje del usuario. Cada criterio se centra en un único aspecto de la respuesta del modelo, como hacer la pregunta correcta o ofrecer el mejor consejo posible. Cada uno tiene un peso que va de -10 a +10: los puntos positivos recompensan los comportamientos beneficiosos, mientras que los negativos penalizan los perjudiciales, y los criterios con valores más altos indican una mayor importancia clínica en el contexto de una conversación.

Cada conversación fue revisada por al menos tres expertos y solo se incluyeron criterios aceptados por todos ellos en la evaluación comparativa final. Por tanto, las rúbricas finales de la evaluación comparativa reflejan un juicio compartido sobre cómo deben responder los modelos en cada contexto. Para cada conversación, utilizamos un evaluador automático, GPT‑5.6 Sol, para evaluar las respuestas del modelo según los mismos criterios redactados por expertos. El artículo describe en detalle el proceso de calificación y los ajustes de evaluación.

Evaluamos una amplia variedad de modelos con MentalHealthBench. Los siguientes resultados muestran el rendimiento de estos modelos en todo el conjunto de datos. La evaluación mide si la respuesta de un modelo muestra todos los comportamientos ideales que los expertos identificaron para cada situación y evita los comportamientos no permitidos.

La evaluación comparativa abarca conversaciones con diferentes niveles de gravedad. Esto nos permite comprender el rendimiento de los modelos tanto en escenarios cotidianos de salud mental como en emergencias de salud mental más urgentes que requieren apoyo en el mundo real.

Las conversaciones de la evaluación comparativa representan cuatro tipos de usuarios: adultos, adolescentes de 13 a 17 años, cuidadores y profesionales clínicos. Para el perfil adolescente, indicamos explícitamente mediante un mensaje del sistema que el usuario tenía entre 13 y 17 años. Este enfoque está diseñado para funcionar con distintos proveedores de modelos, aunque puede que no refleje todas las medidas de protección integradas en cada producto. Las conversaciones con el perfil adolescente fueron revisadas por profesionales clínicos especializados en salud mental juvenil para ayudar a determinar si las respuestas eran adecuadas para las necesidades específicas de los adolescentes.

MentalHealthBench también permite medir el comportamiento de los modelos desde múltiples perspectivas. La puntuación general puede desglosarse en el rendimiento de diez dimensiones del comportamiento de los modelos en materia de salud mental. Estos comportamientos los definen expertos en salud mental y pretenden reflejar los matices del rendimiento de los modelos. Los modelos con puntuaciones generales similares pueden tener distintos puntos fuertes en estos comportamientos.

Una medición tan detallada puede ayudar a los investigadores a identificar áreas de mejora mediante comportamientos interpretables de los modelos. Por ejemplo, observamos que la capacidad de un modelo para recabar contexto adecuadamente ha aumentado en los modelos más avanzados. Estas mejoras reflejan la inversión de OpenAI y otros proveedores de modelos en mejorar la forma en que los modelos abordan las conversaciones sobre salud mental.

Además de MentalHealthBench, realizamos un análisis independiente para comparar las orientaciones de expertos con lo que las personas consideran útil en la ayuda mediante IA. Queríamos comprobar si las respuestas que los expertos valoraban muy positivamente podían seguir pareciendo frías o poco útiles a los usuarios. Al comparar las valoraciones de usuarios y expertos sobre las respuestas del modelo y los criterios que redactaron, pudimos cuantificar en qué aspectos coincidían, diferían o se complementaban sus perspectivas. Los criterios de puntuación finales de la evaluación comparativa se basan en el consenso de expertos; este análisis independiente no los modificó.

Trabajamos con 44 adultos que habían utilizado IA como apoyo emocional o para la salud mental, procedentes de 16 países y hablantes de 14 idiomas. Los participantes puntuaron las respuestas de los modelos a conversaciones sintéticas y redactaron criterios para describir cómo debería ser una ayuda útil. Su revisión se limitó a conversaciones no agudas para evitar exponerlos a contenido de gravedad alta que pudiera resultar angustioso.

Las perspectivas de los usuarios destacaron cualidades que las personas valoran en la ayuda mediante IA y que recibían menos atención en las orientaciones de expertos, sobre todo los siguientes pasos prácticos y el tono. Los expertos hicieron mayor hincapié en recabar el contexto pertinente e interpretar con cuidado las situaciones ambiguas. Esta comparación nos ofrece una visión más completa de lo que las personas valoran en la ayuda y de cómo se relacionan esas preferencias con las orientaciones clínicas.

MentalHealthBench ofrece a expertos, investigadores y desarrolladores una herramienta común para evaluar si la ayuda mediante IA es segura y útil en distintas situaciones de salud mental. Al publicarla abiertamente, invitamos a la comunidad a examinar sus métodos, identificar carencias en los modelos existentes y trabajar para mejorar los modelos futuros. Ninguna evaluación comparativa refleja todo lo importante en una conversación personal, pero esperamos que MentalHealthBench ayude a elevar el nivel de la ayuda que presta la IA.

También apoyamos otras iniciativas sobre IA y salud mental, como las subvenciones para nuevas investigaciones, la reunión de expertos con la Partnership on AI⁠(se abre en una ventana nueva) y la colaboración en iniciativas independientes complementarias, como la evaluación de salud mental⁠(se abre en una ventana nueva) de Transluce.

Paralelamente a esta investigación, hemos mejorado las respuestas de ChatGPT en conversaciones delicadas, ampliado el acceso a recursos para crisis y añadido el Contacto de confianza para conectar a las personas con alguien de confianza en momentos de angustia. También hemos presentado ChatGPT para adolescentes, con protecciones adicionales para los usuarios más jóvenes.

MentalHealthBench es una de las formas en que trabajamos para lograr una IA que ayude a millones de personas a afrontar momentos difíciles, fortalecer sus relaciones y llevar una vida más sana y plena.