Presentamos MentalHealthBench

Las personas recurren a la IA para muchos tipos de conversaciones: desde afrontar una relación difícil o lidiar con el estrés cotidiano hasta apoyar a alguien que les importa o decidir cómo abordar una situación complicada. Estas conversaciones requieren precisión, criterio práctico y respeto por la autonomía de las personas. Con más de mil millones de personas usando ChatGPT cada semana, nuestra investigación se centra en ayudar a los modelos a responder con cuidado a una amplia variedad de necesidades y poner la seguridad y el bienestar de las personas en primer lugar.

La mayoría de las evaluaciones de IA en este ámbito se centraron principalmente en escenarios de emergencia, dada su importancia para la seguridad, y en medir el éxito mediante criterios amplios y predefinidos. Esto ha dejado un vacío en la comprensión del desempeño de los modelos en todo el espectro de conversaciones sobre salud mental y de qué tan bien sus respuestas se ajustan a las recomendaciones de los expertos para cada situación, más allá de evitar respuestas no permitidas. Evaluar cómo los modelos manejan estas diferentes situaciones es esencial para avanzar hacia una IA que apoye activamente el bienestar y la seguridad a largo plazo de las personas.

Presentamos MentalHealthBench, un nuevo punto de referencia abierto para medir cómo responden los sistemas de IA en conversaciones realistas sobre salud mental. MentalHealthBench se desarrolló en colaboración con un grupo internacional de 80 profesionales de la salud mental con licencia de 22 países. Evalúa las capacidades de los modelos en aspectos clave relacionados con la salud mental, como la seguridad, la búsqueda de contexto, el respeto por la autonomía del usuario y la orientación práctica cuando corresponde. Lo publicamos abiertamente para que otros investigadores puedan examinar los métodos, hacer sus propias evaluaciones y aprovechar este trabajo.

Los resultados de MentalHealthBench muestran la mejora constante de los sistemas de IA para ayudar a las personas a navegar situaciones de salud mental. Aunque ChatGPT no sustituye la terapia o la atención profesional, los conocimientos informados por expertos nos ayudan a medir el progreso hacia modelos de IA capaces de responder con empatía, promover el bienestar y guiar a las personas hacia un apoyo real, como líneas de ayuda localizadas en crisis⁠(se abre en una nueva ventana) o alguien de confianza.

Las conversaciones que involucran bienestar, consejos de vida u otros escenarios de salud mental pueden variar mucho en tema, urgencia y contexto cultural. MentalHealthBench está diseñado para captar la amplitud de estos escenarios realistas y perfiles de usuario. Empleando técnicas que preservan la privacidad, creamos conversaciones sintéticas sobre salud mental que reflejan con precisión los patrones reales de uso de la IA para la salud mental. Algunos escenarios también incluyen información de fondo relevante sobre el usuario sintético —como una pérdida reciente en la familia— para que podamos evaluar si los modelos emplean ese contexto para adaptar adecuadamente sus respuestas.

MentalHealthBench incluye situaciones que involucran personas adultas, adolescentes, cuidadores y profesionales clínicos, en múltiples idiomas y regiones. Las conversaciones abarcan múltiples temas de actualidad y ofrecen una cobertura de todo el espectro de agudeza:

• No aguda—Conversaciones cotidianas que pueden implicar algunos componentes emocionales.

• Alta gravedad—Conversaciones que indican problemas de salud mental más graves o angustia significativa, pero no una emergencia inmediata.

• Emergencias—Conversaciones que involucran señales de una emergencia de salud mental o preocupaciones inmediatas de seguridad que requieren apoyo urgente en el mundo real.

Basándonos en nuestro trabajo anterior, informado por profesionales de la salud, para HealthBench y HealthBench Professional⁠(se abre en una nueva ventana),⁠(se abre en una nueva ventana) desarrollamos MentalHealthBench en estrecha colaboración con nuestro grupo de expertos en salud mental. Este grupo estaba compuesto por más de 80 psicólogos y psiquiatras con licencia de 22 países, que hablaban 19 idiomas y representaban casi 20 subespecialidades de la salud mental.

Los expertos fueron responsables de leer cada conversación sintética y elaborar una lista detallada de criterios de rúbrica para evaluar las respuestas del modelo al último mensaje del usuario. Cada criterio se centra en un único aspecto de la respuesta del modelo, como hacer la pregunta correcta u ofrecer el mejor consejo posible. Cada uno tiene un peso que va de -10 a +10: los puntos positivos recompensan los comportamientos beneficiosos, mientras que los negativos penalizan los perjudiciales, y los criterios con valores más altos indican una mayor importancia clínica en el contexto de una conversación.

Cada conversación fue revisada por al menos tres expertos, y solo se incluyeron en el benchmark final los criterios que todos aprobaron. Por lo tanto, los criterios de evaluación finales del benchmark reflejan un consenso sobre cómo deberían responder los modelos en cada contexto. Para cada conversación, empleamos un evaluador automático, GPT‑5.6 Sol, para evaluar las respuestas del modelo según los criterios redactados por expertos. El artículo describe en detalle el proceso de calificación y los ajustes de evaluación.

Evaluamos una amplia variedad de modelos con MentalHealthBench. Los resultados que aparecen a continuación muestran el rendimiento de estos modelos en todo el conjunto de datos y según la gravedad de las conversaciones. La evaluación mide si la respuesta de un modelo demuestra todos los comportamientos ideales que los especialistas identificaron para cada situación, a la vez que evita comportamientos no permitidos

Creamos conversaciones sintéticas que representan cuatro tipos de usuarios: personas adultas, adolescentes de 13 a 17 años, cuidadores y profesionales clínicos. Proporcionamos información de contexto mediante mensajes del sistema y, en el perfil adolescente, indicamos explícitamente que el usuario tenía entre 13 y 17 años. Este enfoque está diseñado para funcionar con distintos proveedores de modelos, aunque quizá no capte todas las medidas de seguridad integradas en cada producto.

Para cada conversación, profesionales clínicos redactaron criterios sobre lo que una respuesta adecuada debía incluir o evitar, y evaluamos las respuestas de los modelos según esos criterios. Las conversaciones con el perfil adolescente fueron revisadas por profesionales clínicos especializados en salud mental juvenil para ayudar a evaluar si las respuestas eran adecuadas para las necesidades particulares de los adolescentes.

MentalHealthBench también permite medir el comportamiento de los modelos desde múltiples perspectivas. La puntuación general puede desglosarse en el rendimiento en diez dimensiones del comportamiento de los modelos en materia de salud mental. Estos comportamientos están definidos por especialistas en salud mental y buscan captar los matices del rendimiento de los modelos. Los modelos con puntuaciones generales similares pueden tener distintas fortalezas en estos comportamientos.

Una medición detallada como esta puede ayudar a los investigadores a identificar áreas de mejora en comportamientos interpretables de los modelos. Por ejemplo, observamos que la capacidad de un modelo para solicitar contexto de manera adecuada ha aumentado en los modelos más avanzados. Estas mejoras reflejan las inversiones de OpenAI y otros proveedores para mejorar la forma en que los modelos abordan las conversaciones sobre salud mental.

Junto con MentalHealthBench, realizamos un análisis independiente para comparar la orientación de profesionales clínicos con lo que las personas consideran útil en el apoyo brindado por la IA. El benchmark utiliza criterios de puntuación redactados por profesionales clínicos; este análisis examinó en qué aspectos coincidían, diferían o entraban en conflicto las perspectivas de usuarios y profesionales.

Trabajamos con 44 personas adultas de 16 países y 14 idiomas que habían usado IA para recibir apoyo emocional o relacionado con la salud mental. Los participantes calificaron las respuestas de los modelos a conversaciones sintéticas y redactaron criterios para describir cómo debería ser un apoyo útil. Su revisión se limitó a conversaciones no agudas para evitar exponerlos a material de gravedad alta que pudiera resultar angustiante.

Las perspectivas de los usuarios destacaron cualidades que las personas valoran en el apoyo de la IA y que recibían menos énfasis en la orientación clínica, en particular los siguientes pasos prácticos y el tono. Los profesionales clínicos dieron mayor importancia a recopilar el contexto pertinente y a interpretar con cuidado las situaciones ambiguas. Esta comparación nos da una visión más completa de lo que las personas valoran en el apoyo y de cómo esas preferencias se relacionan con la orientación clínica.

MentalHealthBench ofrece a especialistas, investigadores y desarrolladores una herramienta compartida para evaluar si el apoyo de la IA es seguro y útil en distintas situaciones de salud mental. Al publicarlo abiertamente, invitamos a la comunidad a examinar sus métodos, identificar deficiencias en los modelos existentes y trabajar para mejorarlos. Ningún benchmark capta todo lo que importa en una conversación personal, pero esperamos que MentalHealthBench ayude a establecer un estándar más alto para la forma en que la IA apoya a las personas.

También apoyamos otras iniciativas sobre IA y salud mental, incluso mediante subvenciones para nuevas investigaciones, reuniendo a especialistas con la Partnership on AI⁠(se abre en una nueva ventana) y colaborando con iniciativas independientes complementarias, como la evaluación de salud mental⁠(se abre en una nueva ventana) de Transluce.

Además de esta investigación, hemos reforzado las respuestas de ChatGPT en conversaciones delicadas, ampliado el acceso a recursos para crisis y añadido el Contacto de confianza para conectar a las personas con alguien de confianza en momentos de angustia. También presentamos ChatGPT para adolescentes, con protecciones adicionales para los usuarios más jóvenes.

MentalHealthBench es una de las formas en que trabajamos para lograr una IA que ayude a millones de personas a atravesar momentos difíciles, fortalecer sus relaciones y llevar una vida más sana y plena.