Apresentamos o MentalHealthBench

As pessoas recorrem à IA para diversos tipos de conversas: para lidar com uma relação difícil, para enfrentar o stress do dia a dia, para apoiar alguém de quem gostam ou para decidir como abordar uma situação desafiante. Estas conversas exigem precisão, bom senso e respeito pela autonomia das pessoas. Com mais de mil milhões de pessoas a utilizar o ChatGPT todas as semanas, a nossa investigação centra-se em ajudar os modelos a responder cuidadosamente a uma vasta gama de necessidades e a priorizar a segurança e o bem-estar das pessoas.

A maioria das avaliações de IA neste domínio tem-se centrado principalmente em cenários de emergência, dada a sua importância para a segurança, e mede o sucesso utilizando critérios amplos e predefinidos. Isto deixou uma lacuna na compreensão de como os modelos se comportam em toda a gama de conversas sobre saúde mental e o quão bem as suas respostas se alinham com as orientações de especialistas para cada situação, bem para além de se simplesmente sabem evitar respostas proibidas. Avaliar como os modelos lidam com estas diferentes situações é essencial para construir uma IA que apoie ativamente o bem-estar e a segurança das pessoas a longo prazo.

Apresentamos o MentalHealthBench, um novo benchmark aberto para medir como os sistemas de IA respondem em conversas realistas sobre saúde mental. O MentalHealthBench foi cocriado com um grupo global de 80 especialistas em saúde mental licenciados, de 22 países. A avaliação analisa as capacidades do modelo em relação a comportamentos-chave de saúde mental, tais como a segurança, a procura de contexto, a preservação da autonomia do utilizador e a prestação de orientações práticas quando apropriado. Estamos a disponibilizá-lo publicamente para que outros investigadores possam examinar os métodos, realizar as suas próprias avaliações e dar continuidade ao trabalho.

Os resultados obtidos no MentalHealthBench mostram a melhoria constante dos sistemas de IA em ajudar as pessoas a lidar com situações de saúde mental. Embora o ChatGPT não substitua a terapia ou os cuidados profissionais, as informações dos especialistas ajudam-nos a medir o progresso em direção a modelos de IA capazes de responder com empatia, promover o bem-estar e orientar as pessoas para apoio no mundo real, como linhas de crise locais⁠(abre numa nova janela) ou alguém em quem confiem.

As conversas que envolvem bem-estar, conselhos de vida ou outros cenários relacionados com a saúde mental podem variar muito em termos de tema, urgência e contexto cultural. O MentalHealthBench foi concebido para captar a amplitude destes cenários realistas e perfis de utilizador. Utilizando técnicas de preservação da privacidade, criámos conversas sintéticas sobre saúde mental que refletem com precisão os padrões de utilização da IA para a saúde mental no mundo real. Alguns cenários incluem também informações contextuais relevantes sobre o utilizador sintético — como uma perda recente na família — para que possamos avaliar se os modelos utilizam este contexto para adaptar as suas respostas de forma adequada.

O MentalHealthBench inclui cenários que envolvem adultos, adolescentes, cuidadores e profissionais de saúde, em várias línguas e regiões. As conversas abrangem diversos temas atuais e oferecem cobertura em todo o espectro de complexidade:

• Não agudo —Conversas do dia a dia que podem envolver algumas componentes emocionais.

• Gravidade elevada— Conversas que indicam problemas de saúde mental mais graves ou sofrimento significativo, mas que não constituem uma emergência imediata.

• Emergências— Conversas que envolvem sinais de uma emergência de saúde mental ou preocupações imediatas de segurança que requerem apoio urgente no mundo real.

Com base no nosso trabalho anterior, orientado por clínicos, para o HealthBench e o HealthBench Professional⁠(abre numa nova janela),⁠(abre numa nova janela) desenvolvemos o MentalHealthBench em estreita colaboração com o nosso grupo de especialistas em saúde mental. Este grupo era composto por mais de 80 psicólogos e psiquiatras licenciados, em 22 países, que falavam 19 línguas e representavam quase 20 subespecialidades da saúde mental.

Os especialistas foram responsáveis por ler cada conversa sintética e produzir uma lista detalhada de critérios de avaliação para avaliar as respostas do modelo à última mensagem do utilizador. Cada critério visa um único aspeto da resposta do modelo, como, por exemplo, fazer a pergunta certa ou fornecer o melhor aconselhamento possível. Cada um deles tem um peso que varia entre -10 a +10: os pontos positivos recompensam os comportamentos benéficos, enquanto os pontos negativos penalizam os prejudiciais, e os critérios com valores mais elevados indicam uma maior importância clínica no contexto de uma conversa.

Cada conversa foi analisada por pelo menos três especialistas, sendo que apenas os critérios aceites por todos eles foram incluídos no benchmark final. As rubricas finais do benchmark refletem, portanto, um juízo partilhado sobre a forma como os modelos devem responder em cada contexto. Para cada conversa, utilizámos um avaliador automático, o GPT‑5.6 Sol, para avaliar as respostas do modelo de acordo com os critérios elaborados por especialistas. O artigo descreve detalhadamente o processo de classificação e as definições de avaliação.

Avaliámos uma vasta gama de modelos no MentalHealthBench. Os resultados abaixo mostram o desempenho destes modelos no conjunto de dados completo. A avaliação mede se a resposta de um modelo demonstra todos os comportamentos ideais identificados pelos especialistas para cada cenário, evitando simultaneamente comportamentos não permitidos.

O benchmark abrange conversas com diferentes níveis de gravidade. Isto permite-nos compreender o desempenho dos modelos tanto em cenários quotidianos de saúde mental como em emergências de saúde mental mais urgentes que requerem apoio no mundo real.

As conversas no benchmark representam quatro tipos de utilizadores: adultos, adolescentes dos 13 aos 17 anos, cuidadores e profissionais de saúde. No perfil de adolescente, indicámos explicitamente, através de uma mensagem do sistema, que o utilizador tinha entre 13 e 17 anos. Esta abordagem foi concebida para funcionar com modelos de diferentes fornecedores, embora possa não captar todas as salvaguardas integradas nos produtos individuais. As conversas com o perfil de adolescente foram analisadas por profissionais especializados em saúde mental juvenil, para ajudar a avaliar se as respostas eram adequadas às necessidades específicas dos adolescentes.

O MentalHealthBench também permite medir o comportamento dos modelos sob múltiplas perspetivas. A pontuação global pode ser decomposta no desempenho em dez dimensões do comportamento dos modelos no âmbito da saúde mental. Estes comportamentos são definidos por especialistas em saúde mental e procuram captar as nuances do desempenho dos modelos. Modelos com pontuações globais semelhantes podem ter diferentes pontos fortes nestes comportamentos.

Uma medição detalhada como esta pode ajudar os investigadores a identificar áreas a melhorar em comportamentos interpretáveis dos modelos. Por exemplo, constatamos que a capacidade de um modelo para procurar o contexto adequado aumentou nos modelos mais avançados. Estas melhorias refletem o investimento da OpenAI e de outros fornecedores na forma como os modelos lidam com conversas sobre saúde mental.

Em paralelo com o MentalHealthBench, realizámos uma análise distinta para comparar a orientação de especialistas com aquilo que as pessoas consideram útil no apoio prestado por IA. Queríamos verificar se respostas que os especialistas classificaram com nota elevada ainda poderiam parecer frias ou pouco úteis aos utilizadores. Ao comparar as avaliações dos utilizadores e dos especialistas sobre as respostas do modelo, bem como os critérios que redigiram, pudemos quantificar os aspetos em que as suas perspetivas coincidiam, divergiam ou se complementavam. Os critérios finais de pontuação do benchmark baseiam-se no consenso dos especialistas; esta análise distinta não os alterou.

Trabalhámos com 44 adultos de 16 países e falantes de 14 idiomas que tinham utilizado IA para apoio emocional ou de saúde mental. Os participantes classificaram respostas dos modelos a conversas sintéticas e redigiram critérios que descreviam como deveria ser um apoio útil. A análise foi limitada a conversas não agudas para evitar expô-los a conteúdos de gravidade elevada potencialmente perturbadores.

As perspetivas dos utilizadores destacaram qualidades valorizadas no apoio prestado por IA que receberam menos ênfase na orientação dos especialistas, sobretudo o tom e os próximos passos práticos. Os especialistas deram maior ênfase à recolha de contexto relevante e à interpretação cuidadosa de situações ambíguas. Esta comparação oferece-nos uma visão mais completa do que as pessoas valorizam no apoio e de como essas preferências se relacionam com a orientação clínica.

O MentalHealthBench proporciona a especialistas, investigadores e programadores uma ferramenta comum para avaliar um apoio de IA seguro e útil em diversas situações de saúde mental. Ao disponibilizá-lo publicamente, convidamos a comunidade a analisar os seus métodos, identificar lacunas nos modelos existentes e trabalhar para melhorar modelos futuros. Nenhum benchmark capta tudo o que importa numa conversa pessoal, mas esperamos que o MentalHealthBench ajude a elevar o padrão de apoio prestado pela IA.

Também apoiamos outras iniciativas na área da IA e da saúde mental, incluindo bolsas para nova investigação, a reunião de especialistas com a Partnership on AI⁠(abre numa nova janela) e a colaboração em iniciativas independentes complementares, como a avaliação de saúde mental⁠(abre numa nova janela) da Transluce.

A par desta investigação, reforçámos as respostas do ChatGPT em conversas sensíveis, alargámos o acesso a recursos de crise e adicionámos o Contacto de confiança para pôr as pessoas em contacto com alguém em quem confiam nos momentos de sofrimento. Também lançámos o ChatGPT para adolescentes, com proteções adicionais para utilizadores mais jovens.

O MentalHealthBench é uma das formas como trabalhamos para criar uma IA que ajude milhões de pessoas a enfrentar momentos difíceis, fortalecer as suas relações e ter vidas mais saudáveis e gratificantes.