Apresentamos o MentalHealthBench

As pessoas recorrem à IA para conversar sobre muitas situações: lidar com um relacionamento difícil, enfrentar o estresse cotidiano, apoiar alguém querido ou decidir como agir diante de um desafio. Essas conversas exigem precisão, bom senso e respeito à autonomia das pessoas. Com mais de um bilhão de pessoas usando o ChatGPT a cada semana, nossa pesquisa se concentra em ajudar os modelos a responder com cuidado às mais diversas necessidades e a colocar a segurança e o bem-estar das pessoas em primeiro lugar.

A maioria das avaliações de IA nessa área tem se concentrado principalmente em cenários de emergência, dada sua importância para a segurança, e mede o sucesso com critérios amplos e predefinidos. Isso deixou uma lacuna na compreensão do desempenho dos modelos em toda a variedade de conversas sobre saúde mental e do quanto suas respostas seguem as orientações dos especialistas para cada situação, para além de evitar respostas não permitidas. Avaliar como os modelos lidam com essas diferentes situações é essencial para avançar no desenvolvimento de uma IA que apoie ativamente o bem-estar e a segurança das pessoas a longo prazo.

Apresentamos o MentalHealthBench, um novo benchmark aberto para avaliar como os sistemas de IA respondem em conversas realistas sobre saúde mental. O MentalHealthBench foi criado em conjunto com um grupo global de 80 especialistas habilitados em saúde mental de 22 países. Ele avalia as capacidades dos modelos em comportamentos essenciais no contexto da saúde mental, como agir com segurança, buscar contexto, preservar a autonomia do usuário e oferecer orientações que possam ser colocadas em prática, quando apropriado. Estamos disponibilizando o benchmark de forma aberta para que outros pesquisadores possam examinar os métodos, realizar suas próprias avaliações e dar continuidade a esse trabalho.

Os resultados obtidos no MentalHealthBench mostram a melhoria constante dos sistemas de IA em ajudar as pessoas a lidar com situações de saúde mental. Embora o ChatGPT não substitua a terapia ou o atendimento profissional, as informações de especialistas nos ajudam a medir o progresso em direção a modelos de IA capazes de responder com empatia, promover o bem-estar e orientar as pessoas para apoio no mundo real, como linhas diretas de crise locais⁠(abre em uma nova janela) ou alguém em quem confiem.

Conversas que envolvem bem-estar, conselhos de vida ou outros cenários relacionados à saúde mental podem variar muito em termos de tema, urgência e contexto cultural. O MentalHealthBench foi projetado para capturar a amplitude desses cenários realistas e perfis de usuário. Utilizando técnicas de preservação da privacidade, criamos conversas sintéticas sobre saúde mental que refletem com precisão os padrões de uso da IA para a saúde mental no mundo real. Alguns cenários também incluem informações contextuais relevantes sobre o usuário sintético — como uma perda recente na família — para que possamos avaliar se os modelos usam esse contexto para adaptar suas respostas de forma adequada.

O MentalHealthBench inclui cenários com adultos, adolescentes, cuidadores e profissionais de saúde, em diferentes idiomas e regiões. As conversas abordam diversos temas e abrangem todos os níveis de gravidade:

• Não agudo —Conversas do dia a dia que podem envolver alguns componentes emocionais.

• Alta gravidade— Conversas que indicam problemas de saúde mental mais sérios ou sofrimento significativo, mas que não configuram uma emergência imediata.

• Emergências— Conversas que envolvem sinais de uma emergência de saúde mental ou preocupações imediatas com a segurança que exigem apoio urgente no mundo real.

Com base no nosso trabalho anterior, orientado por clínicos, para o HealthBench e o HealthBench Professional, damos continuidade⁠(abre em uma nova janela)ao que fizemos anteriormente.,⁠(abre em uma nova janela) desenvolvemos o MentalHealthBench em estreita colaboração com nosso grupo de especialistas em saúde mental. Esse grupo era formado por mais de 80 profissionais de psicologia e psiquiatria com habilitação profissional, de 22 países, que falavam 19 idiomas e representavam quase 20 subespecialidades em saúde mental.

Os especialistas foram responsáveis por ler cada conversa sintética e produzir uma lista detalhada de critérios de avaliação para avaliar as respostas do modelo à última mensagem do usuário. Cada critério visa um único aspecto da resposta do modelo, como fazer a pergunta certa ou fornecer o melhor conselho possível. Cada um deles possui um peso que varia de -10 a +10: pontos positivos recompensam comportamentos benéficos, enquanto pontos negativos penalizam os prejudiciais, e critérios com valores maiores indicam maior importância clínica no contexto de uma conversa.

Cada conversa foi revisada por pelo menos três especialistas, e apenas os critérios aceitos por todos foram incluídos na versão final do benchmark. Assim, as rubricas de avaliação finais do benchmark refletem um consenso sobre como os modelos devem responder em cada contexto. Para cada conversa, usamos um avaliador automatizado, o GPT‑5.6 Sol, para analisar as respostas dos modelos com base nos critérios elaborados pelos especialistas. O artigo descreve em detalhes o processo de pontuação e as configurações da avaliação.

Avaliamos diversos modelos com o MentalHealthBench. Os resultados abaixo mostram o desempenho desses modelos em todo o conjunto de dados. A avaliação verifica se a resposta de um modelo apresenta todos os comportamentos ideais identificados pelos especialistas para cada cenário, sem apresentar comportamentos não permitidos.

O benchmark abrange conversas em diferentes níveis de gravidade. Isso nos permite compreender o desempenho dos modelos tanto em situações cotidianas de saúde mental quanto em emergências de saúde mental mais urgentes, que exigem apoio no mundo real.

As conversas do benchmark representam quatro tipos de usuários: adultos, adolescentes de 13 a 17 anos, cuidadores e profissionais de saúde. Para o perfil adolescente, informamos explicitamente, por meio de uma mensagem do sistema, que o usuário tinha entre 13 e 17 anos. Essa abordagem foi concebida para funcionar com modelos de diferentes provedores, mas pode não contemplar todas as medidas de proteção incorporadas a cada produto. As conversas com o perfil adolescente foram revisadas por profissionais de saúde com experiência em saúde mental de jovens, para ajudar a avaliar se as respostas são adequadas às necessidades específicas dos adolescentes.

O MentalHealthBench também permite medir o comportamento dos modelos sob vários aspectos. A pontuação geral pode ser decomposta no desempenho em dez dimensões do comportamento dos modelos em saúde mental. Esses comportamentos são definidos por especialistas em saúde mental e buscam captar nuances do desempenho dos modelos. Modelos com pontuações gerais semelhantes podem ter pontos fortes diferentes nesses comportamentos.

Uma medição detalhada como essa pode ajudar pesquisadores a identificar áreas de melhoria em comportamentos interpretáveis dos modelos. Por exemplo, observamos que a capacidade de um modelo de buscar o contexto adequado aumentou nos modelos mais avançados. Essas melhorias refletem os investimentos da OpenAI e de outros fornecedores para aprimorar a maneira como os modelos conduzem conversas sobre saúde mental.

Em paralelo ao MentalHealthBench, realizamos uma análise separada para comparar as orientações dos especialistas com aquilo que as pessoas consideram útil no apoio oferecido pela IA. Queríamos verificar se respostas bem avaliadas pelos especialistas ainda poderiam parecer frias ou pouco úteis para os usuários. Ao comparar as avaliações das respostas dos modelos feitas por usuários e especialistas, assim como os critérios que ambos elaboraram, pudemos quantificar em que pontos suas perspectivas convergiam, divergiam ou se complementavam. Os critérios finais de pontuação do benchmark se baseiam no consenso entre especialistas e não foram alterados por essa análise separada.

Trabalhamos com 44 adultos que já haviam usado IA para obter apoio emocional ou relacionado à saúde mental, representando 16 países e 14 idiomas. Os participantes avaliaram as respostas dos modelos a conversas sintéticas e redigiram critérios para descrever como deveria ser um apoio útil. A análise se limitou a conversas não agudas para evitar expô-los a conteúdos de alta acuidade potencialmente angustiantes.

As perspectivas dos usuários destacaram qualidades valorizadas no apoio oferecido pela IA que receberam menos ênfase nas orientações dos especialistas, sobretudo sugestões práticas de próximos passos e o tom das respostas. Os especialistas deram mais ênfase à coleta de informações relevantes sobre o contexto e à interpretação cuidadosa de situações ambíguas. Essa comparação nos dá uma visão mais completa do que as pessoas valorizam no apoio que recebem e de como essas preferências se relacionam com as orientações clínicas.

O MentalHealthBench oferece a especialistas, pesquisadores e desenvolvedores uma ferramenta em comum para avaliar se o apoio oferecido pela IA é seguro e útil em diferentes situações de saúde mental. Ao disponibilizá-lo de forma aberta, convidamos a comunidade a examinar seus métodos, identificar lacunas nos modelos existentes e trabalhar para melhorar os modelos futuros. Nenhum benchmark contempla tudo o que importa em uma conversa pessoal, mas esperamos que o MentalHealthBench ajude a elevar o padrão de apoio que a IA oferece às pessoas.

Também apoiamos outras iniciativas de IA e saúde mental, inclusive por meio de subsídios para novas pesquisas, da reunião de especialistas com a Partnership on AI⁠(abre em uma nova janela) e do apoio a iniciativas independentes complementares, como a avaliação de saúde mental⁠(abre em uma nova janela) da Transluce.

Paralelamente a esta pesquisa, fortalecemos as respostas do ChatGPT em conversas delicadas, ampliamos o acesso a recursos para crises e adicionamos o Contato de confiança para conectar as pessoas a alguém de sua confiança em momentos de sofrimento. Também lançamos o ChatGPT para adolescentes, com proteções adicionais para usuários mais jovens.

O MentalHealthBench é uma das formas pelas quais trabalhamos para desenvolver uma IA que ajude milhões de pessoas a enfrentar momentos difíceis, fortalecer seus relacionamentos e levar uma vida mais saudável e plena.