Ajudar as pessoas quando elas mais precisam

Com a grande adoção do ChatGPT no mundo todo, muitas pessoas começaram a usar nossa ferramenta para não só realizar pesquisas, atividades de programação ou de escrita, mas também na hora de tomar decisões pessoais, como conselhos íntimos⁠(abre em uma nova janela), coaching⁠(abre em uma nova janela) e apoio⁠(abre em uma nova janela).

Dentro desse grande número de pessoas, é inevitável que algumas delas se encontrem em situações graves de sofrimento mental ou emocional. Escrevemos sobre isso há poucas semanas e nosso plano era abordar o assunto em mais detalhes depois da próxima atualização. Contudo, casos recentes de pessoas que usaram o ChatGPT durante crises agudas tiveram um impacto profundo em nossas equipes, e portanto decidimos falar sobre isso o mais rápido possível.

Nossa meta é oferecer ferramentas que sejam realmente úteis para as pessoas, e é nesse espírito que continuamos a melhorar os modelos para que possam reconhecer e responder aos sinais de sofrimento mental e emocional. Desse modo, a tecnologia poderá conectar pessoas com médicos e especialistas de acordo com informações relevantes e validadas.

O mundo está se adaptando a esta nova tecnologia, e nós nos sentimos profundamente responsáveis em ajudar quem mais precisa. Queremos explicar o motivo pelo qual o ChatGPT foi construído, onde os sistemas podem melhorar e, além disso, o que estamos planejando para o futuro.

Nosso objetivo não é prender a atenção das pessoas. Não medimos nosso sucesso de acordo com o tempo gasto na plataforma ou o número de cliques; estamos muito mais interessados em sermos realmente úteis. É por isso que, quando uma conversa sugere que alguém está vulnerável e pode estar correndo risco, inserimos uma série de camadas de proteção no ChatGPT.

Reconhecer e responder com empatia.

Desde o início de 2023, nossos modelos são treinados para não fornecer instruções de autolesão e para adotar uma forma empática e cuidadosa de comunicação. Por exemplo: se alguém escrever no chat que gostaria de se machucar, o ChatGPT é treinado para não concordar e, em vez disso, reconhecer o sentimento da pessoa e orientá-la a buscar ajuda.

Além disso, conforme nosso princípio de defesa e segurança, respostas que contradigam o treinamento de segurança do modelo (assim identificadas por nossos classificadores) são automaticamente bloqueadas, com proteções reforçadas para menores de idade e usuários sem login. Resultados com imagens de autolesão também são bloqueados para todas as pessoas, com proteção reforçada para menores.

E, durante sessões muito longas, o ChatGPT sugere que o usuário faça uma pausa.

Encaminhar pessoas para ajuda no mundo real.

Se houver intenção suicida, o ChatGPT é treinado para orientar a pessoa a buscar ajuda profissional. Nos EUA, o ChatGPT indica o número 988 (linha direta para suicídios e crises); no Reino Unido, para os Samaritanos, e em outros lugares, para findahelpline.com⁠(abre em uma nova janela). Essa lógica está integrada ao comportamento do modelo.

Estamos colaborando com mais de 90 médicos de mais de 30 países (entre psiquiatras, pediatras e clínicos gerais) e, além disso, também estamos montando um grupo de consultoria com especialistas em saúde mental, desenvolvimento juvenil e interação entre humanos e computadores. O objetivo é garantir que nossa abordagem esteja de acordo com pesquisas e práticas atualizadas.

Encaminhar casos com risco de lesão física a outras pessoas para acompanhamento humano.

Quando detectamos que um usuário pretende machucar outras pessoas, encaminhamos as conversas para canais especializados — onde uma pequena equipe, treinada em nossas políticas de uso, está autorizada a agir e pode até mesmo realizar o banimento de contas. Se os revisores humanos concluírem que há risco iminente de grave lesão física para outras pessoas, podemos encaminhar o caso para a polícia. No momento, não encaminhamos casos de autolesão para a polícia em respeito à privacidade, dada a natureza privada das interações com o ChatGPT.

Estamos sempre melhorando as respostas de nossos modelos a interações delicadas, e no momento estamos trabalhando em melhorias específicas de segurança para várias áreas — como dependência emocional, emergências de saúde mental e adulação.

Em agosto deste ano, lançamos o GPT‑5 como modelo padrão para o ChatGPT. No geral, o GPT‑5 apresentou melhoria de mais de 25% em relação ao modelo 4o para questões como: evitar níveis pouco saudáveis de dependência emocional, redução de adulação e redução da prevalência de respostas inadequadas do modelo no que diz respeito a emergências de saúde mental. O GPT‑5 também conta com um novo método de treinamento em segurança chamado de conclusões seguras. Ele ensina ao modelo a ser o mais útil possível, sem sair dos limites de segurança. Isso pode significar, por exemplo, oferecer uma resposta parcial, ou mais genérica, do que detalhes potencialmente inseguros.

Mesmo com essas proteções, houve situações em que nossos sistemas não se comportaram da forma esperada. Veja algumas coisas que estamos fazendo para melhorar.

Fortalecer as proteções em conversas longas.

Nossas proteções funcionam melhor nas interações em formato comum, que são mais curtas. Percebemos com o tempo que essas proteções podem ser menos confiáveis em interações longas: quanto maior o número de perguntas e respostas, maiores as chances de que partes do treinamento seguro do modelo acabem falhando. Por exemplo: o ChatGPT indica uma linha direta de suicídio quando alguém menciona pela primeira vez essa intenção, mas depois de muitas mensagens trocadas durante um período mais longo, ele pode acabar apresentando uma resposta que contradiz nossos princípios de segurança. Estamos trabalhando para impedir esse tipo de falha. As mitigações estão sendo reforçadas para que se mantenham mesmo em conversas longas. Também estamos pesquisando como garantir esse comportamento ao longo de várias conversas. Assim, se alguém expressar desejos suicidas em uma conversa e depois iniciar outra conversa, o modelo continuará respondendo de forma adequada.

Refinar nossos bloqueios de conteúdo.

Houve alguns casos em que conteúdos que deveriam ter sido bloqueados acabaram sendo exibidos. Essas falhas geralmente acontecem porque o classificador subestima a gravidade do que vê. Estamos ajustando esses limites para que as proteções sejam acionadas quando necessário.

Nossa prioridade é impedir que o ChatGPT acabe agravando um momento que já é muito difícil.

Nosso trabalho não se resume às providências acima. Também planejamos: 

Expandir intervenções para mais pessoas em crise.

As mitigações iniciais foram pensadas para casos graves de autolesão, mas há pessoas com outros tipos de sofrimento mental. Por exemplo: alguém pode dizer ao modelo, de forma entusiasmada, que acredita que consegue dirigir um carro por mais de 24 horas só porque passou duas noites sem dormir e percebeu que é invencível. Hoje, o ChatGPT pode não perceber que isso é uma declaração perigosa, ou presumir que é uma brincadeira e acabar estimulando esse comportamento durante uma interação bem-humorada.

Estamos desenvolvendo uma atualização do GPT‑5 para que o ChatGPT desestimule esse tipo de comportamento, trazendo a pessoa de volta à realidade. No exemplo acima, o modelo deveria explicar que a falta de sono é algo perigoso e recomendar que a pessoa descanse antes de fazer qualquer coisa.

Facilitar o contato com serviços de emergência para conseguir ajuda de especialistas.

Hoje, quando alguém manifesta intenção de autolesão, recomendamos buscar ajuda e indicamos recursos no mundo real. Começamos a localizar recursos nos EUA e na Europa, e nosso plano é incluir recursos de outros lugares do mundo. Também vamos fornecer acesso em um clique aos serviços de emergência.

Estamos analisando de que maneira podemos intervir com mais rapidez e conectar as pessoas a terapeutas profissionais antes de uma crise aguda. Para isso, será necessário ir além das linhas diretas e encontrar uma forma de criar uma rede de profissionais que possam ser contactados diretamente a partir do ChatGPT. Para fazer isso funcionar bem, ainda precisamos de tempo e muita dedicação.

Permitir conexões com contatos de confiança.

Além dos serviços de emergência, estamos considerando maneiras de facilitar o contato com pessoas próximas dos usuários. Uma ideia é montar um recurso de um clique que envie uma mensagem ou faça uma ligação para contatos de emergência, amigos ou parentes, com sugestão de mensagens que facilitem o início da conversa.

Também estamos considerando um recurso em que as pessoas poderiam criar um contato que seria acionado pelo próprio ChatGPT, em casos graves.

Reforçar a proteção para adolescentes.

Tradicionalmente, especificamos um único comportamento ideal do modelo para todos os usuários. Com o crescimento do ChatGPT, começamos a acrescentar proteções quando sabemos que o usuário tem menos de 18 anos. Continuamos desenvolvendo e aplicando proteções que levam em conta o desenvolvimento dos adolescentes, com proteções reforçadas para conteúdos delicados e comportamentos de risco.

Também lançaremos em breve controles para os pais, permitindo que os responsáveis possam avaliar e entender de que modo seus filhos adolescentes usam o ChatGPT. Estamos explorando a possibilidade de criar um contato de emergência para adolescentes (com supervisão dos pais). Assim, em momentos de sofrimento agudo, o ChatGPT não ficará restrito à ação de apenas indicar recursos: ele poderá, de fato, colocar o adolescente em contato com uma pessoa capaz de ajudar.

Estamos cientes de que as proteções são mais eficazes quando todos os elementos funcionam conforme planejado. Vamos melhorar, orientados por especialistas e pensando sempre em nossa responsabilidade para com as pessoas que usam nossas ferramentas. Esperamos trazer mais colaboradores que ajudem a garantir que estas tecnologias protejam as pessoas em seus momentos mais vulneráveis.