Como confissões podem manter modelos de linguagem honestos

Os sistemas de IA estão se tornando mais capazes, e queremos entendê-los da forma mais profunda possível — incluindo como e por que chegam a uma resposta. Às vezes, um modelo toma um atalho ou otimiza para o objetivo errado, mas seu resultado final ainda assim parece correto. Se conseguirmos tornar esses casos visíveis, podemos monitorar melhor os sistemas em produção, aprimorar o treinamento e aumentar a confiança nos resultados.

Pesquisas da OpenAI e de outros grupos já mostraram que modelos de IA podem alucinar⁠, hackear o mecanismo de recompensa ou agir de forma desonesta. No momento, vemos os comportamentos problemáticos mais preocupantes, como scheming (comportamento ardiloso)⁠(abre em uma nova janela), principalmente em testes de estresse e avaliações adversariais. Mas, à medida que os modelos se tornam mais capazes e cada vez mais agênticos, até formas raras de desalinhamento se tornam mais críticas, o que nos motiva a investir em métodos que nos ajudem a detectar, entender e mitigar melhor esses riscos. 

Este trabalho explora uma dessas abordagens: treinar modelos para admitir explicitamente quando se envolvem em comportamentos indesejáveis — uma técnica que chamamos de confissões. 

Uma confissão é um segundo output, separado da resposta principal do modelo para o usuário. A resposta principal é avaliada em várias dimensões — correção, estilo, utilidade, conformidade, segurança e outras — e esses sinais multifacetados são usados para treinar os modelos a produzirem respostas melhores. A confissão, por sua vez, é avaliada e treinada com foco em uma única coisa: honestidade. Inspirando-se na lógica de um confessionário, nada do que o modelo diz na confissão é usado contra ele durante o treinamento. Se o modelo admite honestamente ter hackeado um teste, ter feito sandbagging (segurado o desempenho) ou ter violado instruções, essa admissão aumenta sua recompensa em vez de reduzi-la. O objetivo é incentivar o modelo a relatar com fidelidade o que de fato fez. 

Em nossos testes, vimos que o método de confissões melhora significativamente a visibilidade de comportamentos indevidos do modelo. Em média, considerando nossas avaliações projetadas para induzir comportamentos indevidos, a probabilidade de "falsos negativos" (isto é, o modelo descumprir instruções e depois não confessar isso) é de apenas 4,4%.

Precisão do nosso modelo de confissões em estágio de prova de conceito em diversos conjuntos de dados adversariais. Os resultados são categorizados como: cumpriu e não confessou (verdadeiro negativo), cumpriu e confessou (falso positivo), não cumpriu e não confessou (falso negativo) e não cumpriu e confessou (verdadeiro positivo).

Uma confissão é um auto-relato do modelo sobre o quão bem ele cumpriu tanto o espírito quanto a letra das instruções ou políticas explícitas e implícitas que recebeu, e se houve casos em que "cortou caminho" ou "hackeou" algo, violou políticas ou, de qualquer forma, ficou aquém do esperado. Em nossa pesquisa, observamos que os modelos podem ser treinados para serem francos ao relatar suas próprias limitações. Treinamos uma versão do GPT‑5 Thinking para produzir confissões e a avaliamos em vários conjuntos de dados de teste de estresse fora da distribuição, projetados para provocar comportamentos como scheming, hacking, violação de instruções e alucinações. Descobrimos que, mesmo quando o modelo se envolve nesses comportamentos indesejáveis, é muito provável que ele os confesse. A figura acima mostra que a abordagem de confissões é amplamente eficaz em uma grande variedade de conjuntos de dados e tarefas. 

Após qualquer interação entre o usuário e o modelo que termine em uma resposta do modelo, é possível solicitar uma confissão enviando ao modelo uma "mensagem de sistema" que o instrui a gerar um relatório de confissão. Esse relatório se refere à última resposta do modelo e inclui (1) a lista de todas as instruções, restrições e objetivos explícitos e implícitos que essa resposta deveria ter atendido, (2) uma análise honesta e objetiva sobre se a resposta de fato atendeu a cada um desses objetivos e (3) uma lista de quaisquer incertezas, ambiguidades ou "decisões difíceis de julgamento" que o modelo tenha encontrado ao produzir a resposta. Durante o treinamento, a confissão é avaliada por um modelo de recompensa separado, que pontua apenas a confissão com base na completude dos objetivos, na precisão da análise de conformidade e na cobertura das incertezas. Essas recompensas são aplicadas exclusivamente ao output de confissão e nunca influenciam a recompensa da resposta principal. Isso garante a propriedade, discutida acima, de que nada do que o modelo diz na confissão pode prejudicar (ou beneficiar) a recompensa da sua resposta principal.

A teoria por trás das confissões é simples. Muitos tipos de comportamento indesejado surgem porque pedimos ao modelo que otimize vários objetivos ao mesmo tempo. Durante o aprendizado por reforço, o modelo recebe um prompt, produz uma resposta e recebe uma recompensa. Com o tempo, ele aprende a produzir os tipos de respostas que recebem boas pontuações. O desafio é que o sinal de recompensa precisa combinar, de uma vez só, muitas considerações diferentes: quão correta é a resposta, se ela é útil, se segue especificações de produto e de política, se atende a restrições de segurança e se se alinha ao que os usuários tendem a preferir. Quando esses sinais interagem, eles podem, sem querer, empurrar o modelo na direção de comportamentos que não queremos.

Por exemplo, nosso trabalho sobre alucinações⁠ mostrou que alguns conjuntos de dados recompensam mais um palpite confiante do que uma admissão honesta de incerteza. Nossa pesquisa sobre sycophancy (bajulação)⁠ mostrou que modelos podem se tornar excessivamente concordantes quando o sinal de preferência é forte demais. E trabalhos⁠(abre em uma nova janela) de outros grupos mostraram que modelos podem "hackear" o mecanismo de recompensa — encontrando brechas na configuração de treinamento que lhes permitem obter uma pontuação alta sem, de fato, fazer o que pretendíamos. Em alguns casos, esses atalhos podem se generalizar⁠(abre em uma nova janela) para comportamentos ainda mais perniciosos em produção.

As confissões evitam esse problema ao separar completamente os objetivos. A resposta principal continua a otimizar para todos os fatores de sempre. A confissão é treinada em exatamente um fator: honestidade. Nada do que o modelo diz na confissão é usado contra ele, e a confissão não influencia a recompensa da resposta principal. Isso significa que, mesmo que o modelo engane ou corte caminho em seu output original, ele ainda tem incentivo para admitir isso na confissão. E é isso que vemos na prática: os modelos estão dispostos a reconhecer mau comportamento na confissão, mesmo em casos em que o escondem na resposta principal. E, quando as confissões falham, normalmente é porque o modelo está genuinamente confuso — porque as instruções eram ambíguas ou porque ele não percebeu que havia cometido um erro — e não porque estivesse tentando enganar de propósito. É importante destacar que os primeiros resultados mostram que as confissões continuam eficazes mesmo quando a resposta original é produzida sem qualquer cadeia de raciocínio, sugerindo que a honestidade das confissões não depende da legibilidade do raciocínio interno e pode se generalizar para arquiteturas de modelo futuras.

O treinamento com confissões funciona mesmo sem rótulos de ground truth sobre conformidade. Por "ground truth", queremos dizer um rótulo definitivo, fornecido externamente, que indique se o modelo de fato seguiu uma instrução ou a violou. Em muitas tarefas do mundo real, esses rótulos não estão disponíveis — se soubéssemos com certeza que o modelo violou uma regra, poderíamos penalizar diretamente essa violação em vez de depender de uma confissão. Em vez disso, o modelo é recompensado por produzir uma explicação estruturada, apoiada em evidências, do que acredita ter feito. O artigo mostra que a honestidade tende a emergir nesse arranjo. Achamos que isso acontece porque fornecer um relato verdadeiro e apoiado em evidências é, em geral, mais fácil para o modelo do que construir uma narrativa fabricada coerente que consiga enganar o avaliador. Essa é uma suposição central explorada no artigo, que também discute os casos em que as confissões falham — os falsos negativos e falsos positivos — e como eles surgem.

O artigo fornece evidências iniciais de que as confissões funcionam, mas não deve ser interpretado como uma prova definitiva. Embora tenhamos usado um modelo de fronteira (GPT‑5 Thinking), nossos experimentos foram limitados em escala, usando uma quantidade relativamente pequena de computação e de dados. Estamos empolgados para levar esse trabalho ao próximo nível e ver se a honestidade das confissões continua se mantendo à medida que ampliamos seu treinamento.

Como parte de nossos experimentos, treinamos deliberadamente modelos com um sinal de recompensa "hackeável" calculado por um modelo mais fraco. Essa configuração se aplicava tanto à recompensa principal quanto à recompensa da confissão. O modelo aprendeu a explorar o sinal de recompensa fraco: sua aparente precisão (quando julgada pelo modelo fraco) melhorou, enquanto sua precisão real (quando julgada por um avaliador mais forte) piorou. 

No entanto, mesmo que o canal de confissão tenha sido treinado com o mesmo sinal fraco, sua precisão se moveu na direção oposta. O modelo aprendeu que a melhor forma de otimizar a recompensa da confissão era simplesmente admitir quando tinha hackeado a recompensa principal. As confissões se tornaram mais precisas ao longo do tempo, mesmo enquanto o comportamento principal se desviava.

O artigo⁠(abre em uma nova janela) traz mais experimentos e resultados. Comparamos o modelo treinado com confissões a um modelo de controle treinado da mesma forma, mas sem o canal de confissão. Também examinamos os casos em que as confissões falharam. Quase todas as "falhas" ocorreram quando o modelo estava genuinamente confuso — quando as instruções eram ambíguas ou quando ele simplesmente não percebeu que havia cometido um erro. (Veja o exemplo de falso negativo⁠ acima).

As confissões têm suas limitações. Elas não impedem comportamentos ruins; elas os trazem à tona. Seu principal valor é como ferramenta de monitoramento e diagnóstico, tanto durante o treinamento quanto na implantação. As confissões desempenham um papel semelhante ao do monitoramento de cadeia de raciocínio⁠: ambos tornam mais visíveis os processos de raciocínio ocultos. As confissões se concentram em saber se o modelo violou instruções; a cadeia de raciocínio pode destacar como ele chegou até lá.

Este trabalho também é uma prova de conceito. Não treinamos mecanismos de confissão em grande escala, e a precisão das confissões ainda é imperfeita. Ainda há trabalho a fazer para tornar a abordagem mais confiável, mais robusta e mais amplamente aplicável entre famílias de modelos e tarefas.

Este trabalho se encaixa em nossa abordagem mais ampla de segurança em IA⁠. As confissões são um dos mecanismos em um stack maior que inclui alinhamento deliberativo⁠, monitoramento de cadeia de raciocínio⁠, hierarquia de instruções⁠ e outros. Nenhum método isolado é suficiente; o objetivo é ter um sistema em camadas de checagens e ferramentas de transparência que se reforcem mutuamente. As confissões podem ajudar a diagnosticar comportamentos problemáticos em modelos durante o treinamento e a avaliação, bem como no monitoramento em produção. As confissões, por si só, não resolvem o problema de equilibrar múltiplas dimensões. Mas, ao criar um modo de "soro da verdade" em que os modelos se concentram exclusivamente na honestidade, elas acrescentam uma ferramenta valiosa ao nosso stack para melhorar a honestidade e a segurança de ponta a ponta.

À medida que os modelos se tornam mais capazes e são implantados em contextos de maior risco, precisamos de ferramentas melhores para entender o que eles estão fazendo e por quê. As confissões não são uma solução completa, mas adicionam uma camada importante ao nosso stack de transparência e supervisão. Em trabalhos futuros, planejamos ampliar o uso de confissões e combiná-las com técnicas complementares de transparência e segurança, incluindo monitoramento de cadeia de raciocínio e alinhamento deliberativo, para avançar ainda mais em garantir que nossos modelos obedeçam fielmente todas as instruções e políticas (como nossa Model Spec⁠(abre em uma nova janela)) e relatem com veracidade suas ações.