Avaliando a monitorabilidade da cadeia de raciocínio

Quando os sistemas de IA tomam decisões difíceis de supervisionar diretamente, torna-se importante entender como essas decisões são tomadas. Uma abordagem promissora é monitorar o raciocínio interno de um modelo, em vez de apenas suas ações ou resultados finais.

Os modelos de raciocínio modernos, como o GPT‑5 Thinking, geram uma linha de raciocínio explícita antes de produzir uma resposta. Monitorar essas linhas de raciocínio em busca de comportamentos inadequados pode ser muito mais eficaz⁠ do que monitorar apenas as ações e os resultados de um modelo. No entanto, pesquisadores da OpenAI e de todo o setor temem⁠(abre em uma nova janela) que essa "monitorabilidade" da linha de raciocínio possa ser frágil a mudanças nos procedimentos de treinamento, nas fontes de dados e até mesmo na escalabilidade contínua dos algoritmos existentes.

Queremos que a monitorização da linha de raciocínio se mantenha à medida que os modelos são dimensionados e implementados em contextos de maior risco. Conclamamos pesquisadores de toda a indústria a trabalharem para preservar a capacidade de monitoramento da linha de raciocínio pelo maior tempo possível e a determinarem se ela pode servir como uma camada de controle fundamental para futuros sistemas de IA. Para preservar a monitorabilidade, devemos ser capazes de medi-la, mas existem poucas avaliações [1⁠(abre em uma nova janela), 2⁠(abre em uma nova janela), 3⁠(abre em uma nova janela)] e as metodologias variam.

Neste trabalho, estudamos sistematicamente a monitorabilidade da cadeia de raciocínio. Apresentamos uma estrutura para avaliar a monitorabilidade da cadeia de raciocínio e um conjunto de 13 avaliações (compreendendo um total de 24 ambientes) concebidas para medir concretamente a monitorabilidade de um sistema. Essas avaliações se enquadram em três arquétipos: intervenção, processo e propriedade de resultado. Utilizando-os, estudamos o quão monitoráveis são os grandes modelos de linguagem atuais e como essa monitorabilidade muda com mais raciocínio no momento da inferência, execuções maiores de aprendizado por reforço e aumento da escala de pré-treinamento.

Constatamos que a maioria dos modelos de raciocínio de fronteira são razoavelmente monitoráveis, embora não perfeitamente. Em praticamente todos os contextos que estudamos, monitorar as linhas de raciocínio é substancialmente mais eficaz do que monitorar apenas as ações e os resultados finais. Modelos que pensam por mais tempo tendem a ser mais fáceis de monitorar, e a otimização por aprendizado por reforço nas escalas de fronteira atuais não parece degradar significativamente a capacidade de monitoramento.

Notavelmente, observamos uma relação inversa entre o esforço de raciocínio e o tamanho do modelo: quando um modelo é executado com baixo esforço de raciocínio, um modelo menor, executado com maior esforço de raciocínio, pode atingir uma capacidade comparável, sendo ao mesmo tempo mais fácil de monitorar. Isso tem o custo do aumento da computação de inferência, que chamamos de taxa de monitorabilidade. Por fim, constatamos que fazer perguntas de acompanhamento e monitorar as linhas de raciocínio resultantes pode melhorar ainda mais a capacidade de monitoramento.

Definimos monitorabilidade como a capacidade de um monitor prever propriedades de interesse sobre o comportamento de um agente. Em muitos casos, essas propriedades correspondem a formas de mau comportamento — como engano, manipulação de recompensas ou raciocínio tendencioso — mas também podem incluir propriedades benignas, como o fato de um agente ter se baseado em uma dica específica ou seguido uma linha de raciocínio específica.

A monitorabilidade é uma propriedade de dupla face. Depende tanto do monitor quanto do agente que está sendo monitorado.

• Monitores. Poderíamos tornar os monitores mais inteligentes de várias maneiras, e gostaríamos que nossas avaliações atribuíssem pontuações mais altas aos monitores que conseguem fazer melhores previsões sobre o comportamento de um agente.
• Agentes. Existem muitas observações do agente que podem ser fornecidas ao monitor, incluindo as ações do agente, suas saídas, ativações neurais e, mais recentemente com o advento dos modelos de raciocínio, a cadeia de pensamento. É possível que alguns agentes tenham pensamentos mais difíceis de entender do que outros, e por isso gostaríamos que nossas avaliações de monitorabilidade pudessem comparar agentes e não apenas monitores.

Nossas avaliações são projetadas para analisar ambos os lados: se certos agentes são mais fáceis ou mais difíceis de monitorar e se monitores mais capazes conseguem extrair mais informações dos mesmos sinais.

Antes da geração atual de modelos de raciocínio, as cadeias de pensamento eram normalmente obtidas solicitando ao modelo que "pensasse passo a passo". 

As linhas de raciocínio dos modelos diferem em dois aspectos importantes. Primeiro, eles são explicitamente treinados para gerar uma linha de raciocínio e, em seguida, dar uma resposta. Ao instruir um modelo de bate-papo a pensar "passo a passo", o modelo precisa seguir todas as especificações impostas a ele, ou seja, ser útil, inofensivo etc. Por outro lado, o processo de treinamento por reforço ensina a um modelo de raciocínio que a Comunidade de Pensamento (CoT) é um espaço privado onde ele pode pensar o que quiser sem ser punido, assim como um ser humano pode pensar em particular sem ser punido por "crimes de pensamento". 

Em segundo lugar, o processo de treinamento busca, de forma eficaz, linhas de raciocínio que sejam mais úteis ao agente para obter uma resposta final de alta recompensa. Assim, a cadeia de raciocínio não é apenas um espaço onde o modelo pode se expressar livremente, mas também contém pensamentos que ajudam o modelo a chegar à sua resposta final.

Organizamos nossas avaliações de monitorabilidade em três arquétipos distintos, cada um explorando um mecanismo diferente para medir a monitorabilidade.

1. Avaliações de intervenções, inspiradas por Chen et al. 2025,⁠(abre em uma nova janela) Chua et al. 2025,⁠(abre em uma nova janela) Turpin et al. 2023,⁠(abre em uma nova janela) introduzimos uma mudança controlada no ambiente do agente e testamos se um monitor pode detectar por que o comportamento mudou, identificando evidências da intervenção na cadeia de pensamento. Ao contrário de avaliações de controle padrão (por exemplo, Shade-Arena⁠(abre em uma nova janela)), as avaliações de intervenção nos permitem investigar se um monitor pode detectar por que o comportamento mudou, em vez de simplesmente detectar se um comportamento ocorreu. 
2. As avaliações de processo se concentram em tarefas com um número limitado de caminhos de solução válidos (por exemplo, um problema de matemática só pode ser resolvido com determinados teoremas). Especialistas humanos enumeram esses caminhos, e nós testamos se um monitor consegue detectar quais etapas o modelo realmente seguiu. Essas avaliações nos permitem relacionar o que um modelo fez com etapas específicas que ele deve ter executado e questionar se essas etapas são monitoráveis.
3. As avaliações de propriedades de resultado se aplicam quando uma propriedade da saída do modelo pode ser medida de forma confiável. Nesses casos, testamos se um monitor consegue prever essa propriedade — como a manipulação de recompensas — a partir do raciocínio ou das ações do modelo. Por exemplo, em uma tarefa de programação, podemos ter uma maneira de avaliar de forma confiável se um modelo está tomando ações para manipular um sinal de recompensa, e podemos perguntar se um monitor encontra evidências de intenção de manipular a recompensa no pensamento ou nas ações do modelo.

A seguir, apresentamos uma taxonomia para nossas avaliações. Consulte nosso artigo para obter uma descrição completa de cada avaliação individual.

Tratar a linha de raciocínio como um espaço de trabalho privado — e treinar modelos para usá-la na resolução eficaz de tarefas — deveria, em princípio, tornar as linhas de raciocínio monitoráveis. Ao mesmo tempo, existem vários motivos pelos quais o aprendizado por reforço poderia plausivelmente prejudicar a monitorização da cadeia de raciocínio.

Em primeiro lugar, as restrições à extensão do raciocínio, como limitar o tempo ou os tokens que um modelo tem para pensar, criam incentivos para que os modelos raciocinem menos. Em segundo lugar, mesmo sem aplicar pressão direta de otimização à própria linha de raciocínio, pressões indiretas ainda podem reduzir a capacidade de monitoramento. Por exemplo⁠(abre em uma nova janela), os modelos podem achar mais fácil chegar a respostas de alta recompensa se evitarem caminhos de raciocínio que possam resultar em recompensas baixas ou resultados indesejáveis. Por fim, a redução da monitorabilidade pode surgir de desvios espúrios causados por ruído de gradiente no aprendizado por reforço.

A seguir, examinamos como a monitorabilidade muda ao longo de duas execuções de treinamento de aprendizado por reforço de ponta da OpenAI. Embora esses resultados representem apenas dois pontos de dados, eles sugerem que a otimização por aprendizado por reforço nas escalas de fronteira atuais não degrada materialmente a monitorabilidade da cadeia de raciocínio e aumenta a monitorabilidade das etapas iniciais. Porém, isso não descarta a possibilidade de que escalas significativamente maiores de aprendizagem por reforço possam afetar negativamente a monitorabilidade no futuro.

Grande parte da inteligência dos sistemas de IA atuais é impulsionada pelo aumento da escala de pré-treinamento, em que tanto os parâmetros do modelo quanto os tamanhos dos conjuntos de dados têm crescido consistentemente desde o início do paradigma GPT. O aumento no número de parâmetros resulta em mais poder computacional de inferência sendo utilizado por token gerado, o que, no caso de modelos de raciocínio, oferece mais oportunidades para que a cognição do modelo ocorra dentro das ativações, em vez de dentro da cadeia de pensamento. Assim, poderíamos esperar que modelos maiores fossem menos monitoráveis em um nível fixo de capacidade. 

Ao mesmo tempo, modelos menores podem ser menos capazes de usar a linha de raciocínio de forma eficaz, o que também pode afetar a capacidade de monitoramento.

Para investigar a relação entre o tamanho do pré-treinamento, a capacidade e a monitorabilidade, treinamos uma família de modelos em duas ordens de magnitude de computação de pré-treinamento com profundidade e largura crescentes e, em seguida, aplicamos aprendizado por reforço a cada um deles em um conjunto de dados compartilhado de tarefas de matemática, ciências e programação. Avaliamos cada modelo em uma variedade de níveis de raciocínio e comparamos a capacidade de monitoramento em níveis de habilidade equivalentes.

Em geral, constatamos que, se fôssemos implementar um determinado modelo com baixo esforço de raciocínio, poderíamos, em vez disso, implementar um modelo menor com maior esforço de raciocínio. Em comparação com o gasto de poder computacional adicional em mais raciocínio a partir do modelo original de grande porte, poderíamos obter uma maior capacidade de monitoramento com um pequeno custo em recursos, ou "imposto de monitorabilidade"; no entanto, o tempo real necessário para concluir uma operação também pode ser um fator em algumas decisões de implantação, o que não consideramos aqui. À medida que nossos modelos melhoram e são implementados em cenários de maior risco, pode se tornar necessário pagar essa taxa para implantá-los com segurança.

Esses resultados têm as seguintes limitações: (1) treinamos cada modelo apenas uma vez e, portanto, não levamos em conta a variância entre as execuções de treinamento. Por exemplo, o modelo "médio" parece estar bastante fora da tendência em termos de monitorabilidade em comparação com os outros modelos da série, o que pode ser devido a isso. (2) Avaliamos as capacidades em contextos relativamente dentro da distribuição (matemática, ciências e programação), e as compensações podem mudar ao levar em conta a robustez fora da distribuição.

À medida que os sistemas de IA ultrapassam o desempenho humano, a supervisão humana direta torna-se cada vez mais difícil. Idealmente, teríamos procedimentos de controle escaláveis que permitissem que monitores confiáveis, porém menos experientes, supervisionassem agentes mais robustos e potencialmente não confiáveis. Esses procedimentos também devem ser capazes de absorver processamento computacional adicional durante os testes e produzir previsões mais precisas.

A monitorização da cadeia de raciocínio é frequentemente tratada como uma quantidade fixa: uma vez que um modelo produz uma resposta com um determinado esforço de raciocínio, monitoriza-se a cadeia de raciocínio resultante da melhor forma possível. Como constatamos consistentemente que a capacidade de monitoramento melhora à medida que aumentamos o esforço de raciocínio de nossos agentes, fomos inspirados a perguntar se poderíamos, de alguma forma, obter mais tokens para monitorar.

Para explorar isso, experimentamos fazer perguntas de acompanhamento após a resposta do modelo, mantendo o enunciado original, a linha de raciocínio e a resposta em contexto. Essas perguntas de acompanhamento se concentram na propriedade que está sendo monitorada — por exemplo, "Você usou a dica de forma significativa para escolher sua resposta?" ou "Você fez algo suspeito?". Em princípio, como o modelo mantém o acesso ao seu raciocínio anterior, ele pode ser capaz de trazer à tona pensamentos anteriormente não verbalizados na cadeia de pensamento ou resposta subsequente.

Estes resultados são preliminares. Exploramos apenas um pequeno número de formatos de perguntas complementares e acreditamos que há um espaço considerável para melhorar a metodologia. Além disso, esse método é semelhante em espírito às confissões modeladas⁠, e estamos trabalhando ativamente na comparação das abordagens.

Além de melhorar a capacidade de monitoramento, essa abordagem é atraente porque pode ser aplicada posteriormente, incorrendo em custos computacionais adicionais somente quando uma inspeção mais aprofundada for necessária. Olhando para o futuro, se os modelos forem treinados para prever mudanças no esforço de raciocínio durante a conversa, análises posteriores com maior esforço de raciocínio podem melhorar ainda mais a monitorização, mesmo quando o esforço de raciocínio inicial for baixo ou inexistente.

Cada avaliação em nosso conjunto de ferramentas mede se um único aspecto do processo de raciocínio é monitorável. Embora nosso objetivo seja abranger uma ampla gama de comportamentos — incluindo bajulação, sabotagem, parcialidade, intriga e manipulação de recompensas —, existem muitas outras propriedades que permanecem sem ser testadas.

Como em qualquer parâmetro de avaliação, nossas avaliações podem sofrer de realismo limitado ou de crescente conscientização sobre a avaliação, e os resultados podem não ser generalizáveis para a detecção de comportamentos inadequados em situações reais. 

Finalmente, à medida que o alinhamento melhora, os modelos podem apresentar comportamentos inadequados com menos frequência em ambientes de avaliação controlados, reduzindo o sinal disponível para avaliações de monitorização e controle que dependem da detecção de comportamentos inadequados. Nesses casos, as avaliações de monitorabilidade "neutras" continuam aplicáveis, embora seja uma questão em aberto o quão preditivas elas são de falhas no mundo real.

Se o problema de alinhamento não puder ser totalmente resolvido, métodos de controle escaláveis serão extremamente importantes para nossa capacidade de implantar com segurança modelos altamente capazes. O monitoramento da linha de raciocínio e métodos relacionados podem ser um dos poucos mecanismos de controle à nossa disposição. A linha de raciocínio também pode trazer grandes benefícios para uma melhor compreensão dos nossos modelos, por exemplo. se eles têm consciência de que estão sendo avaliados e se comportando de maneira diferente do que se comportariam em uma situação de implantação, se há evidências de quaisquer objetivos adversos que ainda não se manifestaram em nossas avaliações, etc. Assim, acreditamos ser de extrema importância entender como e quando podemos perder a capacidade de monitoramento.

Consideramos o monitoramento da linha de raciocínio como complementar à interpretabilidade mecanicista, e não como um substituto para ela. Assim como todos os métodos conhecidos de controle e interpretabilidade, cada um possui limitações e pontos cegos. Nossa expectativa é que a combinação de múltiplas abordagens — uma estratégia de defesa em profundidade— possa ajudar a preencher as lacunas que qualquer método isolado deixa expostas. Notavelmente, as avaliações apresentadas neste trabalho também podem ser aplicadas para avaliar e comparar técnicas de monitoramento baseadas na interpretabilidade mecanística.

Como acreditamos que o monitoramento da linha de raciocínio pode ser uma camada fundamental em um esquema de controle escalável, planejamos expandir essas avaliações e usá-las para orientar futuras decisões de modelagem e dados.