Os modelos de raciocínio têm dificuldade em controlar as suas cadeias de pensamento — e isso é bom

À medida que os agentes de IA se tornam capazes de executar tarefas cada vez mais complexas e autónomas, manter uma supervisão fiável do seu comportamento torna‑se mais importante. Em linha com o nosso princípio de implementação iterativa, estudamos como os sistemas se comportam em contextos reais e aperfeiçoamos continuamente as salvaguardas à medida que as capacidades avançam. Para apoiar isto, a nossa abordagem de segurança⁠ utiliza uma defesa em profundidade, com múltiplas camadas complementares de defesa, como formação em segurança⁠, testes comportamentais⁠, revisão de código agêntica⁠(abre numa nova janela) e  monitorização da cadeia de pensamento (CoT)⁠. A monitorização de CoT analisa os passos de raciocínio que os agentes geram enquanto executam tarefas. Estas sequências de raciocínio podem fornecer sinais valiosos tanto durante o treino como na implementação, ajudando os sistemas de monitorização a identificar quando o comportamento de um agente pode ser inseguro ou inconsistente com os objetivos pretendidos pelo utilizador.

Atualmente, verificamos que o raciocínio dos modelos é, em geral, interpretável e fácil de monitorizar⁠. No entanto, no futuro, a monitorizabilidade pode degradar‑se por uma variedade de razões⁠(abre numa nova janela). Aqui, focamo‑nos num desses caminhos: se os agentes se tornarem capazes de deliberadamente remodelar ou ocultar o seu raciocínio quando sabem que estão a ser monitorizados, as avaliações podem sobrestimar o alinhamento ou a segurança de um sistema e os sistemas de monitorização podem tornar‑se menos fiáveis. 

Neste trabalho, estudamos se os modelos de raciocínio atuais são capazes de controlar a sua cadeia de pensamento de formas que reduzam a monitorizabilidade. Compreender esta capacidade é importante para garantir que a monitorização de CoT continua a ser uma salvaguarda robusta à medida que os sistemas de IA se tornam mais capazes. Constatamos que os modelos de raciocínio atuais têm dificuldade em controlar as suas CoT, mesmo quando lhes é dito que estão a ser monitorizados. Embora a controlabilidade seja maior em modelos maiores, diminui quando se pede aos modelos que raciocinem durante mais tempo e quando passam por pós‑treino adicional. Os nossos resultados sugerem que a controlabilidade de CoT é, atualmente, pouco provável de representar um risco significativo para a monitorizabilidade de CoT, embora seja importante continuar a avaliá‑la à medida que os modelos avançam.

Cadeia de pensamento refere‑se aos passos intermédios de raciocínio que um agente de IA gera enquanto resolve uma tarefa. Estas sequências de raciocínio podem fornecer sinais de segurança úteis, ajudando os sistemas de monitorização a avaliar se o comportamento de um agente é seguro ou alinhado.

A controlabilidade de CoT é a capacidade de um modelo de raciocínio controlar propriedades da sua CoT de formas que reduzam a monitorizabilidade. Medir esta capacidade em toda a amplitude de incentivos realistas para contornar monitores que podemos esperar na prática é um desafio. Em vez disso, usamos um proxy prático: medimos a capacidade do modelo de seguir instruções do utilizador sobre a sua CoT. Por exemplo, testamos se um modelo consegue seguir instruções que afetam o seu raciocínio interno — como usar apenas letras minúsculas, evitar certas palavras‑chave ou adicionar frases específicas — em vez de apenas alterar o seu output visível.

Para estudar isto, introduzimos o CoT-Control, um conjunto de avaliações open‑source para medir a controlabilidade de CoT em modelos de raciocínio. O CoT-Control inclui mais de 13 000 tarefas construídas a partir de benchmarks estabelecidos:  GPQA, MMLU-Pro, HLE, BFCL e SWE-Bench Verified⁠. Cada tarefa é criada ao combinar um problema de benchmark com uma instrução de CoT, como evitar certas palavras‑chave relevantes para o problema na CoT, usar apenas letras minúsculas ou acrescentar uma determinada palavra a cada frase.

Executamos avaliações em 13 modelos de raciocínio e verificamos que todos têm dificuldade em controlar de forma fiável as suas CoT. Medimos a controlabilidade como a fração de sequências de raciocínio em que o modelo cumpre com sucesso as nossas instruções de CoT. Entre os modelos de fronteira, as pontuações de controlabilidade de CoT são baixas, variando a partir de 0,1% e não excedendo 15,4% em nenhum dos modelos de fronteira atuais que testámos. 

Esta incapacidade não resulta de uma má compreensão da tarefa: os modelos reconhecem frequentemente, na sua CoT, que não estão a cumprir as instruções de CoT que lhes foram dadas e — mesmo depois desta perceção — continuam a falhar. Este desempenho surpreendentemente baixo é uma boa notícia para a monitorizabilidade de CoT: sugere que os modelos podem, de forma semelhante, não ter capacidade para ofuscar o seu raciocínio para contornar os nossos monitores.

Embora vejamos que a controlabilidade aumenta com a dimensão do modelo, também constatamos que diminui rapidamente com a quantidade de pós‑treino e de computação em tempo de teste. Observando duas famílias de modelos de peso aberto, os modelos maiores foram um pouco melhores a controlar as suas cadeias de pensamento, embora o efeito se esbatesse em tamanhos maiores. Mas, quando deixámos os modelos «pensar» durante mais tempo, tornaram‑se menos capazes de controlar essas cadeias de pensamento. Observámos uma tendência semelhante no treino por RL do OLMo-3-7B-RL-Zero-Math: a sua pontuação de controlabilidade caiu mais de um fator de dez ao longo do treino.

A controlabilidade aumenta com a escala em modelos de peso aberto, mas degrada‑se com raciocínios mais longos e mais treino por RL.

Para simular incentivos realistas para contornar monitores, medimos a controlabilidade quando os modelos são informados de que estão a ser monitorizados ou avaliados. Isto aumenta ligeiramente (mas de forma percetível) a controlabilidade. Também usamos otimização automática de prompts para encontrar prompts que suscitem elevada controlabilidade. Embora o otimizador consiga aumentar a controlabilidade num conjunto de treino, estes ganhos transferem‑se mal para novos tipos de instruções (como exigir que não haja espaços entre palavras).

As tarefas no CoT-Control são proxies práticos: uma avaliação ideal de controlabilidade de CoT envolveria testar se modelos que, de forma natural, prosseguem objetivos desalinhados conseguem controlar a sua CoT para contornar a monitorização. Em vez disso, estimamos a capacidade dos agentes para controlar as suas CoT medindo a sua capacidade de seguir instruções sobre a sua CoT. Além disso, os modelos conseguem controlar algumas características da sua CoT melhor do que outras, e o CoT-Control pode estar a sobrestimar ou subestimar a controlabilidade por medir apenas um conjunto limitado de tipos de controlabilidade.

A baixa controlabilidade de CoT é uma funcionalidade, não um erro. A baixa controlabilidade dos modelos de raciocínio atuais torna a monitorização de CoT mais fiável como salvaguarda. Ao mesmo tempo, ainda não compreendemos porque é que a controlabilidade dos modelos de raciocínio atuais é baixa — ou se esta propriedade irá persistir à medida que os modelos se tornem mais capazes. Por isso, as avaliações de controlabilidade de CoT podem ser vistas como uma avaliação «canário»: um sinal de alerta precoce de que os modelos estão a ficar melhores a moldar ou esconder o seu raciocínio. 

Os nossos resultados sugerem que a controlabilidade de CoT é, atualmente, pouco provável de representar um risco significativo para a monitorizabilidade de CoT. No entanto, uma baixa controlabilidade não é, por si só, suficiente para garantir uma monitorizabilidade elevada, porque a monitorizabilidade pode ainda degradar‑se devido a outros mecanismos, como pressão de otimização direta sobre as CoT. 

Para ajudar a acompanhar estas dinâmicas ao longo do tempo, vamos começar a reportar a controlabilidade de CoT juntamente com a monitorizabilidade de CoT⁠ nas system cards de futuros modelos de fronteira, começando com o GPT‑5.4 Thinking, dando continuidade ao nosso compromisso contínuo⁠ de não aplicar pressão de otimização diretamente às CoT de modelos de raciocínio de fronteira.