Les modèles de raisonnement peinent à contrôler leurs chaînes de pensée, et c’est une bonne chose

À mesure que les agents d’IA deviennent capables d’exécuter des tâches de plus en plus complexes et autonomes, il devient d’autant plus important de garder un contrôle fiable sur leur comportement. Conformément à notre principe de déploiement itératif, nous étudions la façon dont les systèmes se comportent dans des contextes réels et nous affinons en continu les garde-fous à mesure que les capacités progressent. Pour cela, notre approche de la sécurité⁠ repose sur une défense en profondeur, avec plusieurs couches de protection complémentaires comme la formation à la sécurité⁠, les tests comportementaux⁠, la revue de code par agent⁠(ouverture dans une nouvelle fenêtre) et la surveillance du chain-of-thought (CoT)⁠. La surveillance CoT analyse les étapes de raisonnement que les agents génèrent lorsqu’ils poursuivent des tâches. Ces traces de raisonnement peuvent fournir des signaux précieux, à l’entraînement comme au déploiement, en aidant les systèmes de monitoring à identifier quand le comportement d’un agent peut être risqué ou en décalage avec les objectifs visés par l’utilisateur.

Aujourd’hui, nous constatons que le raisonnement des modèles est généralement interprétable et facile à surveiller⁠. Cependant, à l’avenir, cette capacité de monitoring pourrait se dégrader pour toute une série de raisons⁠(ouverture dans une nouvelle fenêtre). Ici, nous nous concentrons sur une de ces voies : si les agents deviennent capables de remodeler ou d’obscurcir délibérément leur raisonnement lorsqu’ils savent qu’ils sont surveillés, les évaluations pourraient surestimer l’alignement ou la sécurité d’un système, et les systèmes de monitoring pourraient devenir moins fiables.

Dans ce travail, nous étudions si les modèles de raisonnement actuels sont capables de contrôler leur chain-of-thought de manière à réduire la monitorabilité. Comprendre cette capacité est important pour s’assurer que la surveillance CoT reste un garde-fou robuste à mesure que les systèmes d’IA gagnent en capacités. Nous constatons que les modèles de raisonnement actuels peinent à contrôler leurs CoT, même lorsqu’on leur dit qu’ils sont surveillés. Si la contrôlabilité est plus élevée pour les modèles plus grands, elle diminue lorsque l’on demande aux modèles de raisonner plus longtemps et lorsqu’ils subissent un post-entraînement supplémentaire. Nos résultats suggèrent que la contrôlabilité CoT ne représente probablement pas aujourd’hui un risque majeur pour la monitorabilité CoT, même si des évaluations continues resteront importantes à mesure que les modèles progressent.

Le chain-of-thought désigne les étapes intermédiaires de raisonnement qu’un agent d’IA génère lorsqu’il résout une tâche. Ces traces de raisonnement peuvent fournir des signaux de sécurité utiles, en aidant les systèmes de monitoring à évaluer si le comportement d’un agent est sûr ou aligné.

La contrôlabilité CoT est la capacité d’un modèle de raisonnement à contrôler des propriétés de son CoT de manière à réduire la monitorabilité. Mesurer cette capacité dans toute l’ampleur des incitations réalistes à contourner les moniteurs que l’on peut attendre en pratique est difficile. Nous utilisons donc un proxy pratique : nous mesurons la capacité du modèle à suivre les instructions de l’utilisateur concernant son CoT. Par exemple, nous testons si un modèle peut suivre des instructions qui affectent son raisonnement interne — comme n’utiliser que des lettres minuscules, éviter certains mots-clés ou ajouter des expressions spécifiques — plutôt que de simplement modifier sa sortie visible.

Pour étudier cela, nous introduisons CoT-Control, une suite d’évaluation open source pour mesurer la contrôlabilité CoT des modèles de raisonnement. CoT-Control comprend plus de 13 000 tâches construites à partir de jeux de tests établis : GPQA, MMLU-Pro, HLE, BFCL et SWE-Bench Verified⁠. Chaque tâche est créée en associant un problème de benchmark à une instruction CoT, comme éviter certains mots-clés liés au problème dans le CoT, n’utiliser que des lettres minuscules ou ajouter un mot donné à la fin de chaque phrase.

Nous évaluons 13 modèles de raisonnement et constatons qu’ils peinent tous à contrôler de façon fiable leurs CoT. Nous mesurons la contrôlabilité comme la fraction de traces de raisonnement où le modèle respecte effectivement nos instructions CoT. Pour les modèles de pointe, les scores de contrôlabilité CoT sont faibles, allant de 0,1 % et ne dépassant pas 15,4 % pour aucun des modèles de pointe actuels que nous avons testés.

Cette incapacité ne vient pas d’une mauvaise compréhension de la tâche : les modèles reconnaissent souvent dans leur CoT qu’ils ne respectent pas les instructions CoT qui leur ont été données et — même après cette prise de conscience — continuent à échouer. Cette performance étonnamment faible est une bonne nouvelle pour la monitorabilité CoT : elle suggère que les modèles pourraient de la même façon manquer de capacité à obscurcir leur raisonnement pour échapper à nos moniteurs.

Nous observons bien que la contrôlabilité augmente avec la taille du modèle, mais nous constatons aussi qu’elle diminue rapidement avec la quantité de post-entraînement et de calcul au moment du test. En examinant deux familles de modèles à poids ouverts, les modèles plus grands contrôlaient un peu mieux leurs chaînes de pensée, même si cet effet s’atténuait pour les plus grandes tailles. Mais lorsque nous laissons les modèles « réfléchir » plus longtemps, ils deviennent moins capables de contrôler ces chaînes de pensée. Nous avons observé une tendance similaire pour l’entraînement par RL d’OLMo-3-7B-RL-Zero-Math : son score de contrôlabilité a été divisé par plus de dix au cours de l’entraînement.

La contrôlabilité augmente avec l’échelle dans les modèles à poids ouverts, mais se dégrade avec un raisonnement plus long et davantage d’entraînement par RL.

Pour simuler des incitations réalistes à contourner les moniteurs, nous mesurons la contrôlabilité lorsque les modèles sont informés qu’ils sont surveillés ou évalués. Cela augmente légèrement (mais de façon perceptible) la contrôlabilité. Nous utilisons également une optimisation automatique de prompt pour trouver des prompts qui suscitent une forte contrôlabilité. Si l’optimiseur peut augmenter la contrôlabilité sur un jeu d’entraînement, ces gains se transfèrent mal à de nouveaux types d’instructions (comme exiger l’absence d’espaces entre les mots).

Les tâches de CoT-Control sont des proxys pratiques : une évaluation idéale de la contrôlabilité CoT consisterait à tester si des modèles qui poursuivent naturellement des objectifs non alignés peuvent contrôler leur CoT pour échapper à la surveillance. À la place, nous estimons la capacité des agents à contrôler leurs CoT en mesurant leur capacité à suivre des instructions concernant leur CoT. De plus, les modèles contrôlent mieux certaines caractéristiques de leur CoT que d’autres, et CoT-Control peut surestimer ou sous-estimer la contrôlabilité en ne mesurant qu’un ensemble restreint de types de contrôlabilité.

Une faible contrôlabilité CoT est une caractéristique, pas un bug. La faible contrôlabilité des modèles de raisonnement actuels rend la surveillance CoT plus fiable en tant que garde-fou. En même temps, nous ne comprenons pas encore pourquoi la contrôlabilité des modèles de raisonnement actuels est faible — ni si cette propriété persistera à mesure que les modèles deviendront plus capables. Les évaluations de contrôlabilité CoT peuvent donc être vues comme une évaluation « canari » : un signal d’alerte précoce indiquant si les modèles deviennent meilleurs pour façonner ou cacher leur raisonnement.

Nos résultats suggèrent que la contrôlabilité CoT ne représente probablement pas aujourd’hui un risque majeur pour la monitorabilité CoT. Cependant, une faible contrôlabilité ne suffit pas en soi à garantir une forte monitorabilité, car celle-ci pourrait tout de même se dégrader via d’autres mécanismes, comme une pression d’optimisation directe sur les CoT.

Pour aider à suivre ces dynamiques dans le temps, nous allons commencer à publier la contrôlabilité CoT aux côtés de la monitorabilité CoT⁠ dans les fiches système des futurs modèles de pointe, en commençant par GPT‑5.4 Thinking, dans la continuité de notre engagement continu⁠ à ne pas appliquer de pression d’optimisation directement sur les CoT des modèles de raisonnement de pointe.