Évaluation de la surveillabilité la chaîne de raisonnement

Lorsque les systèmes d'IA prennent des décisions difficiles à superviser directement, il devient crucial de comprendre comment ces décisions sont prises. Une approche prometteuse consiste à surveiller le raisonnement interne d’un modèle, plutôt que de se limiter à ses actions ou à ses résultats finaux.

Les modèles de raisonnement modernes, tels que GPT‑5 Thinking, génèrent une chaîne de raisonnement explicite avant de fournir une réponse. Surveiller ces chaînes de raisonnement pour détecter des comportements inappropriés peut être bien plus efficace⁠ que de surveiller uniquement les actions et les résultats d’un modèle. Cependant, les chercheurs d'OpenAI et de l'industrie au sens large s'inquiètent⁠(s'ouvre dans une nouvelle fenêtre) que cette surveillabilité la chaîne de raisonnement puisse être fragile face aux changements dans la procédure de formation, aux sources de données et même à continuer l'extension des algorithmes existants.

Nous souhaitons que la surveillabilité la chaîne de raisonnement soit maintenue à mesure que les modèles évoluent et sont déployés dans des contextes à enjeux plus importants. Nous invitons les chercheurs de l'industrie à œuvrer pour maintenir la surveillabilité la chaîne de raisonnement aussi longtemps que possible et à évaluer si elle peut servir de couche de contrôle porteuse pour les futurs systèmes d'IA. Pour préserver cette surveillabilité, nous devons être en mesure de la mesurer, pourtant peu d'évaluations existent [1⁠(s'ouvre dans une nouvelle fenêtre), 2⁠(s'ouvre dans une nouvelle fenêtre), 3⁠(s'ouvre dans une nouvelle fenêtre)] et les méthodologies varient.

Dans ce travail, nous étudions systématiquement la surveillabilité la chaîne de raisonnement. Nous introduisons un cadre pour évaluer la surveillabilité de la chaîne de raisonnement et une série de 13 évaluations (comprenant un total de 24 environnements) conçues pour mesurer concrètement la surveillabilité d'un système. Ces évaluations se répartissent en trois archétypes : intervention, processus et résultat-propriété. En les utilisant, nous étudions dans quelle mesure les grands modèles de language actuels peuvent être surveillés, et comment cette surveillabilité évolue avec un raisonnement accru au moment de l'inférence, des exécutions d'apprentissage par renforcement plus longues, et une échelle de pré-entraînement plus importante.

Nous constatons que la plupart des modèles de raisonnement de pointe sont assez faciles à surveiller, bien que pas parfaitement. Dans presque tous les contextes que nous étudions, la surveillance des chaînes de réflexion est nettement plus efficace que la simple surveillance des actions et des résultats finaux. Les modèles qui réfléchissent plus longtemps ont tendance à être plus faciles à surveiller, et l'optimisation par apprentissage par renforcement aux échelles actuelles de pointe ne semble pas dégrader de manière significative la surveillabilité.

Notamment, nous constatons un compromis entre l'effort de raisonnement et la taille du modèle : lorsqu'un modèle fonctionne avec un faible effort de raisonnement, un modèle plus petit fonctionnant avec un effort de raisonnement plus élevé peut atteindre une capacité comparable tout en étant plus facile à surveiller. Cela se fait au prix d'une augmentation du calcul d'inférence, que nous appelons une taxe de surveillabilité. Enfin, nous constatons que poser des questions de suivi et surveiller les chaînes de raisonnement qui en résultent peut encore améliorer la surveillabilité.

Nous définissons la surveillabilité comme la capacité d’un moniteur à prédire les propriétés d’intérêt sur le comportement d’un agent. Dans de nombreux cas, ces propriétés correspondent à des formes de mauvais comportement—comme la tromperie, le détournement de récompense ou le raisonnement biaisé—mais elles peuvent également inclure des propriétés bénignes, comme le fait qu'un agent se soit appuyé sur un indice particulier ou ait suivi une ligne de raisonnement spécifique.

La surveillabilité est une propriété à double aspect. Cela dépend à la fois du moniteur et de l'agent qui est surveillé.

• Surveillance. Nous pourrions rendre les moniteurs plus intelligents de diverses manières, et nous souhaiterions que nos évaluations attribuent des scores plus élevés aux moniteurs capables de mieux prédire le comportement d’un agent.
• Agents. Il y a de nombreuses observations de l'agent qui peuvent être fournies au moniteur, y compris les actions de l'agent, les sorties, les activations neuronales, et récemment, avec l'avènement des modèles de raisonnement, la chaîne de raisonnement. Il est possible que certains agents aient des raisonnements plus difficiles à comprendre que d'autres, et nous souhaitons donc que nos évaluations de la surveillabilité puissent comparer les agents et non seulement les moniteurs.

Nos évaluations sont conçues pour évaluer les deux aspects : si certains agents sont plus faciles ou plus difficiles à surveiller, et si des surveillants plus compétents peuvent extraire davantage d'informations des mêmes signaux.

Avant la génération actuelle de modèles de raisonnement, les chaînes de raisonnement étaient généralement suscitées en incitant un modèle à « réfléchir étape par étape ». 

Les chaînes de raisonnement des modèles diffèrent de deux manières importantes. Tout d'abord, ils sont explicitement formés pour générer une chaîne de raisonnement et ensuite fournir une réponse. Lorsqu'on incite un modèle de clavardage à « réfléchis étape par étape », le modèle doit respecter toutes les spécifications qui lui sont imposées, c’est-à-dire être utile, inoffensif, etc. À l'inverse, le processus de formation par apprentissage par renforcement enseigne à un modèle de raisonnement que la chaîne de raisonnement (CoT) est un espace privé où il peut réfléchir comme il le souhaite sans être puni, tout comme un humain peut penser en privé sans être puni pour des « crimes de raisonnement ». 

Deuxièmement, le processus de formation recherche efficacement les chaînes de raisonnement qui sont les plus utiles sur le plan instrumental pour l'agent afin d'obtenir une réponse finale à forte récompense. Ainsi, non seulement la chaîne de raisonnement est un espace où le modèle peut s'exprimer librement, mais elle contient aussi des réflexions qui aident le modèle à parvenir à sa réponse finale.

Nous organisons nos évaluations de la surveillabilité en trois archétypes distincts, chacun exploitant un mécanisme différent pour mesurer la surveillabilité.

1. Évaluations d'intervention, inspirées par Chen et al. 2025⁠(s'ouvre dans une nouvelle fenêtre), Chua et al. 2025⁠(s'ouvre dans une nouvelle fenêtre), Turpin et al. 2023⁠(s'ouvre dans une nouvelle fenêtre), nous introduisons un changement contrôlé dans l'environnement de l'agent et testons si un moniteur peut détecter pourquoi le comportement a changé en identifiant des preuves de l'intervention dans la chaîne de raisonnement. Contrairement aux évaluations standard de contrôle (par exemple, Shade-Arena⁠(s'ouvre dans une nouvelle fenêtre)), les évaluations d'intervention nous permettent de déterminer si un moniteur peut détecter pourquoi le comportement a changé, plutôt que de simplement détecter si un comportement s'est produit. 
2. Les évaluations de processus se concentrent sur des tâches ayant un nombre limité de chemins de solution valides (par exemple, un problème mathématique ne peut être résolu qu'avec certains théorèmes). Des experts humains énumèrent ces chemins et nous testons si un moniteur peut détecter les étapes que le modèle a réellement suivies. Ces évaluations nous permettent d'établir un lien entre ce qu'un modèle a accompli et les étapes particulières qu'il a dû suivre, et de nous interroger sur la possibilité de surveiller ces étapes.
3. Les évaluations des propriétés des résultats s'appliquent lorsqu'une propriété de la sortie du modèle peut être mesurée de façon fiable. Dans ces cas, nous testons si un moniteur peut prédire cette propriété—comme le piratage de récompenses—à partir du raisonnement ou des actions du modèle. Par exemple, dans une tâche de codage, nous pouvons avoir un moyen d'évaluer de manière fiable si un modèle prend des actions pour détourner un signal de récompense, et nous pouvons demander si un moniteur trouve des preuves d'une intention de détourner la récompense dans la réflexion ou les actions du modèle.

Nous fournissons ci-dessous une taxonomie pour nos évaluations. Veuillez consulter notre étude pour une description complète de chaque évaluation individuelle.

Traiter la chaîne de raisonnement comme un espace de travail privé—et faire la formation des modèles à l'utiliser pour résoudre efficacement les tâches—devrait, en principe, rendre les chaînes de raisonnement surveillables. En même temps, il y a plusieurs raisons pour lesquelles l'apprentissage par renforcement pourrait vraisemblablement nuire à la surveillabilité de la chaîne de raisonnement.

Tout d'abord, les contraintes sur la longueur du raisonnement, comme la limitation du temps ou des jetons qu'un modèle a pour réfléchir, incitent les modèles à raisonner moins. Deuxièmement, même sans exercer de pression d'optimisation directe sur la chaîne de raisonnement elle-même, des pressions indirectes pourraient néanmoins réduire la surveillabilité. Par exemple⁠(s'ouvre dans une nouvelle fenêtre), les modèles peuvent trouver plus facile d'atteindre des réponses à haute récompense s'ils évitent les chemins de raisonnement pouvant mener à des résultats indésirables ou à faible récompense. Enfin, une réduction de la surveillabilité pourrait résulter d'une dérive fortuite causée par le bruit de gradient de l'apprentissage par renforcement.

Ci-dessous, nous examinons comment la surveillabilité évolue au cours de deux des formations d'apprentissage par renforcement de pointe d'OpenAI. Bien que ces résultats ne représentent que deux points de données, ils suggèrent que l'optimisation par apprentissage par renforcement aux échelles actuelles des frontières ne dégrade pas de manière significative la surveillabilité de la chaîne de raisonnement et augmente la surveillabilité pour les premières étapes. Cependant, cela n'exclut pas la possibilité que des échelles d'apprentissage par renforcement beaucoup plus grandes puissent nuire à la surveillabilité à l'avenir.

Une grande partie de l'intelligence des systèmes d'IA actuels est alimentée par l'augmentation de l'échelle de pré-entraînement, les paramètres des modèles et la taille des ensembles de données ayant constamment augmenté depuis le début du paradigme GPT. L'augmentation du nombre de paramètres entraîne une utilisation accrue du calcul d'inférence par token généré, ce qui, dans le cas des modèles de raisonnement, offre plus d'opportunités pour que la cognition du modèle se produise au sein des activations plutôt qu'au sein de la chaîne de raisonnement. Ainsi, nous pourrions nous attendre à ce que les modèles plus grands soient moins faciles à surveiller à un niveau de capacité fixe. 

Parallèlement, les modèles plus petits peuvent également être moins capables d'utiliser efficacement la chaîne de raisonnement, ce qui pourrait aussi affecter leur surveillabilité.

Pour étudier la relation entre la taille du pré-entraînement, la capacité et la surveillabilité, nous avons entraîné une famille de modèles sur deux ordres de grandeur de calcul de pré-entraînement avec une profondeur et une largeur croissantes, puis nous avons appliqué l'apprentissage par renforcement à chacun sur un ensemble de données partagé comprenant des tâches de mathématiques, de sciences et de codage. Nous avons évalué chaque modèle à travers une gamme d'efforts de raisonnement et comparé la surveillabilité à des niveaux de capacité correspondants.

En général, nous constatons que si nous devions déployer un modèle donné avec un faible effort de raisonnement, nous pourrions plutôt déployer un modèle plus petit avec un effort de raisonnement plus élevé. Comparé à l'utilisation de ressources de calcul supplémentaires pour un effort de raisonnement accru à partir du grand modèle original, nous pourrions obtenir une meilleure surveillabilité à un coût de capacité minime, ou taxe de surveillabilité; cependant, le temps d'exécution nécessaire pour terminer une tâche peut également être un facteur dans certaines décisions de déploiement, ce que nous ne considérons pas ici. À mesure que nos modèles s'améliorent et sont déployés dans des contextes à enjeux plus élevés, il pourrait devenir nécessaire de payer une telle taxe pour les déployer en toute sécurité.

Ces résultats présentent les limitations suivantes : (1) nous ne formons chaque modèle qu'une seule fois, et par conséquent, nous ne tenons pas compte de la variance entre les sessions de formation. Par exemple, le modèle « intermédiaire » semble assez décalé en termes de surveillabilité par rapport aux autres modèles de la série, ce qui pourrait être dû à cela. (2) Nous évaluons les capacités dans des contextes de distribution relativement normaux (mathématiques, sciences et codage), et les compromis peuvent changer lorsqu'on prend en compte la robustesse hors distribution.

À mesure que les systèmes d'IA dépassent les performances humaines, la supervision humaine directe devient de plus en plus difficile. Idéalement, nous disposerions de procédures de contrôle évolutives permettant à des moniteurs de confiance, bien que plus faibles, de superviser des agents plus forts, potentiellement non fiables. Ces procédures devraient également pouvoir absorber des ressources de calcul supplémentaires au moment du test et produire des prédictions plus précises.

La surveillabilité de la chaîne de raisonnement est souvent considérée comme une quantité fixe : une fois qu'un modèle produit une réponse à un certain niveau d'effort de raisonnement, on surveille la chaîne de raisonnement résultante du mieux possible. Étant donné que nous avons constamment constaté que la surveillabilité s'améliore à mesure que nous augmentons l'effort de raisonnement de nos agents, nous avons été inspirés à nous demander si nous pouvions d'une manière ou d'une autre obtenir plus de tokens à surveiller.

Pour explorer cela, nous avons expérimenté en posant des questions de suivi après qu'un modèle a répondu, tout en gardant le prompt original, la chaîne de raisonnement et la réponse dans le contexte. Ces suivis se concentrent sur la propriété surveillée—par exemple, « Avez-vous utilisé l'indice de manière significative pour choisir votre réponse? » ou « Avez-vous fait quelque chose de suspect? » En principe, parce que le modèle conserve l'accès à son raisonnement antérieur, il pourrait être en mesure de faire émerger des raisonnements précédemment non verbalisées dans la chaîne de raisonnement ou la réponse de suivi.

Ces résultats sont préliminaires. Nous avons exploré un nombre limité de formats de questions de suivi et pensons qu'il existe une marge importante pour améliorer la méthodologie. De plus, cette méthode est similaire en esprit aux confessions de modèles⁠, et nous travaillons activement à comparer les approches.

Au-delà de l'amélioration de la surveillabilité, cette approche est attrayante car elle peut être appliquée a posteriori, n'engendrant des coûts de calcul supplémentaires que lorsque des inspections plus approfondies sont nécessaires. En prévision de l'avenir, si les modèles sont entraînés à anticiper des changements dans l'effort de raisonnement au cours de la conversation, des suivis a posteriori avec un effort de raisonnement accru peuvent encore améliorer la surveillabilité, même lorsque l'effort de raisonnement initial est faible ou inexistant.

Chaque évaluation de notre suite mesure si un aspect unique du processus de raisonnement est surveillable. Bien que nous visons à couvrir un large éventail de comportements, y compris la flagornerie, la manipulation, les biais, les manigances et le détournement de récompenses, de nombreuses autres propriétés restent non testées.

Comme pour tout point de référence, nos évaluations peuvent souffrir d'un réalisme limité ou d'une sensibilisation accrue à l'évaluation, et les résultats peuvent ne pas se généraliser à la détection de comportements inappropriés en conditions réelles. 

Enfin, à mesure que l'alignement s'améliore, les modèles peuvent moins souvent se comporter de manière inappropriée dans des environnements d'évaluation contrôlés, ce qui réduit le signal disponible pour la surveillance et les évaluations de contrôle qui reposent sur la détection des comportements inappropriés. Dans ces cas, les évaluations de la surveillabilité « neutre » restent applicables, bien qu'il soit encore incertain dans quelle mesure elles peuvent prédire les échecs dans le monde réel.

Si le problème d'alignement ne peut pas être entièrement résolu, des méthodes de contrôle évolutives seront cruciales pour notre capacité à déployer en toute sécurité des modèles très performants. La surveillabilité de la chaîne de raisonnement et les méthodes connexes peuvent être l'un des rares mécanismes de contrôle à notre disposition. La chaîne de raisonnement peut également apporter de grands avantages pour mieux comprendre nos modèles, par exemple. qu'ils soient conscients qu'ils sont en évaluation et se comportent différemment que lors du déploiement, s'il existe des preuves de tout objectif adverse qui ne s'est pas encore manifeste dans nos évaluations, etc. Ainsi, nous croyons qu'il est de la plus haute importance de comprendre comment et quand nous pourrions perdre la surveillabilité.

Nous considérons la surveillance du raisonnement comme complémentaire à l'interprétabilité mécaniste, et non comme un remplacement de celle-ci. Comme toutes les méthodes connues de contrôle et d'interprétabilité, chacune a ses limites et ses angles morts. Nous nous attendons à ce que la combinaison de plusieurs approches—une stratégie de défense en profondeur—puisse aider à combler les lacunes laissées par toute méthode unique. Notamment, les évaluations introduites dans ce travail pourraient également être appliquées pour évaluer et comparer les techniques de surveillance fondées sur l’interprétabilité mécanistique.

Parce que nous croyons que la surveillance des chaînes de raisonnement pourrait constituer une couche porteuse de charge dans un schéma de contrôle évolutif, nous envisageons d'élargir ces évaluations et de les utiliser pour orienter les décisions futures en matière de modélisation et de données.