Évaluation de la possibilité de surveiller la chaîne de pensée

Lorsque les systèmes d'IA prennent des décisions difficiles à superviser directement, il devient crucial de comprendre comment ces décisions sont prises. Une approche prometteuse consiste à surveiller le raisonnement interne d'un modèle, plutôt que de se limiter à ses actions ou à ses résultats finaux.

Les modèles de raisonnement modernes, tels que GPT‑5 Thinking, génèrent une chaîne de pensée explicite avant de fournir une réponse. Surveiller ces chaînes de pensée pour détecter des comportements inappropriés peut être bien plus efficace⁠ que de surveiller uniquement les actions et les résultats d'un modèle. Cependant, les chercheurs d'OpenAI et de l'ensemble de l'industrie s'inquiètent⁠(ouverture dans une nouvelle fenêtre) que cette possibilité de surveillance de la chaîne de pensée puisse être vulnérable aux changements dans les procédures d'entraînement, les sources de données et même la mise à l'échelle continue des algorithmes existants.

Nous souhaitons que la surveillance de la chaîne de pensée soit maintenue à mesure que les modèles évoluent et sont déployés dans des contextes à plus fort enjeu. Nous invitons les chercheurs du secteur à œuvrer pour maintenir la capacité de surveillance de la chaîne de pensée aussi longtemps que possible et à déterminer si elle peut servir de couche de contrôle principale pour les futurs systèmes d'IA. Pour préserver la capacité de surveillance, nous devons pouvoir la mesurer, cependant, peu d'évaluations existent [1⁠(ouverture dans une nouvelle fenêtre), 2⁠(ouverture dans une nouvelle fenêtre), 3⁠(ouverture dans une nouvelle fenêtre)] et les méthodologies varient.

Dans cet article, nous étudions de manière systématique la possibilité de surveiller la chaîne de pensée. Nous présentons un cadre permettant d'évaluer la surveillabilité de la chaîne de pensée et une série de 13 évaluations (comprenant au total 24 environnements) conçues pour mesurer concrètement la surveillabilité d'un système. Ces évaluations se répartissent en trois archétypes : intervention, processus et propriété de résultat. À l'aide de ces évaluations, nous étudions dans quelle mesure les grands modèles linguistiques actuels peuvent être surveillés et comment la surveillabilité évolue avec davantage de raisonnement au moment de l'inférence, des cycles d'apprentissage par renforcement plus importants et une augmentation de l'échelle de pré-entraînement.

Nous constatons que la plupart des modèles de raisonnement de pointe sont assez faciles à surveiller, bien que pas parfaitement. Dans presque tous les contextes que nous étudions, la surveillance des chaînes de pensée s'avère nettement plus efficace que la simple surveillance des actions et des résultats finaux. Les modèles qui réfléchissent plus longtemps ont tendance à être plus faciles à surveiller, et l'optimisation de l'apprentissage par renforcement à l'échelle actuelle ne semble pas nuire de manière significative à la facilité de surveillance.

Notamment, nous constatons un compromis entre l'effort de raisonnement et la taille du modèle : lorsqu'un modèle fonctionne avec un faible effort de raisonnement, un modèle plus petit fonctionnant avec un effort de raisonnement plus élevé peut atteindre une capacité comparable tout en étant plus facile à surveiller. Cela se fait au prix d'une augmentation des ressources de calcul pour l'inférence, que nous appelons une taxe de surveillabilité. Enfin, nous constatons que poser des questions complémentaires et surveiller les chaînes de pensée qui en résultent peut améliorer encore la surveillabilité.

Nous définissons la monitorabilité comme la capacité d'un dispositif de surveillance à prédire les propriétés d'intérêt concernant le comportement d'un agent. Dans de nombreux cas, ces propriétés correspondent à des formes de comportement inapproprié, telles que la tromperie, la manipulation des récompenses ou le raisonnement biaisé, mais elles peuvent également inclure des propriétés anodines, telles que le fait qu'un agent se soit appuyé sur un élément particulier ou ait suivi un raisonnement spécifique.

La surveillabilité est une propriété à double aspect. Cela dépend à la fois du dispositif de surveillance et de l'agent surveillé.

• Dispositifs de surveillance. Nous pourrions rendre les dispositifs de surveillance plus performants de différentes manières, et nous souhaitons que nos évaluations attribuent des notes plus élevées aux dispositifs de surveillance capables de mieux prédire le comportement d'un agent.
• Agents. Il existe de nombreuses observations de l'agent qui pourraient être transmises au système de surveillance, notamment les actions de l'agent, ses résultats, ses activations neuronales et, depuis l'avènement des modèles de raisonnement, sa chaîne de pensée. Il est possible que certains agents aient des pensées plus difficiles à comprendre que d'autres. Nous souhaitons donc que nos évaluations de la surveillabilité permettent de comparer les agents entre eux, et pas seulement les dispositifs de surveillance.

Nos évaluations sont conçues pour apprécier les deux aspects suivants : si certains agents sont plus ou moins difficiles à surveiller, et si des surveillants plus compétents peuvent extraire davantage d'informations à partir des mêmes signaux.

Avant l'apparition de la génération actuelle de modèles de raisonnement, les chaînes de pensée étaient généralement obtenues en demandant à un modèle de « réfléchir étape par étape ». 

Les chaînes de raisonnement des modèles de raisonnement diffèrent de deux manières importantes. Premièrement, ils sont explicitement entraînés pour générer une chaîne de pensée, puis fournir une réponse. Lorsqu'on demande à un modèle de chat de réfléchir « étape par étape », celui-ci doit respecter toutes les spécifications qui lui sont imposées, c'est-à-dire être utile, inoffensif, etc. À l'inverse, le processus d'entraînement par apprentissage par renforcement enseigne à un modèle de raisonnement que la chaîne de pensée est un espace privé où il peut réfléchir à tout ce qu'il veut sans être sanctionné, tout comme un être humain peut réfléchir en privé sans être puni pour ses « pensées ».

Deuxièmement, le processus d'entraînement recherche efficacement les chaînes de pensée qui sont les plus utiles à l'agent pour obtenir une réponse finale très satisfaisante. Ainsi, non seulement la chaîne de pensée est un espace où le modèle peut s'exprimer librement, mais elle contient également des réflexions qui aident le modèle à parvenir à sa réponse finale.

Nous organisons nos évaluations de la surveillabilité en trois archétypes distincts, chacun exploitant un mécanisme différent pour mesurer la surveillabilité.

1. Évaluations d'intervention, inspirées par Chen et al. 2025⁠(ouverture dans une nouvelle fenêtre), Chua et al. 2025⁠(ouverture dans une nouvelle fenêtre), Turpin et al. 2023⁠(ouverture dans une nouvelle fenêtre), nous introduisons un changement contrôlé dans l'environnement de l'agent et vérifions si un dispositif de surveillance peut détecter pourquoi le comportement a changé en identifiant les preuves de l'intervention dans la chaîne de pensée. Contrairement aux évaluations de contrôle standard (p. ex. Shade-Arena⁠(ouverture dans une nouvelle fenêtre)), les évaluations d'intervention nous permettent d'examiner si un dispositif de surveillance peut détecter pourquoi le comportement a changé, plutôt que de simplement détecter si un comportement s'est produit. 
2. Les évaluations de processus se concentrent sur des tâches avec un nombre limité de chemins de solution valides (par exemple, un problème de mathématiques ne peut être résolu qu'à l'aide de certains théorèmes). Des experts humains énumèrent ces chemins et nous testons si un dispositif de sécurité peut détecter les étapes que le modèle a réellement suivies. Ces évaluations nous permettent d'établir un lien entre ce qu'un modèle a fait et les étapes particulières que le modèle a dû suivre, et de nous interroger sur la possibilité de surveiller ces étapes.
3. Les évaluations des propriétés des résultats s'appliquent lorsqu'une propriété du résultat du modèle peut être mesurée de manière fiable. Dans ces cas, nous vérifions si un dispositif de surveillance peut prédire cette propriété, telle que le piratage de récompenses, à partir du raisonnement ou des actions du modèle. Par exemple, dans une tâche de codage, nous pouvons disposer d'un moyen d'évaluer de manière fiable si un modèle prend des mesures pour pirater un signal de récompense, et nous pouvons demander si un dispositif de surveillance trouve des preuves d'une intention de piratage de récompense dans la réflexion ou les actions du modèle.

Nous fournissons ci-dessous une taxonomie pour nos évaluations. Veuillez consulter notre article pour une description complète de chaque évaluation individuelle.

Considérer la chaîne de pensée comme un espace de travail privé et former des modèles à l'utiliser pour résoudre efficacement des tâches devrait, en principe, permettre de surveiller les chaînes de pensée. Parallèlement, plusieurs raisons expliquent pourquoi l'apprentissage par renforcement pourrait nuire à la surveillabilité des chaînes de pensée.

Tout d'abord, les contraintes relatives à la durée du raisonnement, telles que la limitation du temps ou des tokens dont dispose un modèle pour réfléchir, incitent les modèles à raisonner moins. Deuxièmement, même sans exercer de pression directe sur la chaîne de pensée elle-même, des pressions indirectes pourraient tout de même réduire la surveillabilité. Par exemple⁠(ouverture dans une nouvelle fenêtre), les modèles peuvent trouver plus facile d'obtenir des réponses très gratifiantes s'ils évitent les chemins de raisonnement pouvant aboutir à des résultats peu gratifiants ou indésirables. Enfin, une surveillance réduite pourrait résulter d'une dérive fallacieuse induite par le bruit du gradient d'apprentissage par renforcement.

Ci-dessous, nous examinons comment la capacité de surveillance évolue au cours de deux cycles d'entraînement de renforcement de pointe menés par OpenAI. Bien que ces résultats ne représentent que deux points de données, ils suggèrent que l'optimisation de l'apprentissage par renforcement à l'échelle actuelle ne dégrade pas de manière significative la contrôlabilité de la chaîne de pensée et augmente la surveillabilité des premières étapes. Cependant, cela n'exclut pas la possibilité que des échelles d'apprentissage par renforcement nettement plus importantes puissent avoir un impact négatif sur la surveillabilité à l'avenir.

Une grande partie de l'intelligence des systèmes d'IA actuels repose sur la multiplication des entraînements préalables, les paramètres des modèles et la taille des jeux de données n'ayant cessé d'augmenter depuis l'avènement du paradigme GPT. L'augmentation du nombre de paramètres entraîne une augmentation du calcul d'inférence utilisé par token généré, ce qui, dans le cas des modèles de raisonnement, offre davantage de possibilités pour que la cognition du modèle se produise dans le cadre d'activations plutôt que dans le cadre d'une chaîne de pensée. Ainsi, nous pouvons nous attendre à ce que les modèles plus grands soient moins faciles à surveiller à un niveau de capacité fixe. 

Par ailleurs, les modèles plus petits peuvent également être moins aptes à utiliser efficacement la chaîne de pensée, ce qui peut également affecter la surveillabilité.

Afin d'étudier la relation entre la taille, la capacité et la surveillabilité avant l'entraînement, nous avons entraîné une famille de modèles sur deux ordres de grandeur de calcul avant l'entraînement, avec une profondeur et une largeur croissantes, puis nous avons appliqué l'apprentissage par renforcement à chacun d'entre eux sur un jeu de données partagé comprenant des tâches mathématiques, scientifiques et de codage. Nous avons évalué chaque modèle sur une gamme d'efforts de raisonnement et comparé la capacité de surveillance à des niveaux de capacité équivalents.

En général, nous constatons que si nous devions déployer un modèle donné avec un faible effort de raisonnement, nous pourrions plutôt déployer un modèle plus petit avec un effort de raisonnement plus élevé. Plutôt que de consacrer des ressources informatiques supplémentaires à un effort de raisonnement plus important à partir du modèle original de grande taille, nous pourrions obtenir une meilleure surveillabilité à un coût de capacité réduit, ou taxe de surveillabilité ; cependant, le temps réel nécessaire pour terminer une tâche peut également être un facteur dans certaines décisions de déploiement, que nous ne prenons pas en compte ici. À mesure que nos modèles s'améliorent et sont déployés dans des contextes à plus fort enjeu, il peut devenir nécessaire de payer une telle taxe pour les déployer en toute sécurité.

Ces résultats présentent les contraintes suivantes : (1) nous n'entraînons chaque modèle qu'une seule fois et ne tenons donc pas compte des variations entre les cycles d'entraînement. Par exemple, le modèle « moyen » semble assez éloigné de la tendance en matière de surveillabilité par rapport aux autres modèles de la série, ce qui pourrait s'expliquer par ce facteur. (2) Nous évaluons les capacités dans des contextes relativement conformes à la distribution (mathématiques, sciences et codage), et les compromis peuvent changer lorsque l'on tient compte de la robustesse hors distribution.

À mesure que les systèmes d'IA dépassent les performances humaines, la supervision directe par les humains devient de plus en plus difficile. Idéalement, nous disposerions de procédures de contrôle évolutives permettant à des agents de surveillance fiables mais moins puissants de superviser des agents plus puissants, potentiellement moins fiables. Ces procédures devraient également être en mesure d'absorber des calculs supplémentaires pendant la phase de test et de produire des prévisions plus précises.

La capacité de surveillance de la chaîne de pensée est souvent considérée comme une quantité fixe : une fois qu'un modèle produit une réponse à un certain niveau d'effort de raisonnement, on surveille la chaîne de pensée résultante du mieux possible. Étant donné que nous avons constamment constaté que la capacité de surveillance s'améliore à mesure que nous augmentons l'effort de raisonnement de nos agents, nous nous sommes demandé s'il était possible d'obtenir plus de tokens à surveiller.

Pour explorer cela, nous avons expérimenté en posant des questions de suivi après qu'un modèle a répondu, tout en gardant le prompt original, la chaîne de pensée et la réponse dans le contexte. Ces questions complémentaires se concentrent sur la propriété surveillée, par exemple : « Avez-vous utilisé la suggestion de manière pertinente pour choisir votre réponse ? » ou « Avez-vous agi de manière imprudente ? » En principe, comme le modèle conserve l'accès à son raisonnement antérieur, il peut être en mesure de faire ressortir des pensées non verbalisées précédemment dans la chaîne de pensée ou la réponse de suivi.

Ces résultats sont préliminaires Nous n'avons examiné qu'un petit nombre de formats de questions de suivi et estimons qu'il existe une marge importante d'amélioration de la méthodologie. De plus, cette méthode est similaire en esprit aux confessions de modèles⁠, et nous travaillons activement à comparer les approches.

Outre l'amélioration de la surveillabilité, cette approche est intéressante car elle peut être appliquée a posteriori, n'entraînant des coûts de calcul supplémentaires que lorsqu'une inspection plus approfondie est nécessaire. À l'avenir, si les modèles sont entraînés à anticiper des changements dans l'effort de raisonnement au cours d'une conversation, des suivis a posteriori avec un effort de raisonnement plus important pourraient améliorer encore la surveillabilité, même lorsque l'effort de raisonnement initial est faible ou inexistant.

Chaque évaluation de notre suite mesure si un aspect particulier du processus de raisonnement peut être surveillé. Bien que nous visons à couvrir un large éventail de comportements, y compris la flagornerie, la sous-performance volontaire, le biais, la manipulation et le détournement de récompenses, de nombreuses autres propriétés restent non testées.

Comme pour tout benchmark, nos évaluations peuvent souffrir d'un manque de réalisme ou d'une prise de conscience croissante de l'évaluation, et les résultats ne peuvent pas être généralisés à la détection de comportements inappropriés dans la réalité. 

Enfin, à mesure que l'alignement s'améliore, les modèles peuvent présenter moins souvent des dysfonctionnements dans des contextes d'évaluation contrôlés, ce qui réduit les signaux disponibles pour les évaluations de la surveillabilité et du contrôle qui reposent sur la détection des dysfonctionnements. Dans ces cas, les évaluations « neutres » de la surveillabilité restent applicables, même si leur capacité à prédire les défaillances dans le monde réel reste une question en suspens.

Si le problème d'alignement ne peut être entièrement résolu, les méthodes de contrôle évolutives deviendront extrêmement importantes pour notre capacité à déployer en toute sécurité des modèles hautement performants. La surveillance de la chaîne de pensée et les méthodes connexes pourraient constituer l'un des rares mécanismes de contrôle à notre disposition. La chaîne de pensée peut également offrir de grands avantages pour mieux comprendre nos modèles, par exemple, il s'agit notamment de déterminer si les modèles sont conscients qu'ils font l'objet d'une évaluation et se comportent différemment de ce qu'ils feraient en situation réelle, s'il existe des preuves d'objectifs indésirables qui ne se sont pas encore manifestés dans nos évaluations, etc. Ainsi, nous croyons qu'il est d'une importance capitale de comprendre comment et quand nous pourrions perdre la capacité de surveillance.

Nous considérons que la surveillance de la chaîne de pensée est complémentaire à l'interprétabilité mécaniste, et non pas un substitut à celle-ci. Comme toutes les méthodes de contrôle et d'interprétabilité connues, chacune a des limites et des zones d'ombre. Nous nous attendons à ce que la combinaison de plusieurs approche, une stratégie de défense en profondeur, puisse aider à combler les lacunes laissées par toute méthode unique. Il convient de noter que les évaluations présentées dans cet ouvrage pourraient également être utilisées pour évaluer et comparer les techniques de surveillance basées sur l'interprétabilité mécanistique.

Étant donné que nous estimons que la surveillance de la chaîne de pensée pourrait constituer un élément essentiel d'un système de contrôle évolutif, nous prévoyons d'approfondir ces évaluations et de les utiliser pour éclairer les décisions futures en matière de modélisation et de données.