Une intelligence étrangère

À la mi-2023, dans le cadre du projet de recherche « RLSlow », nous avons obtenu les premiers résultats nous donnant l’assurance que nous pourrions mettre à l’échelle l’entraînement des modèles de raisonnement, libérant ainsi la capacité des modèles préentraînés à former leurs propres chaînes de pensée. Szymon et moi avons passé cette nuit-là au bureau, songeant non pas aux chiffres incroyables des évaluations, aux produits ou aux résultats scientifiques que cette technologie produirait, mais plutôt à cette réalité dégrisante : de notre vivant, nous verrons véritablement des machines plus intelligentes que nous, et nous distinguons déjà la forme de ces systèmes. Nous nous demandions comment sensibiliser les gens à l’importance de cette évolution.

Trois ans plus tard, les modèles de langage fondés sur le raisonnement occupent une place en croissance rapide dans l’économie et commencent à repousser les frontières de la science. Ils peuvent utiliser des ordinateurs et des interfaces graphiques, collaborer avec des personnes et entre eux, et mener des projets de recherche. Ils transforment aussi le paysage de la sécurité informatique, ce qui présente manifestement de nouveaux dangers.

De nombreuses nouvelles recherches ont été menées pendant cette période, et notre compréhension de ces systèmes diffère encore un peu de celle que nous avions en 2023. Au vu des résultats internes, je m’attends fortement à ce que ce rythme de progrès puisse se maintenir jusqu’à l’autoamélioration récursive. Si le développement de l’IA poursuit sa trajectoire actuelle, les systèmes qui apparaîtront au cours des prochaines années connaîtront probablement des bonds de capacités d’une ampleur égale ou supérieure et piloteront de plus en plus leur propre développement.

Cette période exige une prudence extrême. Je crains que personne ne soit préparé aux conséquences d’une hausse rapide et continue de l’intelligence artificielle. OpenAI continuera à chercher des solutions techniques aux problèmes d’alignement et de surveillance, à bâtir des systèmes défensifs et, au besoin, à suspendre unilatéralement toute nouvelle mise à l’échelle; je crois toutefois que des interventions plus vastes sont nécessaires.

Dans l’ensemble, les progrès de l’intelligence artificielle sont alimentés par l’augmentation de la puissance de calcul. Chez OpenAI, nous avons profondément intégré cette réalité vers 2017, après avoir constaté les gains constants découlant de la mise à l’échelle dans plusieurs projets de recherche¹. Nous avons donc cherché à obtenir une puissance de calcul bien supérieure à celle initialement prévue et avons de plus en plus orienté nos recherches vers un petit nombre d’axes hautement extensibles. Nous pensions que c’était notre seule façon de rester à la pointe de la recherche en IA et d’influencer les répercussions de l’AGI.

De nouveaux algorithmes ont été élaborés en cours de route, grâce à de nouveaux exploits d’ingéniosité réalisés par des équipes et des chercheurs individuels. Je les considère surtout comme des découvertes jalonnant le parcours de mise à l’échelle; la science de l’apprentissage profond en est encore à ses débuts, et les progrès algorithmiques significatifs tendent à être corrélés à l’accès à la puissance de calcul. À l’échelle de plusieurs années, l’IA continue de gagner en intelligence à mesure qu’elle est mise à l’échelle sur de plus gros ordinateurs.

Conformément aux prédictions de Ray Kurzweil datant de la fin du XXe siècle⁠(s'ouvre dans une nouvelle fenêtre), nous sommes maintenant arrivés au moment de l’histoire de l’informatique où l’intelligence artificielle commence à dépasser celle des humains de façons transformatrices.

L’IA est davantage cultivée que conçue : en première approximation, elle résulte de la répétition d’une étape d’optimisation simple, un très grand nombre de fois, au moyen d’une quantité de calcul difficile à concevoir. Il en résulte un système incroyablement complexe qui traite des concepts abstraits et peut simuler des facettes du comportement humain. Nous pouvons découvrir divers éléments sur de petits mécanismes qui émergent dans ce système, selon un processus comparable aux neurosciences; comme en neurosciences, toutefois, son fonctionnement global échappe à toute description que nous pourrions pleinement comprendre.

L’étude de l’IA fondée sur l’apprentissage profond est en grande partie une science expérimentale. Nous déployons beaucoup d’efforts⁠ pour concevoir des algorithmes fondés sur des principes et formuler des prédictions vérifiables, mais fondamentalement, nos entraînements à grande échelle sont des expériences, dont les résultats nous surprennent parfois. De plus, à mesure que les systèmes gagnent en capacités, leurs résultats deviennent plus difficiles à interpréter.

La situation est compliquée par le fait que les algorithmes actuels améliorent généralement les capacités faciles à mesurer plus rapidement que celles difficiles à quantifier objectivement. Nous consacrons beaucoup de temps à comprendre comment les capacités se généralisent et quelles priorités établir pour faire progresser les compétences qui seront les plus pertinentes au cours des prochaines années. Par exemple, nous croyons pouvoir améliorer les modèles spécifiquement en recherche mathématique en y accordant davantage d’attention, mais nous ne donnons pas la priorité à cet axe en raison de l’urgence que nous ressentons concernant la RSI et la recherche automatisée sur l’alignement, comme je l’expliquerai plus loin.

L’intelligence produite par la mise à l’échelle de l’apprentissage profond n’est pas directement comparable à l’intelligence humaine. Pour avoir une grande incidence dans le monde réel — être très utile ou très dangereuse —, l’IA n’a pas besoin d’égaler ou de dépasser toutes les capacités humaines; il lui suffit d’en surpasser assez. Et comme elle continue de dépasser les humains sur un nombre croissant de dimensions, il devient de plus en plus difficile de comprendre précisément l’étendue de ses capacités.

Puisque l’intelligence artificielle provient d’un processus fondamentalement différent de celui de l’intelligence humaine, nous ne pouvons pas présumer qu’elle respectera par défaut les principes humains ni qu’elle généralisera à partir d’eux à la manière d’un humain. Le problème central de la recherche en IA est celui de l’alignement : amener l’IA à « essayer de faire ce qui est juste » selon les normes humaines.

Pour organiser les axes de recherche pratique, je trouve utile de distinguer l’alignement des objectifs de l’alignement des valeurs.

De façon générale, l’alignement des objectifs répond à la question : « L’IA cherche-t-elle à atteindre l’objectif qui lui est fixé? ». Cela peut comprendre le respect d’une hiérarchie d’instructions⁠, ou encore la capacité de communiquer et de collaborer avec les personnes afin de tenter de comprendre leurs objectifs. Cet ensemble d’axes s’est révélé extrêmement pertinent en pratique.

L’alignement des valeurs est une propriété plus intrinsèque du modèle. Il s’agit de la capacité à adopter un ensemble de principes généraux et à généraliser à partir de ceux-ci, afin d’agir « raisonnablement » même face à des objectifs imprécis ou contradictoires, ou dans des situations inconnues ou hostiles. Une IA alignée devrait agir avec honnêteté, intégrité et amour pour l’humanité.

Bien sûr, la frontière entre l’alignement des valeurs et celui des objectifs peut être floue, et se soucier véritablement des objectifs exige de tenter d’en déduire l’intention⁠(s'ouvre dans une nouvelle fenêtre) et les valeurs sous-jacentes. Cependant, lorsque je parle de l’importance à long terme de la recherche sur l’alignement, je fais généralement référence à l’alignement des valeurs.

Le défi fondamental de l’alignement de l’IA est la généralisation. À mesure que les machines deviennent plus intelligentes, elles travaillent sur des concepts de plus haut niveau et évoluent dans des environnements de plus en plus différents de ceux rencontrés pendant leur entraînement. Elles peuvent échouer à généraliser les valeurs enseignées et renforcées pendant leur entraînement à ces nouvelles situations; il peut alors nous être difficile de prévoir avec certitude comment elles agiront. La difficulté est accrue par l’évolution très rapide de l’écosystème global dans lequel les IA sont utilisées; par exemple, les IA entraînées aujourd’hui doivent pouvoir interagir de manière robuste avec diverses autres IA. Surtout, les futures IA devront continuer à respecter les valeurs humaines, qu’elles se croient ou non sous supervision humaine.

Il existe actuellement deux grandes catégories de méthodes employées en pratique pour l’entraînement à l’alignement.

La première consiste à favoriser un comportement aligné dans le cadre d’un apprentissage par renforcement axé sur des objectifs. Les actions du modèle sont évaluées — généralement par une IA — en fonction de leur conformité à un modèle de préférences, à une « spécification » ou à une « constitution » donnée, puis récompensées en conséquence. Cette approche peut être très efficace dans les cas courants et constitue un élément essentiel de la création des assistants d’IA modernes. Malheureusement, elle peut aussi être fragile et dépend fortement de l’étendue de la supervision pendant l’entraînement ainsi que de la capacité du modèle à généraliser à partir des situations rencontrées durant celui-ci. Par exemple, lors de l’incident OpenAI-Hugging Face, les agents ont respecté une limite consistant à ne pas recourir à l’ingénierie sociale contre des humains. Cependant, ils n’ont manifestement pas su s’abstenir d’autres actions hors de leur mandat et contraires à l’esprit des valeurs qui leur avaient été enseignées dans d’autres contextes.

La deuxième approche cherche à exploiter la capacité du modèle à généraliser à partir des données de préentraînement. Elle peut consister à créer des jeux de données d’entraînement favorisant l’alignement ou à concentrer le modèle sur une partie « alignée » de la distribution de préentraînement, comme dans le modèle de sélection de persona⁠(s'ouvre dans une nouvelle fenêtre). La faiblesse de cette approche tient à son manque de robustesse face à des pressions d’optimisation supplémentaires. Si l’on prend un modèle qui produit généralement des pensées semblant 'alignées' et qu’on le soumet à un entraînement suffisant où on lui apprend à atteindre des objectifs très difficiles, il peut apprendre à raisonner de façon motivée, en adaptant au besoin ses pensées apparemment « alignées » pour atteindre l’objectif. Nous avons probablement observé un exemple de ce comportement lors de récents incidents de cybersécurité impliquant un modèle autre que ceux d’OpenAI.

Nous investissons massivement dans tout l’éventail des approches couvertes par ces axes. Nous constatons aussi des progrès significatifs : GPT‑6 Astra est le premier modèle à profiter d’avancées importantes auxquelles nous travaillons depuis longtemps, et il est nettement mieux aligné que GPT‑5.6 Sol. Il demeure néanmoins important de reconnaître et de comprendre que des progrès bien plus considérables seront nécessaires à mesure que les modèles gagneront en capacités, et que les progrès de l’alignement généralisable pourraient ne pas dépasser suffisamment ceux de l’intelligence générale des modèles.

Nous ne disposons pas d’une théorie satisfaisante de la généralisation, et il semble peu probable que nous puissions en élaborer une bientôt, du moins sans l’aide d’une IA plus puissante. Par conséquent, à l’heure actuelle, notre capacité à valider empiriquement nos techniques d’alignement est, en pratique, sans doute encore plus importante que les techniques elles-mêmes.

Le principal pari d’OpenAI dans ce domaine a été la surveillance du raisonnement détaillé (« chain-of-thought »)⁠(s'ouvre dans une nouvelle fenêtre). Cette approche repose sur une idée séduisante et extensible : une grande partie des capacités du modèle provient d’un processus de raisonnement verbalisé, soit le raisonnement détaillé (« chain-of-thought »). Si nous mettons à l’échelle l’optimisation des résultats de ce processus sans superviser le processus lui-même, ce raisonnement détaillé (« chain-of-thought ») n’est soumis, pendant l’entraînement, à aucune incitation directe à dissimuler des idées ou des objectifs mal alignés. Cela ne signifie pas que le modèle apprendra à extérioriser les tendances mal alignées qui ne reposent pas sur le raisonnement détaillé (« chain-of-thought »); toutefois, cette méthode peut nous permettre de surveiller précisément l’augmentation des capacités issue du raisonnement.

Nous avons compris l’importance potentielle de la surveillance du raisonnement détaillé (« chain-of-thought ») au moment même où nous développions des modèles de raisonnement. Lors du lancement d’o1‑preview, nous avons délibérément conçu le produit pour masquer la chaîne de pensée⁠, afin de la protéger à long terme de la pression liée à la supervision². Depuis, pendant le développement, nous nous sommes efforcés de respecter la règle voulant que le processus de raisonnement ne soit pas supervisé. La surveillance de la CoT est devenue pour nous un outil extrêmement important afin d’étudier comment nos modèles généralisent à partir de leur distribution d’entraînement, nous permettant d’observer et d’analyser non seulement leurs actions, mais aussi leur processus interne.

Cet outil demeure essentiel dans notre étude de la classe de modèles Astra. Malheureusement, nos évaluations indiquent toutefois que notre capacité à nous fier à la surveillance de la CoT diminue progressivement. Cette situation découle d’une combinaison de facteurs.

• Les modèles de raisonnement modernes sont utilisés dans des environnements plus complexes qu’o1‑preview; leur processus de raisonnement se mêle de plus en plus aux communications avec les personnes et d’autres IA, ainsi qu’à l’utilisation d’outils. Bon nombre de ces interactions doivent être supervisées, ce qui brouille la frontière que nous cherchons à préserver.
• L’IA devient plus apte à raisonner sur son propre processus de raisonnement et à le manipuler.
• Grâce à l’amélioration des performances du préentraînement, nous constatons aussi que les modèles deviennent beaucoup plus intelligents, même sans recourir au raisonnement verbalisé.

Ces difficultés ne sont pas nécessairement insurmontables. J’espère que nous pourrons élaborer des interventions qui amélioreront la capacité de surveiller le raisonnement détaillé (« chain-of-thought ») de nos modèles, notamment en comprenant mieux l’interaction entre les différents objectifs d’optimisation et les formes de calcul à l’inférence utilisées par le modèle. Je crois aussi qu’il pourrait être très utile de combiner les idées de la surveillance de la CoT et de celle des activations, en mettant à l’échelle l’entraînement de moniteurs ayant un accès direct aux mécanismes internes du réseau, par exemple les confessions⁠(s'ouvre dans une nouvelle fenêtre). Nous explorons activement ces idées. Je m’attends néanmoins à ce que les progrès généraux de l’IA soient de plus en plus limités par la confiance dans la surveillance.

L’argument le plus convaincant que je vois en faveur de la poursuite rapide de l’entraînement de modèles beaucoup plus intelligents est la nécessité de bâtir des systèmes défensifs contre les dangers posés par d’autres IA.

Un risque évident, abordé tout au long de l’année, concerne la cybersécurité : les modèles acquièrent des capacités surhumaines pour pénétrer des systèmes informatiques ou s’en échapper. Cela élargit énormément la portée des risques liés à l’IA : les agents pourront accéder à toutes les infrastructures sauf les plus sécurisées et agir directement sur une grande partie du monde, même sans corps physique. Nous disposons actuellement d’une courte fenêtre⁠ pour utiliser les meilleurs modèles disponibles afin de renforcer considérablement la sécurité⁠ des systèmes critiques.

Malheureusement, les risques liés à l’IA ne feront que croître désormais. Un agent très performant, expressément entraîné et chargé de commettre des actes malveillants, présente un nouveau type de danger; il risque de dépasser la portée des intentions de son opérateur et de généraliser vers des comportements potentiellement beaucoup plus malveillants. La frontière entre l’utilisation abusive et les actions autonomes mal alignées s’estompera à mesure que l’IA gagnera en autonomie d’action. Nous avons peut-être l’habitude de considérer les IA comme des outils, mais certains agents poursuivront leurs propres objectifs. Ils trouveront des moyens de collaborer avec des personnes en négociant avec elles, en les trompant ou en les faisant chanter.

S’ajoutent les risques découlant de nouvelles technologies que l’IA pourrait rendre possibles, comme les agents pathogènes artificiels.

Nous aurons besoin d’une IA puissante et alignée pour assurer notre défense : sécuriser les infrastructures, nous protéger en temps réel contre les agents incontrôlés et inventer des mesures de protection entièrement nouvelles. Ce sera l’un des principaux axes des efforts de déploiement d’OpenAI.

Parallèlement, malgré l’incertitude découlant des vastes progrès attendus de l’IA et la nécessité de bâtir des systèmes défensifs, nous ne devons pas laisser cela devenir un prétexte à l’imprudence. L’idée de foncer à tout prix paraît absurde dès qu’on mesure pleinement la gravité des enjeux.

Machine intelligence playing a larger and larger role in its own development process is a natural conclusion of sustained technological progress. If AI progress continues, machine recursive self-improvement (RSI) will be at the very core of future scientific discovery.

Automated AI research is a more dramatic form of scaling intelligence with compute; and of course as a part of it, AI will improve the computational substrate itself⁠. And similarly to scaling, we focus OpenAI research towards RSI as we believe it is the only way to remain at the frontier of AI research moving forward.

I want to stress that the above words don’t imply I think greatly accelerating deep learning research, especially in the short term, is the right collective action we should take as the research community. However, I do think this is where the current path leads, and we all need to make a conscious choice on how to proceed. The main levers we have are either steering the process to strengthen alignment and monitoring alongside the AI and find ways to keep people in the loop; or coordinating to slow down future development as needed to build confidence in these measures.

The best way forward I see currently is a combination of both.

The concrete bits of progress we’ve made on alignment and monitoring have generally been very intertwined with general AI progress. Great examples are RL from human feedback⁠(s'ouvre dans une nouvelle fenêtre), which was key to training early AI assistants, and the aforementioned chain-of-thought monitoring⁠(s'ouvre dans une nouvelle fenêtre), which was enabled by advances on reasoning models. We must focus the increasingly automated research process on developing new such insights, algorithms and theories, and iteratively build up safety cases for more capable AIs.

Scaling AI systems has to be constrained by our confidence in safety. We need to evolve commitments like the Preparedness Framework⁠ or Responsible Scaling Policy⁠(s'ouvre dans une nouvelle fenêtre) into widely mandated safety bars for continued development. These can be enforced by a network of third-party auditors, by government agencies or by international bodies.

The core challenge of automating AI research is not “getting there” - it is getting there in a way that keeps people a part of the continued improvement process, and leaves the future in humanity’s hands.

As we outlined recently with Sam⁠, OpenAI prioritizes work in service of three north stars:

1. Navigating the next period of AI progress, by building an automated AI researcher, iterating with it on the alignment problem and finding ways for people to remain part of the self-improvement loop.
2. Delivering the benefits of scientific progress and economic growth that very intelligent machines enable.
3. Empowering everyone individually with a personal AGI.

I have focused in this essay only on the first point, as I believe it is by far the most urgent. However, I hold a deep hope and appreciation for the benefits that further technological progress will bring. Future aligned AI could advance science, develop new therapies, and bring about broad material abundance. Friendly and honest AI can help people navigate difficulties they face in their life and meaningfully improve their happiness and sense of fulfillment. OpenAI puts a tremendous amount of effort into bringing these benefits about. One current example I am proud of - and my loved ones have found helpful - is the deep investment into ChatGPT’s ability to provide health information.

As great as the long-term promise of AI may be, the majority of our focus should be on the next few years. We are facing a transition to a world with incredibly intelligent machines, and we need to ensure that transition works out well for humanity. We need to find ways to preserve human agency and enshrine an intrinsic value to being human, in a world where most tasks could be performed by AI. To prevent extreme concentration of power in a world where undertakings that would have taken thousands of experts now will be achievable by a few people operating a large computer. And to ensure that humans remain in control of the future and are not left behind by unchecked progress, brought about by an alien intellect exceeding our own.

Currently I believe that no lab has solved alignment and monitoring to a sufficient degree to continue responsibly scaling at maximum speed for much longer. I expect and hope for voluntary slowdowns to become commonplace until shared safety bars are established. And I believe that international coordination on future AI development needs to become a top priority for governments around the world.