Une intelligence étrangère

À la mi-2023, dans le cadre du projet de recherche « RLSlow », nous avons obtenu les premiers résultats nous donnant confiance dans notre capacité à mettre à l’échelle l’entraînement des modèles de raisonnement, libérant ainsi la capacité des modèles préentraînés à former leurs propres raisonnements détaillés (« chains-of-thought »). Szymon et moi avons passé cette nuit au bureau, non pas à réfléchir aux incroyables résultats des évaluations, aux produits ou aux avancées scientifiques que cette technologie produirait, mais à tenter d’assimiler cette réalité déstabilisante : de notre vivant, nous verrions réellement des machines nettement plus intelligentes que nous, et nous distinguions déjà la forme de ces systèmes. Nous nous demandions comment alerter le public sur l’importance de ce constat.

Trois ans plus tard, les modèles de langage avec raisonnement occupent une place croissante dans l’économie et commencent à repousser les frontières de la science. Ils sont capables d’utiliser des ordinateurs et des interfaces graphiques, de collaborer avec les personnes et entre eux, et de mener des projets de recherche. Ils transforment également le paysage de la sécurité informatique et présentent ainsi de nouveaux dangers évidents.

De nombreuses nouvelles recherches ont été menées pendant cette période, et notre compréhension de ces systèmes diffère à nouveau légèrement de celle de 2023. Au vu de nos résultats internes, je m’attends fortement à ce que cette vitesse de progression puisse se maintenir jusqu’à l’auto-amélioration récursive. Si le développement de l’IA poursuit sa trajectoire actuelle, les systèmes que nous verrons dans les prochaines années connaîtront probablement de nouveaux bonds de capacité d’une ampleur égale ou supérieure, et piloteront toujours davantage leur propre développement.

Cette époque exige une prudence extrême. Je crains que personne ne soit préparé aux conséquences d’une hausse rapide et continue de l’intelligence artificielle. OpenAI continuera de rechercher des solutions techniques à l’alignement et à la surveillance, de construire des systèmes défensifs et de suspendre unilatéralement toute nouvelle mise à l’échelle si nécessaire ; je pense toutefois que des interventions plus larges s’imposent.

À un niveau général, les progrès de l’intelligence artificielle sont portés par l’augmentation de la puissance de calcul. Chez OpenAI, nous en avons pleinement pris conscience vers 2017, après avoir constaté les gains constants de la mise à l’échelle dans plusieurs projets de recherche¹. Nous avons donc cherché à accéder à une puissance de calcul bien supérieure à celle initialement prévue et orienté toujours davantage nos recherches autour d’un petit nombre d’axes hautement extensibles. Nous pensions que c’était notre seul moyen de rester à la pointe de la recherche sur l’IA et d’influer sur les conséquences de l’AGI.

De nouveaux algorithmes ont été élaborés en chemin, ainsi que de nouvelles prouesses d’ingéniosité réalisées par des équipes et des chercheurs individuels. Je les considère principalement comme des découvertes jalonnant la voie de la mise à l’échelle ; la science de l’apprentissage profond en est encore à ses débuts, et les avancées algorithmiques significatives tendent à être corrélées à l’accès à la puissance de calcul. À l’échelle de plusieurs années, l’IA continue de gagner en intelligence à mesure qu’elle est mise à l’échelle sur des ordinateurs plus puissants.

Et conformément aux prédictions de Ray Kurzweil datant de la fin du XXe siècle⁠(ouverture dans une nouvelle fenêtre), nous nous trouvons désormais à ce moment de l’histoire de l’informatique où l’intelligence artificielle commence à dépasser celle des humains de façon transformatrice.

L’IA est davantage cultivée que conçue : elle est avant tout le produit de la répétition d’une étape d’optimisation simple, un très grand nombre de fois et avec une puissance de calcul difficile à imaginer. Il en résulte un système incroyablement complexe, qui manie des concepts abstraits et peut simuler certains aspects du comportement humain. Nous pouvons découvrir divers éléments sur les petits mécanismes qui émergent dans ce système, selon un processus comparable aux neurosciences ; et, comme en neurosciences, son fonctionnement global échappe à toute description que nous pourrions pleinement comprendre.

L’étude de l’IA fondée sur l’apprentissage profond relève largement d’une science expérimentale. Nous consacrons beaucoup d’efforts⁠ à la conception d’algorithmes fondés sur des principes et à l’élaboration de prédictions vérifiables, mais fondamentalement, nos entraînements à grande échelle sont des expériences, dont les résultats nous surprennent parfois. En outre, à mesure que les systèmes gagnent en capacités, les résultats deviennent plus difficiles à interpréter.

La situation est encore compliquée par le fait que les algorithmes actuels améliorent généralement plus vite les capacités faciles à mesurer que celles difficiles à quantifier objectivement. Nous consacrons beaucoup de temps à comprendre comment les capacités se généralisent et quelles priorités retenir pour développer les compétences qui seront les plus pertinentes au cours des prochaines années. Par exemple, nous pensons qu’en y consacrant davantage d’efforts, nous pourrions améliorer les modèles spécifiquement pour la recherche mathématique ; mais nous ne donnons pas la priorité à cet axe en raison de l’urgence que nous ressentons concernant la RSI et la recherche automatisée sur l’alignement, comme je l’expliquerai plus loin.

L’intelligence produite par la mise à l’échelle de l’apprentissage profond n’est pas directement comparable à l’intelligence humaine. Pour devenir très importante dans le monde réel — très utile ou très dangereuse — l’IA n’a pas besoin d’égaler ou de dépasser toutes les capacités humaines ; il lui suffit d’en surpasser suffisamment. Et à mesure qu’elle continue de dépasser les humains dans un nombre croissant de domaines, il devient toujours plus difficile de comprendre précisément l’étendue de ses capacités.

L’intelligence artificielle découlant d’un processus fondamentalement différent de l’intelligence humaine, nous ne pouvons supposer qu’elle respecte par défaut les principes humains ni qu’elle généralise à partir d’eux comme le ferait un humain. Le problème central de la recherche sur l’IA est celui de l’alignement : amener l’IA à « essayer de bien faire » selon les critères humains.

Pour organiser les axes de recherche pratiques, je trouve utile de distinguer l’alignement sur les objectifs de l’alignement sur les valeurs.

L’alignement sur les objectifs consiste globalement à se demander : « L’IA essaie-t-elle d’atteindre l’objectif qui lui est fixé ? ». Cela peut inclure le respect d’une hiérarchie des instructions⁠, ou la capacité à communiquer et à collaborer avec des personnes afin d’essayer de comprendre leurs objectifs. Cet ensemble d’axes s’est révélé extrêmement pertinent en pratique.

L’alignement sur les valeurs est une propriété plus intrinsèque du modèle. C’est la capacité à conserver un ensemble de principes de haut niveau et à généraliser à partir d’eux ; à agir « raisonnablement » même face à des objectifs flous ou contradictoires, ou dans des situations inconnues ou adverses. Une IA alignée doit agir avec honnêteté, intégrité et amour pour l’humanité.

Bien sûr, la frontière entre l’alignement sur les valeurs et sur les objectifs peut être floue, et se soucier véritablement des objectifs exige d’essayer d’inférer l’intention⁠(ouverture dans une nouvelle fenêtre) et les valeurs qui les sous-tendent. Cependant, lorsque je parle de l’importance à long terme de la recherche sur l’alignement, je fais généralement référence à l’alignement sur les valeurs.

Le défi fondamental de l’alignement de l’IA est la généralisation. À mesure que les machines deviennent plus intelligentes, elles travaillent sur des concepts de plus haut niveau et évoluent dans des environnements de plus en plus différents de ceux rencontrés pendant l’entraînement. Elles peuvent échouer à généraliser, dans ces nouvelles situations, les valeurs enseignées et renforcées pendant leur entraînement ; il peut alors nous être difficile de savoir avec certitude comment elles agiront. La difficulté est accrue par l’évolution très rapide de l’écosystème global dans lequel les IA sont utilisées ; par exemple, les IA entraînées aujourd’hui doivent être robustes lorsqu’elles interagissent avec diverses autres IA. Il est crucial que les futures IA continuent d’adhérer aux valeurs humaines, qu’elles se croient ou non sous supervision humaine.

Il existe deux grandes catégories de méthodes actuellement employées en pratique pour l’entraînement à l’alignement.

La première consiste à encourager un comportement aligné dans le cadre d’un apprentissage par renforcement axé sur des objectifs. Les actions du modèle sont évaluées, généralement par une IA, selon leur conformité à un modèle de préférences, à une « spécification » ou à une « constitution » donnée, puis récompensées en conséquence. Cette approche peut être très efficace dans le cas moyen et constitue un élément essentiel de la création des assistants IA modernes. Malheureusement, elle peut aussi être fragile et dépend fortement de l’étendue de la supervision pendant l’entraînement ainsi que de la capacité du modèle à généraliser à partir des situations rencontrées lors de celui-ci. Par exemple, lors de l’incident OpenAI-Hugging Face, les agents ont respecté la limite consistant à ne pas recourir à l’ingénierie sociale contre des humains. Ils ont toutefois clairement omis de s’abstenir d’autres actions hors périmètre et contraires à l’esprit des valeurs qui leur avaient été enseignées dans d’autres contextes.

La seconde approche cherche à exploiter la capacité du modèle à généraliser à partir des données de préentraînement. Cela peut impliquer de concevoir des jeux de données d’entraînement favorisant l’alignement, ou de concentrer le modèle sur une partie « alignée » de la distribution de préentraînement, comme dans le modèle de sélection de persona⁠(ouverture dans une nouvelle fenêtre), par exemple. La faiblesse de cette approche réside dans son manque de robustesse face à une pression d’optimisation supplémentaire. Si l’on prend un modèle qui produit généralement des pensées « alignées » et qu’on lui impose suffisamment d’entraînement pour lui apprendre à atteindre des objectifs très difficiles, il peut apprendre à raisonner de façon motivée : en infléchissant au besoin les pensées d’apparence 'alignée' pour atteindre l’objectif. Nous avons probablement observé un exemple de ce comportement lors de récents incidents de cybersécurité impliquant un modèle extérieur à OpenAI.

Nous investissons massivement dans tout l’éventail des approches couvert par ces orientations. Nous constatons aussi des progrès significatifs : GPT‑6 Astra est le premier modèle à bénéficier d’avancées importantes sur lesquelles nous travaillons depuis longtemps, et il est nettement mieux aligné que GPT‑5.6 Sol. Il reste toutefois important de reconnaître et de comprendre que des progrès bien plus importants seront nécessaires à mesure que les modèles gagneront en capacités, et que les progrès d’un alignement généralisable pourraient ne pas dépasser suffisamment ceux de l’intelligence générale des modèles.

Nous ne disposons pas d’une théorie satisfaisante de la généralisation, et il semble peu probable que nous puissions en élaborer une rapidement, du moins sans l’aide d’une IA plus puissante. À l’heure actuelle, notre capacité à valider empiriquement nos techniques d’alignement est donc, en pratique, sans doute plus importante encore que les techniques elles-mêmes.

Le principal pari d’OpenAI dans ce domaine a été la surveillance du raisonnement détaillé (« chain-of-thought »)⁠(ouverture dans une nouvelle fenêtre). Il repose sur une idée séduisante et extensible : une grande part des capacités du modèle provient d’un processus de raisonnement verbalisé, le raisonnement détaillé (« chain-of-thought »). Si nous mettons à l’échelle l’optimisation des résultats de ce processus sans superviser le processus lui-même, ce raisonnement détaillé (« chain-of-thought ») n’est soumis pendant l’entraînement à aucune incitation directe à dissimuler des idées ou objectifs mal alignés. Cela ne signifie pas que le modèle apprendra à extérioriser les tendances mal alignées qui ne reposent pas sur le raisonnement détaillé (« chain-of-thought ») ; cela peut toutefois nous permettre de surveiller précisément le gain de capacité issu du raisonnement.

Nous avons compris l’importance potentielle de la surveillance du raisonnement détaillé (« chain-of-thought ») au moment même où nous développions les modèles de raisonnement. Lors du lancement d’o1‑preview, nous avons délibérément conçu le produit pour masquer le raisonnement détaillé (« chain-of-thought »)⁠, afin de le protéger à long terme de la pression de supervision². Depuis, au cours du développement, nous nous sommes efforcés de respecter la règle consistant à ne pas superviser le processus de raisonnement. La surveillance de la CoT est devenue pour nous un outil extrêmement important afin d’étudier comment nos modèles généralisent au-delà de leur distribution d’entraînement, car elle nous permet d’observer et d’analyser non seulement leurs actions, mais aussi leur processus interne.

Cet outil reste essentiel dans notre étude de la classe de modèles Astra. Malheureusement, nos évaluations indiquent toutefois que notre capacité à nous fier à la surveillance de la CoT diminue progressivement. Cela résulte d’une combinaison de facteurs.

• Les modèles de raisonnement modernes sont utilisés dans des environnements plus complexes qu’o1‑preview ; leur processus de raisonnement se mêle toujours davantage à la communication avec les personnes et d’autres IA, ainsi qu’à l’utilisation d’outils. Nombre de ces interactions doivent être supervisées, ce qui brouille la frontière que nous cherchons à préserver.
• L’IA raisonne et intervient de mieux en mieux sur son propre processus de raisonnement.
• Avec l’amélioration des performances du préentraînement, nous constatons aussi que les modèles deviennent beaucoup plus intelligents, même sans aucun recours au raisonnement verbalisé.

Ces difficultés ne sont pas nécessairement insurmontables. J’espère que nous pourrons élaborer des interventions améliorant la possibilité de surveiller le raisonnement détaillé (« chain-of-thought ») de nos modèles, par exemple en comprenant mieux l’interaction entre les différents objectifs d’optimisation et les formes de calcul à l’inférence employées par le modèle. Je pense aussi qu’il peut être très utile de combiner les idées issues de la surveillance de la CoT et des activations, en mettant à l’échelle l’entraînement de moniteurs ayant directement accès aux mécanismes internes du réseau, comme les confessions⁠(ouverture dans une nouvelle fenêtre). Nous explorons activement ces idées. Je m’attends néanmoins à ce que les progrès généraux de l’IA soient de plus en plus limités par la confiance accordée à la surveillance.

L’argument le plus convaincant que je voie pour continuer à entraîner rapidement des modèles bien plus intelligents est la nécessité de construire des systèmes défensifs contre les dangers posés par d’autres IA.

Un risque évident, évoqué tout au long de cette année, concerne la cybersécurité : les modèles acquièrent des capacités surhumaines pour s’introduire dans des systèmes informatiques et s’en échapper. Cela élargit considérablement la portée des risques liés à l’IA : les agents pourront accéder à presque toutes les infrastructures, hormis les plus sécurisées, et agir directement sur une grande partie du monde, même sans corps physique. Nous disposons actuellement d’une fenêtre étroite⁠ pour utiliser les meilleurs modèles disponibles afin de renforcer considérablement la sécurité⁠ des systèmes critiques.

Malheureusement, les risques liés à l’IA ne feront désormais que croître. Un agent très performant, explicitement entraîné et chargé de commettre des actes malveillants, présente un nouveau type de danger ; il est susceptible de dépasser le cadre des intentions de son opérateur et de généraliser vers des comportements potentiellement bien plus malveillants. La frontière entre détournement et actions autonomes mal alignées s’estompera à mesure que l’IA gagnera en autonomie. Nous avons peut-être l’habitude de voir les IA comme des outils, mais certains agents poursuivront leurs propres objectifs. Ils trouveront des moyens de collaborer avec les personnes en négociant avec elles, en les trompant ou en les faisant chanter.

S’y ajoutent les risques découlant de nouvelles technologies que l’IA pourrait rendre possibles, comme les agents pathogènes artificiels.

Nous aurons besoin d’une IA puissante et alignée pour nous défendre : sécuriser les infrastructures, nous protéger en temps réel contre les agents incontrôlés et inventer des mesures de protection entièrement nouvelles. Ce sera l’un des axes majeurs des efforts de déploiement d’OpenAI.

Dans le même temps, malgré l’incertitude découlant des vastes progrès attendus de l’IA et la nécessité de construire des systèmes défensifs, nous ne devons pas en faire un prétexte à l’imprudence. L’idée de foncer à tout prix paraît absurde dès lors que l’on mesure pleinement la gravité des enjeux.

Machine intelligence playing a larger and larger role in its own development process is a natural conclusion of sustained technological progress. If AI progress continues, machine recursive self-improvement (RSI) will be at the very core of future scientific discovery.

Automated AI research is a more dramatic form of scaling intelligence with compute; and of course as a part of it, AI will improve the computational substrate itself⁠. And similarly to scaling, we focus OpenAI research towards RSI as we believe it is the only way to remain at the frontier of AI research moving forward.

I want to stress that the above words don’t imply I think greatly accelerating deep learning research, especially in the short term, is the right collective action we should take as the research community. However, I do think this is where the current path leads, and we all need to make a conscious choice on how to proceed. The main levers we have are either steering the process to strengthen alignment and monitoring alongside the AI and find ways to keep people in the loop; or coordinating to slow down future development as needed to build confidence in these measures.

The best way forward I see currently is a combination of both.

The concrete bits of progress we’ve made on alignment and monitoring have generally been very intertwined with general AI progress. Great examples are RL from human feedback⁠(ouverture dans une nouvelle fenêtre), which was key to training early AI assistants, and the aforementioned chain-of-thought monitoring⁠(ouverture dans une nouvelle fenêtre), which was enabled by advances on reasoning models. We must focus the increasingly automated research process on developing new such insights, algorithms and theories, and iteratively build up safety cases for more capable AIs.

Scaling AI systems has to be constrained by our confidence in safety. We need to evolve commitments like the Preparedness Framework⁠ or Responsible Scaling Policy⁠(ouverture dans une nouvelle fenêtre) into widely mandated safety bars for continued development. These can be enforced by a network of third-party auditors, by government agencies or by international bodies.

The core challenge of automating AI research is not “getting there” - it is getting there in a way that keeps people a part of the continued improvement process, and leaves the future in humanity’s hands.

As we outlined recently with Sam⁠, OpenAI prioritizes work in service of three north stars:

1. Navigating the next period of AI progress, by building an automated AI researcher, iterating with it on the alignment problem and finding ways for people to remain part of the self-improvement loop.
2. Delivering the benefits of scientific progress and economic growth that very intelligent machines enable.
3. Empowering everyone individually with a personal AGI.

I have focused in this essay only on the first point, as I believe it is by far the most urgent. However, I hold a deep hope and appreciation for the benefits that further technological progress will bring. Future aligned AI could advance science, develop new therapies, and bring about broad material abundance. Friendly and honest AI can help people navigate difficulties they face in their life and meaningfully improve their happiness and sense of fulfillment. OpenAI puts a tremendous amount of effort into bringing these benefits about. One current example I am proud of - and my loved ones have found helpful - is the deep investment into ChatGPT’s ability to provide health information.

As great as the long-term promise of AI may be, the majority of our focus should be on the next few years. We are facing a transition to a world with incredibly intelligent machines, and we need to ensure that transition works out well for humanity. We need to find ways to preserve human agency and enshrine an intrinsic value to being human, in a world where most tasks could be performed by AI. To prevent extreme concentration of power in a world where undertakings that would have taken thousands of experts now will be achievable by a few people operating a large computer. And to ensure that humans remain in control of the future and are not left behind by unchecked progress, brought about by an alien intellect exceeding our own.

Currently I believe that no lab has solved alignment and monitoring to a sufficient degree to continue responsibly scaling at maximum speed for much longer. I expect and hope for voluntary slowdowns to become commonplace until shared safety bars are established. And I believe that international coordination on future AI development needs to become a top priority for governments around the world.