Établir des normes pour la prochaine phase de l’IA
Notre mission est de veiller à ce que l’intelligence artificielle générale profite à toute l’humanité. Comme l’a récemment expliqué Sam Altman, ainsi que Jakub Pachocki, nous orientons nos travaux vers cette mission en fonction de trois grands objectifs :
Traverser la prochaine étape des progrès de l’IA en créant un chercheur en IA automatisé, en travaillant avec lui de façon itérative sur le problème de l’alignement et en trouvant des moyens de maintenir la participation humaine à la boucle d’auto-amélioration.
Faire profiter l’humanité des avancées scientifiques et de la croissance économique que rendent possibles les machines hautement intelligentes.
Donner à chaque personne les moyens d’agir grâce à une AGI personnelle.
L’IA accélère nos propres travaux de recherche et d’ingénierie, et la recherche assistée par l’IA a mené à des avancées en mathématiques, notamment sur le problème du millénaire de Navier-Stokes. Ces progrès sont très prometteurs pour nos deux autres objectifs et pourraient mener à d’importantes découvertes en médecine, à des soins de santé largement accessibles et à l’autonomisation économique des petites entreprises et des entrepreneurs individuels partout dans le monde.
L’IA progresse dans de nombreuses entreprises et de nombreux pays, et les avancées dans l’ensemble du domaine transforment les possibilités et les défis auxquels tout le monde fait face. Outre ses autres avantages, une IA performante et alignée jouera un rôle important dans la façon dont nous traverserons cette transition : elle renforcera les défenses, fera progresser la recherche sur l’alignement et aidera les gens à comprendre et à orienter les prochaines étapes du développement de l’IA.
Pour traverser cette transition en toute sécurité, la recherche sur l’alignement doit suivre le rythme de ces capacités afin que les systèmes que nous et d’autres créons demeurent alignés sur les valeurs humaines et sous contrôle humain. Cela devient de plus en plus important à mesure que les systèmes d’IA gagnent en capacité et en autonomie, notamment lorsqu’ils assument une part croissante de la recherche et du développement en IA. Pour que les progrès soutenus de l’IA soient sûrs et bénéfiques, il faudra à la fois faire avancer la recherche sur l’alignement et établir des normes communes afin d’orienter le développement dans les laboratoires et les pays.
La recherche automatisée en IA peut comporter différents degrés de supervision humaine. À mesure que les systèmes d’IA prennent en charge une plus grande part du développement des générations successives d’IA, ils peuvent alimenter de plus en plus un processus d’auto-amélioration récursive (RSI), même si les humains continuent d’y participer. À mesure que ce processus s’automatise, le rythme des progrès de l’IA pourrait s’accélérer rapidement.
Nous croyons que la recherche automatisée en IA produira des modèles qui amélioreront directement la vie des gens. Elle peut réduire le coût de l’intelligence avancée afin que les gens du monde entier puissent en profiter. La recherche automatisée pourrait aussi nous aider à améliorer considérablement l’alignement et à créer des défenses contre une IA toujours plus performante : un chercheur en IA automatisé peut aussi être un chercheur automatisé en sécurité de l’IA. Des systèmes plus performants et alignés pourraient contribuer à sécuriser les infrastructures critiques, à nous défendre contre les agents d’IA dangereux et à mettre au point de nouvelles mesures de protection.
La RSI entièrement autonome n’existe pas aujourd’hui, et nous ne devrions pas la poursuivre tant qu’elle ne pourra pas être réalisée en toute sécurité. La décision d’aller de l’avant et la façon de le faire doivent dépendre de notre capacité à préserver le contrôle humain et de choix démocratiques éclairés(s'ouvre dans une nouvelle fenêtre) concernant les avantages et les risques. Sans la diligence et la prudence nécessaires, la RSI pourrait faire perdre aux humains le contrôle pratique du développement de l’IA et les empêcher de superviser des processus de recherche qu’ils ne comprennent plus. L’IA pourrait alors devenir plus dangereuse, moins alignée et, dans l’ensemble, constituer une menace pour les gens. L’incident de Hugging Face que nous avons divulgué, sans être un résultat direct de la RSI, donne un aperçu des types de risques qui pourraient s’aggraver considérablement en l’absence de solides mesures de protection et d’alignement.
Les normes internationales relatives aux pratiques de sûreté et de sécurité dans le développement de l’IA de pointe pourraient être aussi importantes que la recherche sur l’alignement pour réguler le rythme des avancées de pointe. Les normes peuvent établir des définitions communes des données probantes de grande qualité et des seuils de référence convenus pour la rigueur des mesures de protection techniques. En bref, elles nous aident à répondre à la question : « À quoi ressemble une bonne atténuation des risques catastrophiques liés à l’IA? »
Les institutions démocratiques existantes, comme le Center for AI Standards and Innovation (CAISI), les lois des États et un cadre fédéral pour l’IA, peuvent toutes y contribuer, tout comme de nouvelles formes de partenariats public-privé(s'ouvre dans une nouvelle fenêtre). Toutefois, le développement et le déploiement de l’IA se font dans plusieurs pays, son adoption est mondiale et ses répercussions seront probablement ressenties par tout le monde, d’une manière ou d’une autre et à un moment ou à un autre.
Des efforts internationaux visant à élaborer des normes sont donc nécessaires pour relever certains défis clés :
Fragmentation — Les évaluations, les exigences de déclaration et les définitions des incidents établies par différents pays pourraient se contredire, rendant plus difficiles la comparaison des données probantes, la compréhension des capacités émergentes et la gestion des risques transfrontaliers.
Action collective — Lorsque chaque pays agit de façon indépendante, il peut en résulter des conséquences qu’aucun pays ne souhaite. La RSI peut accélérer la recherche en IA elle-même, potentiellement au-delà de notre capacité collective à comprendre les progrès, à évaluer les risques et à maintenir une supervision humaine significative.
Capacités inégales — Les activités de développement de pointe et l’expertise connexe ne sont pas réparties uniformément dans le monde. Cela accentue les deux problèmes ci-dessus.
Ces défis concernent aussi bien les modèles ouverts que les modèles fermés.
Soyons clairs : tout laboratoire d’IA qui mène des recherches automatisées en IA ou développe d’autres capacités avancées doit répondre de la sécurité de ses activités, conformément aux principes fondamentaux de responsabilité individuelle et aux lois en vigueur. Notre justification des normes repose sur la volonté d’éviter la concentration du pouvoir et d’obtenir de meilleurs résultats concrets. Les normes permettent à davantage de parties prenantes extérieures aux laboratoires de participer aux décisions sur l’évolution de cette technologie et établissent un ensemble visible de principes fiables, indépendamment des pratiques particulières de chaque laboratoire. Nous obtiendrons aussi probablement de meilleurs résultats si les parties collaborent pour relever les défis ci-dessus.
C’est pourquoi nous croyons que les États-Unis devraient piloter un effort de collaboration avec les pays du monde entier afin d’élaborer des normes techniques mondiales pour l’IA de pointe, y compris pour la RSI.
Même si nous nous attendons à ce que ce concept évolue considérablement au fil du temps, deux aspects seront essentiels.
Une façon d’y parvenir serait de tirer parti du réseau émergent d’instituts de sécurité de l’IA — comme ceux déjà établis en Australie, au Canada, en Allemagne, en France, au Kenya, au Japon, en Corée, à Singapour, en Inde et au Royaume-Uni — afin de faciliter l’établissement de normes par l’intermédiaire du CAISI et d’organismes industriels nationaux, en mettant particulièrement l’accent sur : (1) les modèles et les développeurs d’IA de pointe, selon des critères de référence relatifs aux capacités; et (2) la gestion des avantages et des risques de la recherche automatisée en IA, y compris la RSI. Les États-Unis peuvent s’appuyer sur la création, par le CAISI en 2024, du Réseau international pour la mesure, l’évaluation et la science avancées de l’IA(s'ouvre dans une nouvelle fenêtre), qui réunit des institutions publiques afin qu’elles collaborent à la mesure, à l’évaluation et à la science de l’IA.
Les normes élaborées dans le cadre de cet effort fourniraient un fondement technique commun pour la mesure et l’évaluation des capacités, l’évaluation des risques et la suffisance des mesures de protection. Ces normes techniques ne constitueraient ni des licences, ni un examen obligatoire avant la mise en marché, ni des exigences d’approbation pour les modèles d’IA. Les gouvernements nationaux décideraient s’ils souhaitent intégrer ces normes à leur propre système juridique et de quelle façon.
Ces travaux devraient également soutenir un écosystème d’IA concurrentiel en consultant les développeurs de modèles ouverts et fermés, les experts techniques indépendants et le milieu universitaire. Les normes communes devraient être élaborées de façon transparente et conçues pour ne pas avantager des entreprises, des pays ou des modèles d’affaires particuliers, notamment en évitant de rendre la concurrence plus difficile pour les nouveaux venus ou les développeurs de modèles à poids ouverts.
Comme nous l’avons proposé(s'ouvre dans une nouvelle fenêtre), cette approche peut tirer des leçons de domaines comme l’aviation et la stabilité financière, où les pays ont élaboré des normes techniques communes et des canaux de coopération fiables sans renoncer à leur autorité nationale. Elle devrait également collaborer étroitement avec des organismes de normalisation établis et plus récents, comme l’ISO(s'ouvre dans une nouvelle fenêtre), le Forum sur les modèles de pointe(s'ouvre dans une nouvelle fenêtre), la Fondation pour l’IA agentique(s'ouvre dans une nouvelle fenêtre) et l’Alliance pour une IA ouverte et sécurisée(s'ouvre dans une nouvelle fenêtre), ainsi qu’avec des organismes axés sur la mise en œuvre, comme la Fondation Appia, qui élabore des spécifications pratiques reliant les normes internationales aux évaluations concrètes de l’IA.
Les normes internationales relatives à l’IA seront particulièrement cruciales pour gérer l’autonomie croissante de la recherche en IA et l’auto-amélioration récursive. Plus précisément, elles pourraient comprendre des normes concernant :
L’évaluation des progrès de l’IA pertinents pour la RSI et de la quantité de recherche autonome menée au sein d’une entreprise d’IA. Notre récent rapport sur l’accélération de la recherche constitue une première contribution à cet effort.
La supervision humaine de la recherche automatisée en IA, y compris les types de processus de recherche automatisée en IA qui devraient déclencher un examen humain immédiat.
La classification, le suivi, la déclaration et la gestion des incidents liés à l’alignement et à la recherche automatisée en IA, notamment des niveaux communs de gravité des incidents et des seuils de déclaration. Notre cadre de déclaration des problèmes d’alignement constitue une première contribution.
Outre ces normes, nous croyons qu’il sera important que les exploitants d’infrastructures critiques et les gouvernements du monde entier établissent des canaux de communication sécurisés pour échanger leurs préoccupations de sécurité nationale, les vulnérabilités et les menaces émergentes ainsi que les pratiques exemplaires dans le domaine en évolution rapide de la sécurité de l’IA de pointe. Un dialogue entre les États-Unis et la Chine dans ces domaines serait une étape positive, et les discussions à venir surviennent à un moment opportun.
Réguler le rythme du développement de l’IA ne consiste pas à maintenir une vitesse prédéterminée. Sur le plan technique, il s’agit de veiller à ce que la recherche sur l’alignement et son déploiement gardent une longueur d’avance sur les capacités. Sur le plan sociétal, il s’agit d’utiliser des normes, des institutions et la collaboration pour amplifier les réseaux industriels, les relations sociales et les forces du marché afin de produire des résultats à somme positive. Le récent appel à une action collective en matière de cyberdéfense illustre ce dernier point.
Les États-Unis sont bien placés pour montrer la voie, car leur industrie de l’IA est à la pointe de la technologie et le pays occupe encore une position privilégiée dans les réseaux mondiaux de secteurs critiques comme la finance, le commerce, la défense, la technologie et les systèmes d’information. Prendre les devants dès maintenant déterminera si les États-Unis façonnent le cadre mondial de l’IA ou assistent à l’établissement autour d’eux d’un système fragmenté, inégal et miné par les conflits. Cela déterminera également si l’IA avancée renforce les réseaux dont disposent déjà les États-Unis et leurs alliés; ne pas montrer la voie pourrait les affaiblir.
La concurrence géopolitique ne portera pas seulement sur l’avance technique, mais aussi sur l’adoption et la diffusion de l’IA. De plus en plus, ces dernières pourraient dépendre de ceux qui favorisent une coopération réaliste et des règles du jeu sensées, dont les entreprises et les sociétés du monde entier auront besoin pour miser leur avenir sur cette technologie.
Une gouvernance nationale solide, appuyée par une coopération internationale concrète, ouvre la voie à de meilleures mesures de protection, à une innovation continue et à un vaste accès aux bienfaits de l’IA.
