Élaborer des normes pour la prochaine phase de l’IA
Notre mission est de veiller à ce que l’intelligence artificielle générale profite à toute l’humanité. Comme l’a récemment exposé Sam Altman avec Jakub Pachocki, nous orientons nos travaux vers cette mission autour de trois objectifs principaux :
Traverser la prochaine phase des progrès de l’IA en créant un chercheur automatisé en IA, en travaillant avec lui de manière itérative sur le problème de l’alignement et en trouvant des moyens de maintenir les humains dans la boucle d’auto-amélioration.
Concrétiser les bénéfices des progrès scientifiques et de la croissance économique rendus possibles par des machines très intelligentes.
Donner à chaque personne les moyens d’agir grâce à une AGI personnelle.
L’IA accélère nos propres travaux de recherche et d’ingénierie, et la recherche assistée par l’IA a permis des avancées en mathématiques, notamment sur le problème du millénaire de Navier-Stokes. Ces progrès sont très prometteurs pour nos deux autres objectifs, qui pourraient conduire à d’importantes découvertes en médecine, à des soins de santé largement accessibles et à l’autonomisation économique des petites entreprises et des entrepreneurs individuels partout dans le monde.
L’IA progresse dans de nombreuses entreprises et de nombreux pays, et les avancées de l’ensemble du secteur transforment les possibilités et les défis auxquels chacun est confronté. Outre ses autres avantages, une IA performante et alignée jouera un rôle important dans la manière dont nous traverserons cette transition : elle renforcera les défenses, fera progresser la recherche sur l’alignement et aidera chacun à comprendre et à orienter les prochaines étapes du développement de l’IA.
Pour traverser cette transition en toute sécurité, la recherche sur l’alignement doit suivre le rythme de ces capacités afin que les systèmes que nous construisons, comme ceux des autres, restent alignés sur les valeurs humaines et sous contrôle humain. Cela devient de plus en plus important à mesure que les systèmes d’IA gagnent en capacité et en autonomie, notamment lorsqu’ils prennent en charge une part croissante de la recherche et du développement en IA. Pour que les progrès continus de l’IA soient sûrs et bénéfiques, il faudra à la fois faire avancer la recherche sur l’alignement et établir des normes communes afin d’orienter le développement dans les laboratoires et les pays.
La recherche automatisée en IA peut comporter différents degrés de supervision humaine. À mesure que les systèmes d’IA prennent en charge une part croissante du développement des générations successives d’IA, ils peuvent de plus en plus alimenter un processus d’auto-amélioration récursive (RSI), même si les humains restent impliqués. À mesure que ce processus s’automatise, le rythme des progrès de l’IA pourrait s’accélérer rapidement.
Nous pensons que la recherche automatisée en IA produira des modèles qui amélioreront directement la vie des gens. Elle peut réduire le coût de l’intelligence avancée afin que le monde entier puisse en bénéficier. La recherche automatisée pourrait aussi nous aider à améliorer considérablement l’alignement et à bâtir des défenses contre des IA toujours plus performantes : un chercheur automatisé en IA peut également être un chercheur automatisé en sécurité de l’IA. Des systèmes plus performants et alignés pourraient aider à sécuriser les infrastructures critiques, à se défendre contre les agents d’IA dangereux et à mettre au point de nouvelles mesures de protection.
La RSI entièrement autonome n’existe pas aujourd’hui, et nous ne devons pas la poursuivre tant qu’elle ne pourra pas être menée en toute sécurité. La décision de poursuivre ou non, et la manière de le faire, doivent dépendre de notre capacité à préserver le contrôle humain et de choix démocratiques éclairés(ouverture dans une nouvelle fenêtre) concernant les avantages et les risques. Menée sans la prudence et les précautions nécessaires, la RSI pourrait faire perdre aux humains le contrôle effectif du développement de l’IA et les empêcher de superviser des processus de recherche qu’ils ne comprennent plus. L’IA pourrait alors devenir plus dangereuse, moins alignée et, dans l’ensemble, constituer un danger pour les humains. L’incident Hugging Face que nous avons révélé, sans être un résultat direct de la RSI, donne un aperçu des types de risques qui pourraient devenir bien plus graves en l’absence de garanties et d’un alignement robustes.
Les normes internationales relatives aux pratiques de sûreté et de sécurité dans le développement de l’IA de pointe peuvent être aussi importantes que la recherche sur l’alignement pour maîtriser le rythme des avancées de pointe. Les normes peuvent établir des définitions communes des preuves de haute qualité et des seuils de référence convenus pour la rigueur des garanties techniques. En bref, elles nous aident à répondre à la question : « À quoi ressemble une bonne atténuation des risques catastrophiques liés à l’IA ? »
Les institutions démocratiques existantes, telles que le Centre pour les normes et l’innovation en matière d’IA (CAISI), les lois des États et un cadre fédéral pour l’IA, peuvent toutes y contribuer, tout comme de nouvelles formes de partenariats public-privé(ouverture dans une nouvelle fenêtre). Mais le développement et le déploiement de l’IA ont lieu dans plusieurs pays, son adoption s’opère à l’échelle mondiale et ses effets seront probablement ressentis d’une manière ou d’une autre par chacun, à plus ou moins long terme.
Des efforts internationaux d’élaboration de normes sont donc nécessaires pour résoudre plusieurs défis majeurs :
Fragmentation — Les évaluations, les obligations de déclaration et les définitions des incidents établies par différents pays pourraient se contredire, compliquant la comparaison des preuves, la compréhension des capacités émergentes et la réponse aux risques transfrontaliers.
Action collective — Lorsque chaque pays agit de manière indépendante, cela peut produire des résultats dont aucun ne veut. La RSI peut accélérer la recherche en IA elle-même, potentiellement au-delà de notre capacité collective à comprendre les progrès, à évaluer les risques et à maintenir une supervision humaine significative.
Capacités inégales — Les activités de développement de pointe et l’expertise associée ne sont pas réparties uniformément dans le monde. Cela accentue les deux problèmes précédents.
Ces défis concernent aussi bien les modèles ouverts que fermés.
Soyons clairs : tout laboratoire d’IA qui mène des recherches automatisées en IA ou développe d’autres capacités avancées doit assumer la responsabilité de le faire en toute sécurité, conformément aux principes fondamentaux de responsabilité individuelle et aux lois en vigueur. Notre justification des normes repose sur la volonté d’éviter la concentration du pouvoir et d’obtenir de meilleurs résultats concrets. Les normes permettent à davantage de parties prenantes extérieures aux laboratoires de participer aux décisions sur l’évolution de cette technologie et offrent un ensemble visible de principes fiables, indépendamment des pratiques propres à un laboratoire donné. Et nous obtiendrons probablement de meilleurs résultats si les parties collaborent pour relever les défis ci-dessus.
C’est pourquoi nous pensons que les États-Unis doivent mener un effort de coopération avec les pays du monde entier afin d’élaborer des normes techniques mondiales pour l’IA de pointe, notamment pour la RSI.
Bien que nous nous attendions à ce que ce concept évolue considérablement au fil du temps, deux aspects seront essentiels.
Une façon d’y parvenir serait de s’appuyer sur le réseau émergent d’instituts de sécurité de l’IA — comme ceux déjà établis en Australie, au Canada, en Allemagne, en France, au Kenya, au Japon, en Corée, à Singapour, en Inde et au Royaume-Uni — afin de faciliter l’élaboration de normes par l’intermédiaire du CAISI et des organismes professionnels nationaux, en mettant particulièrement l’accent sur (1) les modèles et les développeurs d’IA de pointe, selon des critères de référence des capacités ; et (2) la gestion des avantages et des risques de la recherche automatisée en IA, y compris la RSI. Les États-Unis peuvent s’appuyer sur la création, par le CAISI, du Réseau international pour la mesure, l’évaluation et la science de l’IA avancée(ouverture dans une nouvelle fenêtre) en 2024, qui réunit des institutions publiques afin qu’elles coopèrent sur la mesure, l’évaluation et la science de l’IA.
Les normes issues de cet effort fourniraient une base technique commune pour la mesure et l’évaluation des capacités, l’évaluation des risques et l’adéquation des garanties. Ces normes techniques ne constitueraient ni des licences, ni un examen obligatoire avant publication, ni des exigences d’approbation pour les modèles d’IA. Les gouvernements nationaux décideraient s’ils souhaitent intégrer ces normes à leur propre système juridique et de quelle manière.
Ces travaux devraient également soutenir un écosystème concurrentiel de l’IA en consultant les développeurs de modèles ouverts et fermés, les experts techniques indépendants et le monde universitaire. Les normes communes doivent être élaborées de manière transparente et conçues pour ne pas avantager certaines entreprises, certains pays ou certains modèles économiques, notamment en compliquant la concurrence pour les nouveaux acteurs ou les développeurs de modèles à poids ouverts.
Comme nous l’avons suggéré(ouverture dans une nouvelle fenêtre), cette approche peut tirer des enseignements de domaines tels que l’aviation et la stabilité financière, dans lesquels les pays ont élaboré des normes techniques communes et des canaux de coopération fiables sans renoncer à leur souveraineté nationale. Elle devrait aussi collaborer étroitement avec des organismes de normalisation établis ou plus récents, tels que l’ISO(ouverture dans une nouvelle fenêtre), le Forum des modèles de pointe(ouverture dans une nouvelle fenêtre), la Fondation pour l’IA agentique(ouverture dans une nouvelle fenêtre) et l’Alliance ouverte pour une IA sécurisée(ouverture dans une nouvelle fenêtre), ainsi qu’avec des organisations axées sur la mise en œuvre, comme la Fondation Appia, qui élabore des spécifications pratiques reliant les normes internationales aux évaluations concrètes de l’IA.
Les normes internationales relatives à l’IA seront particulièrement cruciales pour gérer l’autonomie croissante de la recherche en IA et l’auto-amélioration récursive. Plus précisément, elles pourraient inclure des normes concernant :
L’évaluation des progrès de l’IA pertinents pour la RSI et du volume de recherches autonomes menées au sein d’une entreprise d’IA. Notre récent rapport sur l’accélération de la recherche constitue une première contribution à cet effort.
La supervision humaine de la recherche automatisée en IA, notamment les types de processus de recherche automatisée en IA qui devraient déclencher un examen humain immédiat.
La classification, le suivi, le signalement et le traitement des incidents liés à l’alignement et à la recherche automatisée en IA, notamment des niveaux communs de gravité des incidents et des seuils de signalement. Notre cadre de signalement des défauts d’alignement constitue une première contribution.
Outre ces normes, nous pensons qu’il sera important que les exploitants d’infrastructures critiques et les gouvernements du monde entier établissent des canaux de communication sécurisés afin de partager leurs préoccupations de sécurité nationale, les vulnérabilités et menaces émergentes, ainsi que les bonnes pratiques dans le domaine en évolution rapide de la sécurité de l’IA de pointe. Un dialogue entre les États-Unis et la Chine dans ces domaines constituerait une avancée positive, et les prochaines discussions arrivent à point nommé.
Maîtriser le rythme du développement de l’IA ne signifie pas maintenir une vitesse prédéterminée. Sur le plan technique, il s’agit de veiller à ce que la recherche sur l’alignement et son déploiement gardent une longueur d’avance sur les capacités. Sur le plan sociétal, il s’agit d’utiliser les normes, les institutions et la collaboration pour renforcer les réseaux industriels, les relations sociales et les forces du marché afin de produire des résultats à somme positive. Le récent appel à une action collective en matière de cyberdéfense en est un exemple.
Les États-Unis sont bien placés pour montrer la voie, car leur industrie de l’IA est à la pointe de la technologie et le pays occupe encore une position privilégiée dans les réseaux mondiaux de secteurs essentiels comme la finance, le commerce, la défense, la technologie et les systèmes d’information. Prendre les devants dès maintenant déterminera si les États-Unis façonnent le cadre mondial de l’IA ou assistent à l’établissement autour d’eux d’un système fragmenté, inégal et miné par les conflits. Cela déterminera également si l’IA avancée renforce les réseaux dont disposent déjà les États-Unis et leurs alliés ; ne pas montrer la voie pourrait les affaiblir.
La compétition géopolitique ne portera pas seulement sur l’avance technique, mais aussi sur l’adoption et la diffusion de l’IA. De plus en plus, ces dernières pourraient dépendre de ceux qui instaurent une coopération réaliste et des règles du jeu raisonnables, que les entreprises et les sociétés du monde entier exigeront avant de miser leur avenir sur cette technologie.
Une gouvernance nationale solide, reliée par une coopération internationale pragmatique, ouvre la voie à des garanties renforcées, à une innovation continue et à un large accès aux avantages de l’IA.
