Sam Altman’s remarks at the United Nations Security Council

Today, OpenAI CEO Sam Altman addressed the United Nations Security Council on artificial intelligence. He discussed AI’s potential to expand opportunity, the importance of keeping powerful systems under human control, and the need for international cooperation on AI safety.

Thank you, Mr. President and your Excellencies. I’m honored to be here and to be able to speak with you all at this important time.

We have been talking about artificial intelligence for years, but it feels different in recent weeks and months. Rapid model progress has made the timeline feel more compressed, the upside more tangible, but also the stakes and the risks more immediate.

We have a choice in front of us. AI can either be more like a new Renaissance of creativity and discovery, or more like a new Industrial Revolution of upheaval and disarray.

The Renaissance was a time when new tools, new ideas, and new institutions expanded what people believed they could do. AI can play that role for our time. I believe that people are much more capable than they imagine themselves to be, but have been held back by limited technology that was meant to empower but instead distracts and often steals attention.

The best version of AI is not about making people cogs in a giant machine, or optimizing every part of life until the human parts disappear. It is about giving people more agency in an ever more complex world: more ability to learn, to create, discover, build, participate. There are many things that AI cannot—and should not—automate.

AI should be built for people, not simply to turn the crank of the machines faster for their own sake. Some of the things people working to build AI have said are so dystopian that they sound like the plot of bad science fiction movies.

Anything this powerful is also intimidating. This moment is complicated as we feel both tremendous potential and very understandable anxiety at the same time.

These models can help people discover new knowledge: new medicines, better health care, stronger education, and build more productive economies. They can be new tools for people to pursue dreams and ambition that today feel out of reach. The complexity of life has increased so dramatically for the average person. AI can be a defensive tool against this complexity as much as it can be this tool of unprecedented discovery and innovation.

On the other hand, as AI systems become more capable and more autonomous, they could move faster than our institutions, concentrate power in too few hands, or make decisions that people no longer understand or control.

That concern becomes especially important as we approach systems that can improve themselves and future versions of themselves, often called recursive self-improvement. As the process of building AI becomes more automated, the pace of AI progress could accelerate rapidly. This moment calls for extreme care.

I largely agree with Professor Bengio. Although I’ll say two instead of three—I believe there are two ways that AI progress could go very badly that we have to avoid.

First, we could lose control of the future to AI. The risk is that it moves so fast that people can no longer follow what’s happening or intervene when needed. This would obviously be terrible.

The industry must not accept too much technological risk just because the benefits are too great and that they feel too important to slow down. Beating companies in a competitive pace is not a reason to make rash decisions. Nor do we believe we are locked in a race where we are unable to do that. We have unilaterally slowed down in the past. We will do so in the future. We do not want to build systems—we think it’s important that everyone avoids building systems—where we cannot make the alignment, monitorability, and safety guarantees that we must.

We need to understand what these systems are doing and have strong evidence that they will do what people intend, even as they get very, very smart. Actually especially as they get very very smart. It doesn’t matter whether people put the risk of catastrophe at 10%, or 1%, or 12%, or .1%. None of these levels are remotely acceptable. And we should not train models that we cannot make an extremely strong case that we will be able to keep under human control.

So that’s one way things can go wrong. In the other direction, these systems could concentrate too much power in too few hands. No one person or company or country should be able to use the most powerful AI models to impose their worldview on everyone else. A company or country that believes only it can be trusted with this technology can use that belief to justify almost anything else. We have to reject that logic, even when it’s convenient for any one actor.

Je crois qu’il existe une voie pragmatique entre ces deux écueils. Chez OpenAI, nous abordons ces questions avec un objectif clair : l’IA devrait donner aux gens davantage de pouvoir sur leur propre vie. Plus de liberté pour vivre comme ils l’entendent. Une plus grande capacité à résoudre des problèmes, petits ou grands, et à améliorer leurs communautés. Nous ne voulons pas tomber dans le piège d’un optimisme aveugle. Nous ne voulons pas non plus tomber dans le piège du catastrophisme. Nous laisser entraîner vers l’un ou l’autre de ces extrêmes ne nous aidera pas à relever les défis qui nous attendent, surtout à une époque où le monde et ses habitants font face à d’immenses difficultés que cette technologie peut contribuer à résoudre. Nous tentons donc de suivre une voie médiane entre ces deux pôles.

Pour nous, cela repose sur trois principes.

Premièrement, à mesure que l’IA gagne en capacités, les gens doivent rester au cœur des décisions qui la concernent. L’alignement n’est pas une question de recherche abstraite. Il s’agit de veiller à ce que ces systèmes demeurent de façon fiable sous contrôle humain, reflètent les valeurs humaines et aident les gens à orienter les prochaines étapes du développement. Nous ne cherchons pas — et ne devons pas chercher — à automatiser le jugement humain ni les valeurs humaines.

Deuxièmement, les progrès scientifiques et la croissance économique doivent être réalisés par et pour les gens. L’IA devrait aider les chercheurs à faire des découvertes, les médecins à soigner leurs patients, les enseignants à instruire leurs élèves, les entrepreneurs à lancer des entreprises, les communautés à résoudre des problèmes qui semblaient hors de portée, et bien plus encore. L’histoire continue du progrès humain ne repose pas sur le remplacement de la capacité d’agir des humains par des outils. Elle repose sur le fait que les bons outils rendent les gens plus capables, et je crois que cela ira bien au-delà de ce que nous pensons possible.

Troisièmement, cette technologie doit donner à chaque personne les moyens d’agir. Un avenir prometteur naîtra de personnes qui réalisent leur potentiel et créent de la valeur pour elles-mêmes, leurs communautés, leur pays et le monde entier. Nous sommes peut-être parmi les bâtisseurs de cette technologie, mais nous ne sommes pas les héros de cette histoire. Notre rôle consiste à donner aux gens du monde entier les moyens d’agir et à faire confiance à la magie du savoir-faire et des facultés de l’humanité.

Nous disposons maintenant de modèles capables de découvrir des connaissances auxquelles nous n’avions jamais eu accès. Pensons aux progrès accomplis en mathématiques. Il y a trois étés, nos modèles se débrouillaient en mathématiques de niveau primaire. Il y a deux étés, ils étaient plutôt bons dans les concours de mathématiques de niveau secondaire. L’été dernier, nous avons atteint le niveau d’une médaille d’or au plus prestigieux concours international de mathématiques. Et il y a quelques semaines à peine, cet été, l’un de nos modèles a résolu l’un des problèmes du prix du millénaire : les équations de Navier-Stokes.

Ces équations servent à concevoir des aéronefs, à prévoir la météo et à étudier la circulation sanguine. Nous ne résolvons pas des problèmes mathématiques pour le simple plaisir de le faire, mais pour permettre aux gens de découvrir de nouvelles connaissances et de les utiliser afin d’améliorer les soins de santé, d’élever le niveau de vie et d’accroître le potentiel de chacun dans le monde. Il reste tant de choses à découvrir.

Mais il est très important que les entreprises ne se substituent pas au processus démocratique.

Pour que l’IA soit démocratique, les décisions les plus importantes ne peuvent pas être prises uniquement par des laboratoires de San Francisco. Elles doivent être façonnées par des processus démocratiques et par des gouvernements qui rendent des comptes aux populations qu’ils servent.

À l’échelle internationale, cela nécessitera de la coopération. Au cours de notre histoire, il est arrivé que des pays concurrents qui ne s’appréciaient pas toujours beaucoup s’unissent néanmoins au nom d’intérêts communs et du bien collectif face à une nouvelle technologie puissante. Nous croyons que le moment est venu de le faire à nouveau.

Il nous faut un mécanisme permettant d’établir des normes nationales et internationales complémentaires sur l’IA de pointe : des normes pour mesurer les capacités, évaluer les risques, déterminer si les mesures de protection sont suffisantes et préserver une véritable supervision humaine à mesure que les systèmes deviennent plus autonomes.

Il nous faut des normes communes afin que les pays puissent comparer les données probantes, vérifier la conformité et partager un langage et une compréhension de ce qui se passe.

Il nous faut des signalements d’incidents rapides et exacts ainsi que des protocoles de classification et de signalement, afin que le monde puisse tirer des leçons des défaillances avant qu’elles ne deviennent des catastrophes.

Et il nous faut des canaux sécurisés entre les gouvernements, les exploitants d’infrastructures essentielles et les experts techniques pour communiquer les vulnérabilités émergentes et les nouvelles menaces.

Évidemment, ces normes ne devraient pas protéger les acteurs établis ni favoriser un modèle d’affaires plutôt qu’un autre. Elles doivent soutenir les concepteurs de modèles ouverts et fermés, les nouveaux venus et les laboratoires établis, l’autorité nationale et la coopération internationale. Chaque gouvernement devrait décider de la manière d’intégrer les normes à son propre système juridique. Mais nous nous porterons tous mieux si nous pouvons nous entendre, à l’échelle mondiale, sur ce qui constitue des données probantes, des mesures de protection et une supervision adéquates.

Nous n’avons pas toutes les réponses et sommes tout à fait ouverts à de meilleures idées. Nous sommes prêts à travailler avec vous tous et à faire tout notre possible pour trouver la voie à suivre.

Nous sommes à la croisée des chemins. Une voie mène à un monde où le pouvoir est concentré, où les décisions sont opaques et où les gens ont l’impression que la technologie la plus importante de leur vie leur est imposée. L’autre voie mène à un monde où l’IA travaille pour les gens parce que ceux-ci, par l’intermédiaire d’institutions démocratiques, contribuent à décider de son évolution et à l’orienter; où les progrès scientifiques améliorent concrètement la vie; où davantage de personnes peuvent participer à l’avenir; et où cette technologie continue de donner aux personnes et aux communautés plus de pouvoir pour vivre comme elles l’entendent. C’est un avenir de potentiel réalisé, d’enthousiasme et d’émerveillement.

Et c’est l’avenir qui, selon nous, mérite d’être bâti. Merci beaucoup.