Sam Altman’s remarks at the United Nations Security Council

Today, OpenAI CEO Sam Altman addressed the United Nations Security Council on artificial intelligence. He discussed AI’s potential to expand opportunity, the importance of keeping powerful systems under human control, and the need for international cooperation on AI safety.

Thank you, Mr. President and your Excellencies. I’m honored to be here and to be able to speak with you all at this important time.

We have been talking about artificial intelligence for years, but it feels different in recent weeks and months. Rapid model progress has made the timeline feel more compressed, the upside more tangible, but also the stakes and the risks more immediate.

We have a choice in front of us. AI can either be more like a new Renaissance of creativity and discovery, or more like a new Industrial Revolution of upheaval and disarray.

The Renaissance was a time when new tools, new ideas, and new institutions expanded what people believed they could do. AI can play that role for our time. I believe that people are much more capable than they imagine themselves to be, but have been held back by limited technology that was meant to empower but instead distracts and often steals attention.

The best version of AI is not about making people cogs in a giant machine, or optimizing every part of life until the human parts disappear. It is about giving people more agency in an ever more complex world: more ability to learn, to create, discover, build, participate. There are many things that AI cannot—and should not—automate.

AI should be built for people, not simply to turn the crank of the machines faster for their own sake. Some of the things people working to build AI have said are so dystopian that they sound like the plot of bad science fiction movies.

Anything this powerful is also intimidating. This moment is complicated as we feel both tremendous potential and very understandable anxiety at the same time.

These models can help people discover new knowledge: new medicines, better health care, stronger education, and build more productive economies. They can be new tools for people to pursue dreams and ambition that today feel out of reach. The complexity of life has increased so dramatically for the average person. AI can be a defensive tool against this complexity as much as it can be this tool of unprecedented discovery and innovation.

On the other hand, as AI systems become more capable and more autonomous, they could move faster than our institutions, concentrate power in too few hands, or make decisions that people no longer understand or control.

That concern becomes especially important as we approach systems that can improve themselves and future versions of themselves, often called recursive self-improvement. As the process of building AI becomes more automated, the pace of AI progress could accelerate rapidly. This moment calls for extreme care.

I largely agree with Professor Bengio. Although I’ll say two instead of three—I believe there are two ways that AI progress could go very badly that we have to avoid.

First, we could lose control of the future to AI. The risk is that it moves so fast that people can no longer follow what’s happening or intervene when needed. This would obviously be terrible.

The industry must not accept too much technological risk just because the benefits are too great and that they feel too important to slow down. Beating companies in a competitive pace is not a reason to make rash decisions. Nor do we believe we are locked in a race where we are unable to do that. We have unilaterally slowed down in the past. We will do so in the future. We do not want to build systems—we think it’s important that everyone avoids building systems—where we cannot make the alignment, monitorability, and safety guarantees that we must.

We need to understand what these systems are doing and have strong evidence that they will do what people intend, even as they get very, very smart. Actually especially as they get very very smart. It doesn’t matter whether people put the risk of catastrophe at 10%, or 1%, or 12%, or .1%. None of these levels are remotely acceptable. And we should not train models that we cannot make an extremely strong case that we will be able to keep under human control.

So that’s one way things can go wrong. In the other direction, these systems could concentrate too much power in too few hands. No one person or company or country should be able to use the most powerful AI models to impose their worldview on everyone else. A company or country that believes only it can be trusted with this technology can use that belief to justify almost anything else. We have to reject that logic, even when it’s convenient for any one actor.

Je suis convaincu qu’il existe une voie pragmatique entre ces deux écueils. Chez OpenAI, nous abordons ces questions avec un objectif clair : l’IA doit donner à chacun davantage de maîtrise sur sa propre vie. Plus de liberté pour vivre comme il l’entend. Plus de moyens de résoudre des problèmes, petits ou grands, et d’améliorer la vie de sa communauté. Nous ne voulons pas tomber dans le piège de l’optimisme aveugle. Mais nous ne voulons pas non plus céder au catastrophisme. Aucun de ces deux extrêmes ne nous aidera à relever les défis qui nous attendent, surtout à une époque où le monde et ses habitants font face à des difficultés immenses que cette technologie peut contribuer à résoudre. Nous cherchons donc à suivre une voie médiane entre ces deux pôles.

Pour nous, cette approche repose sur trois principes.

Premièrement, à mesure que l’IA gagne en capacités, l’être humain doit rester au cœur des décisions impliquant l’IA. L’alignement n’est pas une simple question de recherche théorique. C’est un travail concret : veiller à ce que ces systèmes demeurent sous contrôle humain, reflètent les valeurs humaines et permettent à chacun d’orienter les prochaines étapes de leur développement. Nous ne cherchons pas à automatiser le jugement humain ni les valeurs humaines, et nous ne devons pas le faire.

Deuxièmement, les fruits du progrès scientifique et de la croissance économique doivent être le résultat de l’action humaine et bénéficier à tous. L’IA doit aider les chercheurs à faire des découvertes, les médecins à soigner leurs patients, les enseignants à transmettre leurs connaissances, les entrepreneurs à créer des entreprises et les communautés à résoudre des problèmes qui semblaient jusqu’alors hors de portée, entre autres possibilités. Tout au long de l’histoire, le progrès humain n’a pas consisté à remplacer notre capacité d’agir par des outils, mais à nous doter des outils qui démultiplient nos capacités. Et je crois que nous irons bien au-delà de ce que nous imaginons aujourd’hui.

Troisièmement, cette technologie doit donner à chacun les moyens d’agir. Un avenir prometteur se construira lorsque chacun pourra réaliser son potentiel et créer de la valeur pour soi-même, sa communauté, son pays et le reste du monde. Nous faisons peut-être partie des concepteurs de cette technologie, mais nous ne sommes pas les héros de cette histoire. Notre rôle est de donner à chacun, partout dans le monde, les moyens d’agir et d’avoir foi dans l’extraordinaire richesse des talents et des capacités humaines.

Nous disposons désormais de modèles capables de mettre au jour des connaissances inédites. Prenons les progrès réalisés en mathématiques. Il y a trois étés, nos modèles se débrouillaient à peu près avec les mathématiques du primaire. Il y a deux étés, ils obtenaient de bons résultats dans des concours de mathématiques de niveau lycée. L’été dernier, nous avons atteint le niveau d’une médaille d’or dans le plus prestigieux concours international de mathématiques. Et il y a quelques semaines seulement, cet été, l’un de nos modèles a résolu l’un des problèmes du prix du millénaire : les équations de Navier-Stokes.

Ces équations servent à concevoir des avions, à prévoir la météo et à étudier la circulation sanguine. Nous ne résolvons pas des problèmes mathématiques pour le simple plaisir de le faire, mais pour permettre à chacun de faire de nouvelles découvertes et de s’en servir pour améliorer les soins de santé, élever le niveau de vie et réaliser son potentiel, partout dans le monde. Il reste encore tant à découvrir.

Mais il est essentiel que les entreprises ne se substituent pas au processus démocratique.

Pour que l’IA soit démocratique, les décisions les plus importantes ne peuvent pas être prises par les seuls laboratoires de San Francisco. Elles doivent être définies dans le cadre de processus démocratiques, par des gouvernements qui rendent des comptes aux populations qu’ils servent.

À l’échelle internationale, cet avenir exigera une coopération. L’histoire nous montre que, face à l’émergence d’une technologie puissante, même des pays rivaux, qui ne s’apprécient pas toujours, ont su unir leurs efforts autour d’intérêts communs et au service du bien collectif. Nous sommes convaincus que nous devons faire de même aujourd’hui.

Nous avons besoin d’un mécanisme permettant d’articuler des normes nationales et internationales complémentaires pour l’IA de pointe : des normes pour mesurer les capacités, évaluer les risques, déterminer si les mesures de protection sont suffisantes et préserver une supervision humaine effective à mesure que les systèmes gagnent en autonomie.

Nous avons besoin de normes communes pour que les pays puissent comparer les éléments de preuve, vérifier le respect de ces normes et disposer d’un langage commun ainsi que d’une même compréhension de la situation.

Nous devons pouvoir signaler les incidents rapidement et avec précision, selon des protocoles clairs de classification et de signalement, afin que le monde puisse tirer les leçons des défaillances avant qu’elles ne tournent à la catastrophe.

Nous avons également besoin de canaux sécurisés permettant aux gouvernements, aux exploitants d’infrastructures critiques et aux experts techniques d’échanger des informations sur les vulnérabilités émergentes et les nouvelles menaces.

Bien entendu, ces normes ne doivent pas favoriser les acteurs établis au détriment des nouveaux venus, ni privilégier un modèle économique plutôt qu’un autre. Elles doivent convenir aux développeurs de modèles ouverts comme fermés, aux nouveaux entrants comme aux laboratoires établis, tout en respectant les prérogatives nationales et en favorisant la coopération internationale. Chaque gouvernement doit pouvoir décider comment intégrer ces normes à son propre système juridique. Mais nous aurons tous à y gagner si nous parvenons à nous accorder, à l’échelle mondiale, sur ce qui constitue des preuves solides, des mesures de protection efficaces et une supervision adéquate.

Nous n’avons pas toutes les réponses et nous sommes tout à fait ouverts à de meilleures idées. Nous sommes prêts à travailler avec chacun d’entre vous et à tout mettre en œuvre pour définir ensemble la voie à suivre.

Nous sommes à la croisée des chemins. Une voie mène à un monde où le pouvoir se concentre entre quelques mains, où les décisions se prennent dans l’opacité et où chacun a le sentiment de subir la technologie la plus importante de sa vie. L’autre mène à un monde où l’IA est au service des êtres humains, parce que ceux-ci, par l’intermédiaire de leurs institutions démocratiques, participent aux décisions qui orientent son développement ; un monde où les avancées scientifiques améliorent concrètement la vie, où davantage de personnes peuvent contribuer à façonner l’avenir et où cette technologie continue de donner aux individus et aux communautés plus de liberté pour vivre comme ils l’entendent. C’est un avenir où chacun peut réaliser son potentiel, un avenir porteur d’enthousiasme et d’émerveillement.

C’est cet avenir qui, selon nous, mérite d’être bâti. Je vous remercie.