Sam Altman’s remarks at the United Nations Security Council

Today, OpenAI CEO Sam Altman addressed the United Nations Security Council on artificial intelligence. He discussed AI’s potential to expand opportunity, the importance of keeping powerful systems under human control, and the need for international cooperation on AI safety.

Thank you, Mr. President and your Excellencies. I’m honored to be here and to be able to speak with you all at this important time.

We have been talking about artificial intelligence for years, but it feels different in recent weeks and months. Rapid model progress has made the timeline feel more compressed, the upside more tangible, but also the stakes and the risks more immediate.

We have a choice in front of us. AI can either be more like a new Renaissance of creativity and discovery, or more like a new Industrial Revolution of upheaval and disarray.

The Renaissance was a time when new tools, new ideas, and new institutions expanded what people believed they could do. AI can play that role for our time. I believe that people are much more capable than they imagine themselves to be, but have been held back by limited technology that was meant to empower but instead distracts and often steals attention.

The best version of AI is not about making people cogs in a giant machine, or optimizing every part of life until the human parts disappear. It is about giving people more agency in an ever more complex world: more ability to learn, to create, discover, build, participate. There are many things that AI cannot—and should not—automate.

AI should be built for people, not simply to turn the crank of the machines faster for their own sake. Some of the things people working to build AI have said are so dystopian that they sound like the plot of bad science fiction movies.

Anything this powerful is also intimidating. This moment is complicated as we feel both tremendous potential and very understandable anxiety at the same time.

These models can help people discover new knowledge: new medicines, better health care, stronger education, and build more productive economies. They can be new tools for people to pursue dreams and ambition that today feel out of reach. The complexity of life has increased so dramatically for the average person. AI can be a defensive tool against this complexity as much as it can be this tool of unprecedented discovery and innovation.

On the other hand, as AI systems become more capable and more autonomous, they could move faster than our institutions, concentrate power in too few hands, or make decisions that people no longer understand or control.

That concern becomes especially important as we approach systems that can improve themselves and future versions of themselves, often called recursive self-improvement. As the process of building AI becomes more automated, the pace of AI progress could accelerate rapidly. This moment calls for extreme care.

I largely agree with Professor Bengio. Although I’ll say two instead of three—I believe there are two ways that AI progress could go very badly that we have to avoid.

First, we could lose control of the future to AI. The risk is that it moves so fast that people can no longer follow what’s happening or intervene when needed. This would obviously be terrible.

The industry must not accept too much technological risk just because the benefits are too great and that they feel too important to slow down. Beating companies in a competitive pace is not a reason to make rash decisions. Nor do we believe we are locked in a race where we are unable to do that. We have unilaterally slowed down in the past. We will do so in the future. We do not want to build systems—we think it’s important that everyone avoids building systems—where we cannot make the alignment, monitorability, and safety guarantees that we must.

We need to understand what these systems are doing and have strong evidence that they will do what people intend, even as they get very, very smart. Actually especially as they get very very smart. It doesn’t matter whether people put the risk of catastrophe at 10%, or 1%, or 12%, or .1%. None of these levels are remotely acceptable. And we should not train models that we cannot make an extremely strong case that we will be able to keep under human control.

So that’s one way things can go wrong. In the other direction, these systems could concentrate too much power in too few hands. No one person or company or country should be able to use the most powerful AI models to impose their worldview on everyone else. A company or country that believes only it can be trusted with this technology can use that belief to justify almost anything else. We have to reject that logic, even when it’s convenient for any one actor.

この二つの課題を乗り越える、現実的な道筋はあると考えています。OpenAI は、明確な目標を掲げてこれらの問いに向き合っています。AI は、人々が自らの人生をより主体的に選べるようにすべきです。望む生き方を選べる自由を、さらに広げるべきです。大小を問わず問題を解決し、地域社会をより良くする力を、さらに高めるべきです。私たちは、盲目的な楽観論のわなに陥りたくありません。同時に、破滅論のわなにも陥りたくありません。どちらかの極論に流されれば、目の前の課題をうまく解決することはできません。世界とそこに生きる人々が、このテクノロジーで解決し得る非常に大きな課題に直面している今は、なおさらです。そのため私たちは、この二つの両極の間にある道を歩もうとしています。

私たちにとって、それは三つの原則を意味します。

第一に、AI の能力が高まっても、AI に関する意思決定の中心には常に人間がいなければなりません。アラインメントは、抽象的な研究課題ではありません。システムを確実に人間の管理下に置き、人間の価値観を反映させ、今後の開発段階を人々が導けるようにするための取り組みです。私たちは、人間の判断や価値観を自動化しようとはしていませんし、してはなりません。

第二に、科学の進歩と経済成長の恩恵は、人々が生み出し、人々のために役立てるものでなければなりません。AI は、研究者による発見、医師による治療、教師による指導、起業家による会社設立、地域社会による手の届かないと思われていた問題の解決など、幅広い活動を支えるべきです。人類の絶え間ない進歩の歴史は、道具が人間の主体性に取って代わってきた歴史ではありません。適切な道具が人々の能力を高めてきた歴史です。そして、その可能性は私たちの想像をはるかに超えて広がると信じています。

第三に、このテクノロジーは、一人ひとりに力を与えるものでなければなりません。素晴らしい未来は、人々が自らの可能性を開花させ、自分自身や地域社会、自国、そして世界全体のために価値を築くことで実現します。私たちはこのテクノロジーを築く一員かもしれませんが、この物語の主役ではありません。私たちの役割は、世界中の人々が力を発揮できるようにし、人類の技能と能力がもたらす驚くべき力を信じることです。

今や私たちは、これまで人類が得られなかった知識を発見できるモデルを手にしています。数学で目にしてきた進歩を考えてみてください。3 年前の夏、私たちのモデルは小学校レベルの算数をまずまず解ける程度でした。2 年前の夏には、高校生向け数学コンテストの問題をかなりうまく解けるようになりました。昨年の夏には、最も権威ある国際数学大会で金メダル級の水準に達しました。そして今年の夏、ほんの数週間前には、私たちのモデルの一つがミレニアム懸賞問題の一つであるナビエ–ストークス方程式を解きました。

この方程式は、航空機の設計、天気予報、血流の研究に使われています。私たちが数学の問題を解くのは、それ自体が目的だからではありません。人々が新たな知識を発見し、それを医療の改善、生活水準の向上、そして世界中のあらゆる人の可能性を広げるために活用できるようにするためです。発見すべきことは、まだ数多く残されています。

しかし、企業が民主的なプロセスに取って代わらないことが極めて重要です。

AI を民主的なものにするのであれば、最も重要な決定をサンフランシスコの研究所だけで下すことはできません。そうした決定は、民主的なプロセスと、国民に対して説明責任を負う政府を通じて形作られなければなりません。

国際的なレベルでは、そのために協力が必要です。歴史を振り返ると、強力な新技術を前に、競争関係にあり、必ずしも友好的ではない国々でさえ、共通の利益と公益のために団結したことがあります。今こそ、再びそうすべき時だと私たちは考えています。

国内外で相互に補完し合うフロンティア AI 基準の仕組みが必要です。能力の測定、リスクの評価、安全対策が十分かどうかの判断、そしてシステムの自律性が高まるなかでも実効性のある人間の監督を維持するための基準です。

各国が証拠を比較し、基準の順守を検証し、現状について共通の言葉と認識を持てるよう、共通基準が必要です。

障害が大惨事に発展する前に世界が教訓を得られるよう、正確かつ迅速なインシデント報告と、分類・報告の手順が必要です。

さらに、新たに判明した脆弱性や新たな脅威を共有できるよう、政府、重要インフラ事業者、技術専門家の間に安全な連絡経路が必要です。

もちろん、こうした基準によって既存企業の地位が固定されたり、特定のビジネスモデルが優遇されたりしてはなりません。オープンモデルとクローズドモデルの開発者、新規参入者と既存の研究所、各国の権限と国際協力のすべてを支えるものでなければなりません。各政府は、基準を自国の法制度にどう組み込むかを自ら決定すべきです。しかし、世界の舞台で、信頼できる証拠、安全対策、監督とはどのようなものかについて合意できれば、私たち全員にとって有益です。

私たちはすべての答えを持っているわけではなく、より良いアイデアを広く歓迎します。皆さんと協力し、進むべき道を見いだすために全力を尽くす覚悟です。

私たちは今、岐路に立っています。一方の道の先にあるのは、権力が集中し、意思決定が不透明になり、人々が、生涯で最も重要なテクノロジーを自分たちの意思とは無関係に押し付けられていると感じる世界です。もう一方の道の先にあるのは、人々が民主的な制度を通じて AI の発展や方向性の決定に関わることで、AI が人々のために機能する世界です。科学の進歩が実際の暮らしを向上させ、より多くの人が未来づくりに参加でき、このテクノロジーが個人や地域社会に、自ら望む人生を送るための力を与え続ける世界です。それは、可能性が花開き、心躍る驚きに満ちた未来です。

そして、私たちはその未来こそ築く価値があると信じています。どうもありがとうございました。