Sam Altman’s remarks at the United Nations Security Council

Today, OpenAI CEO Sam Altman addressed the United Nations Security Council on artificial intelligence. He discussed AI’s potential to expand opportunity, the importance of keeping powerful systems under human control, and the need for international cooperation on AI safety.

Thank you, Mr. President and your Excellencies. I’m honored to be here and to be able to speak with you all at this important time.

We have been talking about artificial intelligence for years, but it feels different in recent weeks and months. Rapid model progress has made the timeline feel more compressed, the upside more tangible, but also the stakes and the risks more immediate.

We have a choice in front of us. AI can either be more like a new Renaissance of creativity and discovery, or more like a new Industrial Revolution of upheaval and disarray.

The Renaissance was a time when new tools, new ideas, and new institutions expanded what people believed they could do. AI can play that role for our time. I believe that people are much more capable than they imagine themselves to be, but have been held back by limited technology that was meant to empower but instead distracts and often steals attention.

The best version of AI is not about making people cogs in a giant machine, or optimizing every part of life until the human parts disappear. It is about giving people more agency in an ever more complex world: more ability to learn, to create, discover, build, participate. There are many things that AI cannot—and should not—automate.

AI should be built for people, not simply to turn the crank of the machines faster for their own sake. Some of the things people working to build AI have said are so dystopian that they sound like the plot of bad science fiction movies.

Anything this powerful is also intimidating. This moment is complicated as we feel both tremendous potential and very understandable anxiety at the same time.

These models can help people discover new knowledge: new medicines, better health care, stronger education, and build more productive economies. They can be new tools for people to pursue dreams and ambition that today feel out of reach. The complexity of life has increased so dramatically for the average person. AI can be a defensive tool against this complexity as much as it can be this tool of unprecedented discovery and innovation.

On the other hand, as AI systems become more capable and more autonomous, they could move faster than our institutions, concentrate power in too few hands, or make decisions that people no longer understand or control.

That concern becomes especially important as we approach systems that can improve themselves and future versions of themselves, often called recursive self-improvement. As the process of building AI becomes more automated, the pace of AI progress could accelerate rapidly. This moment calls for extreme care.

I largely agree with Professor Bengio. Although I’ll say two instead of three—I believe there are two ways that AI progress could go very badly that we have to avoid.

First, we could lose control of the future to AI. The risk is that it moves so fast that people can no longer follow what’s happening or intervene when needed. This would obviously be terrible.

The industry must not accept too much technological risk just because the benefits are too great and that they feel too important to slow down. Beating companies in a competitive pace is not a reason to make rash decisions. Nor do we believe we are locked in a race where we are unable to do that. We have unilaterally slowed down in the past. We will do so in the future. We do not want to build systems—we think it’s important that everyone avoids building systems—where we cannot make the alignment, monitorability, and safety guarantees that we must.

We need to understand what these systems are doing and have strong evidence that they will do what people intend, even as they get very, very smart. Actually especially as they get very very smart. It doesn’t matter whether people put the risk of catastrophe at 10%, or 1%, or 12%, or .1%. None of these levels are remotely acceptable. And we should not train models that we cannot make an extremely strong case that we will be able to keep under human control.

So that’s one way things can go wrong. In the other direction, these systems could concentrate too much power in too few hands. No one person or company or country should be able to use the most powerful AI models to impose their worldview on everyone else. A company or country that believes only it can be trusted with this technology can use that belief to justify almost anything else. We have to reject that logic, even when it’s convenient for any one actor.

Я считаю, что в обоих случаях можно найти прагматичный путь. В OpenAI мы подходим к этим вопросам с четкой целью: ИИ должен давать людям больше возможностей самостоятельно распоряжаться своей жизнью. Больше свободы жить так, как они хотят. Больше возможностей решать любые проблемы — большие и малые — и улучшать жизнь своих сообществ. Мы не хотим попадать в ловушку слепого оптимизма. Но мы также не хотим впадать в обреченный пессимизм. Если мы склонимся к любой из этих крайностей, то не сможем успешно справиться с предстоящими трудностями — особенно сейчас, когда мир и его жители сталкиваются с колоссальными проблемами, в решении которых может помочь эта технология. Поэтому мы стараемся идти срединным путем между этими двумя полюсами.

Для нас это означает следование трем принципам.

Во-первых, по мере развития возможностей ИИ человек должен оставаться в центре принятия решений, связанных с ИИ. Согласование с человеческими целями — не абстрактный исследовательский вопрос. Это работа, направленная на то, чтобы эти системы надежно оставались под контролем человека, отражали человеческие ценности и помогали людям определять следующие этапы развития. Мы не стремимся автоматизировать человеческие суждения или ценности — и не должны этого делать.

Во-вторых, научный прогресс и экономический рост должны создаваться людьми и служить людям. ИИ должен помогать исследователям совершать открытия, врачам — лечить пациентов, учителям — обучать учеников, предпринимателям — создавать компании, а сообществам — решать прежде недоступные задачи. И это далеко не все. Вся история человеческого прогресса говорит не о том, что инструменты лишают людей самостоятельности. Она говорит о том, что правильные инструменты расширяют возможности людей. И я уверен, что в этом отношении мы продвинемся гораздо дальше, чем можем представить.

В-третьих, эта технология должна расширять возможности каждого человека. Прекрасное будущее наступит благодаря людям, которые реализуют свой потенциал и создают ценность для себя, своих сообществ, стран и всего мира. Возможно, мы и участвуем в создании этой технологии, но герои этой истории — не мы. Наша задача — открыть возможности людям по всему миру и довериться удивительной силе человеческих талантов и способностей.

Сегодня у нас есть модели, способные открывать знания, которых у человечества прежде не было. Посмотрите, какого прогресса мы добились в математике. Три года назад наши модели неплохо справлялись с математикой на уровне начальной школы. Два года назад они уже показывали хорошие результаты на математических олимпиадах для старшеклассников. Прошлым летом мы достигли уровня золотой медали на самой престижной международной математической олимпиаде. А всего несколько недель назад, этим летом, одна из наших моделей решила одну из задач тысячелетия — задачу, связанную с уравнениями Навье — Стокса.

Эти уравнения используются при проектировании самолетов, прогнозировании погоды и изучении кровотока. Мы решаем математические задачи не ради самих задач, а чтобы люди могли открывать новые знания и с их помощью совершенствовать здравоохранение, повышать уровень жизни и раскрывать потенциал каждого человека в любой точке мира. Нам предстоит открыть еще очень многое.

Но крайне важно, чтобы компании не подменяли собой демократический процесс.

Если ИИ должен быть демократичным, важнейшие решения не могут приниматься только лабораториями Сан-Франциско. Они должны формироваться в рамках демократических процессов и приниматься правительствами, подотчетными людям, которым они служат.

На международном уровне для этого потребуется сотрудничество. В истории бывали времена, когда страны, которые конкурировали и далеко не всегда симпатизировали друг другу, все же объединялись перед лицом новой мощной технологии ради общих интересов и всеобщего блага. Мы убеждены, что сейчас настало именно такое время.

Нам нужен механизм взаимодополняющих национальных и международных стандартов для передового ИИ: стандартов измерения возможностей, оценки рисков, определения достаточности защитных мер и сохранения полноценного человеческого контроля по мере того, как системы становятся все более автономными.

Нам нужны общие стандарты, чтобы страны могли сопоставлять данные, проверять соблюдение требований и одинаково понимать происходящее, опираясь на общий язык.

Нам нужны точные и оперативные сообщения об инцидентах, а также протоколы их классификации и отчетности, чтобы мир мог извлекать уроки из сбоев до того, как они обернутся катастрофами.

Кроме того, правительствам, операторам критически важной инфраструктуры и техническим экспертам нужны защищенные каналы для обмена сведениями о новых уязвимостях и угрозах.

Разумеется, эти стандарты не должны закреплять преимущества действующих игроков или отдавать предпочтение одной бизнес-модели перед другой. Они должны учитывать интересы разработчиков открытых и закрытых моделей, новых участников и признанных лабораторий, а также сочетать национальные полномочия с международным сотрудничеством. Каждое правительство должно само решать, как включить эти стандарты в свою правовую систему. Но всем нам будет лучше, если на глобальном уровне мы договоримся о том, какими должны быть надежные доказательства, эффективные меры защиты и надлежащий контроль.

У нас нет ответов на все вопросы, и мы готовы рассмотреть любые более удачные идеи. Мы готовы работать вместе со всеми вами и приложить максимум усилий, чтобы найти путь вперед.

Мы стоим на перепутье. Один путь ведет в мир, где власть сосредоточена в одних руках, решения непрозрачны, а люди чувствуют, что важнейшую технологию их жизни внедряют без их участия. Другой путь ведет в мир, где ИИ служит людям, потому что они через демократические институты участвуют в принятии решений о его развитии и направляют его; где научный прогресс улучшает реальную жизнь; где больше людей могут участвовать в создании будущего; и где эта технология по-прежнему дает людям и сообществам больше возможностей жить так, как они хотят. Это будущее, в котором раскрывается потенциал и есть место воодушевлению и удивительным открытиям.

И мы считаем, что такое будущее стоит построить. Большое спасибо.