Sam Altman’s remarks at the United Nations Security Council

Today, OpenAI CEO Sam Altman addressed the United Nations Security Council on artificial intelligence. He discussed AI’s potential to expand opportunity, the importance of keeping powerful systems under human control, and the need for international cooperation on AI safety.

Thank you, Mr. President and your Excellencies. I’m honored to be here and to be able to speak with you all at this important time.

We have been talking about artificial intelligence for years, but it feels different in recent weeks and months. Rapid model progress has made the timeline feel more compressed, the upside more tangible, but also the stakes and the risks more immediate.

We have a choice in front of us. AI can either be more like a new Renaissance of creativity and discovery, or more like a new Industrial Revolution of upheaval and disarray.

The Renaissance was a time when new tools, new ideas, and new institutions expanded what people believed they could do. AI can play that role for our time. I believe that people are much more capable than they imagine themselves to be, but have been held back by limited technology that was meant to empower but instead distracts and often steals attention.

The best version of AI is not about making people cogs in a giant machine, or optimizing every part of life until the human parts disappear. It is about giving people more agency in an ever more complex world: more ability to learn, to create, discover, build, participate. There are many things that AI cannot—and should not—automate.

AI should be built for people, not simply to turn the crank of the machines faster for their own sake. Some of the things people working to build AI have said are so dystopian that they sound like the plot of bad science fiction movies.

Anything this powerful is also intimidating. This moment is complicated as we feel both tremendous potential and very understandable anxiety at the same time.

These models can help people discover new knowledge: new medicines, better health care, stronger education, and build more productive economies. They can be new tools for people to pursue dreams and ambition that today feel out of reach. The complexity of life has increased so dramatically for the average person. AI can be a defensive tool against this complexity as much as it can be this tool of unprecedented discovery and innovation.

On the other hand, as AI systems become more capable and more autonomous, they could move faster than our institutions, concentrate power in too few hands, or make decisions that people no longer understand or control.

That concern becomes especially important as we approach systems that can improve themselves and future versions of themselves, often called recursive self-improvement. As the process of building AI becomes more automated, the pace of AI progress could accelerate rapidly. This moment calls for extreme care.

I largely agree with Professor Bengio. Although I’ll say two instead of three—I believe there are two ways that AI progress could go very badly that we have to avoid.

First, we could lose control of the future to AI. The risk is that it moves so fast that people can no longer follow what’s happening or intervene when needed. This would obviously be terrible.

The industry must not accept too much technological risk just because the benefits are too great and that they feel too important to slow down. Beating companies in a competitive pace is not a reason to make rash decisions. Nor do we believe we are locked in a race where we are unable to do that. We have unilaterally slowed down in the past. We will do so in the future. We do not want to build systems—we think it’s important that everyone avoids building systems—where we cannot make the alignment, monitorability, and safety guarantees that we must.

We need to understand what these systems are doing and have strong evidence that they will do what people intend, even as they get very, very smart. Actually especially as they get very very smart. It doesn’t matter whether people put the risk of catastrophe at 10%, or 1%, or 12%, or .1%. None of these levels are remotely acceptable. And we should not train models that we cannot make an extremely strong case that we will be able to keep under human control.

So that’s one way things can go wrong. In the other direction, these systems could concentrate too much power in too few hands. No one person or company or country should be able to use the most powerful AI models to impose their worldview on everyone else. A company or country that believes only it can be trusted with this technology can use that belief to justify almost anything else. We have to reject that logic, even when it’s convenient for any one actor.

Я вірю, що існує прагматичний шлях між цими двома крайнощами. В OpenAI ми підходимо до цих питань із чіткою метою: ШІ має давати людям більше влади над власним життям. Більше свободи жити так, як вони хочуть. Більше можливостей розв’язувати великі й малі проблеми та покращувати життя своїх громад. Ми не хочемо потрапити в пастку сліпого оптимізму. Так само ми не хочемо впадати в крайній песимізм. Схиляння до будь-якої з цих крайнощів не допоможе нам успішно впоратися з викликами, що постали перед нами, особливо зараз, коли світ і його мешканці стикаються з величезними проблемами, які ця технологія може допомогти розв’язати. Тож ми намагаємося триматися середнього шляху між цими двома полюсами.

Для нас це означає три принципи.

По-перше, у міру зростання можливостей ШІ люди мають залишатися в центрі ухвалення рішень щодо нього. Узгодження ШІ з людськими цілями — не абстрактне дослідницьке питання. Це робота, покликана забезпечити, щоб ці системи надійно залишалися під контролем людей, відображали людські цінності й допомагали людям спрямовувати наступні етапи розвитку. Ми не прагнемо й не повинні автоматизувати людські судження чи людські цінності.

По-друге, науковий прогрес та економічне зростання мають здійснюватися людьми й заради людей. ШІ має допомагати дослідникам робити відкриття, лікарям — лікувати пацієнтів, учителям — навчати учнів, підприємцям — засновувати компанії, громадам — розв’язувати проблеми, які здавалися непосильними, і робити багато іншого. Наскрізна тема історії людського прогресу полягає не в тому, що інструменти позбавляють людей здатності діяти самостійно. Вона полягає в тому, що правильні інструменти розширюють людські можливості, і я вірю, що цього разу ми просунемося набагато далі, ніж можемо уявити.

По-третє, ця технологія має розширювати можливості кожної людини. Прекрасне майбутнє настане завдяки людям, які реалізовуватимуть свій потенціал і створюватимуть цінність для себе, своїх громад, країн і всього світу. Можливо, ми й належимо до творців цієї технології, але не ми герої цієї історії. Наша роль — створювати можливості для людей у всьому світі й вірити в дивовижну силу людських умінь і здібностей.

Тепер у нас є моделі, здатні відкривати знання, яких ми ніколи раніше не мали. Погляньмо на прогрес, якого ми досягли в математиці. Три літа тому наші моделі непогано справлялися з математикою на рівні початкової школи. Два літа тому вони вже досить добре розв’язували завдання математичних олімпіад для старшокласників. Минулого літа ми досягли рівня золотої медалі на найпрестижнішому міжнародному математичному змаганні. А лише кілька тижнів тому, цього літа, одна з наших моделей розв’язала одну із Задач тисячоліття — рівняння Нав’є — Стокса.

Ці рівняння застосовують у проєктуванні літаків, прогнозуванні погоди й дослідженні кровотоку. Ми розв’язуємо математичні задачі не заради них самих, а щоб допомогти людям відкривати нові знання й застосовувати їх для поліпшення охорони здоров’я, підвищення рівня життя та розширення можливостей кожної людини у світі. Нам іще належить зробити безліч відкриттів.

Але надзвичайно важливо, щоб компанії не підміняли собою демократичний процес.

Щоб ШІ був демократичним, найважливіші рішення не можуть ухвалювати лише лабораторії в Сан-Франциско. Їх мають формувати демократичні процеси й уряди, підзвітні людям, яким вони служать.

На міжнародному рівні для цього буде потрібна співпраця. В історії вже були часи, коли країни, які конкурують і не завжди добре ставляться одна до одної, усе ж об’єднувалися заради спільних інтересів і загального блага перед лицем нової потужної технології. Ми переконані, що зараз настав один із таких моментів.

Нам потрібен механізм взаємодоповнювальних національних і міжнародних стандартів для передового ШІ: стандартів вимірювання можливостей, оцінювання ризиків, визначення достатності запобіжних заходів і збереження дієвого людського нагляду в міру того, як системи стають автономнішими.

Нам потрібні спільні стандарти, щоб країни могли порівнювати докази, перевіряти дотримання вимог і мати спільну мову та розуміння того, що відбувається.

Нам потрібні точні й оперативні повідомлення про інциденти, а також протоколи їх класифікації та звітування, щоб світ міг учитися на невдачах, перш ніж вони перетворяться на катастрофи.

Також нам потрібні захищені канали зв’язку між урядами, операторами критичної інфраструктури й технічними фахівцями для обміну інформацією про нові вразливості та загрози.

Звісно, ці стандарти не повинні закріплювати переваги чинних лідерів ринку чи надавати перевагу одній бізнес-моделі над іншою. Вони мають підтримувати розробників відкритих і закритих моделей, нових учасників і відомі лабораторії, національні повноваження та міжнародну співпрацю. Кожен уряд має сам вирішувати, як інтегрувати стандарти у власну правову систему. Але всім нам буде краще, якщо ми зможемо домовитися, якими мають бути переконливі докази, надійні запобіжні заходи й належний нагляд на світовому рівні.

Ми не маємо відповідей на всі запитання й цілком відкриті до кращих ідей. Ми готові працювати з усіма вами й докласти максимум зусиль, щоб знайти шлях уперед.

Ми опинилися на роздоріжжі. Один шлях веде до світу, де влада зосереджена в небагатьох руках, рішення непрозорі, а люди відчувають, що найважливішу технологію їхнього життя впроваджують без їхньої участі. Інший шлях веде до світу, де ШІ працює на благо людей, адже люди через демократичні інституції допомагають вирішувати, як він має розвиватися, і спрямовують цей розвиток; де науковий прогрес поліпшує реальне життя; де більше людей можуть долучатися до творення майбутнього; і де ця технологія й надалі дає людям і громадам більше можливостей жити так, як вони самі обирають. Це майбутнє реалізованого потенціалу, захоплення й дива.

І ми віримо, що саме таке майбутнє варто будувати. Щиро дякую.