Sam Altman’s remarks at the United Nations Security Council

Today, OpenAI CEO Sam Altman addressed the United Nations Security Council on artificial intelligence. He discussed AI’s potential to expand opportunity, the importance of keeping powerful systems under human control, and the need for international cooperation on AI safety.

Thank you, Mr. President and your Excellencies. I’m honored to be here and to be able to speak with you all at this important time.

We have been talking about artificial intelligence for years, but it feels different in recent weeks and months. Rapid model progress has made the timeline feel more compressed, the upside more tangible, but also the stakes and the risks more immediate.

We have a choice in front of us. AI can either be more like a new Renaissance of creativity and discovery, or more like a new Industrial Revolution of upheaval and disarray.

The Renaissance was a time when new tools, new ideas, and new institutions expanded what people believed they could do. AI can play that role for our time. I believe that people are much more capable than they imagine themselves to be, but have been held back by limited technology that was meant to empower but instead distracts and often steals attention.

The best version of AI is not about making people cogs in a giant machine, or optimizing every part of life until the human parts disappear. It is about giving people more agency in an ever more complex world: more ability to learn, to create, discover, build, participate. There are many things that AI cannot—and should not—automate.

AI should be built for people, not simply to turn the crank of the machines faster for their own sake. Some of the things people working to build AI have said are so dystopian that they sound like the plot of bad science fiction movies.

Anything this powerful is also intimidating. This moment is complicated as we feel both tremendous potential and very understandable anxiety at the same time.

These models can help people discover new knowledge: new medicines, better health care, stronger education, and build more productive economies. They can be new tools for people to pursue dreams and ambition that today feel out of reach. The complexity of life has increased so dramatically for the average person. AI can be a defensive tool against this complexity as much as it can be this tool of unprecedented discovery and innovation.

On the other hand, as AI systems become more capable and more autonomous, they could move faster than our institutions, concentrate power in too few hands, or make decisions that people no longer understand or control.

That concern becomes especially important as we approach systems that can improve themselves and future versions of themselves, often called recursive self-improvement. As the process of building AI becomes more automated, the pace of AI progress could accelerate rapidly. This moment calls for extreme care.

I largely agree with Professor Bengio. Although I’ll say two instead of three—I believe there are two ways that AI progress could go very badly that we have to avoid.

First, we could lose control of the future to AI. The risk is that it moves so fast that people can no longer follow what’s happening or intervene when needed. This would obviously be terrible.

The industry must not accept too much technological risk just because the benefits are too great and that they feel too important to slow down. Beating companies in a competitive pace is not a reason to make rash decisions. Nor do we believe we are locked in a race where we are unable to do that. We have unilaterally slowed down in the past. We will do so in the future. We do not want to build systems—we think it’s important that everyone avoids building systems—where we cannot make the alignment, monitorability, and safety guarantees that we must.

We need to understand what these systems are doing and have strong evidence that they will do what people intend, even as they get very, very smart. Actually especially as they get very very smart. It doesn’t matter whether people put the risk of catastrophe at 10%, or 1%, or 12%, or .1%. None of these levels are remotely acceptable. And we should not train models that we cannot make an extremely strong case that we will be able to keep under human control.

So that’s one way things can go wrong. In the other direction, these systems could concentrate too much power in too few hands. No one person or company or country should be able to use the most powerful AI models to impose their worldview on everyone else. A company or country that believes only it can be trusted with this technology can use that belief to justify almost anything else. We have to reject that logic, even when it’s convenient for any one actor.

Верувам дека постои прагматичен начин да се справиме со двете прашања. Во OpenAI, на овие прашања им пристапуваме со јасна цел: ВИ треба да им даде на луѓето поголема контрола врз сопствениот живот. Поголема слобода да живеат онака како што сакаат. Поголема способност да решаваат проблеми, големи или мали, и да ги унапредуваат своите заедници. Не сакаме да паднеме во стапицата на слепиот оптимизам. Но не сакаме да паднеме ниту во стапицата на крајниот песимизам. Ако нè повлече која било од овие крајности, нема успешно да се справиме со предизвиците пред нас, особено во време кога светот и неговите жители се соочуваат со огромни проблеми за чие решавање оваа технологија може да помогне. Затоа се обидуваме да одиме по средниот пат меѓу овие две крајности.

За нас, тоа значи три начела.

Прво, како што ВИ станува поспособна, луѓето мора да останат во средиштето на одлучувањето поврзано со неа. Усогласувањето не е апстрактно истражувачко прашање. Тоа е работа со која се обезбедува овие системи сигурно да останат под човечка контрола, да ги одразуваат човечките вредности и да им помогнат на луѓето да ги насочуваат следните фази од развојот. Не се обидуваме, а и не смееме, да ги автоматизираме човечкото расудување или човечките вредности.

Второ, придобивките од научниот напредок и економскиот раст мора да ги создаваат луѓето и тие да им служат на луѓето. ВИ треба да им помага на истражувачите да доаѓаат до откритија, на лекарите да лекуваат пациенти, на наставниците да подучуваат ученици, на претприемачите да основаат компании, а на заедниците да решаваат проблеми што изгледале нерешливи — и многу повеќе. Постојаната нишка во приказната за човечкиот напредок не е дека алатките ја заменуваат човечката способност за дејствување. Туку дека вистинските алатки ги прават луѓето поспособни, а верувам дека ова ќе нè одведе многу подалеку отколку што сега мислиме дека е можно.

Трето, оваа технологија мора да го зајакне секој човек поединечно. Одличната иднина ќе произлезе од тоа што луѓето ќе го остваруваат својот потенцијал и ќе создаваат вредност за себе, за своите заедници, за своите земји и за светот во целина. Можеби сме меѓу создавачите на оваа технологија, но не сме хероите во оваа приказна. Нашата улога е да ги оспособиме луѓето низ целиот свет и да веруваме во магијата на човечките вештини и способности.

Сега имаме модели способни да откриваат знаења што досега не сме ги имале. Размислете за напредокот што го видовме во математиката. Пред три лета, нашите модели беа солидни во математиката за основно училиште. Пред две лета, беа прилично добри на средношколските натпревари по математика. Минатото лето достигнавме ниво за златен медал на најпрестижниот меѓународен натпревар по математика. А пред само неколку недели ова лето, еден од нашите модели реши еден од Милениумските проблеми — равенките на Навие-Стокс.

Овие равенки се користат за проектирање авиони, прогнозирање на времето и проучување на протокот на крвта. Не решаваме математички проблеми заради самото решавање, туку за да им овозможиме на луѓето да откриваат нови знаења и да ги користат за подобрување на здравствената заштита, подигнување на животниот стандард и проширување на потенцијалот на секој човек низ светот. Останува уште многу да се открие.

Но многу е важно компаниите да не го заменуваат демократскиот процес.

Ако ВИ треба да биде демократска, најважните одлуки не можат да ги носат само лабораториите во Сан Франциско. Тие мора да се обликуваат преку демократски процеси и од влади што одговараат пред луѓето на кои им служат.

На меѓународно ниво, за ова ќе биде потребна соработка. Во нашата историја имало моменти кога земји што се натпреваруваат и не се секогаш во најдобри односи сепак се здружувале заради заедничките интереси и општото добро, соочени со моќна нова технологија. Веруваме дека ова мора да биде еден од тие моменти.

Ни треба механизам за усогласени национални и меѓународни стандарди за гранична ВИ: стандарди за мерење на способностите, процена на ризиците, утврдување дали заштитните мерки се доволни и зачувување суштински човечки надзор додека системите стануваат поавтономни.

Ни требаат заеднички стандарди за да можат земјите да ги споредуваат доказите, да ја проверуваат усогласеноста и да имаат заеднички јазик и разбирање за она што се случува.

Ни требаат точни и брзи пријави за инциденти, како и протоколи за нивна класификација и пријавување, за светот да може да учи од неуспесите пред тие да прераснат во катастрофи.

И ни требаат безбедни канали преку кои владите, операторите на критична инфраструктура и техничките експерти ќе споделуваат информации за новите ранливости и закани.

Се разбира, овие стандарди не треба да ја зацврстуваат положбата на постојните играчи ниту да му даваат предност на еден деловен модел пред друг. Тие мора да ги поддржуваат програмерите на отворени и затворени модели, новите учесници и етаблираните лаборатории, националните надлежности и меѓународната соработка. Секоја влада треба сама да одлучи како ќе ги вгради стандардите во својот правен систем. Но на сите ќе ни биде подобро ако на глобално ниво се согласиме што претставуваат добри докази, добри заштитни мерки и добар надзор.

Ги немаме сите одговори и сосема сме отворени за подобри идеи. Подготвени сме да работиме со сите вас и да дадеме сè од себе за да го најдеме патот напред.

Се наоѓаме на крстопат. Едниот пат води кон свет во кој моќта е концентрирана, одлуките се нетранспарентни, а луѓето чувствуваат дека најважната технологија во нивниот живот е нешто што им се наметнува. Другиот пат води кон свет во кој ВИ работи за луѓето затоа што тие, преку демократските институции, помагаат да се одлучува како таа треба да се развива и насочува; во кој научниот напредок го подобрува животот на луѓето; во кој повеќе луѓе можат да учествуваат во обликувањето на иднината; и во кој оваа технологија продолжува да им дава на поединците и заедниците поголема моќ да живеат како што сакаат. Тоа е иднина на остварен потенцијал, возбуда и восхит.

И веруваме дека вреди да ја изградиме токму таа иднина. Ви благодарам многу.