Sam Altman’s remarks at the United Nations Security Council

Today, OpenAI CEO Sam Altman addressed the United Nations Security Council on artificial intelligence. He discussed AI’s potential to expand opportunity, the importance of keeping powerful systems under human control, and the need for international cooperation on AI safety.

Thank you, Mr. President and your Excellencies. I’m honored to be here and to be able to speak with you all at this important time.

We have been talking about artificial intelligence for years, but it feels different in recent weeks and months. Rapid model progress has made the timeline feel more compressed, the upside more tangible, but also the stakes and the risks more immediate.

We have a choice in front of us. AI can either be more like a new Renaissance of creativity and discovery, or more like a new Industrial Revolution of upheaval and disarray.

The Renaissance was a time when new tools, new ideas, and new institutions expanded what people believed they could do. AI can play that role for our time. I believe that people are much more capable than they imagine themselves to be, but have been held back by limited technology that was meant to empower but instead distracts and often steals attention.

The best version of AI is not about making people cogs in a giant machine, or optimizing every part of life until the human parts disappear. It is about giving people more agency in an ever more complex world: more ability to learn, to create, discover, build, participate. There are many things that AI cannot—and should not—automate.

AI should be built for people, not simply to turn the crank of the machines faster for their own sake. Some of the things people working to build AI have said are so dystopian that they sound like the plot of bad science fiction movies.

Anything this powerful is also intimidating. This moment is complicated as we feel both tremendous potential and very understandable anxiety at the same time.

These models can help people discover new knowledge: new medicines, better health care, stronger education, and build more productive economies. They can be new tools for people to pursue dreams and ambition that today feel out of reach. The complexity of life has increased so dramatically for the average person. AI can be a defensive tool against this complexity as much as it can be this tool of unprecedented discovery and innovation.

On the other hand, as AI systems become more capable and more autonomous, they could move faster than our institutions, concentrate power in too few hands, or make decisions that people no longer understand or control.

That concern becomes especially important as we approach systems that can improve themselves and future versions of themselves, often called recursive self-improvement. As the process of building AI becomes more automated, the pace of AI progress could accelerate rapidly. This moment calls for extreme care.

I largely agree with Professor Bengio. Although I’ll say two instead of three—I believe there are two ways that AI progress could go very badly that we have to avoid.

First, we could lose control of the future to AI. The risk is that it moves so fast that people can no longer follow what’s happening or intervene when needed. This would obviously be terrible.

The industry must not accept too much technological risk just because the benefits are too great and that they feel too important to slow down. Beating companies in a competitive pace is not a reason to make rash decisions. Nor do we believe we are locked in a race where we are unable to do that. We have unilaterally slowed down in the past. We will do so in the future. We do not want to build systems—we think it’s important that everyone avoids building systems—where we cannot make the alignment, monitorability, and safety guarantees that we must.

We need to understand what these systems are doing and have strong evidence that they will do what people intend, even as they get very, very smart. Actually especially as they get very very smart. It doesn’t matter whether people put the risk of catastrophe at 10%, or 1%, or 12%, or .1%. None of these levels are remotely acceptable. And we should not train models that we cannot make an extremely strong case that we will be able to keep under human control.

So that’s one way things can go wrong. In the other direction, these systems could concentrate too much power in too few hands. No one person or company or country should be able to use the most powerful AI models to impose their worldview on everyone else. A company or country that believes only it can be trusted with this technology can use that belief to justify almost anything else. We have to reject that logic, even when it’s convenient for any one actor.

Vjerujem da postoji pragmatičan put između te dvije krajnosti. U OpenAI-ju ovim pitanjima pristupamo s jasnim ciljem: umjetna inteligencija treba ljudima pružiti veću kontrolu nad vlastitim životom. Više slobode da žive onako kako žele. Veću sposobnost rješavanja velikih i malih problema te unapređivanja svojih zajednica. Ne želimo upasti u zamku slijepog optimizma. Ali ne želimo upasti ni u zamku katastrofizma. Ako nas povuče bilo koja od tih krajnosti, to nam neće pomoći da uspješno riješimo izazove pred nama, naročito sada kada se svijet i njegovi stanovnici suočavaju s ogromnim problemima u čijem rješavanju ova tehnologija može pomoći. Zato nastojimo ići srednjim putem između ta dva pola.

Za nas to podrazumijeva tri načela.

Prvo, kako umjetna inteligencija postaje sposobnija, ljudi moraju ostati u središtu odlučivanja o njoj. Usklađivanje nije apstraktno istraživačko pitanje. To je rad kojim osiguravamo da ti sistemi pouzdano ostanu pod ljudskom kontrolom, odražavaju ljudske vrijednosti i pomažu ljudima da usmjeravaju naredne faze razvoja. Ne pokušavamo automatizovati ljudsko rasuđivanje ili ljudske vrijednosti, niti to smijemo činiti.

Drugo, naučni napredak i privredni rast moraju ostvarivati ljudi i moraju služiti ljudima. Umjetna inteligencija treba pomoći istraživačima da dolaze do otkrića, ljekarima da liječe pacijente, nastavnicima da podučavaju učenike, poduzetnicima da pokreću kompanije, zajednicama da rješavaju probleme koji su se činili nerješivima i još mnogo toga. Historija ljudskog napretka ne govori o tome da alati zamjenjuju ljudsku sposobnost djelovanja. Ona pokazuje da pravi alati ljudima daju veće sposobnosti, a vjerujem da će to otići mnogo dalje nego što sada smatramo mogućim.

Treće, ova tehnologija mora osnaživati svakog pojedinca. Sjajna budućnost nastat će kada ljudi ostvare svoj potencijal i stvaraju vrijednost za sebe, svoje zajednice, svoje zemlje i cijeli svijet. Možda smo među graditeljima ove tehnologije, ali nismo junaci ove priče. Naša je uloga pružiti mogućnosti ljudima širom svijeta i vjerovati u čudesnu snagu ljudskih vještina i sposobnosti.

Sada imamo modele sposobne otkrivati znanja koja nam nikada ranije nisu bila dostupna. Razmotrite napredak koji smo vidjeli u matematici. Prije tri ljeta naši su modeli bili solidni u matematici za osnovnu školu. Prije dva ljeta bili su prilično uspješni na srednjoškolskim takmičenjima iz matematike. Prošlog ljeta dostigli smo nivo osvajača zlatne medalje na najprestižnijem međunarodnom matematičkom takmičenju. A prije samo nekoliko sedmica ovog ljeta jedan od naših modela riješio je jedan od milenijskih problema, Navier–Stokesove jednačine.

Te jednačine koriste se za projektovanje aviona, prognoziranje vremena i proučavanje protoka krvi. Matematičke probleme ne rješavamo radi njih samih, nego da bismo ljudima omogućili otkrivanje novih znanja i njihovu primjenu radi unapređenja zdravstvene zaštite, podizanja životnog standarda i širenja potencijala svih ljudi širom svijeta. Još toliko toga čeka da bude otkriveno.

Ali veoma je važno da kompanije ne zamijene demokratski proces.

Ako umjetna inteligencija treba biti demokratska, najvažnije odluke ne mogu samostalno donositi laboratorije u San Franciscu. One se moraju oblikovati kroz demokratske procese i uz učešće vlada koje odgovaraju građanima kojima služe.

Na međunarodnom nivou to će zahtijevati saradnju. U historiji je bilo trenutaka kada su se zemlje koje se međusobno nadmeću i nisu uvijek u najboljim odnosima ipak udruživale radi zajedničkih interesa i općeg dobra suočene s moćnom novom tehnologijom. Vjerujemo da ovo mora biti jedan od tih trenutaka.

Potreban nam je mehanizam za međusobno usklađene nacionalne i međunarodne standarde za graničnu umjetnu inteligenciju: standarde za mjerenje sposobnosti, procjenu rizika, utvrđivanje jesu li zaštitne mjere dovoljne i očuvanje stvarnog ljudskog nadzora dok sistemi postaju autonomniji.

Potrebni su nam zajednički standardi kako bi zemlje mogle porediti dokaze, provjeravati usklađenost te imati zajednički jezik i razumijevanje onoga što se dešava.

Potrebni su nam tačno i brzo prijavljivanje incidenata te protokoli za njihovu klasifikaciju i prijavljivanje kako bi svijet mogao učiti iz propusta prije nego što prerastu u katastrofe.

Potrebni su nam i sigurni kanali putem kojih vlade, operateri kritične infrastrukture i tehnički stručnjaci mogu razmjenjivati informacije o novim ranjivostima i prijetnjama.

Jasno je da ti standardi ne bi trebali učvrstiti položaj postojećih aktera niti davati prednost jednom poslovnom modelu nad drugim. Moraju podržavati razvojne timove otvorenih i zatvorenih modela, nove aktere i etablirane laboratorije, nacionalne nadležnosti i međunarodnu saradnju. Svaka vlada treba odlučiti kako će standarde ugraditi u vlastiti pravni sistem. Ali svima će nam biti bolje ako se na globalnom nivou možemo usaglasiti o tome kako izgledaju valjani dokazi, dobre zaštitne mjere i kvalitetan nadzor.

Nemamo sve odgovore i veoma smo otvoreni za sve bolje ideje. Spremni smo sarađivati sa svima vama i dati sve od sebe da pronađemo put naprijed.

Nalazimo se na raskrsnici. Jedan put vodi u svijet u kojem je moć koncentrisana, odluke su netransparentne, a ljudi osjećaju da im se najvažnija tehnologija njihovog života nameće. Drugi put vodi u svijet u kojem umjetna inteligencija radi u korist ljudi jer ljudi putem demokratskih institucija pomažu odlučiti kako se ona treba razvijati i usmjeravati; u kojem naučni napredak poboljšava stvarne živote; u kojem više ljudi može učestvovati u oblikovanju budućnosti; i u kojem ova tehnologija pojedincima i zajednicama nastavlja davati veću moć da žive onako kako žele. To je budućnost ostvarenog potencijala, uzbuđenja i čudesnih mogućnosti.

I vjerujemo da je takvu budućnost vrijedno graditi. Hvala vam mnogo.