Sam Altman’s remarks at the United Nations Security Council

Today, OpenAI CEO Sam Altman addressed the United Nations Security Council on artificial intelligence. He discussed AI’s potential to expand opportunity, the importance of keeping powerful systems under human control, and the need for international cooperation on AI safety.

Thank you, Mr. President and your Excellencies. I’m honored to be here and to be able to speak with you all at this important time.

We have been talking about artificial intelligence for years, but it feels different in recent weeks and months. Rapid model progress has made the timeline feel more compressed, the upside more tangible, but also the stakes and the risks more immediate.

We have a choice in front of us. AI can either be more like a new Renaissance of creativity and discovery, or more like a new Industrial Revolution of upheaval and disarray.

The Renaissance was a time when new tools, new ideas, and new institutions expanded what people believed they could do. AI can play that role for our time. I believe that people are much more capable than they imagine themselves to be, but have been held back by limited technology that was meant to empower but instead distracts and often steals attention.

The best version of AI is not about making people cogs in a giant machine, or optimizing every part of life until the human parts disappear. It is about giving people more agency in an ever more complex world: more ability to learn, to create, discover, build, participate. There are many things that AI cannot—and should not—automate.

AI should be built for people, not simply to turn the crank of the machines faster for their own sake. Some of the things people working to build AI have said are so dystopian that they sound like the plot of bad science fiction movies.

Anything this powerful is also intimidating. This moment is complicated as we feel both tremendous potential and very understandable anxiety at the same time.

These models can help people discover new knowledge: new medicines, better health care, stronger education, and build more productive economies. They can be new tools for people to pursue dreams and ambition that today feel out of reach. The complexity of life has increased so dramatically for the average person. AI can be a defensive tool against this complexity as much as it can be this tool of unprecedented discovery and innovation.

On the other hand, as AI systems become more capable and more autonomous, they could move faster than our institutions, concentrate power in too few hands, or make decisions that people no longer understand or control.

That concern becomes especially important as we approach systems that can improve themselves and future versions of themselves, often called recursive self-improvement. As the process of building AI becomes more automated, the pace of AI progress could accelerate rapidly. This moment calls for extreme care.

I largely agree with Professor Bengio. Although I’ll say two instead of three—I believe there are two ways that AI progress could go very badly that we have to avoid.

First, we could lose control of the future to AI. The risk is that it moves so fast that people can no longer follow what’s happening or intervene when needed. This would obviously be terrible.

The industry must not accept too much technological risk just because the benefits are too great and that they feel too important to slow down. Beating companies in a competitive pace is not a reason to make rash decisions. Nor do we believe we are locked in a race where we are unable to do that. We have unilaterally slowed down in the past. We will do so in the future. We do not want to build systems—we think it’s important that everyone avoids building systems—where we cannot make the alignment, monitorability, and safety guarantees that we must.

We need to understand what these systems are doing and have strong evidence that they will do what people intend, even as they get very, very smart. Actually especially as they get very very smart. It doesn’t matter whether people put the risk of catastrophe at 10%, or 1%, or 12%, or .1%. None of these levels are remotely acceptable. And we should not train models that we cannot make an extremely strong case that we will be able to keep under human control.

So that’s one way things can go wrong. In the other direction, these systems could concentrate too much power in too few hands. No one person or company or country should be able to use the most powerful AI models to impose their worldview on everyone else. A company or country that believes only it can be trusted with this technology can use that belief to justify almost anything else. We have to reject that logic, even when it’s convenient for any one actor.

Верујем да постоји прагматичан пут кроз обе ове крајности. У компанији OpenAI овим питањима приступамо с јасним циљем: вештачка интелигенција треба људима да пружи већу контролу над сопственим животима. Више слободе да живе онако како желе. Већу способност да решавају проблеме, велике или мале, и унапређују своје заједнице. Не желимо да упаднемо у замку слепог оптимизма. Не желимо ни да упаднемо у замку катастрофизма. Ако нас повуче било која од тих крајности, то нам неће помоћи да успешно решимо изазове пред нама, нарочито у време када се свет и његови становници суочавају с огромним проблемима које ова технологија може помоћи да решимо. Зато настојимо да идемо средњим путем између та два пола.

За нас то подразумева три начела.

Прво, док вештачка интелигенција постаје способнија, људи морају остати у средишту одлучивања о њој. Усклађивање није апстрактно истраживачко питање. То је рад на томе да ови системи поуздано остану под људском контролом, одражавају људске вредности и помогну људима да усмеравају наредне фазе развоја. Не покушавамо, нити смемо да покушавамо, да аутоматизујемо људско расуђивање или људске вредности.

Друго, користи научног напретка и привредног раста морају стварати људи и оне морају служити људима. Вештачка интелигенција треба да помогне истраживачима да долазе до открића, лекарима да лече пацијенте, наставницима да подучавају ученике, предузетницима да оснивају компаније, заједницама да решавају наизглед недостижне проблеме и још много тога. Непрекидна прича о људском напретку не своди се на то да алати замењују људску способност деловања. Она говори о томе да прави алати чине људе способнијим, а верујем да ће то досећи много даље него што сада сматрамо могућим.

Треће, ова технологија мора оснажити сваког појединца. Сјајна будућност настаће када људи остваре свој потенцијал и створе вредност за себе, своје заједнице, своје земље и свет у целини. Можда смо међу градитељима ове технологије, али нисмо јунаци ове приче. Наша улога је да пружимо могућности људима широм света и верујемо у чаролију људских вештина и способности.

Сада имамо моделе способне да откривају знања која нам никада раније нису била доступна. Погледајте само напредак који смо постигли у математици. Пре три лета наши модели су били солидни у математици за основну школу. Пре два лета били су прилично добри на средњошколским такмичењима из математике. Прошлог лета достигли смо ниво златне медаље на најпрестижнијем међународном такмичењу из математике. А пре само неколико недеља овог лета, један од наших модела решио је један од миленијумских проблема — Навије–Стоксове једначине.

Ове једначине користе се за пројектовање летелица, прогнозирање времена и проучавање протока крви. Математичке проблеме не решавамо ради њих самих, већ да бисмо људима омогућили да откривају нова знања и користе их за унапређење здравствене заштите, подизање животног стандарда и проширивање потенцијала свих људи широм света. Још толико тога чека да буде откривено.

Али веома је важно да компаније не замене демократски процес.

Ако вештачка интелигенција треба да буде демократска, најважније одлуке не могу доносити само лабораторије у Сан Франциску. Оне се морају обликовати кроз демократске процесе и у владама које одговарају народу којем служе.

На међународном нивоу, за то ће бити неопходна сарадња. У историји је било тренутака када су се земље које се надмећу и нису увек у добрим односима ипак удруживале ради заједничких интереса и општег добра, суочене с моћном новом технологијом. Верујемо да ово мора бити један од тих тренутака.

Потребан нам је механизам за усклађене националне и међународне стандарде за граничну вештачку интелигенцију: стандарде за мерење способности, процену ризика, утврђивање да ли су заштитне мере довољне и очување делотворног људског надзора док системи постају самосталнији.

Потребни су нам заједнички стандарди како би земље могле да упоређују доказе, проверавају усклађеност и деле исти језик и разумевање онога што се дешава.

Потребни су нам тачно и брзо пријављивање инцидената, као и протоколи за њихово разврставање и пријављивање, како би свет могао да учи из пропуста пре него што они прерасту у катастрофе.

Потребни су нам и безбедни канали путем којих владе, оператери критичне инфраструктуре и технички стручњаци могу да размењују информације о новим рањивостима и претњама.

Наравно, ови стандарди не би смели да учврсте положај постојећих актера нити да дају предност једном пословном моделу над другим. Морају да подрже програмере отворених и затворених модела, нове учеснике и већ успостављене лабораторије, националну надлежност и међународну сарадњу. Свака влада треба сама да одлучи како ће стандарде уградити у свој правни систем. Али свима ће нам бити боље ако на глобалном нивоу постигнемо сагласност о томе шта чини добре доказе, добре заштитне мере и добар надзор.

Немамо све одговоре и веома смо отворени за све боље идеје. Спремни смо да сарађујемо са свима вама и дамо све од себе како бисмо пронашли пут напред.

Налазимо се на раскршћу. Један пут води у свет у којем је моћ концентрисана, одлуке су непрозирне, а људи осећају да им се најважнија технологија њиховог доба намеће. Други пут води у свет у којем вештачка интелигенција служи људима јер они, посредством демократских институција, учествују у одлучивању о њеном развоју и усмеравању; у којем научни напредак побољшава стварне животе; у којем више људи може да учествује у обликовању будућности; и у којем ова технологија наставља да појединцима и заједницама даје већу моћ да живе онако како желе. То је будућност остварених потенцијала, узбуђења и задивљености.

И верујемо да такву будућност вреди градити. Хвала вам најлепше.