Sam Altman’s remarks at the United Nations Security Council

Today, OpenAI CEO Sam Altman addressed the United Nations Security Council on artificial intelligence. He discussed AI’s potential to expand opportunity, the importance of keeping powerful systems under human control, and the need for international cooperation on AI safety.

Thank you, Mr. President and your Excellencies. I’m honored to be here and to be able to speak with you all at this important time.

We have been talking about artificial intelligence for years, but it feels different in recent weeks and months. Rapid model progress has made the timeline feel more compressed, the upside more tangible, but also the stakes and the risks more immediate.

We have a choice in front of us. AI can either be more like a new Renaissance of creativity and discovery, or more like a new Industrial Revolution of upheaval and disarray.

The Renaissance was a time when new tools, new ideas, and new institutions expanded what people believed they could do. AI can play that role for our time. I believe that people are much more capable than they imagine themselves to be, but have been held back by limited technology that was meant to empower but instead distracts and often steals attention.

The best version of AI is not about making people cogs in a giant machine, or optimizing every part of life until the human parts disappear. It is about giving people more agency in an ever more complex world: more ability to learn, to create, discover, build, participate. There are many things that AI cannot—and should not—automate.

AI should be built for people, not simply to turn the crank of the machines faster for their own sake. Some of the things people working to build AI have said are so dystopian that they sound like the plot of bad science fiction movies.

Anything this powerful is also intimidating. This moment is complicated as we feel both tremendous potential and very understandable anxiety at the same time.

These models can help people discover new knowledge: new medicines, better health care, stronger education, and build more productive economies. They can be new tools for people to pursue dreams and ambition that today feel out of reach. The complexity of life has increased so dramatically for the average person. AI can be a defensive tool against this complexity as much as it can be this tool of unprecedented discovery and innovation.

On the other hand, as AI systems become more capable and more autonomous, they could move faster than our institutions, concentrate power in too few hands, or make decisions that people no longer understand or control.

That concern becomes especially important as we approach systems that can improve themselves and future versions of themselves, often called recursive self-improvement. As the process of building AI becomes more automated, the pace of AI progress could accelerate rapidly. This moment calls for extreme care.

I largely agree with Professor Bengio. Although I’ll say two instead of three—I believe there are two ways that AI progress could go very badly that we have to avoid.

First, we could lose control of the future to AI. The risk is that it moves so fast that people can no longer follow what’s happening or intervene when needed. This would obviously be terrible.

The industry must not accept too much technological risk just because the benefits are too great and that they feel too important to slow down. Beating companies in a competitive pace is not a reason to make rash decisions. Nor do we believe we are locked in a race where we are unable to do that. We have unilaterally slowed down in the past. We will do so in the future. We do not want to build systems—we think it’s important that everyone avoids building systems—where we cannot make the alignment, monitorability, and safety guarantees that we must.

We need to understand what these systems are doing and have strong evidence that they will do what people intend, even as they get very, very smart. Actually especially as they get very very smart. It doesn’t matter whether people put the risk of catastrophe at 10%, or 1%, or 12%, or .1%. None of these levels are remotely acceptable. And we should not train models that we cannot make an extremely strong case that we will be able to keep under human control.

So that’s one way things can go wrong. In the other direction, these systems could concentrate too much power in too few hands. No one person or company or country should be able to use the most powerful AI models to impose their worldview on everyone else. A company or country that believes only it can be trusted with this technology can use that belief to justify almost anything else. We have to reject that logic, even when it’s convenient for any one actor.

Вярвам, че има прагматичен път за справяне и с двата проблема. В OpenAI подхождаме към тези въпроси с ясна цел: ИИ трябва да дава на хората повече власт над собствения им живот. Повече свобода да живеят така, както искат. Повече възможности да решават малки и големи проблеми и да подобряват своите общности. Не искаме да попадаме в капана на слепия оптимизъм. Не искаме да попадаме и в капана на крайния песимизъм. Ако се оставим да бъдем увлечени към която и да е крайност, това няма да ни помогне успешно да се справим с предстоящите предизвикателства — особено в момент, когато светът и хората в него са изправени пред огромни проблеми, за чието решаване тази технология може да помогне. Затова се опитваме да следваме средния път между тези две крайности.

За нас това означава три принципа.

Първо, с нарастването на способностите на ИИ хората трябва да останат в центъра на вземането на решения за него. Съгласуването с човешките цели не е абстрактен изследователски въпрос. То е работата по осигуряването на надежден човешки контрол над тези системи, съответствието им с човешките ценности и възможността хората да направляват следващите етапи от развитието. Не се опитваме — и не бива да се опитваме — да автоматизираме човешката преценка или човешките ценности.

Второ, научният напредък и икономическият растеж трябва да се постигат от хората и да бъдат в тяхна полза. ИИ трябва да помага на изследователите да правят открития, на лекарите да лекуват пациенти, на учителите да преподават, на предприемачите да създават компании, а на общностите да решават проблеми, които са изглеждали непреодолими — и още много други неща. Историята на непрестанния човешки напредък не е история за инструменти, които изместват човека като действаща сила. Тя е история за това как правилните инструменти разширяват възможностите на хората, а аз вярвам, че този процес ще стигне много по-далеч, отколкото смятаме за възможно.

Трето, тази технология трябва да дава повече възможности на всеки човек. Едно прекрасно бъдеще ще бъде създадено от хора, които разгръщат потенциала си и създават стойност за себе си, своите общности, своите държави и целия свят. Може да сме сред създателите на тази технология, но не сме героите в тази история. Нашата роля е да даваме възможности на хората по целия свят и да вярваме в магията на човешките умения и способности.

Вече разполагаме с модели, способни да откриват знания, с каквито никога досега не сме разполагали. Помислете за напредъка, който наблюдаваме в математиката. Преди три лета моделите ни се справяха прилично с математика за началните класове. Преди две лета вече се справяха доста добре на математически състезания за гимназисти. Миналото лято достигнахме ниво за златен медал в най-престижното международно състезание по математика. А само преди няколко седмици това лято един от нашите модели реши една от задачите на хилядолетието — уравненията на Навие—Стокс.

Тези уравнения се използват при проектирането на самолети, прогнозирането на времето и изследването на кръвния поток. Не решаваме математически задачи заради самите тях, а за да помагаме на хората да откриват нови знания и да ги използват за подобряване на здравеопазването, повишаване на жизнения стандарт и разширяване на потенциала на всеки човек по света. Остава да бъдат направени още толкова много открития.

Но е много важно компаниите да не изместват демократичния процес.

Ако искаме ИИ да бъде демократичен, най-важните решения не могат да се вземат единствено от лаборатории в Сан Франциско. Те трябва да се определят чрез демократични процеси и от правителства, които носят отговорност пред хората, на които служат.

На международно равнище това ще изисква сътрудничество. В историята е имало моменти, когато държави, които се съревновават и невинаги се харесват особено, все пак се обединяват в името на общите интереси и колективното благо пред лицето на нова могъща технология. Вярваме, че това трябва да е един от тези моменти.

Нуждаем се от механизъм за взаимно допълващи се национални и международни стандарти за авангарден ИИ: стандарти за измерване на способностите, оценка на рисковете, определяне дали защитните мерки са достатъчни и запазване на ефективния човешки надзор с увеличаването на автономността на системите.

Нуждаем се от общи стандарти, за да могат държавите да сравняват доказателства, да проверяват спазването на изискванията и да имат общ език и разбиране за случващото се.

Нуждаем се от точно и бързо съобщаване за инциденти, както и от протоколи за тяхното класифициране и докладване, за да може светът да се поучи от неуспехите, преди те да се превърнат в катастрофи.

Необходими са ни и защитени канали между правителствата, операторите на критична инфраструктура и техническите експерти за споделяне на нововъзникващи уязвимости и заплахи.

Разбира се, тези стандарти не бива да укрепват позициите на утвърдените участници или да дават предимство на един бизнес модел пред друг. Те трябва да подкрепят разработчиците на отворени и затворени модели, новите участници и утвърдените лаборатории, националния суверенитет и международното сътрудничество. Всяко правителство трябва само да реши как да включи стандартите в своята правна система. Но за всички ни ще бъде по-добре, ако постигнем съгласие как изглеждат надеждните доказателства, добрите защитни мерки и ефективният надзор в световен мащаб.

Нямаме всички отговори и сме напълно отворени за всякакви по-добри идеи. Готови сме да работим с всички вас и да положим всички усилия, за да намерим пътя напред.

Намираме се на кръстопът. Единият път води към свят, в който властта е съсредоточена в малко ръце, решенията са непрозрачни, а хората чувстват, че най-важната технология в живота им е нещо, което им се налага. Другият път води към свят, в който ИИ работи в полза на хората, защото чрез демократичните институции те участват в решенията как той да се развива и направлява; в който научният напредък подобрява живота на хората; в който повече хора могат да участват в изграждането на бъдещето; и в който тази технология продължава да дава на отделните хора и общностите повече възможности да живеят според собствения си избор. Това е бъдеще на разгърнат потенциал, въодушевление и удивление.

И вярваме, че си струва да изградим именно такова бъдеще. Благодаря ви много.