Sam Altman’s remarks at the United Nations Security Council

Today, OpenAI CEO Sam Altman addressed the United Nations Security Council on artificial intelligence. He discussed AI’s potential to expand opportunity, the importance of keeping powerful systems under human control, and the need for international cooperation on AI safety.

Thank you, Mr. President and your Excellencies. I’m honored to be here and to be able to speak with you all at this important time.

We have been talking about artificial intelligence for years, but it feels different in recent weeks and months. Rapid model progress has made the timeline feel more compressed, the upside more tangible, but also the stakes and the risks more immediate.

We have a choice in front of us. AI can either be more like a new Renaissance of creativity and discovery, or more like a new Industrial Revolution of upheaval and disarray.

The Renaissance was a time when new tools, new ideas, and new institutions expanded what people believed they could do. AI can play that role for our time. I believe that people are much more capable than they imagine themselves to be, but have been held back by limited technology that was meant to empower but instead distracts and often steals attention.

The best version of AI is not about making people cogs in a giant machine, or optimizing every part of life until the human parts disappear. It is about giving people more agency in an ever more complex world: more ability to learn, to create, discover, build, participate. There are many things that AI cannot—and should not—automate.

AI should be built for people, not simply to turn the crank of the machines faster for their own sake. Some of the things people working to build AI have said are so dystopian that they sound like the plot of bad science fiction movies.

Anything this powerful is also intimidating. This moment is complicated as we feel both tremendous potential and very understandable anxiety at the same time.

These models can help people discover new knowledge: new medicines, better health care, stronger education, and build more productive economies. They can be new tools for people to pursue dreams and ambition that today feel out of reach. The complexity of life has increased so dramatically for the average person. AI can be a defensive tool against this complexity as much as it can be this tool of unprecedented discovery and innovation.

On the other hand, as AI systems become more capable and more autonomous, they could move faster than our institutions, concentrate power in too few hands, or make decisions that people no longer understand or control.

That concern becomes especially important as we approach systems that can improve themselves and future versions of themselves, often called recursive self-improvement. As the process of building AI becomes more automated, the pace of AI progress could accelerate rapidly. This moment calls for extreme care.

I largely agree with Professor Bengio. Although I’ll say two instead of three—I believe there are two ways that AI progress could go very badly that we have to avoid.

First, we could lose control of the future to AI. The risk is that it moves so fast that people can no longer follow what’s happening or intervene when needed. This would obviously be terrible.

The industry must not accept too much technological risk just because the benefits are too great and that they feel too important to slow down. Beating companies in a competitive pace is not a reason to make rash decisions. Nor do we believe we are locked in a race where we are unable to do that. We have unilaterally slowed down in the past. We will do so in the future. We do not want to build systems—we think it’s important that everyone avoids building systems—where we cannot make the alignment, monitorability, and safety guarantees that we must.

We need to understand what these systems are doing and have strong evidence that they will do what people intend, even as they get very, very smart. Actually especially as they get very very smart. It doesn’t matter whether people put the risk of catastrophe at 10%, or 1%, or 12%, or .1%. None of these levels are remotely acceptable. And we should not train models that we cannot make an extremely strong case that we will be able to keep under human control.

So that’s one way things can go wrong. In the other direction, these systems could concentrate too much power in too few hands. No one person or company or country should be able to use the most powerful AI models to impose their worldview on everyone else. A company or country that believes only it can be trusted with this technology can use that belief to justify almost anything else. We have to reject that logic, even when it’s convenient for any one actor.

Věřím, že mezi těmito dvěma přístupy vede pragmatická cesta. V OpenAI přistupujeme k těmto otázkám s jasným cílem: AI by měla lidem dát větší moc nad vlastním životem. Více svobody žít tak, jak chtějí. Větší schopnost řešit malé i velké problémy a zlepšovat své komunity. Nechceme upadnout do pasti slepého optimismu. Stejně tak nechceme upadnout do pasti katastrofického pesimismu. Pokud se necháme strhnout kterýmkoli z těchto extrémů, nepomůže nám to úspěšně zvládnout výzvy, které před námi stojí. Zvlášť nyní, kdy svět a jeho obyvatelé čelí obrovským problémům, s jejichž řešením může tato technologie pomoci. Snažíme se proto najít střední cestu mezi těmito dvěma póly.

Pro nás to znamená tři zásady.

Zaprvé, s rostoucími schopnostmi AI musí lidé zůstat ústředním prvkem rozhodování o ní. Sladění není abstraktní výzkumná otázka. Jde o úsilí zajistit, aby tyto systémy spolehlivě zůstaly pod lidskou kontrolou, odrážely lidské hodnoty a pomáhaly lidem určovat další fáze vývoje. Nesnažíme se a ani nesmíme automatizovat lidský úsudek či lidské hodnoty.

Zadruhé, vědecký pokrok a hospodářský růst musí vznikat díky lidem a sloužit lidem. AI by měla pomáhat vědcům objevovat, lékařům léčit pacienty, učitelům vzdělávat žáky, podnikatelům zakládat firmy a komunitám řešit problémy, které se zdály neřešitelné – a mnoho dalšího. Dějiny lidského pokroku nejsou příběhem nástrojů, které nahrazují schopnost člověka jednat. Jsou příběhem správných nástrojů, které rozšiřují lidské schopnosti. A věřím, že tentokrát to zajde mnohem dál, než si dnes dokážeme představit.

Zatřetí, tato technologie musí posílit postavení každého člověka. Skvělá budoucnost vznikne díky lidem, kteří naplní svůj potenciál a budou vytvářet hodnoty pro sebe, své komunity, své země i celý svět. Možná patříme mezi tvůrce této technologie, ale nejsme hrdiny tohoto příběhu. Naší úlohou je dát lidem po celém světě nové možnosti a důvěřovat kouzlu lidských dovedností a schopností.

Nyní máme modely schopné objevovat poznatky, které jsme nikdy dříve neměli. Vezměme si pokrok, jehož jsme dosáhli v matematice. Před třemi lety v létě naše modely docela zvládaly matematiku základní školy. Před dvěma lety v létě už byly poměrně dobré ve středoškolských matematických soutěžích. Loni v létě jsme v nejprestižnější mezinárodní matematické soutěži dosáhli úrovně zlaté medaile. A letos v létě, teprve před několika týdny, jeden z našich modelů vyřešil jeden z problémů tisíciletí – Navierovy–Stokesovy rovnice.

Tyto rovnice se používají při navrhování letadel, předpovídání počasí a zkoumání proudění krve. Matematické problémy neřešíme samoúčelně, ale proto, abychom lidem umožnili objevovat nové poznatky a využívat je ke zlepšení zdravotní péče, zvyšování životní úrovně a rozšiřování potenciálu všech lidí na světě. Ještě je toho tolik, co můžeme objevit.

Je však velmi důležité, aby firmy nenahrazovaly demokratický proces.

Má-li být AI demokratická, nejdůležitější rozhodnutí nemohou přijímat pouze laboratoře v San Francisku. Musí je utvářet demokratické procesy a vlády odpovědné lidem, kterým slouží.

Na mezinárodní úrovni to bude vyžadovat spolupráci. V historii už nastaly chvíle, kdy se země, které spolu soupeří a nemají se vždy příliš v lásce, přesto dokázaly spojit tváří v tvář nové účinné technologii, aby hájily společné zájmy a obecné blaho. Jsme přesvědčeni, že taková chvíle musí nastat právě teď.

Potřebujeme mechanismus vzájemně se doplňujících národních a mezinárodních standardů pro průkopnickou AI: standardů pro měření schopností, posuzování rizik, určování dostatečnosti ochranných opatření a zachování smysluplného lidského dohledu s rostoucí autonomií systémů.

Potřebujeme společné standardy, aby země mohly porovnávat důkazy, ověřovat dodržování pravidel a sdílet jazyk i porozumění tomu, co se děje.

Potřebujeme přesné a rychlé hlášení incidentů a protokoly pro jejich klasifikaci a oznamování, aby se svět mohl poučit ze selhání dříve, než přerostou v katastrofy.

A potřebujeme zabezpečené kanály, jejichž prostřednictvím si vlády, provozovatelé kritické infrastruktury a techničtí odborníci budou sdělovat nově vznikající zranitelnosti a hrozby.

Tyto standardy by samozřejmě neměly upevňovat postavení zavedených subjektů ani zvýhodňovat jeden obchodní model před jiným. Musí podporovat vývojáře otevřených i uzavřených modelů, nové subjekty i zavedené laboratoře, pravomoci jednotlivých států i mezinárodní spolupráci. Každá vláda by měla rozhodnout, jak standardy začlenit do svého právního řádu. Všem nám však prospěje, pokud se na celosvětové úrovni shodneme, jak mají vypadat kvalitní důkazy, ochranná opatření a dohled.

Nemáme odpovědi na všechno a jsme velmi otevření jakýmkoli lepším nápadům. Jsme připraveni spolupracovat s vámi všemi a ze všech sil hledat cestu vpřed.

Stojíme na rozcestí. Jedna cesta vede ke světu, v němž se koncentruje moc, rozhodování je neprůhledné a lidé mají pocit, že nejdůležitější technologie jejich života je něco, co se děje bez jejich přičinění. Druhá cesta vede ke světu, v němž AI slouží lidem, protože ti prostřednictvím demokratických institucí pomáhají rozhodovat o jejím vývoji a směřování; v němž vědecký pokrok zlepšuje skutečné životy, více lidí se může podílet na utváření budoucnosti a tato technologie nadále dává jednotlivcům i komunitám větší možnost žít podle vlastních představ. Je to budoucnost naplněného potenciálu, nadšení a úžasu.

A právě takovou budoucnost podle nás stojí za to vybudovat. Mnohokrát vám děkuji.