Sam Altman’s remarks at the United Nations Security Council

Today, OpenAI CEO Sam Altman addressed the United Nations Security Council on artificial intelligence. He discussed AI’s potential to expand opportunity, the importance of keeping powerful systems under human control, and the need for international cooperation on AI safety.

Thank you, Mr. President and your Excellencies. I’m honored to be here and to be able to speak with you all at this important time.

We have been talking about artificial intelligence for years, but it feels different in recent weeks and months. Rapid model progress has made the timeline feel more compressed, the upside more tangible, but also the stakes and the risks more immediate.

We have a choice in front of us. AI can either be more like a new Renaissance of creativity and discovery, or more like a new Industrial Revolution of upheaval and disarray.

The Renaissance was a time when new tools, new ideas, and new institutions expanded what people believed they could do. AI can play that role for our time. I believe that people are much more capable than they imagine themselves to be, but have been held back by limited technology that was meant to empower but instead distracts and often steals attention.

The best version of AI is not about making people cogs in a giant machine, or optimizing every part of life until the human parts disappear. It is about giving people more agency in an ever more complex world: more ability to learn, to create, discover, build, participate. There are many things that AI cannot—and should not—automate.

AI should be built for people, not simply to turn the crank of the machines faster for their own sake. Some of the things people working to build AI have said are so dystopian that they sound like the plot of bad science fiction movies.

Anything this powerful is also intimidating. This moment is complicated as we feel both tremendous potential and very understandable anxiety at the same time.

These models can help people discover new knowledge: new medicines, better health care, stronger education, and build more productive economies. They can be new tools for people to pursue dreams and ambition that today feel out of reach. The complexity of life has increased so dramatically for the average person. AI can be a defensive tool against this complexity as much as it can be this tool of unprecedented discovery and innovation.

On the other hand, as AI systems become more capable and more autonomous, they could move faster than our institutions, concentrate power in too few hands, or make decisions that people no longer understand or control.

That concern becomes especially important as we approach systems that can improve themselves and future versions of themselves, often called recursive self-improvement. As the process of building AI becomes more automated, the pace of AI progress could accelerate rapidly. This moment calls for extreme care.

I largely agree with Professor Bengio. Although I’ll say two instead of three—I believe there are two ways that AI progress could go very badly that we have to avoid.

First, we could lose control of the future to AI. The risk is that it moves so fast that people can no longer follow what’s happening or intervene when needed. This would obviously be terrible.

The industry must not accept too much technological risk just because the benefits are too great and that they feel too important to slow down. Beating companies in a competitive pace is not a reason to make rash decisions. Nor do we believe we are locked in a race where we are unable to do that. We have unilaterally slowed down in the past. We will do so in the future. We do not want to build systems—we think it’s important that everyone avoids building systems—where we cannot make the alignment, monitorability, and safety guarantees that we must.

We need to understand what these systems are doing and have strong evidence that they will do what people intend, even as they get very, very smart. Actually especially as they get very very smart. It doesn’t matter whether people put the risk of catastrophe at 10%, or 1%, or 12%, or .1%. None of these levels are remotely acceptable. And we should not train models that we cannot make an extremely strong case that we will be able to keep under human control.

So that’s one way things can go wrong. In the other direction, these systems could concentrate too much power in too few hands. No one person or company or country should be able to use the most powerful AI models to impose their worldview on everyone else. A company or country that believes only it can be trusted with this technology can use that belief to justify almost anything else. We have to reject that logic, even when it’s convenient for any one actor.

Verím, že pri oboch týchto otázkach existuje pragmatická cesta vpred. V OpenAI pristupujeme k týmto otázkam s jasným cieľom: AI by mala ľuďom poskytnúť väčšiu kontrolu nad vlastným životom. Viac slobody žiť podľa vlastných predstáv. Väčšiu schopnosť riešiť malé aj veľké problémy a zlepšovať svoje komunity. Nechceme sa chytiť do pasce slepého optimizmu. Rovnako sa nechceme chytiť do pasce katastrofizmu. Ak sa necháme strhnúť ktorýmkoľvek z týchto extrémov, nepomôže nám to úspešne zvládnuť výzvy, ktoré pred nami stoja. Platí to najmä v čase, keď svet a jeho obyvatelia čelia obrovským problémom, ktoré táto technológia môže pomôcť riešiť. Preto sa medzi týmito dvoma pólmi usilujeme ísť strednou cestou.

Pre nás to znamená tri zásady.

Po prvé, s rastúcimi schopnosťami AI musia ľudia zostať ústrednou súčasťou rozhodovania o nej. Zosúladenie nie je abstraktnou výskumnou otázkou. Ide o úsilie zabezpečiť, aby tieto systémy spoľahlivo zostali pod ľudskou kontrolou, odrážali ľudské hodnoty a pomáhali ľuďom usmerňovať ďalšie fázy vývoja. Nesnažíme sa – a ani nesmieme – automatizovať ľudský úsudok či ľudské hodnoty.

Po druhé, vedecký pokrok a hospodársky rast musia vytvárať ľudia a musia slúžiť ľuďom. AI by mala pomáhať výskumníkom objavovať, lekárom liečiť pacientov, učiteľom vzdelávať žiakov, podnikateľom zakladať firmy a komunitám riešiť problémy, ktoré sa zdali nezvládnuteľné – a dokáže toho oveľa viac. Príbeh nepretržitého ľudského pokroku nie je príbehom nástrojov, ktoré ľudí zbavujú možnosti konať. Je príbehom správnych nástrojov, vďaka ktorým ľudia dokážu viac. A verím, že v tomto smere zájdeme oveľa ďalej, než dnes považujeme za možné.

Po tretie, táto technológia musí posilniť každého jednotlivca. Skvelá budúcnosť vzíde z toho, že ľudia naplnia svoj potenciál a budú vytvárať hodnoty pre seba, svoje komunity, svoje krajiny aj celý svet. Možno patríme medzi tvorcov tejto technológie, nie sme však hrdinami tohto príbehu. Našou úlohou je vytvárať príležitosti pre ľudí na celom svete a dôverovať zázračnej sile ľudských schopností a nadania.

Dnes už máme modely schopné objavovať poznatky, ku ktorým sme predtým nemali prístup. Pozrime sa na pokrok, ktorý sme zaznamenali v matematike. Pred tromi rokmi v lete naše modely celkom zvládali matematiku na úrovni základnej školy. Pred dvoma rokmi v lete už boli pomerne dobré v stredoškolských matematických súťažiach. Minulé leto sme v najprestížnejšej medzinárodnej matematickej súťaži dosiahli úroveň zlatej medaily. A len pred niekoľkými týždňami toto leto jeden z našich modelov vyriešil jeden z problémov tisícročia – Navierove-Stokesove rovnice.

Tieto rovnice sa používajú pri konštrukcii lietadiel, predpovedaní počasia a skúmaní prúdenia krvi. Matematické problémy neriešime pre ne samotné, ale preto, aby sme ľuďom umožnili objavovať nové poznatky a využívať ich na skvalitnenie zdravotnej starostlivosti, zvýšenie životnej úrovne a rozšírenie možností každého človeka na svete. Stále zostáva veľmi veľa neobjaveného.

Je však veľmi dôležité, aby firmy nenahrádzali demokratický proces.

Ak má byť AI demokratická, najdôležitejšie rozhodnutia nemôžu prijímať iba laboratóriá v San Franciscu. Musia sa formovať prostredníctvom demokratických procesov a vlád, ktoré sa zodpovedajú ľuďom, ktorým slúžia.

Na medzinárodnej úrovni si to bude vyžadovať spoluprácu. V dejinách už nastali chvíle, keď sa navzájom si konkurujúce krajiny, ktoré si nie vždy boli blízke, napriek tomu spojili v záujme spoločných cieľov a všeobecného dobra zoči-voči novej, mocnej technológii. Sme presvedčení, že toto musí byť jedna z takých chvíľ.

Potrebujeme mechanizmus vzájomne sa dopĺňajúcich národných a medzinárodných štandardov pre prelomovú AI: štandardov na meranie schopností, posudzovanie rizík, určovanie dostatočnosti ochranných opatrení a zachovanie zmysluplného ľudského dohľadu s rastúcou autonómnosťou systémov.

Potrebujeme spoločné štandardy, aby krajiny mohli porovnávať dôkazy, overovať dodržiavanie pravidiel a spoločne rozumieť tomu, čo sa deje, a hovoriť o tom rovnakým jazykom.

Potrebujeme presné a rýchle hlásenie incidentov, ako aj protokoly ich klasifikácie a oznamovania, aby sa svet mohol poučiť zo zlyhaní skôr, než prerastú do katastrof.

Potrebujeme tiež bezpečné komunikačné kanály medzi vládami, prevádzkovateľmi kritickej infraštruktúry a technickými odborníkmi na zdieľanie informácií o vznikajúcich zraniteľnostiach a nových hrozbách.

Tieto štandardy by, samozrejme, nemali upevňovať postavenie etablovaných subjektov ani zvýhodňovať jeden obchodný model pred iným. Musia podporovať vývojárov otvorených aj uzavretých modelov, nových účastníkov aj etablované laboratóriá, právomoci jednotlivých štátov aj medzinárodnú spoluprácu. Každá vláda by mala rozhodnúť, ako tieto štandardy začlení do vlastného právneho systému. Všetci však získame, ak sa na celosvetovej úrovni dokážeme zhodnúť na tom, ako majú vyzerať kvalitné dôkazy, účinné ochranné opatrenia a náležitý dohľad.

Nemáme všetky odpovede a sme veľmi otvorení akýmkoľvek lepším nápadom. Sme pripravení spolupracovať s vami všetkými a zo všetkých síl hľadať cestu vpred.

Stojíme na križovatke. Jedna cesta vedie do sveta, kde sa moc sústreďuje v rukách niekoľkých aktérov, rozhodnutia sú neprehľadné a ľudia majú pocit, že najdôležitejšia technológia ich života je niečo, čo sa im vnucuje. Druhá cesta vedie do sveta, kde AI slúži ľuďom, pretože tí prostredníctvom demokratických inštitúcií pomáhajú rozhodovať o jej vývoji a usmerňovať ju, kde vedecký pokrok zlepšuje skutočné životy, kde sa na budúcnosti môže podieľať viac ľudí a kde táto technológia naďalej poskytuje jednotlivcom aj komunitám väčšiu možnosť žiť podľa vlastných predstáv. Je to budúcnosť naplneného potenciálu, nadšenia a úžasu.

A veríme, že takúto budúcnosť sa oplatí budovať. Ďakujem vám veľmi pekne.