Today, OpenAI CEO Sam Altman addressed the United Nations Security Council on artificial intelligence. He discussed AI’s potential to expand opportunity, the importance of keeping powerful systems under human control, and the need for international cooperation on AI safety.
Thank you, Mr. President and your Excellencies. I’m honored to be here and to be able to speak with you all at this important time.
We have been talking about artificial intelligence for years, but it feels different in recent weeks and months. Rapid model progress has made the timeline feel more compressed, the upside more tangible, but also the stakes and the risks more immediate.
We have a choice in front of us. AI can either be more like a new Renaissance of creativity and discovery, or more like a new Industrial Revolution of upheaval and disarray.
The Renaissance was a time when new tools, new ideas, and new institutions expanded what people believed they could do. AI can play that role for our time. I believe that people are much more capable than they imagine themselves to be, but have been held back by limited technology that was meant to empower but instead distracts and often steals attention.
The best version of AI is not about making people cogs in a giant machine, or optimizing every part of life until the human parts disappear. It is about giving people more agency in an ever more complex world: more ability to learn, to create, discover, build, participate. There are many things that AI cannot—and should not—automate.
AI should be built for people, not simply to turn the crank of the machines faster for their own sake. Some of the things people working to build AI have said are so dystopian that they sound like the plot of bad science fiction movies.
Anything this powerful is also intimidating. This moment is complicated as we feel both tremendous potential and very understandable anxiety at the same time.
These models can help people discover new knowledge: new medicines, better health care, stronger education, and build more productive economies. They can be new tools for people to pursue dreams and ambition that today feel out of reach. The complexity of life has increased so dramatically for the average person. AI can be a defensive tool against this complexity as much as it can be this tool of unprecedented discovery and innovation.
On the other hand, as AI systems become more capable and more autonomous, they could move faster than our institutions, concentrate power in too few hands, or make decisions that people no longer understand or control.
That concern becomes especially important as we approach systems that can improve themselves and future versions of themselves, often called recursive self-improvement. As the process of building AI becomes more automated, the pace of AI progress could accelerate rapidly. This moment calls for extreme care.
I largely agree with Professor Bengio. Although I’ll say two instead of three—I believe there are two ways that AI progress could go very badly that we have to avoid.
First, we could lose control of the future to AI. The risk is that it moves so fast that people can no longer follow what’s happening or intervene when needed. This would obviously be terrible.
The industry must not accept too much technological risk just because the benefits are too great and that they feel too important to slow down. Beating companies in a competitive pace is not a reason to make rash decisions. Nor do we believe we are locked in a race where we are unable to do that. We have unilaterally slowed down in the past. We will do so in the future. We do not want to build systems—we think it’s important that everyone avoids building systems—where we cannot make the alignment, monitorability, and safety guarantees that we must.
We need to understand what these systems are doing and have strong evidence that they will do what people intend, even as they get very, very smart. Actually especially as they get very very smart. It doesn’t matter whether people put the risk of catastrophe at 10%, or 1%, or 12%, or .1%. None of these levels are remotely acceptable. And we should not train models that we cannot make an extremely strong case that we will be able to keep under human control.
So that’s one way things can go wrong. In the other direction, these systems could concentrate too much power in too few hands. No one person or company or country should be able to use the most powerful AI models to impose their worldview on everyone else. A company or country that believes only it can be trusted with this technology can use that belief to justify almost anything else. We have to reject that logic, even when it’s convenient for any one actor.
Verjamem, da obstaja stvarna pot med obema skrajnostma. Pri OpenAI se teh vprašanj lotevamo z jasnim ciljem: UI mora ljudem omogočiti več nadzora nad lastnim življenjem. Več svobode, da živijo, kakor želijo. Več možnosti za reševanje velikih in majhnih težav ter izboljševanje svojih skupnosti. Nočemo se ujeti v past slepega optimizma. Prav tako se nočemo ujeti v past črnogledosti. Če nas potegne v katero koli skrajnost, ne bomo uspešno rešili izzivov pred nami, zlasti v času, ko se svet in njegovi prebivalci spoprijemajo z velikanskimi težavami, ki jih lahko ta tehnologija pomaga rešiti. Zato skušamo ubrati srednjo pot med tema poloma.
Za nas to pomeni tri načela.
Prvič, ljudje morajo ob vse zmogljivejši UI ostati v središču odločanja o njej. Usklajevanje ni abstraktno raziskovalno vprašanje. Gre za zagotavljanje, da ti sistemi zanesljivo ostanejo pod človeškim nadzorom, odražajo človeške vrednote in ljudem omogočajo usmerjanje naslednjih faz razvoja. Človeške presoje ali človeških vrednot ne poskušamo in jih tudi ne smemo avtomatizirati.
Drugič, koristi znanstvenega napredka in gospodarske rasti morajo ustvarjati ljudje in morajo biti namenjene ljudem. UI mora raziskovalcem pomagati do odkritij, zdravnikom pri zdravljenju bolnikov, učiteljem pri poučevanju, podjetnikom pri ustanavljanju podjetij, skupnostim pa pri reševanju navidez nedosegljivih težav – in še veliko več. Nenehna zgodba človeškega napredka ne govori o tem, da orodja nadomeščajo človekovo sposobnost samostojnega delovanja. Govori o tem, da prava orodja povečujejo zmožnosti ljudi, in verjamem, da bo to seglo veliko dlje, kot se nam danes zdi mogoče.
Tretjič, ta tehnologija mora opolnomočiti vsakega posameznika. Odlična prihodnost bo nastala, ko bodo ljudje uresničili svoje zmožnosti ter ustvarjali vrednost zase, za svoje skupnosti, države in širši svet. Morda smo med snovalci te tehnologije, vendar nismo junaki te zgodbe. Naša vloga je opolnomočiti ljudi po vsem svetu ter zaupati v čarobnost človeških spretnosti in sposobnosti.
Zdaj imamo modele, ki lahko odkrivajo znanje, kakršnega doslej še nismo imeli. Pomislite na napredek, ki smo ga dosegli v matematiki. Pred tremi poletji so bili naši modeli dokaj uspešni pri osnovnošolski matematiki. Pred dvema poletjema so se precej dobro odrezali na srednješolskih matematičnih tekmovanjih. Lansko poletje smo na najuglednejšem mednarodnem matematičnem tekmovanju dosegli raven zlate medalje. Pred nekaj tedni tega poletja pa je eden od naših modelov rešil enega od problemov za nagrado tisočletja – Navier-Stokesove enačbe.
Te enačbe se uporabljajo pri načrtovanju letal, napovedovanju vremena in preučevanju pretoka krvi. Matematičnih problemov ne rešujemo zaradi njih samih, temveč zato, da bi ljudem omogočili odkrivanje novega znanja in njegovo uporabo za boljše zdravstvo, višji življenjski standard ter širjenje možnosti vseh ljudi po svetu. Še toliko je treba odkriti.
Toda zelo pomembno je, da podjetja ne nadomestijo demokratičnega procesa.
Če naj bo UI demokratična, najpomembnejših odločitev ne smejo sprejemati zgolj laboratoriji v San Franciscu. Oblikovati jih je treba z demokratičnimi postopki in prek vlad, ki odgovarjajo ljudem, katerim služijo.
Na mednarodni ravni bo za to potrebno sodelovanje. V zgodovini so se države, ki med seboj tekmujejo in si niso vedno najbolj naklonjene, ob pojavu zmogljive nove tehnologije vendarle znale povezati zaradi skupnih interesov in skupnega dobrega. Menimo, da mora biti tudi to eden takšnih trenutkov.
Potrebujemo mehanizem za dopolnjujoče se nacionalne in mednarodne standarde za prelomno UI: standarde za merjenje zmogljivosti, ocenjevanje tveganj, ugotavljanje ustreznosti zaščitnih ukrepov in ohranjanje učinkovitega človeškega nadzora, ko sistemi postajajo samostojnejši.
Potrebujemo skupne standarde, da bodo države lahko primerjale dokaze, preverjale skladnost ter enotno opisovale in razumele dogajanje.
Potrebujemo natančno in hitro poročanje o incidentih ter protokole za njihovo razvrščanje in prijavo, da se bo svet lahko učil iz napak, preden te prerastejo v katastrofe.
Potrebujemo tudi varne kanale, po katerih si bodo vlade, upravljavci kritične infrastrukture in tehnični strokovnjaki izmenjevali informacije o novih ranljivostih in grožnjah.
Ti standardi seveda ne smejo utrditi položaja uveljavljenih akterjev ali dajati prednosti enemu poslovnemu modelu pred drugim. Podpirati morajo razvijalce odprtih in zaprtih modelov, nove akterje in uveljavljene laboratorije ter nacionalne pristojnosti in mednarodno sodelovanje. Vsaka vlada naj sama odloči, kako bo standarde vključila v svoj pravni sistem. Vsem pa bo bolje, če se bomo lahko na svetovni ravni dogovorili, kaj so dobri dokazi, ustrezni zaščitni ukrepi in učinkovit nadzor.
Nimamo vseh odgovorov in smo zelo odprti za vse boljše zamisli. Pripravljeni smo sodelovati z vsemi vami in se po najboljših močeh truditi najti pravo pot naprej.
Smo na razpotju. Ena pot vodi v svet, v katerem je moč skoncentrirana, odločitve so nepregledne, ljudje pa imajo občutek, da se najpomembnejša tehnologija njihovega življenja uvaja brez njihovega vpliva. Druga pot vodi v svet, v katerem UI deluje v dobro ljudi, saj ti prek demokratičnih institucij soodločajo o njenem razvoju in usmerjanju; v katerem znanstveni napredek izboljšuje resnična življenja; v katerem lahko več ljudi sodeluje pri oblikovanju prihodnosti; in v katerem ta tehnologija posameznikom in skupnostim še naprej daje več možnosti, da živijo po svoje. To je prihodnost uresničenih možnosti, navdušenja in čudenja.
In verjamemo, da je takšno prihodnost vredno graditi. Najlepša hvala.
