Sam Altman’s remarks at the United Nations Security Council

Today, OpenAI CEO Sam Altman addressed the United Nations Security Council on artificial intelligence. He discussed AI’s potential to expand opportunity, the importance of keeping powerful systems under human control, and the need for international cooperation on AI safety.

Thank you, Mr. President and your Excellencies. I’m honored to be here and to be able to speak with you all at this important time.

We have been talking about artificial intelligence for years, but it feels different in recent weeks and months. Rapid model progress has made the timeline feel more compressed, the upside more tangible, but also the stakes and the risks more immediate.

We have a choice in front of us. AI can either be more like a new Renaissance of creativity and discovery, or more like a new Industrial Revolution of upheaval and disarray.

The Renaissance was a time when new tools, new ideas, and new institutions expanded what people believed they could do. AI can play that role for our time. I believe that people are much more capable than they imagine themselves to be, but have been held back by limited technology that was meant to empower but instead distracts and often steals attention.

The best version of AI is not about making people cogs in a giant machine, or optimizing every part of life until the human parts disappear. It is about giving people more agency in an ever more complex world: more ability to learn, to create, discover, build, participate. There are many things that AI cannot—and should not—automate.

AI should be built for people, not simply to turn the crank of the machines faster for their own sake. Some of the things people working to build AI have said are so dystopian that they sound like the plot of bad science fiction movies.

Anything this powerful is also intimidating. This moment is complicated as we feel both tremendous potential and very understandable anxiety at the same time.

These models can help people discover new knowledge: new medicines, better health care, stronger education, and build more productive economies. They can be new tools for people to pursue dreams and ambition that today feel out of reach. The complexity of life has increased so dramatically for the average person. AI can be a defensive tool against this complexity as much as it can be this tool of unprecedented discovery and innovation.

On the other hand, as AI systems become more capable and more autonomous, they could move faster than our institutions, concentrate power in too few hands, or make decisions that people no longer understand or control.

That concern becomes especially important as we approach systems that can improve themselves and future versions of themselves, often called recursive self-improvement. As the process of building AI becomes more automated, the pace of AI progress could accelerate rapidly. This moment calls for extreme care.

I largely agree with Professor Bengio. Although I’ll say two instead of three—I believe there are two ways that AI progress could go very badly that we have to avoid.

First, we could lose control of the future to AI. The risk is that it moves so fast that people can no longer follow what’s happening or intervene when needed. This would obviously be terrible.

The industry must not accept too much technological risk just because the benefits are too great and that they feel too important to slow down. Beating companies in a competitive pace is not a reason to make rash decisions. Nor do we believe we are locked in a race where we are unable to do that. We have unilaterally slowed down in the past. We will do so in the future. We do not want to build systems—we think it’s important that everyone avoids building systems—where we cannot make the alignment, monitorability, and safety guarantees that we must.

We need to understand what these systems are doing and have strong evidence that they will do what people intend, even as they get very, very smart. Actually especially as they get very very smart. It doesn’t matter whether people put the risk of catastrophe at 10%, or 1%, or 12%, or .1%. None of these levels are remotely acceptable. And we should not train models that we cannot make an extremely strong case that we will be able to keep under human control.

So that’s one way things can go wrong. In the other direction, these systems could concentrate too much power in too few hands. No one person or company or country should be able to use the most powerful AI models to impose their worldview on everyone else. A company or country that believes only it can be trusted with this technology can use that belief to justify almost anything else. We have to reject that logic, even when it’s convenient for any one actor.

Es uzskatu, ka abos šajos jautājumos ir iespējams pragmatisks risinājums. OpenAI šiem jautājumiem pieiet ar skaidru mērķi: MI jāsniedz cilvēkiem lielāka noteikšana pār savu dzīvi. Vairāk brīvības dzīvot tā, kā viņi vēlas. Vairāk iespēju risināt gan lielas, gan mazas problēmas un uzlabot dzīvi savās kopienās. Mēs nevēlamies iekrist akla optimisma slazdā. Taču mēs nevēlamies arī ļauties pārliecībai par neizbēgamu katastrofu. Nosliecoties uz kādu no galējībām, mēs nespēsim sekmīgi risināt gaidāmos izaicinājumus, jo īpaši laikā, kad pasaule un tās iedzīvotāji saskaras ar milzīgām problēmām, kuras šī tehnoloģija var palīdzēt atrisināt. Tāpēc mēs cenšamies iet vidusceļu starp abām galējībām.

Mums tas nozīmē trīs principus.

Pirmkārt, MI spējām pieaugot, cilvēkiem arī turpmāk jābūt MI lēmumu pieņemšanas centrā. Salāgošana nav abstrakts pētniecības jautājums. Tas ir darbs, lai nodrošinātu, ka šīs sistēmas droši paliek cilvēku kontrolē, atspoguļo cilvēku vērtības un palīdz cilvēkiem virzīt turpmākos attīstības posmus. Mēs necenšamies un nedrīkstam automatizēt cilvēku spriestspēju vai vērtības.

Otrkārt, zinātnes progresa un ekonomiskās izaugsmes ieguvumi jārada cilvēkiem un cilvēku labā. MI jāpalīdz pētniekiem veikt atklājumus, ārstiem ārstēt pacientus, skolotājiem mācīt skolēnus, uzņēmējiem dibināt uzņēmumus un kopienām risināt iepriekš nepārvaramas problēmas, kā arī paveikt daudz ko citu. Cilvēces progresa vēsture nav stāsts par to, kā rīki aizstāj cilvēku rīcībspēju. Tas ir stāsts par to, kā pareizie rīki vairo cilvēku spējas, un es uzskatu, ka šajā ziņā mēs sasniegsim daudz vairāk, nekā pašlaik spējam iedomāties.

Treškārt, šai tehnoloģijai jāsniedz lielākas iespējas ikvienam cilvēkam. Lieliska nākotne taps, cilvēkiem īstenojot savu potenciālu un radot vērtību sev, savām kopienām, savām valstīm un visai pasaulei. Mēs varbūt esam vieni no šīs tehnoloģijas veidotājiem, taču neesam šī stāsta varoņi. Mūsu uzdevums ir sniegt iespējas cilvēkiem visā pasaulē un paļauties uz cilvēces prasmju un spēju brīnumaino spēku.

Tagad mums ir modeļi, kas spēj atklāt līdz šim nezināmas atziņas. Padomājiet par matemātikā sasniegto progresu. Pirms trim vasarām mūsu modeļi samērā labi tika galā ar sākumskolas matemātiku. Pirms divām vasarām tie jau diezgan labi risināja vidusskolas matemātikas olimpiāžu uzdevumus. Pagājušajā vasarā mēs sasniedzām zelta medaļas līmeni prestižākajās starptautiskajās matemātikas sacensībās. Un tikai pirms dažām nedēļām šovasar viens no mūsu modeļiem atrisināja vienu no Tūkstošgades prēmijas problēmām — Navjē–Stoksa vienādojumus.

Šos vienādojumus izmanto lidaparātu projektēšanā, laikapstākļu prognozēšanā un asins plūsmas izpētē. Mēs nerisinām matemātikas uzdevumus tikai pašu uzdevumu dēļ, bet gan tāpēc, lai cilvēki varētu atklāt jaunas zināšanas un izmantot tās veselības aprūpes uzlabošanai, dzīves līmeņa celšanai un ikviena potenciāla paplašināšanai visā pasaulē. Vēl ir tik daudz, ko atklāt.

Taču ir ļoti svarīgi, lai uzņēmumi neaizstātu demokrātisko procesu.

Lai MI būtu demokrātisks, svarīgākos lēmumus nedrīkst pieņemt tikai Sanfrancisko laboratorijas. Tie jāveido demokrātiskos procesos un jāpieņem valdībām, kuras ir atbildīgas savu iedzīvotāju priekšā.

Starptautiskā līmenī tam būs nepieciešama sadarbība. Vēsturē ir bijuši brīži, kad valstis, kuras savā starpā konkurē un ne vienmēr labi saprotas, tomēr apvienojas kopīgu interešu un sabiedriskā labuma vārdā, saskaroties ar jaunu, ietekmīgu tehnoloģiju. Mēs uzskatām, ka šim jābūt vienam no šādiem brīžiem.

Mums ir vajadzīgs savstarpēji papildinošu valsts un starptautisko robežšķirtnes MI standartu mehānisms: standarti spēju mērīšanai, risku novērtēšanai, aizsardzības pasākumu pietiekamības noteikšanai un jēgpilnas cilvēku uzraudzības saglabāšanai, sistēmām kļūstot autonomākām.

Mums ir vajadzīgi kopīgi standarti, lai valstis varētu salīdzināt pierādījumus, pārbaudīt atbilstību un vienoti aprakstīt un izprast notiekošo.

Mums ir vajadzīga precīza un ātra ziņošana par incidentiem, kā arī klasificēšanas un ziņošanas protokoli, lai pasaule varētu mācīties no kļūmēm, pirms tās pārvēršas katastrofās.

Mums ir vajadzīgi arī droši saziņas kanāli starp valdībām, kritiskās infrastruktūras operatoriem un tehniskajiem ekspertiem, lai dalītos informācijā par jaunām ievainojamībām un apdraudējumiem.

Protams, šie standarti nedrīkst nostiprināt esošo tirgus dalībnieku pozīcijas vai dot priekšroku vienam uzņēmējdarbības modelim. Tiem jāatbalsta gan atvērto, gan slēgto modeļu izstrādātāji, jaunpienācēji un pieredzējušas laboratorijas, valstu pilnvaras un starptautiskā sadarbība. Katrai valdībai pašai jālemj, kā šos standartus iestrādāt savā tiesību sistēmā. Tomēr mums visiem klāsies labāk, ja globālā mērogā spēsim vienoties par to, kādi ir pārliecinoši pierādījumi, efektīvi aizsardzības pasākumi un pienācīga uzraudzība.

Mums nav visu atbilžu, un mēs esam ļoti atvērti labākām idejām. Mēs esam gatavi sadarboties ar jums visiem un darīt visu iespējamo, lai atrastu ceļu uz priekšu.

Mēs atrodamies krustcelēs. Viens ceļš ved uz pasauli, kurā vara ir koncentrēta, lēmumi ir nepārredzami un cilvēkiem šķiet, ka viņu dzīves nozīmīgākā tehnoloģija tiek izmantota pret viņiem, nevis viņu labā. Otrs ceļš ved uz pasauli, kurā MI darbojas cilvēku labā, jo cilvēki ar demokrātisko institūciju starpniecību palīdz lemt, kā to attīstīt un virzīt; kurā zinātnes progress uzlabo cilvēku reālo dzīvi; kurā vairāk cilvēku var piedalīties nākotnes veidošanā un šī tehnoloģija arvien vairāk dod cilvēkiem un kopienām iespēju dzīvot pēc saviem ieskatiem. Tā ir nākotne, kurā tiek īstenots potenciāls un valda aizrautība un apbrīna.

Un mēs uzskatām, ka šādu nākotni ir vērts veidot. Liels paldies.