Sam Altman’s remarks at the United Nations Security Council

Today, OpenAI CEO Sam Altman addressed the United Nations Security Council on artificial intelligence. He discussed AI’s potential to expand opportunity, the importance of keeping powerful systems under human control, and the need for international cooperation on AI safety.

Thank you, Mr. President and your Excellencies. I’m honored to be here and to be able to speak with you all at this important time.

We have been talking about artificial intelligence for years, but it feels different in recent weeks and months. Rapid model progress has made the timeline feel more compressed, the upside more tangible, but also the stakes and the risks more immediate.

We have a choice in front of us. AI can either be more like a new Renaissance of creativity and discovery, or more like a new Industrial Revolution of upheaval and disarray.

The Renaissance was a time when new tools, new ideas, and new institutions expanded what people believed they could do. AI can play that role for our time. I believe that people are much more capable than they imagine themselves to be, but have been held back by limited technology that was meant to empower but instead distracts and often steals attention.

The best version of AI is not about making people cogs in a giant machine, or optimizing every part of life until the human parts disappear. It is about giving people more agency in an ever more complex world: more ability to learn, to create, discover, build, participate. There are many things that AI cannot—and should not—automate.

AI should be built for people, not simply to turn the crank of the machines faster for their own sake. Some of the things people working to build AI have said are so dystopian that they sound like the plot of bad science fiction movies.

Anything this powerful is also intimidating. This moment is complicated as we feel both tremendous potential and very understandable anxiety at the same time.

These models can help people discover new knowledge: new medicines, better health care, stronger education, and build more productive economies. They can be new tools for people to pursue dreams and ambition that today feel out of reach. The complexity of life has increased so dramatically for the average person. AI can be a defensive tool against this complexity as much as it can be this tool of unprecedented discovery and innovation.

On the other hand, as AI systems become more capable and more autonomous, they could move faster than our institutions, concentrate power in too few hands, or make decisions that people no longer understand or control.

That concern becomes especially important as we approach systems that can improve themselves and future versions of themselves, often called recursive self-improvement. As the process of building AI becomes more automated, the pace of AI progress could accelerate rapidly. This moment calls for extreme care.

I largely agree with Professor Bengio. Although I’ll say two instead of three—I believe there are two ways that AI progress could go very badly that we have to avoid.

First, we could lose control of the future to AI. The risk is that it moves so fast that people can no longer follow what’s happening or intervene when needed. This would obviously be terrible.

The industry must not accept too much technological risk just because the benefits are too great and that they feel too important to slow down. Beating companies in a competitive pace is not a reason to make rash decisions. Nor do we believe we are locked in a race where we are unable to do that. We have unilaterally slowed down in the past. We will do so in the future. We do not want to build systems—we think it’s important that everyone avoids building systems—where we cannot make the alignment, monitorability, and safety guarantees that we must.

We need to understand what these systems are doing and have strong evidence that they will do what people intend, even as they get very, very smart. Actually especially as they get very very smart. It doesn’t matter whether people put the risk of catastrophe at 10%, or 1%, or 12%, or .1%. None of these levels are remotely acceptable. And we should not train models that we cannot make an extremely strong case that we will be able to keep under human control.

So that’s one way things can go wrong. In the other direction, these systems could concentrate too much power in too few hands. No one person or company or country should be able to use the most powerful AI models to impose their worldview on everyone else. A company or country that believes only it can be trusted with this technology can use that belief to justify almost anything else. We have to reject that logic, even when it’s convenient for any one actor.

Naniniwala akong may praktikal na landas sa dalawang usaping ito. Sa OpenAI, hinaharap namin ang mga tanong na ito nang may malinaw na layunin: dapat bigyan ng AI ang mga tao ng higit na kapangyarihan sa sarili nilang buhay. Higit na kalayaang mamuhay ayon sa kanilang kagustuhan. Higit na kakayahang lumutas ng mga problema, malaki man o maliit, at mapaunlad ang kanilang mga komunidad. Ayaw naming mahulog sa bitag ng labis na optimismo. Ayaw din naming mahulog sa bitag ng labis na paniniwalang hahantong ito sa kapahamakan. Hindi makatutulong ang pagtutuon sa alinmang sukdulang posisyon upang matagumpay nating malutas ang mga hamong kinakaharap natin, lalo na ngayong napakalalaki ng mga hamong kinakaharap ng mundo at ng mga mamamayan nito, at posibleng makatulong ang teknolohiyang ito na malutas ang mga iyon. Kaya sinisikap naming tahakin ang gitnang landas sa pagitan ng dalawang sukdulang ito.

Para sa amin, nangangahulugan iyon ng tatlong prinsipyo.

Una, habang lalong humuhusay ang AI, dapat manatili ang mga tao sa sentro ng pagpapasya tungkol dito. Ang alignment ay hindi isang abstract na tanong sa pananaliksik. Ito ang gawain ng pagtiyak na mapagkakatiwalaang mananatili ang mga system na ito sa ilalim ng kontrol ng tao, sasalamin sa mga pagpapahalaga ng tao, at tutulong sa mga taong gabayan ang mga susunod na yugto ng pag-unlad. Hindi namin sinusubukan—at hindi natin dapat subukang—i-automate ang pagpapasya o mga pagpapahalaga ng tao.

Ikalawa, ang mga pakinabang ng pagsulong ng agham at paglago ng ekonomiya ay dapat gawin ng mga tao at para sa mga tao. Dapat tulungan ng AI ang mga mananaliksik na makatuklas, mga doktor na gumamot ng pasyente, mga guro na magturo ng estudyante, mga negosyante na magtatag ng kumpanya, at mga komunidad na lumutas ng mga problemang dati'y tila imposibleng malutas—at marami pang iba. Sa tuloy-tuloy na kuwento ng pag-unlad ng sangkatauhan, hindi pinapalitan ng mga kasangkapan ang kakayahan ng taong magpasya at kumilos. Sa halip, pinahuhusay ng mga tamang kasangkapan ang kakayahan ng mga tao, at naniniwala akong higit pa ang mararating nito kaysa sa inaakala nating posible.

Ikatlo, dapat palakasin ng teknolohiyang ito ang bawat indibidwal. Magmumula ang isang magandang kinabukasan sa mga taong inaabot ang kanilang potensyal at bumubuo ng halaga para sa sarili, sa kanilang komunidad, sa kanilang bansa, at sa mas malawak na mundo. Maaaring isa kami sa mga bumubuo ng teknolohiyang ito, ngunit hindi kami ang mga bayani ng kuwentong ito. Ang tungkulin namin ay bigyang-kakayahan ang mga tao sa buong mundo at magtiwala sa pambihirang talento at kakayahan ng sangkatauhan.

Mayroon na tayong mga modelong kayang tumuklas ng kaalamang hindi pa natin natataglay noon. Isaalang-alang ang pagsulong na nakita natin sa matematika. Tatlong tag-araw ang nakalipas, katamtaman ang husay ng aming mga modelo sa matematika na pang-elementarya. Dalawang tag-araw ang nakalipas, mahusay na ang mga ito sa mga paligsahan sa matematika para sa high school. Noong nakaraang tag-araw, naabot namin ang antas ng gintong medalya sa pinakaprestihiyosong pandaigdigang paligsahan sa matematika. At ilang linggo lang ang nakalipas ngayong tag-araw, nalutas ng isa sa aming mga modelo ang isa sa mga Millennium Prize Problem—ang mga Navier-Stokes equation.

Ginagamit ang mga equation na ito sa pagdidisenyo ng sasakyang panghimpapawid, pagtataya ng panahon, at pag-aaral ng daloy ng dugo. Hindi kami lumulutas ng mga problema sa matematika para lang masabing nalutas namin iyon, kundi upang bigyang-kakayahan ang mga taong tumuklas ng bagong kaalaman at gamitin ito upang mapahusay ang pangangalagang pangkalusugan, maiangat ang antas ng pamumuhay, at mapalawak ang potensyal ng lahat sa buong mundo. Napakarami pang dapat matuklasan.

Ngunit napakahalagang hindi palitan ng mga kumpanya ang mga demokratikong proseso.

Kung magiging demokratiko ang AI, hindi maaaring mga laboratoryo lang sa San Francisco ang gumawa ng pinakamahahalagang desisyon. Dapat hubugin ang mga ito sa pamamagitan ng mga demokratikong proseso at ng mga pamahalaang mananagot sa mga taong pinaglilingkuran nila.

Sa pandaigdigang antas, mangangailangan ito ng pagtutulungan. Sa ating kasaysayan, may mga pagkakataong nagsama-sama pa rin para sa magkakatulad na interes at kabutihang panlahat ang mga bansang magkakatunggali at hindi palaging magkasundo, sa harap ng isang makapangyarihang bagong teknolohiya. Naniniwala kaming dapat itong maging isa sa mga pagkakataong iyon.

Kailangan natin ng mekanismo para sa magkatuwang na pambansa at pandaigdigang pamantayan para sa frontier AI: mga pamantayan sa pagsukat ng kakayahan, pag-assess ng mga panganib, pagtukoy kung sapat ba ang mga pananggalang, at pagpapanatili ng makabuluhang pangangasiwa ng tao habang nagiging mas autonomous ang mga system.

Kailangan natin ng magkakaparehong pamantayan upang maihambing ng mga bansa ang ebidensya, ma-verify ang pagsunod, at magkaroon ng iisang wika at pagkaunawa sa mga nangyayari.

Kailangan natin ng tumpak at mabilis na pag-uulat ng mga insidente, pati na ng mga protocol sa pag-uuri at pag-uulat, upang matuto ang mundo mula sa mga kabiguan bago pa maging sakuna ang mga ito.

At kailangan natin ng mga ligtas na channel sa pagitan ng mga pamahalaan, mga operator ng kritikal na imprastraktura, at mga eksperto sa teknikal upang maibahagi ang mga umuusbong na mga kahinaan at mga bagong banta.

Siyempre, hindi dapat patatagin ng mga pamantayang ito ang puwesto ng mga nakatatag na organisasyon o paboran ang isang modelo ng negosyo kaysa sa iba. Dapat nitong suportahan ang mga developer ng bukas at saradong modelo, mga bagong kalahok at nakatatag na laboratoryo, pambansang awtoridad at pandaigdigang kooperasyon. Dapat magpasya ang bawat pamahalaan kung paano isasama ang mga pamantayan sa sarili nitong sistemang legal. Ngunit magiging mas mabuti ang kalagayan nating lahat kung magkakasundo tayo sa kung ano ang maituturing na mahusay na ebidensya, pananggalang, at pangangasiwa sa pandaigdigang antas.

Wala sa amin ang lahat ng sagot, at bukas na bukas kami sa anumang mas magandang ideya. Handa kaming makipagtulungan sa inyong lahat at gawin ang aming buong makakaya upang matukoy ang landas pasulong.

Nasa sangandaan tayo. Ang isang landas ay patungo sa isang mundo kung saan nakasentro lang ang kapangyarihan sa iilan, hindi malinaw ang mga pagpapasya, at pakiramdam ng mga tao ay ipinipilit sa kanila ang pinakamahalagang teknolohiya sa kanilang panahon. Ang kabilang landas ay patungo sa isang mundo kung saan pinaglilingkuran ng AI ang mga tao dahil tumutulong silang magpasya, sa pamamagitan ng mga demokratikong institusyon, kung paano ito dapat i-develop at gabayan; kung saan napapabuti ng pagsulong ng agham ang mga tunay na buhay; kung saan mas maraming tao ang puwedeng makibahagi sa hinaharap; at kung saan patuloy na bibigyan ng teknolohiyang ito ang mga indibidwal at komunidad ng higit na kakayahang mamuhay ayon gusto nila. Isa itong kinabukasan na puno ng naisakatuparang potensyal, pananabik, at pagkamangha.

At naniniwala kaming ito ang kinakabukasang nararapat buuin. Maraming salamat po.