Sam Altman’s remarks at the United Nations Security Council

Today, OpenAI CEO Sam Altman addressed the United Nations Security Council on artificial intelligence. He discussed AI’s potential to expand opportunity, the importance of keeping powerful systems under human control, and the need for international cooperation on AI safety.

Thank you, Mr. President and your Excellencies. I’m honored to be here and to be able to speak with you all at this important time.

We have been talking about artificial intelligence for years, but it feels different in recent weeks and months. Rapid model progress has made the timeline feel more compressed, the upside more tangible, but also the stakes and the risks more immediate.

We have a choice in front of us. AI can either be more like a new Renaissance of creativity and discovery, or more like a new Industrial Revolution of upheaval and disarray.

The Renaissance was a time when new tools, new ideas, and new institutions expanded what people believed they could do. AI can play that role for our time. I believe that people are much more capable than they imagine themselves to be, but have been held back by limited technology that was meant to empower but instead distracts and often steals attention.

The best version of AI is not about making people cogs in a giant machine, or optimizing every part of life until the human parts disappear. It is about giving people more agency in an ever more complex world: more ability to learn, to create, discover, build, participate. There are many things that AI cannot—and should not—automate.

AI should be built for people, not simply to turn the crank of the machines faster for their own sake. Some of the things people working to build AI have said are so dystopian that they sound like the plot of bad science fiction movies.

Anything this powerful is also intimidating. This moment is complicated as we feel both tremendous potential and very understandable anxiety at the same time.

These models can help people discover new knowledge: new medicines, better health care, stronger education, and build more productive economies. They can be new tools for people to pursue dreams and ambition that today feel out of reach. The complexity of life has increased so dramatically for the average person. AI can be a defensive tool against this complexity as much as it can be this tool of unprecedented discovery and innovation.

On the other hand, as AI systems become more capable and more autonomous, they could move faster than our institutions, concentrate power in too few hands, or make decisions that people no longer understand or control.

That concern becomes especially important as we approach systems that can improve themselves and future versions of themselves, often called recursive self-improvement. As the process of building AI becomes more automated, the pace of AI progress could accelerate rapidly. This moment calls for extreme care.

I largely agree with Professor Bengio. Although I’ll say two instead of three—I believe there are two ways that AI progress could go very badly that we have to avoid.

First, we could lose control of the future to AI. The risk is that it moves so fast that people can no longer follow what’s happening or intervene when needed. This would obviously be terrible.

The industry must not accept too much technological risk just because the benefits are too great and that they feel too important to slow down. Beating companies in a competitive pace is not a reason to make rash decisions. Nor do we believe we are locked in a race where we are unable to do that. We have unilaterally slowed down in the past. We will do so in the future. We do not want to build systems—we think it’s important that everyone avoids building systems—where we cannot make the alignment, monitorability, and safety guarantees that we must.

We need to understand what these systems are doing and have strong evidence that they will do what people intend, even as they get very, very smart. Actually especially as they get very very smart. It doesn’t matter whether people put the risk of catastrophe at 10%, or 1%, or 12%, or .1%. None of these levels are remotely acceptable. And we should not train models that we cannot make an extremely strong case that we will be able to keep under human control.

So that’s one way things can go wrong. In the other direction, these systems could concentrate too much power in too few hands. No one person or company or country should be able to use the most powerful AI models to impose their worldview on everyone else. A company or country that believes only it can be trusted with this technology can use that belief to justify almost anything else. We have to reject that logic, even when it’s convenient for any one actor.

Энэ хоёр бэрхшээлийг даван туулах бодитой зам бий гэдэгт би итгэдэг. OpenAI эдгээр асуудалд тодорхой зорилготой ханддаг: хиймэл оюун ухаан хүмүүст өөрсдийн амьдралаа илүү ихээр хянах боломж өгөх ёстой. Өөрсдийн хүссэнээр амьдрах илүү их эрх чөлөө өгөх ёстой. Том, жижиг аливаа асуудлыг шийдэх, нийгэмлэгээ сайжруулах илүү их чадвар өгөх ёстой. Бид сохор өөдрөг үзлийн урхинд орохыг хүсэхгүй байна. Мөн сүйрлийг зөгнөх үзлийн урхинд ч орохыг хүсэхгүй байна. Аль нэг туйл руу хэт хэлбийх нь бидний өмнө буй сорилтуудыг амжилттай шийдэхэд тус болохгүй. Ялангуяа дэлхий нийт болон хүн төрөлхтөн энэ технологийн тусламжтай шийдэж болох асар том сорилтуудтай тулгарч буй энэ үед бүр ч тус болохгүй. Тиймээс бид энэ хоёр туйлын дундах замаар явахыг хичээдэг.

Бидний хувьд энэ нь гурван зарчмыг хэлнэ.

Нэгдүгээрт, хиймэл оюун ухааны чадавх нэмэгдэхийн хэрээр түүний шийдвэр гаргалтын төвд хүн хэвээр байх ёстой. Зорилго, үнэт зүйлтэй нийцүүлэх нь онолын судалгааны асуудал биш. Энэ нь системүүдийг хүний найдвартай хяналтад байлгаж, хүний үнэт зүйлсийг тусган, хөгжлийн дараагийн үе шатыг хүмүүс чиглүүлэхэд туслуулах ажил юм. Бид хүний шүүлт, хүний үнэт зүйлсийг автоматжуулахыг зориогүй бөгөөд тэгэх ч ёсгүй.

Хоёрдугаарт, шинжлэх ухааны дэвшил, эдийн засгийн өсөлтийн үр шимийг хүмүүс бүтээж, хүмүүс хүртэх ёстой. Хиймэл оюун ухаан судлаачдад нээлт хийх, эмч нарт өвчтөнөө эмчлэх, багш нарт сурагчдаа сургах, бизнес эрхлэгчдэд компани байгуулах, нийгэмлэгүүдэд шийдэх боломжгүй мэт санагдсан асуудлаа шийдэх болон бусад олон зүйлд туслах ёстой. Хүн төрөлхтний тасралтгүй дэвшлийн түүх нь багаж хэрэгсэл хүний бие даан үйлдэх чадварыг орлосон тухай биш. Харин зөв багаж хэрэгсэл хүмүүсийг илүү чадвартай болгодог тухай бөгөөд энэ нь бидний төсөөлж байгаагаас ч хол ахина гэдэгт би итгэдэг.

Гуравдугаарт, энэ технологи хүн бүрд эрх мэдэл, боломж олгох ёстой. Хүмүүс өөрсдийн боломжоо бүрэн нээж, өөртөө, нийгэмлэгтээ, улс орондоо болон дэлхий нийтэд үнэ цэн бүтээснээр сайхан ирээдүй бий болно. Бид энэ технологийг бүтээгчдийн нэг байж болох ч энэ түүхийн баатрууд нь бид биш. Бидний үүрэг бол дэлхийн өнцөг булан бүрийн хүмүүст боломж олгож, хүн төрөлхтний ур чадвар, авьяас билгийн гайхамшигт итгэх явдал.

Урьд өмнө бидэнд байгаагүй мэдлэгийг нээн илрүүлэх чадвартай загварууд одоо бидэнд бий. Математикийн салбарт гарсан ахицыг авч үзье. Гурван зуны өмнө манай загварууд бага ангийн математикийг боломжийн хэмжээнд боддог байв. Хоёр зуны өмнө тэд ахлах ангийн математикийн олимпиадын бодлогуудыг нэлээд сайн боддог болсон. Өнгөрсөн зун бид олон улсын хамгийн нэр хүндтэй математикийн олимпиадын алтан медалийн түвшинд хүрсэн. Харин энэ зун, хэдхэн долоо хоногийн өмнө манай нэг загвар Мянганы шагналт бодлогуудын нэг болох Навье—Стоксын тэгшитгэлийг шийдсэн.

Эдгээр тэгшитгэлийг нисэх онгоцны загварчлал, цаг агаарын урьдчилсан мэдээ, цусны урсгалын судалгаанд ашигладаг. Бид математикийн бодлогыг зүгээр л бодохын төлөө шийддэггүй. Харин хүмүүст шинэ мэдлэг нээн илрүүлж, түүгээрээ эрүүл мэндийн тусламж үйлчилгээг сайжруулах, амьжиргааны түвшнийг дээшлүүлэх, дэлхий даяарх хүн бүрийн боломжийг тэлэх хүч өгөхийн төлөө шийддэг. Нээж илрүүлэх зүйл асар их хэвээр байна.

Гэхдээ компаниуд ардчилсан үйл явцыг орлохгүй байх нь нэн чухал.

Хиймэл оюун ухаан ардчилсан байх ёстой бол хамгийн чухал шийдвэрүүдийг зөвхөн Сан-Францискогийн лабораториуд гаргаж болохгүй. Тэдгээр шийдвэрийг ардчилсан үйл явцаар, үйлчилж буй иргэдийнхээ өмнө хариуцлага хүлээдэг засгийн газруудын оролцоотой тодорхойлох ёстой.

Олон улсын түвшинд үүний тулд хамтын ажиллагаа шаардлагатай. Түүхэнд өрсөлддөг, тэр бүр бие биедээ таатай ханддаггүй улс орнууд ч хүчирхэг шинэ технологи бий болоход нийтлэг ашиг сонирхол, нийтийн сайн сайхны төлөө нэгдэж байсан үе бий. Одоо яг тийм үе ирсэн гэж бид үзэж байна.

Бидэнд үндэсний болон олон улсын хил хязгаарын хиймэл оюуны харилцан уялдаатай стандартын механизм хэрэгтэй. Үүнд чадавхыг хэмжих, эрсдэлийг үнэлэх, хамгаалалт хангалттай эсэхийг тогтоох, системүүд бие даахын хэрээр хүний бодитой хяналтыг хадгалах стандартууд багтана.

Улс орнууд нотолгоог харьцуулж, шаардлагын биелэлтийг баталгаажуулан, болж буй үйл явдлын талаар нийтлэг хэл, ойлголттой байхын тулд бидэнд нэгдсэн стандарт хэрэгтэй.

Алдаа доголдол гамшиг болохоос өмнө дэлхий нийт сургамж авахын тулд осол, зөрчлийг үнэн зөв, шуурхай мэдээлэх, ангилах болон мэдээлэх протокол хэрэгтэй.

Мөн шинээр илэрч буй эмзэг байдал, шинэ аюул заналын мэдээллийг хуваалцахын тулд засгийн газрууд, чухал дэд бүтцийн операторууд, техникийн мэргэжилтнүүдийн хооронд аюулгүй сувгууд хэрэгтэй.

Мэдээж эдгээр стандарт нь одоогийн давамгай тоглогчдын байр суурийг бэхжүүлж, бизнесийн нэг загварыг нөгөөгөөс нь илүүд үзэх ёсгүй. Тэдгээр нь нээлттэй болон хаалттай загвар хөгжүүлэгчид, шинэ оролцогчид болон туршлагатай лабораториуд, үндэсний бүрэн эрх болон олон улсын хамтын ажиллагааг дэмжих ёстой. Засгийн газар бүр стандартыг өөрийн эрх зүйн тогтолцоонд хэрхэн тусгахаа өөрөө шийдэх ёстой. Гэхдээ дэлхийн түвшинд сайн нотолгоо, найдвартай хамгаалалт, зохистой хяналт гэж юуг хэлэх талаар тохиролцож чадвал бид бүгд хожно.

Бидэнд бүх хариулт байхгүй бөгөөд илүү сайн аливаа санааг сонсоход бүрэн нээлттэй байна. Бид та бүхэнтэй хамтран ажиллаж, цаашдын замыг олохын тулд чадах бүхнээ хийхэд бэлэн байна.

Бид замын уулзварт ирээд байна. Нэг зам нь эрх мэдэл цөөн хүний гарт төвлөрч, шийдвэрүүд ил тод бус болж, хүмүүс амьдралынх нь үеийн хамгийн чухал технологийг өөрсдөд нь тулгаж байна гэж мэдэрдэг ертөнц рүү хөтөлнө. Нөгөө зам нь хүмүүс ардчилсан институцээрээ дамжуулан хиймэл оюун ухаан хэрхэн хөгжихийг шийдэж, чиглүүлэхэд оролцдог учраас хиймэл оюун ухаан хүмүүст үйлчилдэг; шинжлэх ухааны дэвшил бодит амьдралыг сайжруулдаг; ирээдүйг бүтээхэд илүү олон хүн оролцдог; энэ технологи хувь хүн, нийгэмлэгүүдэд хүссэнээрээ амьдрах илүү их эрх мэдлийг үргэлжлүүлэн өгдөг ертөнц рүү хөтөлнө. Энэ бол боломж бодитоор биелж, догдлол, гайхамшгаар дүүрэн ирээдүй юм.

Бид ийм ирээдүйг бүтээх нь зүйтэй гэж итгэдэг. Маш их баярлалаа.