Sam Altman’s remarks at the United Nations Security Council

Today, OpenAI CEO Sam Altman addressed the United Nations Security Council on artificial intelligence. He discussed AI’s potential to expand opportunity, the importance of keeping powerful systems under human control, and the need for international cooperation on AI safety.

Thank you, Mr. President and your Excellencies. I’m honored to be here and to be able to speak with you all at this important time.

We have been talking about artificial intelligence for years, but it feels different in recent weeks and months. Rapid model progress has made the timeline feel more compressed, the upside more tangible, but also the stakes and the risks more immediate.

We have a choice in front of us. AI can either be more like a new Renaissance of creativity and discovery, or more like a new Industrial Revolution of upheaval and disarray.

The Renaissance was a time when new tools, new ideas, and new institutions expanded what people believed they could do. AI can play that role for our time. I believe that people are much more capable than they imagine themselves to be, but have been held back by limited technology that was meant to empower but instead distracts and often steals attention.

The best version of AI is not about making people cogs in a giant machine, or optimizing every part of life until the human parts disappear. It is about giving people more agency in an ever more complex world: more ability to learn, to create, discover, build, participate. There are many things that AI cannot—and should not—automate.

AI should be built for people, not simply to turn the crank of the machines faster for their own sake. Some of the things people working to build AI have said are so dystopian that they sound like the plot of bad science fiction movies.

Anything this powerful is also intimidating. This moment is complicated as we feel both tremendous potential and very understandable anxiety at the same time.

These models can help people discover new knowledge: new medicines, better health care, stronger education, and build more productive economies. They can be new tools for people to pursue dreams and ambition that today feel out of reach. The complexity of life has increased so dramatically for the average person. AI can be a defensive tool against this complexity as much as it can be this tool of unprecedented discovery and innovation.

On the other hand, as AI systems become more capable and more autonomous, they could move faster than our institutions, concentrate power in too few hands, or make decisions that people no longer understand or control.

That concern becomes especially important as we approach systems that can improve themselves and future versions of themselves, often called recursive self-improvement. As the process of building AI becomes more automated, the pace of AI progress could accelerate rapidly. This moment calls for extreme care.

I largely agree with Professor Bengio. Although I’ll say two instead of three—I believe there are two ways that AI progress could go very badly that we have to avoid.

First, we could lose control of the future to AI. The risk is that it moves so fast that people can no longer follow what’s happening or intervene when needed. This would obviously be terrible.

The industry must not accept too much technological risk just because the benefits are too great and that they feel too important to slow down. Beating companies in a competitive pace is not a reason to make rash decisions. Nor do we believe we are locked in a race where we are unable to do that. We have unilaterally slowed down in the past. We will do so in the future. We do not want to build systems—we think it’s important that everyone avoids building systems—where we cannot make the alignment, monitorability, and safety guarantees that we must.

We need to understand what these systems are doing and have strong evidence that they will do what people intend, even as they get very, very smart. Actually especially as they get very very smart. It doesn’t matter whether people put the risk of catastrophe at 10%, or 1%, or 12%, or .1%. None of these levels are remotely acceptable. And we should not train models that we cannot make an extremely strong case that we will be able to keep under human control.

So that’s one way things can go wrong. In the other direction, these systems could concentrate too much power in too few hands. No one person or company or country should be able to use the most powerful AI models to impose their worldview on everyone else. A company or country that believes only it can be trusted with this technology can use that belief to justify almost anything else. We have to reject that logic, even when it’s convenient for any one actor.

Saya percaya terdapat jalan pragmatik untuk menangani kedua-duanya. Di OpenAI, kami menangani persoalan ini dengan matlamat yang jelas: AI harus memberi manusia lebih kuasa terhadap kehidupan mereka sendiri. Lebih kebebasan untuk menjalani kehidupan mengikut kehendak mereka. Lebih keupayaan untuk menyelesaikan masalah, sama ada besar mahupun kecil, dan menambah baik komuniti mereka. Kami tidak mahu terperangkap dalam keyakinan membuta tuli. Kami juga tidak mahu terperangkap dalam pandangan bahawa malapetaka tidak dapat dielakkan. Terjerumus ke mana-mana satu pandangan ekstrem tidak akan membantu kita berjaya menangani cabaran yang mendatang, khususnya ketika dunia dan penduduknya menghadapi cabaran amat besar yang dapat dibantu oleh teknologi ini. Jadi, kami cuba mengambil jalan tengah antara kedua-dua pendirian ini.

Bagi kami, hal ini bererti tiga prinsip.

Pertama, apabila AI menjadi semakin berkeupayaan, manusia mesti kekal sebagai teras dalam proses membuat keputusan AI. Penjajaran bukanlah persoalan penyelidikan yang abstrak. Usaha ini memastikan sistem tersebut sentiasa berada di bawah kawalan manusia, mencerminkan nilai kemanusiaan dan membantu manusia membimbing peringkat pembangunan yang seterusnya. Kami tidak berusaha untuk mengautomasikan pertimbangan atau nilai kemanusiaan, dan kami sememangnya tidak boleh berbuat demikian.

Kedua, manfaat kemajuan sains dan pertumbuhan ekonomi mesti dihasilkan oleh manusia dan untuk manusia. AI harus membantu penyelidik membuat penemuan, doktor merawat pesakit, guru mendidik pelajar, usahawan menubuhkan syarikat, komuniti menyelesaikan masalah yang sebelum ini dirasakan mustahil untuk ditangani dan banyak lagi. Kisah kemajuan manusia yang berterusan bukanlah tentang alat menggantikan keupayaan manusia untuk menentukan tindakan sendiri. Sebaliknya, alat yang tepat menjadikan manusia lebih berkeupayaan, dan saya percaya kesannya akan jauh melangkaui apa yang kita fikirkan mungkin.

Ketiga, teknologi ini mesti memperkasa setiap individu. Masa depan yang hebat akan tercipta apabila manusia merealisasikan potensi mereka dan membina nilai untuk diri sendiri, komuniti, negara serta dunia secara keseluruhan. Kami mungkin antara pembina teknologi ini, tetapi kami bukan wira dalam kisah ini. Peranan kami adalah untuk membolehkan manusia di seluruh dunia berkarya dan menaruh kepercayaan pada keajaiban kemahiran serta kebolehan umat manusia.

Kini kita mempunyai model yang mampu mengetahui ilmu yang tidak pernah kita miliki sebelum ini. Pertimbangkan kemajuan yang telah kita saksikan dalam matematik. Tiga musim panas lalu, model kami agak baik dalam matematik sekolah rendah. Dua musim panas lalu, model tersebut agak mahir dalam pertandingan matematik sekolah menengah. Musim panas lalu, kami mencapai tahap pingat emas dalam pertandingan matematik antarabangsa yang paling berprestij. Dan hanya beberapa minggu lalu pada musim panas ini, salah satu model kami menyelesaikan satu daripada Masalah Hadiah Milenium, iaitu persamaan Navier–Stokes.

Persamaan ini digunakan dalam reka bentuk pesawat, ramalan cuaca dan kajian aliran darah. Kami tidak menyelesaikan masalah matematik semata-mata untuk matematik, tetapi untuk memperkasa manusia mengetahui ilmu baharu dan menggunakannya bagi meningkatkan penjagaan kesihatan, taraf hidup serta potensi setiap orang di seluruh dunia. Masih banyak lagi yang belum diketahui.

Namun, amat penting agar syarikat tidak mengambil alih peranan proses demokrasi.

Jika AI mahu bersifat demokratik, keputusan terpenting tidak boleh dibuat oleh makmal di San Francisco semata-mata. Keputusan tersebut mesti dibentuk melalui proses demokrasi dan oleh kerajaan yang bertanggungjawab kepada rakyat yang mereka berkhidmat.

Pada peringkat antarabangsa, hal ini memerlukan kerjasama. Dalam sejarah kita, pernah ada masanya negara-negara yang bersaing dan tidak sentiasa sehaluan tetap bersatu demi kepentingan bersama dan kebaikan sejagat apabila berdepan dengan teknologi baharu yang hebat. Kami percaya bahawa inilah salah satu detik tersebut.

Kita memerlukan mekanisme bagi standard AI termaju kebangsaan dan antarabangsa yang saling melengkapi: piawaian untuk mengukur keupayaan, menilai risiko, menentukan sama ada langkah perlindungan mencukupi dan mengekalkan pengawasan manusia yang bermakna apabila sistem menjadi semakin berautonomi.

Kita memerlukan piawaian bersama supaya negara-negara dapat membandingkan bukti, mengesahkan pematuhan serta berkongsi bahasa dan pemahaman tentang perkara yang sedang berlaku.

Kita memerlukan pelaporan insiden yang tepat dan pantas serta protokol pengelasan dan pelaporan agar dunia dapat belajar daripada kegagalan sebelum kegagalan itu menjadi malapetaka.

Kita juga memerlukan saluran selamat antara kerajaan, pengendali infrastruktur kritikal dan pakar teknikal untuk berkongsi kelemahan yang baru muncul serta ancaman baharu.

Sudah tentu, piawaian ini tidak seharusnya mengukuhkan kedudukan penyandang atau memihak kepada satu model perniagaan berbanding yang lain. Piawaian ini mesti menyokong pembangun model terbuka dan tertutup, peserta baharu dan makmal yang telah mantap, kuasa kebangsaan serta kerjasama antarabangsa. Setiap kerajaan harus menentukan cara untuk menerapkan piawaian dalam sistem perundangannya sendiri. Namun, kita semua akan mendapat manfaat jika dapat mencapai persetujuan tentang ciri bukti, langkah perlindungan dan pengawasan yang baik pada peringkat global.

Kami tidak mempunyai semua jawapan dan amat terbuka kepada sebarang idea yang lebih baik. Kami bersedia untuk bekerjasama dengan anda semua dan berusaha sedaya upaya untuk menentukan langkah seterusnya.

Kita kini berada di persimpangan. Satu jalan menuju ke dunia yang kuasanya tertumpu, keputusannya tidak telus dan penduduknya merasakan bahawa teknologi terpenting dalam hayat mereka sedang dikenakan terhadap mereka. Jalan yang satu lagi menuju ke dunia yang AI berfungsi untuk manusia kerana manusia, melalui institusi demokrasi, turut menentukan cara AI dibangunkan dan membimbingnya; kemajuan sains meningkatkan kehidupan sebenar; lebih ramai orang dapat turut serta dalam membentuk masa depan; dan teknologi ini terus memberi individu serta komuniti kuasa yang lebih besar untuk menjalani kehidupan mengikut pilihan mereka. Inilah masa depan yang merealisasikan potensi serta dipenuhi keterujaan dan keajaiban.

Dan inilah masa depan yang kami percaya wajar dibina. Terima kasih banyak.