Sam Altman’s remarks at the United Nations Security Council

Today, OpenAI CEO Sam Altman addressed the United Nations Security Council on artificial intelligence. He discussed AI’s potential to expand opportunity, the importance of keeping powerful systems under human control, and the need for international cooperation on AI safety.

Thank you, Mr. President and your Excellencies. I’m honored to be here and to be able to speak with you all at this important time.

We have been talking about artificial intelligence for years, but it feels different in recent weeks and months. Rapid model progress has made the timeline feel more compressed, the upside more tangible, but also the stakes and the risks more immediate.

We have a choice in front of us. AI can either be more like a new Renaissance of creativity and discovery, or more like a new Industrial Revolution of upheaval and disarray.

The Renaissance was a time when new tools, new ideas, and new institutions expanded what people believed they could do. AI can play that role for our time. I believe that people are much more capable than they imagine themselves to be, but have been held back by limited technology that was meant to empower but instead distracts and often steals attention.

The best version of AI is not about making people cogs in a giant machine, or optimizing every part of life until the human parts disappear. It is about giving people more agency in an ever more complex world: more ability to learn, to create, discover, build, participate. There are many things that AI cannot—and should not—automate.

AI should be built for people, not simply to turn the crank of the machines faster for their own sake. Some of the things people working to build AI have said are so dystopian that they sound like the plot of bad science fiction movies.

Anything this powerful is also intimidating. This moment is complicated as we feel both tremendous potential and very understandable anxiety at the same time.

These models can help people discover new knowledge: new medicines, better health care, stronger education, and build more productive economies. They can be new tools for people to pursue dreams and ambition that today feel out of reach. The complexity of life has increased so dramatically for the average person. AI can be a defensive tool against this complexity as much as it can be this tool of unprecedented discovery and innovation.

On the other hand, as AI systems become more capable and more autonomous, they could move faster than our institutions, concentrate power in too few hands, or make decisions that people no longer understand or control.

That concern becomes especially important as we approach systems that can improve themselves and future versions of themselves, often called recursive self-improvement. As the process of building AI becomes more automated, the pace of AI progress could accelerate rapidly. This moment calls for extreme care.

I largely agree with Professor Bengio. Although I’ll say two instead of three—I believe there are two ways that AI progress could go very badly that we have to avoid.

First, we could lose control of the future to AI. The risk is that it moves so fast that people can no longer follow what’s happening or intervene when needed. This would obviously be terrible.

The industry must not accept too much technological risk just because the benefits are too great and that they feel too important to slow down. Beating companies in a competitive pace is not a reason to make rash decisions. Nor do we believe we are locked in a race where we are unable to do that. We have unilaterally slowed down in the past. We will do so in the future. We do not want to build systems—we think it’s important that everyone avoids building systems—where we cannot make the alignment, monitorability, and safety guarantees that we must.

We need to understand what these systems are doing and have strong evidence that they will do what people intend, even as they get very, very smart. Actually especially as they get very very smart. It doesn’t matter whether people put the risk of catastrophe at 10%, or 1%, or 12%, or .1%. None of these levels are remotely acceptable. And we should not train models that we cannot make an extremely strong case that we will be able to keep under human control.

So that’s one way things can go wrong. In the other direction, these systems could concentrate too much power in too few hands. No one person or company or country should be able to use the most powerful AI models to impose their worldview on everyone else. A company or country that believes only it can be trusted with this technology can use that belief to justify almost anything else. We have to reject that logic, even when it’s convenient for any one actor.

Saya percaya ada jalan pragmatis untuk mengatasi kedua persoalan ini. Di OpenAI, kami menghadapi pertanyaan-pertanyaan ini dengan tujuan yang jelas: AI harus memberi masyarakat kuasa yang lebih besar atas kehidupan mereka sendiri. Lebih banyak kebebasan untuk menjalani hidup sesuai keinginan mereka. Kemampuan lebih besar untuk menyelesaikan masalah, baik besar maupun kecil, dan meningkatkan kehidupan komunitas mereka. Kami tidak ingin terjebak dalam optimisme buta. Kami juga tidak ingin terjebak dalam pesimisme yang menganggap kehancuran tak terelakkan. Terseret ke salah satu ekstrem tidak akan membantu kita mengatasi tantangan di hadapan kita, terutama ketika dunia dan masyarakatnya menghadapi tantangan luar biasa besar yang dapat turut diselesaikan oleh teknologi ini. Karena itu, kami berusaha menempuh jalan tengah di antara kedua kutub tersebut.

Bagi kami, itu berarti tiga prinsip.

Pertama, seiring meningkatnya kemampuan AI, manusia harus tetap menjadi pusat pengambilan keputusan terkait AI. Penyelarasan bukanlah pertanyaan penelitian yang abstrak. Penyelarasan adalah upaya untuk memastikan bahwa sistem-sistem ini senantiasa berada di bawah kendali manusia, mencerminkan nilai-nilai manusia, dan membantu masyarakat mengarahkan tahap-tahap pengembangan berikutnya. Kami tidak berupaya—dan tidak boleh—mengotomatiskan penilaian maupun nilai-nilai manusia.

Kedua, manfaat kemajuan ilmiah dan pertumbuhan ekonomi harus diwujudkan oleh masyarakat dan diperuntukkan bagi masyarakat. AI harus membantu peneliti membuat penemuan, dokter merawat pasien, guru mengajar siswa, wirausahawan mendirikan perusahaan, komunitas menyelesaikan masalah yang sebelumnya terasa mustahil, dan banyak lagi. Sejarah kemajuan manusia yang berkelanjutan bukanlah kisah tentang alat yang menggantikan kemampuan manusia untuk menentukan tindakannya sendiri. Sejarah itu menunjukkan bahwa alat yang tepat membuat manusia lebih mampu, dan saya percaya dampaknya akan jauh melampaui apa yang kini kita anggap mungkin.

Ketiga, teknologi ini harus memberdayakan setiap individu. Masa depan yang gemilang akan terwujud ketika orang-orang mengembangkan potensi mereka dan menciptakan nilai bagi diri sendiri, komunitas, negara, dan dunia secara luas. Kami mungkin termasuk pihak yang membangun teknologi ini, tetapi kami bukan pahlawan dalam kisah ini. Peran kami adalah memberdayakan masyarakat di seluruh dunia dan memercayai keajaiban keterampilan serta kemampuan umat manusia.

Kini kita memiliki model yang mampu menemukan pengetahuan yang belum pernah kita miliki sebelumnya. Pertimbangkan kemajuan yang telah kita lihat dalam matematika. Tiga musim panas lalu, model kami cukup mampu mengerjakan matematika tingkat sekolah dasar. Dua musim panas lalu, model tersebut cukup andal dalam kompetisi matematika tingkat sekolah menengah. Musim panas lalu, kami mencapai kemampuan setara peraih medali emas dalam kompetisi matematika internasional paling bergengsi. Dan baru beberapa minggu lalu pada musim panas ini, salah satu model kami memecahkan salah satu Masalah Hadiah Milenium, yakni persamaan Navier–Stokes.

Persamaan ini digunakan untuk merancang pesawat, meramalkan cuaca, dan mempelajari aliran darah. Kami tidak memecahkan masalah matematika semata-mata demi matematika, melainkan untuk memberdayakan manusia agar dapat menemukan pengetahuan baru dan memanfaatkannya untuk meningkatkan layanan kesehatan dan taraf hidup, serta mengembangkan potensi semua orang di seluruh dunia. Masih begitu banyak hal yang belum ditemukan.

Namun, sangat penting agar perusahaan tidak menggantikan proses demokratis.

Jika AI ingin bersifat demokratis, keputusan terpenting tidak boleh dibuat hanya oleh laboratorium di San Francisco. Keputusan tersebut harus dibentuk melalui proses demokratis dan oleh pemerintah yang bertanggung jawab kepada masyarakat yang mereka layani.

Di tingkat internasional, hal ini akan membutuhkan kerja sama. Dalam sejarah kita, pernah ada masa ketika negara-negara yang bersaing dan tidak selalu saling menyukai tetap bersatu demi kepentingan bersama dan kebaikan kolektif saat menghadapi teknologi baru yang sangat kuat. Kami percaya inilah salah satu masa tersebut.

Kita membutuhkan mekanisme untuk standar AI terdepan nasional dan internasional yang saling melengkapi: standar untuk mengukur kemampuan, menilai risiko, menentukan apakah langkah pengamanan sudah memadai, serta mempertahankan pengawasan manusia yang bermakna seiring makin otonomnya sistem.

Kita membutuhkan standar bersama agar negara-negara dapat membandingkan bukti, memverifikasi kepatuhan, serta memiliki bahasa dan pemahaman bersama mengenai apa yang sedang terjadi.

Kita membutuhkan pelaporan insiden yang akurat dan cepat, serta protokol klasifikasi dan pelaporan, agar dunia dapat belajar dari kegagalan sebelum kegagalan itu berubah menjadi malapetaka.

Kita juga membutuhkan saluran aman antara pemerintah, pengelola infrastruktur kritis, dan pakar teknis untuk berbagi informasi tentang kerentanan yang mulai muncul dan ancaman baru.

Tentunya, standar ini tidak boleh mengukuhkan dominasi pelaku lama atau mengutamakan satu model bisnis dibandingkan model lainnya. Standar tersebut harus mendukung pengembang model terbuka maupun tertutup, pendatang baru maupun laboratorium mapan, kewenangan nasional maupun kerja sama internasional. Setiap pemerintah harus memutuskan cara memasukkan standar ke dalam sistem hukumnya sendiri. Namun, kita semua akan lebih baik jika dapat menyepakati seperti apa bukti, langkah pengamanan, dan pengawasan yang baik di tingkat global.

Kami tidak memiliki semua jawabannya dan sangat terbuka terhadap gagasan yang lebih baik. Kami siap bekerja bersama Anda semua dan berupaya sekeras mungkin untuk menemukan jalan ke depan.

Kita berada di persimpangan jalan. Satu jalan mengarah ke dunia tempat kekuasaan terpusat, keputusan tidak transparan, dan orang-orang merasa bahwa teknologi terpenting dalam hidup mereka diterapkan kepada mereka tanpa melibatkan mereka. Jalan lainnya mengarah ke dunia tempat AI bekerja untuk masyarakat karena masyarakat, melalui lembaga demokratis, turut menentukan bagaimana AI harus dikembangkan dan diarahkan; tempat kemajuan ilmiah meningkatkan kehidupan nyata; tempat lebih banyak orang dapat berpartisipasi dalam membentuk masa depan; dan tempat teknologi ini terus memberi individu serta komunitas kuasa yang lebih besar untuk menjalani hidup sesuai pilihan mereka. Inilah masa depan yang penuh dengan potensi yang terwujud, kegembiraan, dan keajaiban.

Dan kami percaya masa depan ini layak dibangun. Terima kasih banyak.