Sam Altman’s remarks at the United Nations Security Council

Today, OpenAI CEO Sam Altman addressed the United Nations Security Council on artificial intelligence. He discussed AI’s potential to expand opportunity, the importance of keeping powerful systems under human control, and the need for international cooperation on AI safety.

Thank you, Mr. President and your Excellencies. I’m honored to be here and to be able to speak with you all at this important time.

We have been talking about artificial intelligence for years, but it feels different in recent weeks and months. Rapid model progress has made the timeline feel more compressed, the upside more tangible, but also the stakes and the risks more immediate.

We have a choice in front of us. AI can either be more like a new Renaissance of creativity and discovery, or more like a new Industrial Revolution of upheaval and disarray.

The Renaissance was a time when new tools, new ideas, and new institutions expanded what people believed they could do. AI can play that role for our time. I believe that people are much more capable than they imagine themselves to be, but have been held back by limited technology that was meant to empower but instead distracts and often steals attention.

The best version of AI is not about making people cogs in a giant machine, or optimizing every part of life until the human parts disappear. It is about giving people more agency in an ever more complex world: more ability to learn, to create, discover, build, participate. There are many things that AI cannot—and should not—automate.

AI should be built for people, not simply to turn the crank of the machines faster for their own sake. Some of the things people working to build AI have said are so dystopian that they sound like the plot of bad science fiction movies.

Anything this powerful is also intimidating. This moment is complicated as we feel both tremendous potential and very understandable anxiety at the same time.

These models can help people discover new knowledge: new medicines, better health care, stronger education, and build more productive economies. They can be new tools for people to pursue dreams and ambition that today feel out of reach. The complexity of life has increased so dramatically for the average person. AI can be a defensive tool against this complexity as much as it can be this tool of unprecedented discovery and innovation.

On the other hand, as AI systems become more capable and more autonomous, they could move faster than our institutions, concentrate power in too few hands, or make decisions that people no longer understand or control.

That concern becomes especially important as we approach systems that can improve themselves and future versions of themselves, often called recursive self-improvement. As the process of building AI becomes more automated, the pace of AI progress could accelerate rapidly. This moment calls for extreme care.

I largely agree with Professor Bengio. Although I’ll say two instead of three—I believe there are two ways that AI progress could go very badly that we have to avoid.

First, we could lose control of the future to AI. The risk is that it moves so fast that people can no longer follow what’s happening or intervene when needed. This would obviously be terrible.

The industry must not accept too much technological risk just because the benefits are too great and that they feel too important to slow down. Beating companies in a competitive pace is not a reason to make rash decisions. Nor do we believe we are locked in a race where we are unable to do that. We have unilaterally slowed down in the past. We will do so in the future. We do not want to build systems—we think it’s important that everyone avoids building systems—where we cannot make the alignment, monitorability, and safety guarantees that we must.

We need to understand what these systems are doing and have strong evidence that they will do what people intend, even as they get very, very smart. Actually especially as they get very very smart. It doesn’t matter whether people put the risk of catastrophe at 10%, or 1%, or 12%, or .1%. None of these levels are remotely acceptable. And we should not train models that we cannot make an extremely strong case that we will be able to keep under human control.

So that’s one way things can go wrong. In the other direction, these systems could concentrate too much power in too few hands. No one person or company or country should be able to use the most powerful AI models to impose their worldview on everyone else. A company or country that believes only it can be trusted with this technology can use that belief to justify almost anything else. We have to reject that logic, even when it’s convenient for any one actor.

Bu iki yaklaşımın arasından geçen uygulanabilir bir yol olduğuna inanıyorum. OpenAI olarak bu konulara net bir hedefle yaklaşıyoruz: Yapay zekâ, insanlara kendi hayatları üzerinde daha fazla söz hakkı vermeli. İstedikleri gibi yaşamak için daha fazla özgürlük sunmalı. Büyük veya küçük sorunları çözme ve içinde yaşadıkları toplulukları geliştirme becerilerini artırmalı. Kör iyimserlik tuzağına düşmek istemiyoruz. Felaket tellallığı tuzağına da düşmek istemiyoruz. Her iki uçtan birine savrulmak, önümüzdeki zorlukları başarıyla çözmemize yardımcı olmayacak. Özellikle de dünyanın ve insanların, bu teknolojinin çözümüne yardımcı olabileceği böylesine büyük sorunlarla karşı karşıya olduğu bir dönemde. Bu nedenle iki uç arasında orta yolu izlemeye çalışıyoruz.

Bizim için bu, üç ilke anlamına geliyor.

Birincisi, yapay zekâ daha yetkin hâle geldikçe insanlar, yapay zekâyla ilgili kararların merkezinde kalmalı. Uyum, soyut bir araştırma konusu değildir. Bu sistemlerin güvenilir biçimde insan kontrolünde kalmasını, insani değerleri yansıtmasını ve gelişimin sonraki aşamalarını insanların yönlendirmesine yardımcı olmasını sağlama çalışmasıdır. İnsan muhakemesini veya insani değerleri otomatikleştirmeye çalışmıyoruz; bunu yapmamalıyız da.

İkincisi, bilimsel ilerleme ile ekonomik büyümenin sağladığı faydalar insanlar tarafından ve insanlar için yaratılmalı. Yapay zekâ; araştırmacıların keşif yapmasına, doktorların hastaları tedavi etmesine, öğretmenlerin öğrencilere eğitim vermesine, girişimcilerin şirket kurmasına ve toplulukların daha önce çözülemez görünen sorunları çözmesine yardımcı olmalı; yapabilecekleri bunlarla da sınırlı değil. İnsanlığın kesintisiz ilerleme hikâyesi, araçların insanların iradesinin yerini alması değildir. Doğru araçların insanları daha yetkin kılmasıdır. Bunun bugün mümkün olduğunu düşündüğümüzden çok daha ileriye gideceğine inanıyorum.

Üçüncüsü, bu teknoloji bireyleri güçlendirmeli. Harika bir gelecek; insanların potansiyellerini gerçekleştirmesi ve kendileri, toplulukları, ülkeleri ve dünya için değer yaratmasıyla mümkün olacak. Bu teknolojiyi geliştirenlerden biri olabiliriz ama bu hikâyenin kahramanları biz değiliz. Bizim görevimiz, dünyanın dört bir yanındaki insanların önünü açmak ve insanlığın beceri ve yeteneklerindeki büyüye güvenmek.

Artık daha önce sahip olmadığımız bilgileri keşfedebilen modellerimiz var. Matematikte kaydettiğimiz ilerlemeyi düşünün. Üç yaz önce modellerimiz ilkokul düzeyindeki matematikte fena değildi. İki yaz önce lise düzeyindeki matematik yarışmalarında oldukça başarılıydılar. Geçen yaz, dünyanın en prestijli uluslararası matematik yarışmasında altın madalya düzeyine ulaştık. Bu yaz, yalnızca birkaç hafta önce modellerimizden biri Milenyum Ödülü Problemleri'nden Navier-Stokes denklemlerini çözdü.

Bu denklemler uçak tasarımında, hava tahminlerinde ve kan akışının incelenmesinde kullanılıyor. Matematik problemlerini yalnızca problem çözmüş olmak için çözmüyoruz. Amacımız, insanlara yeni bilgiler keşfetme ve bu bilgileri sağlık hizmetlerini iyileştirmek, yaşam standartlarını yükseltmek ve dünyanın dört bir yanında herkesin potansiyelini artırmak için kullanma gücü vermek. Keşfedilmeyi bekleyen daha çok şey var.

Ancak şirketlerin demokratik süreçlerin yerini almaması son derece önemli.

Yapay zekâ demokratik olacaksa en önemli kararları yalnızca San Francisco'daki laboratuvarlar veremez. Bu kararlar demokratik süreçlerle ve hizmet ettikleri halka karşı sorumlu hükûmetlerce şekillendirilmeli.

Uluslararası düzeyde ise bunun için iş birliği gerekecek. Tarih boyunca birbiriyle rekabet eden ve her zaman pek de iyi anlaşamayan ülkelerin, güçlü ve yeni bir teknoloji karşısında ortak çıkarlar ve toplum yararı için bir araya geldiği dönemler oldu. Bunun da o dönemlerden biri olması gerektiğine inanıyoruz.

Birbirini tamamlayan ulusal ve uluslararası en üst seviye yapay zekâ standartları için bir mekanizmaya ihtiyacımız var. Bu standartlar; kabiliyetlerin ölçülmesini, risklerin değerlendirilmesini, güvenlik önlemlerinin yeterli olup olmadığının belirlenmesini ve sistemler daha özerk hâle gelirken anlamlı insan gözetiminin korunmasını kapsamalı.

Ülkelerin kanıtları karşılaştırabilmesi, uyumluluğu doğrulayabilmesi ve yaşananlara ilişkin ortak bir dil ile anlayış geliştirebilmesi için ortak standartlara ihtiyacımız var.

Dünyanın, başarısızlıklar felakete dönüşmeden önce bunlardan ders çıkarabilmesi için doğru ve hızlı olay bildiriminin yanı sıra sınıflandırma ve raporlama protokollerine ihtiyacımız var.

Ayrıca ortaya çıkan güvenlik açıkları ile yeni tehditlerin paylaşılabilmesi için hükûmetler, kritik altyapı işletmecileri ve teknik uzmanlar arasında güvenli iletişim kanallarına ihtiyacımız var.

Elbette bu standartlar mevcut oyuncuların konumunu kalıcılaştırmamalı veya bir iş modelini diğerine tercih etmemeli. Açık ve kapalı model geliştiricilerini, yeni oyuncuları ve köklü laboratuvarları, ulusal yetkiyi ve uluslararası iş birliğini desteklemeliler. Her hükûmet, standartları kendi hukuk sistemine nasıl dâhil edeceğine kendisi karar vermeli. Ancak iyi kanıtların, etkili güvenlik önlemlerinin ve sağlıklı gözetimin küresel ölçekte nasıl olması gerektiği konusunda anlaşabilirsek hepimiz daha iyi bir konumda oluruz.

Tüm yanıtların bizde olmadığını biliyor, daha iyi her türlü fikre açık olduğumuzu belirtmek istiyoruz. Hepinizle birlikte çalışmaya ve izlenecek yolu belirlemek için elimizden geleni yapmaya hazırız.

Bir yol ayrımındayız. Yollardan biri; gücün belirli ellerde toplandığı, kararların şeffaf olmadığı ve insanların hayatlarının en önemli teknolojisinin kendilerine rağmen uygulandığını düşündüğü bir dünyaya çıkıyor. Diğer yol ise yapay zekânın insanlar için çalıştığı bir dünyaya çıkıyor; çünkü insanlar, demokratik kurumlar aracılığıyla onun nasıl geliştirilip yönlendirileceğine katkıda bulunuyor. Bilimsel ilerleme gerçek hayatları iyileştiriyor, geleceğe daha fazla insan katılabiliyor ve bu teknoloji, bireyler ile topluluklara hayatlarını istedikleri gibi yaşamaları için daha fazla güç vermeyi sürdürüyor. Bu, potansiyelin hayata geçtiği, heyecan ve hayranlık uyandıran bir gelecek.

Bizce inşa etmeye değer gelecek de bu. Çok teşekkür ederim.