Sam Altman’s remarks at the United Nations Security Council

Today, OpenAI CEO Sam Altman addressed the United Nations Security Council on artificial intelligence. He discussed AI’s potential to expand opportunity, the importance of keeping powerful systems under human control, and the need for international cooperation on AI safety.

Thank you, Mr. President and your Excellencies. I’m honored to be here and to be able to speak with you all at this important time.

We have been talking about artificial intelligence for years, but it feels different in recent weeks and months. Rapid model progress has made the timeline feel more compressed, the upside more tangible, but also the stakes and the risks more immediate.

We have a choice in front of us. AI can either be more like a new Renaissance of creativity and discovery, or more like a new Industrial Revolution of upheaval and disarray.

The Renaissance was a time when new tools, new ideas, and new institutions expanded what people believed they could do. AI can play that role for our time. I believe that people are much more capable than they imagine themselves to be, but have been held back by limited technology that was meant to empower but instead distracts and often steals attention.

The best version of AI is not about making people cogs in a giant machine, or optimizing every part of life until the human parts disappear. It is about giving people more agency in an ever more complex world: more ability to learn, to create, discover, build, participate. There are many things that AI cannot—and should not—automate.

AI should be built for people, not simply to turn the crank of the machines faster for their own sake. Some of the things people working to build AI have said are so dystopian that they sound like the plot of bad science fiction movies.

Anything this powerful is also intimidating. This moment is complicated as we feel both tremendous potential and very understandable anxiety at the same time.

These models can help people discover new knowledge: new medicines, better health care, stronger education, and build more productive economies. They can be new tools for people to pursue dreams and ambition that today feel out of reach. The complexity of life has increased so dramatically for the average person. AI can be a defensive tool against this complexity as much as it can be this tool of unprecedented discovery and innovation.

On the other hand, as AI systems become more capable and more autonomous, they could move faster than our institutions, concentrate power in too few hands, or make decisions that people no longer understand or control.

That concern becomes especially important as we approach systems that can improve themselves and future versions of themselves, often called recursive self-improvement. As the process of building AI becomes more automated, the pace of AI progress could accelerate rapidly. This moment calls for extreme care.

I largely agree with Professor Bengio. Although I’ll say two instead of three—I believe there are two ways that AI progress could go very badly that we have to avoid.

First, we could lose control of the future to AI. The risk is that it moves so fast that people can no longer follow what’s happening or intervene when needed. This would obviously be terrible.

The industry must not accept too much technological risk just because the benefits are too great and that they feel too important to slow down. Beating companies in a competitive pace is not a reason to make rash decisions. Nor do we believe we are locked in a race where we are unable to do that. We have unilaterally slowed down in the past. We will do so in the future. We do not want to build systems—we think it’s important that everyone avoids building systems—where we cannot make the alignment, monitorability, and safety guarantees that we must.

We need to understand what these systems are doing and have strong evidence that they will do what people intend, even as they get very, very smart. Actually especially as they get very very smart. It doesn’t matter whether people put the risk of catastrophe at 10%, or 1%, or 12%, or .1%. None of these levels are remotely acceptable. And we should not train models that we cannot make an extremely strong case that we will be able to keep under human control.

So that’s one way things can go wrong. In the other direction, these systems could concentrate too much power in too few hands. No one person or company or country should be able to use the most powerful AI models to impose their worldview on everyone else. A company or country that believes only it can be trusted with this technology can use that belief to justify almost anything else. We have to reject that logic, even when it’s convenient for any one actor.

میرا ماننا ہے کہ ان دونوں کے درمیان ایک عملی راستہ موجود ہے. OpenAI میں ہم ان سوالات پر ایک واضح مقصد کے ساتھ غور کرتے ہیں: مصنوعی ذہانت لوگوں کو اپنی زندگیوں پر زیادہ اختیار دے. اپنی پسند کے مطابق زندگی گزارنے کی زیادہ آزادی. چھوٹے بڑے مسائل حل کرنے اور اپنی برادریوں کو بہتر بنانے کی زیادہ صلاحیت. ہم اندھی خوش فہمی کے جال میں نہیں پھنسنا چاہتے. اور نہ ہی ہم تباہی کی بدترین پیش گوئیوں کے جال میں پھنسنا چاہتے ہیں. کسی بھی انتہا کی طرف کھنچ جانا ہمارے سامنے موجود چیلنجوں کا کامیاب حل تلاش کرنے میں مدد نہیں دے گا، خاص طور پر ایسے وقت میں جب دنیا اور اس کے لوگ ایسے بڑے مسائل سے دوچار ہیں جنہیں حل کرنے میں یہ ٹیکنالوجی مدد دے سکتی ہے. اس لیے ہم ان دونوں انتہاؤں کے درمیان متوازن راستہ اختیار کرنے کی کوشش کرتے ہیں.

ہمارے لیے اس کا مطلب تین اصول ہیں.

پہلا، مصنوعی ذہانت کی صلاحیت بڑھنے کے ساتھ اس کے فیصلوں میں انسان کو مرکزی حیثیت حاصل رہنی چاہیے. انسانی مقاصد سے ہم آہنگی محض ایک نظری تحقیقی سوال نہیں ہے. یہ یقینی بنانے کا کام ہے کہ یہ نظام قابل اعتماد طور پر انسانی اختیار میں رہیں، انسانی اقدار کی عکاسی کریں، اور ترقی کے اگلے مراحل کی رہنمائی میں لوگوں کی مدد کریں. ہم انسانی فہم و فراست یا انسانی اقدار کو خودکار بنانے کی کوشش نہیں کر رہے، اور ہمیں ایسا کرنا بھی نہیں چاہیے.

دوسرا، سائنسی پیش رفت اور اقتصادی ترقی لوگوں کی کوششوں سے اور لوگوں ہی کے لیے ہونی چاہیے. مصنوعی ذہانت کو محققین کی دریافتوں، ڈاکٹروں کے علاج، اساتذہ کی تدریس، کاروباری افراد کے نئی کمپنیاں قائم کرنے، اور برادریوں کے بظاہر ناقابل حل مسائل حل کرنے سمیت بہت سے کاموں میں مدد دینی چاہیے. انسانی ترقی کی مسلسل داستان یہ نہیں کہ اوزار انسان کی عمل کرنے کی صلاحیت کی جگہ لے لیتے ہیں. بلکہ درست اوزار لوگوں کو زیادہ باصلاحیت بناتے ہیں، اور میرا ماننا ہے کہ یہ ہماری موجودہ سوچ سے کہیں آگے جائے گا.

تیسرا، اس ٹیکنالوجی کو ہر فرد کو بااختیار بنانا چاہیے. ایک شاندار مستقبل تب وجود میں آئے گا جب لوگ اپنی صلاحیتوں کو حقیقت میں بدلیں گے اور اپنے لیے، اپنی برادریوں، اپنے ملکوں اور پوری دنیا کے لیے قدر پیدا کریں گے. ممکن ہے ہم اس ٹیکنالوجی کے معماروں میں شامل ہوں، لیکن اس کہانی کے ہیرو ہم نہیں ہیں. ہمارا کردار دنیا بھر کے لوگوں کو وسائل فراہم کرنا اور انسانی مہارت و صلاحیتوں کے کرشمے پر بھروسا کرنا ہے.

اب ہمارے پاس ایسے ماڈل ہیں جو اس علم کو دریافت کر سکتے ہیں جو پہلے کبھی ہمارے پاس نہیں تھا. ریاضی میں ہونے والی ہماری پیش رفت پر غور کریں. تین گرمیاں پہلے ہمارے ماڈل پرائمری اسکول کی ریاضی میں مناسب کارکردگی دکھاتے تھے. دو گرمیاں پہلے وہ ثانوی اسکول کے ریاضی مقابلوں میں خاصے اچھے ہو گئے تھے. گزشتہ گرمیوں میں ہم دنیا کے سب سے باوقار بین الاقوامی ریاضی مقابلے میں طلائی تمغے کی سطح تک پہنچ گئے. اور اسی موسم گرما میں، صرف چند ہفتے پہلے، ہمارے ایک ماڈل نے ملینیم انعامی مسائل میں سے ایک، ناویئر-اسٹوکس مساوات، حل کر دی.

یہ مساوات طیاروں کے ڈیزائن، موسم کی پیش گوئی اور خون کے بہاؤ کے مطالعے میں استعمال ہوتی ہیں. ہم ریاضی کے مسائل محض انہیں حل کرنے کے لیے نہیں حل کر رہے، بلکہ لوگوں کو نیا علم دریافت کرنے اور اسے صحت کی دیکھ بھال بہتر بنانے، معیار زندگی بلند کرنے اور دنیا بھر میں ہر شخص کی صلاحیتوں کو وسعت دینے کے لیے بااختیار بنا رہے ہیں. ابھی بہت کچھ دریافت ہونا باقی ہے.

لیکن یہ نہایت اہم ہے کہ کمپنیاں جمہوری عمل کی جگہ نہ لیں.

اگر مصنوعی ذہانت کو جمہوری بنانا ہے تو اہم ترین فیصلے صرف سان فرانسسکو کی تجربہ گاہیں نہیں کر سکتیں. ان فیصلوں کی تشکیل جمہوری عمل کے ذریعے اور ان حکومتوں کے ہاتھوں ہونی چاہیے جو اپنے عوام کے سامنے جواب دہ ہوں.

بین الاقوامی سطح پر اس کے لیے تعاون درکار ہوگا. ہماری تاریخ میں ایسے مواقع آئے ہیں جب باہم مقابلہ کرنے والے اور ایک دوسرے کو زیادہ پسند نہ کرنے والے ممالک بھی کسی طاقتور نئی ٹیکنالوجی کے سامنے مشترکہ مفادات اور اجتماعی بھلائی کے لیے متحد ہوئے ہیں. ہمارا ماننا ہے کہ یہ بھی ایسا ہی ایک موقع ہونا چاہیے.

ہمیں جدید ترین مصنوعی ذہانت کے باہم تکمیلی قومی اور بین الاقوامی معیارات کے لیے ایک طریقۂ کار درکار ہے: صلاحیتوں کی پیمائش، خطرات کے جائزے، حفاظتی اقدامات کے کافی ہونے کا تعین، اور نظاموں کے زیادہ خود مختار ہونے کے ساتھ بامعنی انسانی نگرانی برقرار رکھنے کے معیارات.

ہمیں مشترکہ معیارات درکار ہیں تاکہ ممالک شواہد کا موازنہ، تعمیل کی تصدیق، اور موجودہ صورت حال کے بارے میں مشترکہ زبان اور فہم قائم کر سکیں.

ہمیں واقعات کی درست اور فوری اطلاع کے ساتھ ان کی درجہ بندی اور رپورٹنگ کے ضابطے درکار ہیں، تاکہ دنیا ناکامیوں کے تباہ کن سانحات بننے سے پہلے ان سے سیکھ سکے.

اور ہمیں حکومتوں، اہم بنیادی ڈھانچے کے منتظمین اور تکنیکی ماہرین کے درمیان محفوظ رابطے درکار ہیں تاکہ ابھرتی ہوئی کمزوریوں اور نئے خطرات سے متعلق معلومات کا تبادلہ ہو سکے.

ظاہر ہے، ان معیارات سے موجودہ اداروں کی اجارہ داری قائم نہیں ہونی چاہیے اور نہ ہی کسی ایک کاروباری ماڈل کو دوسرے پر ترجیح ملنی چاہیے. ان معیارات کو کھلے اور بند ماڈل تیار کرنے والوں، نئے آنے والوں اور قائم شدہ تجربہ گاہوں، قومی اختیار اور بین الاقوامی تعاون، سب کی حمایت کرنی چاہیے. ہر حکومت کو خود فیصلہ کرنا چاہیے کہ ان معیارات کو اپنے قانونی نظام میں کیسے شامل کیا جائے. لیکن ہم سب کے لیے بہتر ہوگا اگر عالمی سطح پر اچھے شواہد، مؤثر حفاظتی اقدامات اور اچھی نگرانی کی تعریف پر اتفاق ہو جائے.

ہمارے پاس تمام سوالوں کے جواب نہیں ہیں اور ہم بہتر تجاویز کا کھلے دل سے خیرمقدم کرتے ہیں. ہم آپ سب کے ساتھ مل کر کام کرنے اور آگے کا راستہ تلاش کرنے کی پوری کوشش کے لیے تیار ہیں.

ہم ایک دوراہے پر کھڑے ہیں. ایک راستہ ایسی دنیا کی طرف جاتا ہے جہاں طاقت چند ہاتھوں میں مرکوز ہو، فیصلے غیر شفاف ہوں، اور لوگوں کو لگے کہ ان کی زندگی کی سب سے اہم ٹیکنالوجی ان کی مرضی کے بغیر ان پر مسلط کی جا رہی ہے. دوسرا راستہ ایسی دنیا کی طرف جاتا ہے جہاں مصنوعی ذہانت لوگوں کے لیے کام کرے کیونکہ لوگ جمہوری اداروں کے ذریعے اس کی ترقی اور رہنمائی کا فیصلہ کرنے میں شریک ہوں؛ جہاں سائنسی پیش رفت حقیقی زندگیوں کو بہتر بنائے؛ جہاں زیادہ لوگ مستقبل کی تشکیل میں حصہ لے سکیں؛ اور جہاں یہ ٹیکنالوجی افراد اور برادریوں کو اپنی پسند کے مطابق زندگی گزارنے کے لیے مزید بااختیار بناتی رہے. یہ ایسا مستقبل ہے جس میں صلاحیتیں حقیقت بنتی ہیں اور جوش و حیرت کے نئے امکانات پیدا ہوتے ہیں.

اور ہمارا ماننا ہے کہ یہ وہ مستقبل ہے جسے تعمیر کرنا ضروری ہے. آپ کا بہت شکریہ.