Sam Altman’s remarks at the United Nations Security Council

Today, OpenAI CEO Sam Altman addressed the United Nations Security Council on artificial intelligence. He discussed AI’s potential to expand opportunity, the importance of keeping powerful systems under human control, and the need for international cooperation on AI safety.

Thank you, Mr. President and your Excellencies. I’m honored to be here and to be able to speak with you all at this important time.

We have been talking about artificial intelligence for years, but it feels different in recent weeks and months. Rapid model progress has made the timeline feel more compressed, the upside more tangible, but also the stakes and the risks more immediate.

We have a choice in front of us. AI can either be more like a new Renaissance of creativity and discovery, or more like a new Industrial Revolution of upheaval and disarray.

The Renaissance was a time when new tools, new ideas, and new institutions expanded what people believed they could do. AI can play that role for our time. I believe that people are much more capable than they imagine themselves to be, but have been held back by limited technology that was meant to empower but instead distracts and often steals attention.

The best version of AI is not about making people cogs in a giant machine, or optimizing every part of life until the human parts disappear. It is about giving people more agency in an ever more complex world: more ability to learn, to create, discover, build, participate. There are many things that AI cannot—and should not—automate.

AI should be built for people, not simply to turn the crank of the machines faster for their own sake. Some of the things people working to build AI have said are so dystopian that they sound like the plot of bad science fiction movies.

Anything this powerful is also intimidating. This moment is complicated as we feel both tremendous potential and very understandable anxiety at the same time.

These models can help people discover new knowledge: new medicines, better health care, stronger education, and build more productive economies. They can be new tools for people to pursue dreams and ambition that today feel out of reach. The complexity of life has increased so dramatically for the average person. AI can be a defensive tool against this complexity as much as it can be this tool of unprecedented discovery and innovation.

On the other hand, as AI systems become more capable and more autonomous, they could move faster than our institutions, concentrate power in too few hands, or make decisions that people no longer understand or control.

That concern becomes especially important as we approach systems that can improve themselves and future versions of themselves, often called recursive self-improvement. As the process of building AI becomes more automated, the pace of AI progress could accelerate rapidly. This moment calls for extreme care.

I largely agree with Professor Bengio. Although I’ll say two instead of three—I believe there are two ways that AI progress could go very badly that we have to avoid.

First, we could lose control of the future to AI. The risk is that it moves so fast that people can no longer follow what’s happening or intervene when needed. This would obviously be terrible.

The industry must not accept too much technological risk just because the benefits are too great and that they feel too important to slow down. Beating companies in a competitive pace is not a reason to make rash decisions. Nor do we believe we are locked in a race where we are unable to do that. We have unilaterally slowed down in the past. We will do so in the future. We do not want to build systems—we think it’s important that everyone avoids building systems—where we cannot make the alignment, monitorability, and safety guarantees that we must.

We need to understand what these systems are doing and have strong evidence that they will do what people intend, even as they get very, very smart. Actually especially as they get very very smart. It doesn’t matter whether people put the risk of catastrophe at 10%, or 1%, or 12%, or .1%. None of these levels are remotely acceptable. And we should not train models that we cannot make an extremely strong case that we will be able to keep under human control.

So that’s one way things can go wrong. In the other direction, these systems could concentrate too much power in too few hands. No one person or company or country should be able to use the most powerful AI models to impose their worldview on everyone else. A company or country that believes only it can be trusted with this technology can use that belief to justify almost anything else. We have to reject that logic, even when it’s convenient for any one actor.

به باور من، برای عبور از هر دو چالش راهی عمل‌گرایانه وجود دارد. ما در OpenAI با هدفی روشن به این پرسش‌ها می‌پردازیم: هوش مصنوعی باید اختیار بیشتری بر زندگی خود به مردم بدهد. آزادی بیشتر برای آنکه هر طور می‌خواهند زندگی کنند. توانایی بیشتر برای حل مسائل کوچک و بزرگ و بهبود جوامع خود. نمی‌خواهیم در دام خوش‌بینی کورکورانه بیفتیم. در عین حال، نمی‌خواهیم گرفتار بدبینی آخرالزمانی شویم. کشیده شدن به هر یک از این دو افراط، کمکی نمی‌کند تا چالش‌های پیش رو را با موفقیت حل کنیم؛ به‌ویژه اکنون که جهان و مردمش با مشکلات عظیمی روبه‌رو هستند که این فناوری می‌تواند به حل آن‌ها کمک کند. ازاین‌رو می‌کوشیم راه میانه را میان این دو قطب در پیش بگیریم.

برای ما، این رویکرد بر سه اصل استوار است.

نخست، با افزایش توانایی هوش مصنوعی، مردم باید همچنان در مرکز تصمیم‌گیری‌های مربوط به آن باقی بمانند. هم‌راستاسازی صرفاً یک پرسش انتزاعی پژوهشی نیست. بلکه تلاشی است برای اطمینان از اینکه این سامانه‌ها به‌طور قابل‌اعتماد تحت کنترل انسان باقی بمانند، بازتاب‌دهنده ارزش‌های انسانی باشند و به مردم کمک کنند مراحل بعدی توسعه را هدایت کنند. ما نمی‌کوشیم و نباید بکوشیم قضاوت یا ارزش‌های انسانی را خودکار کنیم.

دوم، منافع پیشرفت علمی و رشد اقتصادی باید به دست مردم و برای مردم تحقق یابد. هوش مصنوعی باید به پژوهشگران در کشف یافته‌های جدید، به پزشکان در درمان بیماران، به معلمان در آموزش دانش‌آموزان، به کارآفرینان در راه‌اندازی شرکت‌ها و به جوامع در حل مسائلی که دست‌نیافتنی به نظر می‌رسیدند کمک کند، و بسیار فراتر از این‌ها برود. داستان پیوسته پیشرفت بشر این نیست که ابزارها جای عاملیت انسان را می‌گیرند. بلکه ابزارهای مناسب مردم را توانمندتر می‌کنند، و باور دارم این روند بسیار فراتر از آنچه ممکن می‌دانیم پیش خواهد رفت.

سوم، این فناوری باید هر فرد را توانمند کند. آینده‌ای درخشان زمانی شکل می‌گیرد که مردم توانمندی‌های خود را شکوفا کنند و برای خود، جوامعشان، کشورهایشان و جهان گسترده‌تر ارزش بیافرینند. شاید ما یکی از سازندگان این فناوری باشیم، اما قهرمانان این داستان نیستیم. نقش ما توانمندسازی مردم سراسر جهان و اعتماد به نیروی شگفت‌انگیز مهارت‌ها و استعدادهای بشری است.

اکنون مدل‌هایی داریم که می‌توانند دانشی را کشف کنند که هرگز پیش از این در اختیار نداشته‌ایم. پیشرفتی را در نظر بگیرید که در ریاضیات شاهدش بوده‌ایم. سه تابستان پیش، مدل‌های ما در ریاضیات دوره ابتدایی عملکرد قابل‌قبولی داشتند. دو تابستان پیش، در مسابقات ریاضی دبیرستانی بسیار خوب عمل می‌کردند. تابستان گذشته، در معتبرترین مسابقه بین‌المللی ریاضی به سطح مدال طلا رسیدیم. و همین چند هفته پیش در تابستان امسال، یکی از مدل‌های ما یکی از مسائل جایزه هزاره، یعنی معادلات ناویر–استوکس، را حل کرد.

از این معادلات در طراحی هواپیما، پیش‌بینی آب‌وهوا و مطالعه جریان خون استفاده می‌شود. ما مسائل ریاضی را صرفاً به‌خاطر خودشان حل نمی‌کنیم؛ هدفمان توانمندسازی مردم برای کشف دانش جدید و استفاده از آن برای بهبود سلامت، ارتقای سطح زندگی و گسترش ظرفیت‌های همه مردم جهان است. هنوز چیزهای بسیار زیادی برای کشف کردن باقی مانده است.

اما بسیار مهم است که شرکت‌ها جایگزین فرایند دموکراتیک نشوند.

اگر قرار است هوش مصنوعی دموکراتیک باشد، مهم‌ترین تصمیم‌ها را نمی‌توان تنها در آزمایشگاه‌های سان‌فرانسیسکو گرفت. این تصمیم‌ها باید از طریق فرایندهای دموکراتیک و به دست دولت‌هایی شکل بگیرند که در برابر مردمِ تحت خدمت خود پاسخ‌گو هستند.

در سطح بین‌المللی، این امر مستلزم همکاری است. در طول تاریخ، زمان‌هایی بوده است که کشورها، با وجود رقابت و روابط نه‌چندان دوستانه، در مواجهه با فناوری جدید و قدرتمندی برای تأمین منافع مشترک و خیر جمعی گرد هم آمده‌اند. ما معتقدیم اکنون باید یکی از همان زمان‌ها باشد.

ما به سازوکاری برای تدوین استانداردهای مکمل ملی و بین‌المللی درباره هوش مصنوعی پیشرو نیاز داریم: استانداردهایی برای سنجش قابلیت‌ها، ارزیابی خطرها، تعیین کفایت تدابیر حفاظتی و حفظ نظارت مؤثر انسانی هم‌زمان با خودمختارتر شدن سامانه‌ها.

به استانداردهای مشترکی نیاز داریم تا کشورها بتوانند شواهد را مقایسه کنند، پایبندی را بسنجند و درباره آنچه رخ می‌دهد، زبان و درکی مشترک داشته باشند.

به گزارش‌دهی دقیق و سریع رویدادها و نیز پروتکل‌های طبقه‌بندی و گزارش‌دهی نیاز داریم تا جهان پیش از آنکه ناکامی‌ها به فاجعه تبدیل شوند، از آن‌ها درس بگیرد.

همچنین برای به‌اشتراک‌گذاری آسیب‌پذیری‌های نوظهور و تهدیدهای جدید، به کانال‌های امن میان دولت‌ها، گردانندگان زیرساخت‌های حیاتی و کارشناسان فنی نیاز داریم.

بدیهی است که این استانداردها نباید موقعیت بازیگران فعلی را تثبیت کنند یا یک مدل کسب‌وکار را بر دیگری ترجیح دهند. این استانداردها باید از توسعه‌دهندگان مدل‌های باز و بسته، تازه‌واردان و آزمایشگاه‌های باسابقه، اقتدار ملی و همکاری بین‌المللی پشتیبانی کنند. هر دولت باید خود تصمیم بگیرد که چگونه این استانداردها را در نظام حقوقی‌اش بگنجاند. اما اگر بتوانیم در سطح جهانی درباره ویژگی‌های شواهد معتبر، تدابیر حفاظتی مناسب و نظارت مؤثر به توافق برسیم، وضع همه ما بهتر خواهد شد.

ما همه پاسخ‌ها را نداریم و با روی باز از هر ایده بهتری استقبال می‌کنیم. آماده‌ایم با همه شما همکاری کنیم و با تمام توان بکوشیم تا راه پیش رو را بیابیم.

ما بر سر یک دوراهی هستیم. یک مسیر به جهانی می‌انجامد که در آن قدرت متمرکز است، تصمیم‌ها شفاف نیستند و مردم احساس می‌کنند مهم‌ترین فناوری دوران زندگی‌شان چیزی است که بر آنان تحمیل می‌شود. مسیر دیگر به جهانی می‌انجامد که در آن هوش مصنوعی در خدمت مردم است، زیرا مردم از طریق نهادهای دموکراتیک در تصمیم‌گیری درباره چگونگی توسعه و هدایت آن نقش دارند؛ پیشرفت علمی زندگی واقعی مردم را بهبود می‌بخشد؛ افراد بیشتری می‌توانند در ساخت آینده مشارکت کنند؛ و این فناوری همچنان به افراد و جوامع قدرت بیشتری می‌دهد تا آن‌گونه که می‌خواهند زندگی کنند. این آینده‌ای سرشار از شکوفایی توانمندی‌ها، هیجان و شگفتی است.

و ما معتقدیم این همان آینده‌ای است که ارزش ساختن دارد. بسیار سپاسگزارم.