Sam Altman’s remarks at the United Nations Security Council

Today, OpenAI CEO Sam Altman addressed the United Nations Security Council on artificial intelligence. He discussed AI’s potential to expand opportunity, the importance of keeping powerful systems under human control, and the need for international cooperation on AI safety.

Thank you, Mr. President and your Excellencies. I’m honored to be here and to be able to speak with you all at this important time.

We have been talking about artificial intelligence for years, but it feels different in recent weeks and months. Rapid model progress has made the timeline feel more compressed, the upside more tangible, but also the stakes and the risks more immediate.

We have a choice in front of us. AI can either be more like a new Renaissance of creativity and discovery, or more like a new Industrial Revolution of upheaval and disarray.

The Renaissance was a time when new tools, new ideas, and new institutions expanded what people believed they could do. AI can play that role for our time. I believe that people are much more capable than they imagine themselves to be, but have been held back by limited technology that was meant to empower but instead distracts and often steals attention.

The best version of AI is not about making people cogs in a giant machine, or optimizing every part of life until the human parts disappear. It is about giving people more agency in an ever more complex world: more ability to learn, to create, discover, build, participate. There are many things that AI cannot—and should not—automate.

AI should be built for people, not simply to turn the crank of the machines faster for their own sake. Some of the things people working to build AI have said are so dystopian that they sound like the plot of bad science fiction movies.

Anything this powerful is also intimidating. This moment is complicated as we feel both tremendous potential and very understandable anxiety at the same time.

These models can help people discover new knowledge: new medicines, better health care, stronger education, and build more productive economies. They can be new tools for people to pursue dreams and ambition that today feel out of reach. The complexity of life has increased so dramatically for the average person. AI can be a defensive tool against this complexity as much as it can be this tool of unprecedented discovery and innovation.

On the other hand, as AI systems become more capable and more autonomous, they could move faster than our institutions, concentrate power in too few hands, or make decisions that people no longer understand or control.

That concern becomes especially important as we approach systems that can improve themselves and future versions of themselves, often called recursive self-improvement. As the process of building AI becomes more automated, the pace of AI progress could accelerate rapidly. This moment calls for extreme care.

I largely agree with Professor Bengio. Although I’ll say two instead of three—I believe there are two ways that AI progress could go very badly that we have to avoid.

First, we could lose control of the future to AI. The risk is that it moves so fast that people can no longer follow what’s happening or intervene when needed. This would obviously be terrible.

The industry must not accept too much technological risk just because the benefits are too great and that they feel too important to slow down. Beating companies in a competitive pace is not a reason to make rash decisions. Nor do we believe we are locked in a race where we are unable to do that. We have unilaterally slowed down in the past. We will do so in the future. We do not want to build systems—we think it’s important that everyone avoids building systems—where we cannot make the alignment, monitorability, and safety guarantees that we must.

We need to understand what these systems are doing and have strong evidence that they will do what people intend, even as they get very, very smart. Actually especially as they get very very smart. It doesn’t matter whether people put the risk of catastrophe at 10%, or 1%, or 12%, or .1%. None of these levels are remotely acceptable. And we should not train models that we cannot make an extremely strong case that we will be able to keep under human control.

So that’s one way things can go wrong. In the other direction, these systems could concentrate too much power in too few hands. No one person or company or country should be able to use the most powerful AI models to impose their worldview on everyone else. A company or country that believes only it can be trusted with this technology can use that belief to justify almost anything else. We have to reject that logic, even when it’s convenient for any one actor.

אני מאמין שיש דרך מעשית להתמודד עם שני האתגרים האלה. ב-OpenAI אנחנו ניגשים לשאלות האלה עם מטרה ברורה: AI צריכה להעניק לאנשים שליטה רבה יותר בחייהם. יותר חופש לחיות כפי שהם רוצים. יותר יכולת לפתור בעיות, גדולות כקטנות, ולשפר את החיים בקהילות שלהם. אנחנו לא רוצים ליפול למלכודת של אופטימיות עיוורת. אנחנו גם לא רוצים ליפול למלכודת של תפיסה שלפיה האסון בלתי נמנע. היסחפות לאחד הקצוות לא תעזור לנו להתמודד בהצלחה עם האתגרים שלפנינו, בייחוד בתקופה שבה העולם ותושביו ניצבים בפני אתגרים עצומים שהטכנולוגיה הזאת יכולה לסייע בפתרונם. לכן אנחנו מנסים ללכת בדרך האמצע בין שני הקטבים האלה.

מבחינתנו, פירוש הדבר הוא שלושה עקרונות.

ראשית, ככל שיכולותיה של AI מתרחבות, בני האדם חייבים להישאר במרכז קבלת ההחלטות הנוגעות לה. התאמת AI לערכים ולכוונות אנושיים אינה שאלת מחקר מופשטת. זו העבודה שנועדה להבטיח שהמערכות האלה יישארו באופן מהימן בשליטה אנושית, ישקפו ערכים אנושיים ויסייעו לאנשים לכוון את שלבי הפיתוח הבאים. אנחנו לא מנסים להפוך את שיקול הדעת האנושי או את הערכים האנושיים לאוטומטיים, ואסור לנו לעשות זאת.

שנית, פירות הקִדמה המדעית והצמיחה הכלכלית חייבים להיווצר בידי אנשים ולמען אנשים. AI צריכה לעזור לחוקרים לגלות תגליות, לרופאים לטפל בחולים, למורים ללמד תלמידים, ליזמים להקים חברות, לקהילות לפתור בעיות שנראו בלתי פתירות, ועוד הרבה מעבר לכך. הסיפור המתמשך של הקִדמה האנושית אינו סיפור על כלים שמחליפים את יכולתם של בני האדם לבחור ולפעול. זהו סיפור על כך שהכלים הנכונים מרחיבים את יכולותיהם של אנשים, ואני מאמין שהמגמה הזאת תגיע הרבה מעבר למה שאנחנו חושבים שאפשרי.

שלישית, הטכנולוגיה הזאת חייבת להעצים כל אדם בפני עצמו. עתיד נפלא ייבנה כשאנשים יממשו את הפוטנציאל שלהם וייצרו ערך לעצמם, לקהילותיהם, למדינותיהם ולעולם כולו. אנחנו אולי נמנים עם מפתחי הטכנולוגיה הזאת, אבל אנחנו לא גיבורי הסיפור. תפקידנו הוא להעניק לאנשים ברחבי העולם את הכלים לפעול, ולתת אמון בקסם הטמון בכישורים וביכולות של האנושות.

כעת יש לנו מודלים המסוגלים לגלות ידע שמעולם לא היה בידינו. קחו למשל את ההתקדמות שראינו במתמטיקה. בקיץ שלפני שלוש שנים, המודלים שלנו הסתדרו לא רע עם מתמטיקה של בית ספר יסודי. בקיץ שלפני שנתיים, הם כבר היו טובים למדי בתחרויות מתמטיקה לתלמידי תיכון. בקיץ שעבר הגענו לרמה של מדליית זהב בתחרות המתמטיקה הבינלאומית היוקרתית ביותר. ורק לפני כמה שבועות, בקיץ הזה, אחד המודלים שלנו פתר את אחת מבעיות המילניום: משוואות נאוויה–סטוקס.

המשוואות האלה משמשות לתכנון כלי טיס, לחיזוי מזג האוויר ולחקר זרימת הדם. אנחנו לא פותרים בעיות מתמטיות לשם הפתרון עצמו, אלא כדי לאפשר לאנשים לגלות ידע חדש ולהשתמש בו לשיפור שירותי הבריאות, להעלאת רמת החיים ולהרחבת הפוטנציאל של כל אדם בעולם. נותר עוד כל כך הרבה לגלות.

אבל חשוב מאוד שחברות לא יחליפו את התהליך הדמוקרטי.

כדי ש-AI תהיה דמוקרטית, ההחלטות החשובות ביותר אינן יכולות להתקבל רק במעבדות בסן פרנסיסקו. עליהן להתגבש בתהליכים דמוקרטיים ובידי ממשלות הנושאות באחריות כלפי הציבור שאותו הן משרתות.

ברמה הבינלאומית, הדבר ידרוש שיתוף פעולה. לאורך ההיסטוריה היו תקופות שבהן מדינות שהתחרו זו בזו, ולא תמיד חיבבו זו את זו במיוחד, בכל זאת חברו יחד למען אינטרסים משותפים ולטובת הכלל לנוכח טכנולוגיה חדשה ורבת עוצמה. אנחנו מאמינים שזו חייבת להיות אחת התקופות האלה.

אנחנו זקוקים למנגנון לתקנים לאומיים ובינלאומיים משלימים בתחום frontier AI: תקנים למדידת יכולות, להערכת סיכונים, לקביעה אם אמצעי ההגנה מספקים ולשמירה על פיקוח אנושי משמעותי ככל שהמערכות נעשות עצמאיות יותר.

אנחנו זקוקים לתקנים משותפים כדי שמדינות יוכלו להשוות ראיות, לוודא עמידה בדרישות ולגבש שפה משותפת והבנה משותפת של המתרחש.

אנחנו זקוקים לדיווח מדויק ומהיר על תקריות ולנהלי סיווג ודיווח, כדי שהעולם יוכל ללמוד מכשלים לפני שיהפכו לאסונות.

ואנחנו זקוקים לערוצי תקשורת מאובטחים בין ממשלות, מפעילי תשתיות קריטיות ומומחים טכניים, לשיתוף מידע על נקודות תורפה שמתגלות ועל איומים חדשים.

מובן שהתקנים האלה אינם אמורים לקבע את מעמדם של הגופים הקיימים או להעדיף מודל עסקי אחד על פני אחר. עליהם לתמוך במפתחי מודלים פתוחים וסגורים, בגופים חדשים ובמעבדות מבוססות, בסמכותן של מדינות ובשיתוף פעולה בינלאומי. כל ממשלה צריכה להחליט כיצד לשלב את התקנים במערכת המשפט שלה. אבל כולנו נצא נשכרים אם נוכל להסכים ברמה העולמית מה נחשב לראיות מוצקות, לאמצעי הגנה ראויים ולפיקוח ראוי.

אין לנו את כל התשובות, ואנחנו פתוחים מאוד לכל רעיון טוב יותר. אנחנו מוכנים לעבוד עם כולכם ולעשות כל שביכולתנו כדי למצוא את הדרך קדימה.

אנחנו ניצבים בצומת דרכים. דרך אחת מובילה לעולם שבו הכוח מרוכז בידי מעטים, ההחלטות אינן שקופות, ואנשים מרגישים שהטכנולוגיה החשובה ביותר בימי חייהם היא דבר שנכפה עליהם. הדרך האחרת מובילה לעולם שבו AI פועלת למען אנשים, משום שהם שותפים, דרך מוסדות דמוקרטיים, להחלטות על אופן התפתחותה ולהכוונתה; עולם שבו הקִדמה המדעית משפרת את חייהם של אנשים בפועל; שבו יותר אנשים יכולים להיות שותפים לעיצוב העתיד; ושבו הטכנולוגיה הזאת ממשיכה להעניק ליחידים ולקהילות יכולת רבה יותר לחיות כרצונם. זהו עתיד של מימוש הפוטנציאל, של התרגשות ושל פליאה.

וזה העתיד שאנחנו מאמינים שכדאי לבנות. תודה רבה.