Sam Altman’s remarks at the United Nations Security Council

Today, OpenAI CEO Sam Altman addressed the United Nations Security Council on artificial intelligence. He discussed AI’s potential to expand opportunity, the importance of keeping powerful systems under human control, and the need for international cooperation on AI safety.

Thank you, Mr. President and your Excellencies. I’m honored to be here and to be able to speak with you all at this important time.

We have been talking about artificial intelligence for years, but it feels different in recent weeks and months. Rapid model progress has made the timeline feel more compressed, the upside more tangible, but also the stakes and the risks more immediate.

We have a choice in front of us. AI can either be more like a new Renaissance of creativity and discovery, or more like a new Industrial Revolution of upheaval and disarray.

The Renaissance was a time when new tools, new ideas, and new institutions expanded what people believed they could do. AI can play that role for our time. I believe that people are much more capable than they imagine themselves to be, but have been held back by limited technology that was meant to empower but instead distracts and often steals attention.

The best version of AI is not about making people cogs in a giant machine, or optimizing every part of life until the human parts disappear. It is about giving people more agency in an ever more complex world: more ability to learn, to create, discover, build, participate. There are many things that AI cannot—and should not—automate.

AI should be built for people, not simply to turn the crank of the machines faster for their own sake. Some of the things people working to build AI have said are so dystopian that they sound like the plot of bad science fiction movies.

Anything this powerful is also intimidating. This moment is complicated as we feel both tremendous potential and very understandable anxiety at the same time.

These models can help people discover new knowledge: new medicines, better health care, stronger education, and build more productive economies. They can be new tools for people to pursue dreams and ambition that today feel out of reach. The complexity of life has increased so dramatically for the average person. AI can be a defensive tool against this complexity as much as it can be this tool of unprecedented discovery and innovation.

On the other hand, as AI systems become more capable and more autonomous, they could move faster than our institutions, concentrate power in too few hands, or make decisions that people no longer understand or control.

That concern becomes especially important as we approach systems that can improve themselves and future versions of themselves, often called recursive self-improvement. As the process of building AI becomes more automated, the pace of AI progress could accelerate rapidly. This moment calls for extreme care.

I largely agree with Professor Bengio. Although I’ll say two instead of three—I believe there are two ways that AI progress could go very badly that we have to avoid.

First, we could lose control of the future to AI. The risk is that it moves so fast that people can no longer follow what’s happening or intervene when needed. This would obviously be terrible.

The industry must not accept too much technological risk just because the benefits are too great and that they feel too important to slow down. Beating companies in a competitive pace is not a reason to make rash decisions. Nor do we believe we are locked in a race where we are unable to do that. We have unilaterally slowed down in the past. We will do so in the future. We do not want to build systems—we think it’s important that everyone avoids building systems—where we cannot make the alignment, monitorability, and safety guarantees that we must.

We need to understand what these systems are doing and have strong evidence that they will do what people intend, even as they get very, very smart. Actually especially as they get very very smart. It doesn’t matter whether people put the risk of catastrophe at 10%, or 1%, or 12%, or .1%. None of these levels are remotely acceptable. And we should not train models that we cannot make an extremely strong case that we will be able to keep under human control.

So that’s one way things can go wrong. In the other direction, these systems could concentrate too much power in too few hands. No one person or company or country should be able to use the most powerful AI models to impose their worldview on everyone else. A company or country that believes only it can be trusted with this technology can use that belief to justify almost anything else. We have to reject that logic, even when it’s convenient for any one actor.

Меніңше, осы екі мәселені де шешудің прагматикалық жолы бар. OpenAI бұл мәселелерге нақты мақсатпен қарайды: ЖИ адамдарға өз өмірін басқаруға көбірек мүмкіндік беруі керек. Өз қалауынша өмір сүруге көбірек еркіндік беруі керек. Үлкенді-кішілі мәселелерді шешіп, өз қауымдастықтарын жақсартуға көбірек мүмкіндік беруі керек. Біз соқыр оптимизмнің тұзағына түскіміз келмейді. Ақырзаманшылдықтың тұзағына да түскіміз келмейді. Қай шектен шығуға болсын бой алдыру алдымыздағы қиындықтарды сәтті еңсеруге көмектеспейді. Әсіресе әлем мен адамзат осы технология шешуге көмектесетін орасан зор мәселелерге тап болған шақта бұл аса маңызды. Сондықтан осы екі шектің арасындағы орта жолмен жүруге тырысамыз.

Біз үшін бұл үш қағиданы білдіреді.

Біріншіден, ЖИ мүмкіндіктері артқан сайын, ЖИ-ге қатысты шешімдердің өзегінде адам қалуға тиіс. Сәйкестік — жай ғана дерексіз зерттеу мәселесі емес. Бұл — жүйелердің адам бақылауында сенімді түрде қалуын, адами құндылықтарға сай болуын және адамдарға дамудың келесі кезеңдеріне бағыт беруге көмектесуін қамтамасыз ету жұмысы. Біз адамның пайымын немесе адами құндылықтарды автоматтандыруға ұмтылмаймыз және бұлай істеуге болмайды.

Екіншіден, ғылыми прогресс пен экономикалық өсім адамдардың қатысуымен жүзеге асып, адамдардың игілігіне қызмет етуге тиіс. ЖИ зерттеушілерге жаңалық ашуға, дәрігерлерге науқастарды емдеуге, мұғалімдерге оқушыларды оқытуға, кәсіпкерлерге компания құруға, қауымдастықтарға бұрын қол жетпестей көрінген мәселелерді шешуге және басқа да көптеген іске көмектесуі керек. Адамзат прогресінің үздіксіз тарихы құралдардың адамның дербес әрекет ету қабілетін алмастыруынан тұрмайды. Керісінше, дұрыс құралдар адамның мүмкіндігін арттырады. Меніңше, бұл біз қазір мүмкін деп ойлаған деңгейден әлдеқайда жоғары нәтижеге жеткізеді.

Үшіншіден, бұл технология әр адамның мүмкіндігін кеңейтуге тиіс. Жарқын болашақ адамдар өз әлеуетін іске асырып, өзі, қауымдастығы, елі және бүкіл әлем үшін құндылық жасағанда қалыптасады. Біз бұл технологияны жасаушылардың бірі болуымыз мүмкін, бірақ осы хикаяның қаһармандары біз емеспіз. Біздің міндетіміз — дүние жүзіндегі адамдарға мүмкіндік беру және адамзаттың шеберлігі мен қабілеттерінің ғажайып күшіне сену.

Қазір бізде бұрын болмаған жаңа білімді ашуға қабілетті модельдер бар. Математикадағы ілгерілеуімізге назар аударайық. Үш жаз бұрын модельдеріміз бастауыш мектеп математикасын жаман білмейтін. Екі жаз бұрын олар жоғары сынып оқушыларына арналған математикалық сайыстарда жақсы нәтиже көрсетті. Өткен жазда біз ең беделді халықаралық математика сайысында алтын медаль деңгейіне жеттік. Ал биылғы жазда, бірнеше апта бұрын ғана, модельдеріміздің бірі Мыңжылдық сыйлығы есептерінің бірі — Навье — Стокс теңдеулерін шешті.

Бұл теңдеулер ұшақ жобалауда, ауа райын болжауда және қан ағысын зерттеуде қолданылады. Біз математикалық есептерді жай ғана есеп шығару үшін шешпейміз. Мақсатымыз — адамдарға жаңа білім ашуға және оны денсаулық сақтауды жақсартуға, тұрмыс деңгейін көтеруге әрі дүние жүзіндегі әр адамның әлеуетін кеңейтуге қолдануға мүмкіндік беру. Әлі де ашылмаған дүние өте көп.

Алайда компаниялардың демократиялық үдерісті алмастырмауы өте маңызды.

ЖИ демократиялық сипатта болсын десек, ең маңызды шешімдерді Сан-Францискодағы зертханалар ғана қабылдамауға тиіс. Олар демократиялық үдерістер арқылы және өздері қызмет ететін халыққа есеп беретін үкіметтердің қатысуымен қалыптасуға тиіс.

Халықаралық деңгейде бұл ынтымақтастықты қажет етеді. Тарихта өзара бәсекелес әрі бір-бірін үнемі ұната бермейтін елдердің өзі қуатты жаңа технология пайда болғанда ортақ мүдде мен жалпы игілік үшін күш біріктірген кездер болды. Біздіңше, бұл да сондай кезең болуы керек.

Озық ЖИ бойынша бірін-бірі толықтыратын ұлттық және халықаралық стандарттар тетігі қажет: олар мүмкіндіктерді өлшеуге, тәуекелдерді бағалауға, қорғаныс шараларының жеткіліктілігін анықтауға және жүйелер дербестене түскен сайын адамның пәрменді бақылауын сақтауға тиіс.

Елдер дәлелдерді салыстырып, талаптардың орындалуын тексеріп, болып жатқан жағдай туралы ортақ тіл мен түсінік қалыптастыруы үшін бірыңғай стандарттар қажет.

Әлем сәтсіздіктер апатқа ұласпай тұрып олардан сабақ алуы үшін оқиғалар туралы дәл әрі жедел хабарлау, оларды жіктеу және есеп беру хаттамалары қажет.

Сондай-ақ жаңа осалдықтар мен қауіптер туралы ақпарат алмасу үшін үкіметтер, аса маңызды инфрақұрылым операторлары және техникалық мамандар арасында қорғалған арналар қажет.

Әрине, бұл стандарттар қазіргі жетекші компаниялардың үстемдігін бекітпеуге және бір бизнес-модельге басқаларынан артықшылық бермеуге тиіс. Олар ашық және жабық модельдерді әзірлеушілерді, нарыққа жаңадан кіргендер мен бұрыннан қалыптасқан зертханаларды, ұлттық өкілеттікті және халықаралық ынтымақтастықты қолдауға тиіс. Әр үкімет стандарттарды өз құқықтық жүйесіне қалай енгізетінін өзі шешуге тиіс. Алайда әлемдік деңгейде сенімді дәлел, тиімді қорғаныс шаралары мен пәрменді бақылау қандай болуы керектігі жөнінде келісе алсақ, бәріміз ұтамыз.

Бізде барлық сұрақтың жауабы жоқ, сондықтан кез келген жақсырақ идеяға ашықпыз. Бәріңізбен бірге жұмыс істеуге және алға бастайтын жолды табуға бар күшімізді салуға дайынбыз.

Біз қазір таңдау алдында тұрмыз. Бір жол билік шоғырланған, шешімдер жабық қабылданатын және адамдар өз өміріндегі ең маңызды технология өздеріне сырттан таңылып жатқандай сезінетін әлемге апарады. Екінші жол ЖИ адамдар үшін қызмет ететін әлемге бастайды, өйткені адамдар демократиялық институттар арқылы оның қалай дамуы керектігін айқындауға және оған бағыт беруге қатысады; ғылыми прогресс адамдардың нақты өмірін жақсартады; болашақты қалыптастыруға көбірек адам қатыса алады; ал бұл технология жеке адамдар мен қауымдастықтарға өз қалауынша өмір сүруге бұрынғыдан да көбірек мүмкіндік береді. Бұл — әлеует жүзеге асатын, жігер мен таңданысқа толы болашақ.

Біздіңше, дәл осындай болашақты құруға күш салу керек. Көп рақмет.