Sam Altman’s remarks at the United Nations Security Council

Today, OpenAI CEO Sam Altman addressed the United Nations Security Council on artificial intelligence. He discussed AI’s potential to expand opportunity, the importance of keeping powerful systems under human control, and the need for international cooperation on AI safety.

Thank you, Mr. President and your Excellencies. I’m honored to be here and to be able to speak with you all at this important time.

We have been talking about artificial intelligence for years, but it feels different in recent weeks and months. Rapid model progress has made the timeline feel more compressed, the upside more tangible, but also the stakes and the risks more immediate.

We have a choice in front of us. AI can either be more like a new Renaissance of creativity and discovery, or more like a new Industrial Revolution of upheaval and disarray.

The Renaissance was a time when new tools, new ideas, and new institutions expanded what people believed they could do. AI can play that role for our time. I believe that people are much more capable than they imagine themselves to be, but have been held back by limited technology that was meant to empower but instead distracts and often steals attention.

The best version of AI is not about making people cogs in a giant machine, or optimizing every part of life until the human parts disappear. It is about giving people more agency in an ever more complex world: more ability to learn, to create, discover, build, participate. There are many things that AI cannot—and should not—automate.

AI should be built for people, not simply to turn the crank of the machines faster for their own sake. Some of the things people working to build AI have said are so dystopian that they sound like the plot of bad science fiction movies.

Anything this powerful is also intimidating. This moment is complicated as we feel both tremendous potential and very understandable anxiety at the same time.

These models can help people discover new knowledge: new medicines, better health care, stronger education, and build more productive economies. They can be new tools for people to pursue dreams and ambition that today feel out of reach. The complexity of life has increased so dramatically for the average person. AI can be a defensive tool against this complexity as much as it can be this tool of unprecedented discovery and innovation.

On the other hand, as AI systems become more capable and more autonomous, they could move faster than our institutions, concentrate power in too few hands, or make decisions that people no longer understand or control.

That concern becomes especially important as we approach systems that can improve themselves and future versions of themselves, often called recursive self-improvement. As the process of building AI becomes more automated, the pace of AI progress could accelerate rapidly. This moment calls for extreme care.

I largely agree with Professor Bengio. Although I’ll say two instead of three—I believe there are two ways that AI progress could go very badly that we have to avoid.

First, we could lose control of the future to AI. The risk is that it moves so fast that people can no longer follow what’s happening or intervene when needed. This would obviously be terrible.

The industry must not accept too much technological risk just because the benefits are too great and that they feel too important to slow down. Beating companies in a competitive pace is not a reason to make rash decisions. Nor do we believe we are locked in a race where we are unable to do that. We have unilaterally slowed down in the past. We will do so in the future. We do not want to build systems—we think it’s important that everyone avoids building systems—where we cannot make the alignment, monitorability, and safety guarantees that we must.

We need to understand what these systems are doing and have strong evidence that they will do what people intend, even as they get very, very smart. Actually especially as they get very very smart. It doesn’t matter whether people put the risk of catastrophe at 10%, or 1%, or 12%, or .1%. None of these levels are remotely acceptable. And we should not train models that we cannot make an extremely strong case that we will be able to keep under human control.

So that’s one way things can go wrong. In the other direction, these systems could concentrate too much power in too few hands. No one person or company or country should be able to use the most powerful AI models to impose their worldview on everyone else. A company or country that believes only it can be trusted with this technology can use that belief to justify almost anything else. We have to reject that logic, even when it’s convenient for any one actor.

Կարծում եմ՝ այս երկու հարցն էլ լուծելու գործնական ուղի կա։ OpenAI-ում այս հարցերին մոտենում ենք հստակ նպատակով. ԱԲ-ն պետք է մարդկանց ավելի մեծ վերահսկողություն տա սեփական կյանքի նկատմամբ։ Ավելի մեծ ազատություն՝ ապրելու այնպես, ինչպես ցանկանում են։ Ավելի մեծ կարողություն՝ լուծելու մեծ ու փոքր խնդիրներ և բարելավելու իրենց համայնքները։ Մենք չենք ուզում ընկնել ո՛չ կույր լավատեսության, ո՛չ էլ աղետապաշտության ծուղակը։ Այս ծայրահեղություններից որևէ մեկով տարվելը չի օգնի հաջողությամբ հաղթահարել մեր առջև ծառացած դժվարությունները, հատկապես հիմա, երբ աշխարհն ու մարդիկ բախվում են այնպիսի վիթխարի խնդիրների, որոնց լուծմանը այս տեխնոլոգիան կարող է նպաստել։ Ուստի փորձում ենք այս երկու բևեռների միջև միջին ուղով ընթանալ։

Մեզ համար դա նշանակում է առաջնորդվել երեք սկզբունքով։

Առաջին՝ ԱԲ-ի կարողությունների աճին զուգահեռ մարդիկ պետք է շարունակեն առանցքային դեր ունենալ ԱԲ-ի վերաբերյալ որոշումների կայացման գործում։ Համապատասխանեցումը վերացական հետազոտական հարց չէ։ Դա աշխատանք է, որի նպատակն է ապահովել, որ այս համակարգերը մշտապես և հուսալիորեն մնան մարդու վերահսկողության ներքո, արտացոլեն մարդկային արժեքները և օգնեն մարդկանց ուղղորդել զարգացման հաջորդ փուլերը։ Մենք չենք փորձում և չպետք է փորձենք ավտոմատացնել մարդկային դատողությունը կամ արժեքները։

Երկրորդ՝ գիտական առաջընթացն ու տնտեսական աճը պետք է ստեղծվեն մարդկանց կողմից և ծառայեն մարդկանց։ ԱԲ-ն պետք է օգնի հետազոտողներին բացահայտումներ անել, բժիշկներին՝ բուժել հիվանդներին, ուսուցիչներին՝ կրթել աշակերտներին, ձեռնարկատերերին՝ ընկերություններ հիմնել, համայնքներին՝ լուծել նախկինում անհասանելի թվացող խնդիրներ, և շատ ավելին։ Մարդկության շարունակական առաջընթացի պատմությունը չի վկայում, որ գործիքները փոխարինում են մարդու ինքնուրույն գործելու կարողությանը։ Այն ցույց է տալիս, որ ճիշտ գործիքները մարդկանց ավելի ունակ են դարձնում, և, իմ համոզմամբ, այս գործընթացը շատ ավելի հեռուն կգնա, քան այսօր հնարավոր ենք համարում։

Երրորդ՝ այս տեխնոլոգիան պետք է անհատապես զորացնի մարդկանց։ Հիանալի ապագան կերտվելու է այն մարդկանց շնորհիվ, որոնք իրացնում են իրենց ներուժը և արժեք ստեղծում իրենց, իրենց համայնքների, երկրների և ամբողջ աշխարհի համար։ Մենք գուցե այս տեխնոլոգիան ստեղծողներից ենք, բայց այս պատմության հերոսները մենք չենք։ Մեր դերն է հնարավորություններ տալ մարդկանց ամբողջ աշխարհում և վստահել մարդկային հմտությունների ու կարողությունների հրաշագործ ուժին։

Այժմ ունենք մոդելներ, որոնք կարող են բացահայտել նախկինում մեզ անհայտ գիտելիքներ։ Դիտարկենք մաթեմատիկայում արձանագրված առաջընթացը։ Երեք ամառ առաջ մեր մոդելները միջին մակարդակով էին լուծում տարրական դպրոցի մաթեմատիկական խնդիրները։ Երկու ամառ առաջ դրանք բավական լավ էին լուծում ավագ դպրոցի մաթեմատիկական մրցույթների խնդիրները։ Անցյալ ամռանը հասանք աշխարհի ամենահեղինակավոր միջազգային մաթեմատիկական մրցույթի ոսկե մեդալի մակարդակին։ Իսկ այս ամառ՝ ընդամենը մի քանի շաբաթ առաջ, մեր մոդելներից մեկը լուծեց Հազարամյակի մրցանակային խնդիրներից մեկը՝ Նավիե-Ստոքսի հավասարումները։

Այս հավասարումներն օգտագործվում են ինքնաթիռների նախագծման, եղանակի կանխատեսման և արյան հոսքի ուսումնասիրության համար։ Մենք մաթեմատիկական խնդիրները չենք լուծում պարզապես հանուն դրանց լուծման, այլ որպեսզի մարդկանց հնարավորություն տանք նոր գիտելիքներ բացահայտել և դրանք օգտագործել առողջապահությունը բարելավելու, կենսամակարդակը բարձրացնելու և ամբողջ աշխարհում յուրաքանչյուրի ներուժն ընդլայնելու համար։ Դեռ այնքան շատ բան կա բացահայտելու։

Սակայն չափազանց կարևոր է, որ ընկերությունները չփոխարինեն ժողովրդավարական գործընթացին։

Եթե ԱԲ-ն պետք է ժողովրդավարական լինի, կարևորագույն որոշումները չեն կարող կայացվել միայն Սան Ֆրանցիսկոյի լաբորատորիաներում։ Դրանք պետք է ձևավորվեն ժողովրդավարական գործընթացներով և այն կառավարությունների կողմից, որոնք հաշվետու են այն ժողովրդին, որին ծառայում են:

Միջազգային մակարդակում դրա համար համագործակցություն կպահանջվի։ Մեր պատմության ընթացքում եղել են ժամանակներ, երբ միմյանց հետ մրցող և ոչ միշտ միմյանց համակրող երկրները, բախվելով նոր հզոր տեխնոլոգիայի, այնուամենայնիվ միավորվել են հանուն ընդհանուր շահերի և համընդհանուր բարօրության։ Մենք կարծում ենք, որ սա պետք է լինի այդպիսի պահերից մեկը։

Մեզ անհրաժեշտ է առաջադեմ ԱԲ-ի փոխլրացնող ազգային և միջազգային չափորոշիչների մեխանիզմ՝ կարողությունները չափելու, ռիսկերը գնահատելու, պաշտպանական միջոցների բավարար լինելը որոշելու և համակարգերի ինքնավարության աճին զուգահեռ մարդու գործուն վերահսկողությունը պահպանելու համար։

Մեզ անհրաժեշտ են ընդհանուր չափորոշիչներ, որպեսզի երկրները կարողանան համադրել փաստական տվյալները, ստուգել պահանջների պահպանումը և ընդհանուր լեզու ու պատկերացում ունենալ տեղի ունեցողի վերաբերյալ։

Մեզ անհրաժեշտ են միջադեպերի մասին ճշգրիտ և արագ հաղորդումներ, ինչպես նաև դասակարգման ու հաղորդման արձանագրություններ, որպեսզի աշխարհը կարողանա դասեր քաղել ձախողումներից՝ նախքան դրանք աղետների վերածվելը։

Մեզ նաև անհրաժեշտ են անվտանգ կապուղիներ կառավարությունների, կարևոր ենթակառուցվածքների օպերատորների և տեխնիկական փորձագետների միջև՝ ի հայտ եկող խոցելիությունների ու նոր սպառնալիքների մասին տեղեկություններ փոխանակելու համար։

Ակնհայտ է, որ այս չափորոշիչները չպետք է ամրապնդեն գործող խոշոր դերակատարների դիրքերը կամ բիզնեսի մի մոդելը գերադասեն մյուսից։ Դրանք պետք է աջակցեն բաց և փակ մոդելներ մշակողներին, նորեկներին ու կայացած լաբորատորիաներին, ազգային լիազորություններին և միջազգային համագործակցությանը։ Յուրաքանչյուր կառավարություն պետք է որոշի, թե ինչպես ներառել չափորոշիչներն իր իրավական համակարգում։ Սակայն բոլորս կշահենք, եթե համաշխարհային մակարդակում կարողանանք համաձայնության գալ, թե ինչպիսին պետք է լինեն հիմնավոր ապացույցները, արդյունավետ պաշտպանական միջոցները և պատշաճ վերահսկողությունը։

Մենք չունենք բոլոր պատասխանները և պատրաստ ենք լսելու ցանկացած ավելի լավ գաղափար։ Մենք պատրաստ ենք աշխատել բոլորիդ հետ և անել առավելագույնը՝ առաջընթացի ուղին գտնելու համար:

Մենք կանգնած ենք խաչմերուկում։ Մի ուղին տանում է դեպի մի աշխարհ, որտեղ իշխանությունը կենտրոնացած է, որոշումները՝ անթափանց, իսկ մարդիկ զգում են, որ իրենց կյանքի կարևորագույն տեխնոլոգիան ստեղծվում և կիրառվում է առանց իրենց մասնակցության։ Մյուս ուղին տանում է դեպի մի աշխարհ, որտեղ ԱԲ-ն ծառայում է մարդկանց, քանի որ նրանք ժողովրդավարական հաստատությունների միջոցով մասնակցում են դրա զարգացման և ուղղորդման վերաբերյալ որոշումների կայացմանը, որտեղ գիտական առաջընթացը բարելավում է մարդկանց իրական կյանքը, ավելի շատ մարդիկ կարող են մասնակցել ապագայի կերտմանը, իսկ այս տեխնոլոգիան շարունակում է անհատներին ու համայնքներին ավելի մեծ հնարավորություն տալ ապրելու այնպես, ինչպես իրենք են ընտրում։ Սա իրացված ներուժով, ոգևորությամբ և զարմանքով լի ապագա է։

Եվ մենք հավատում ենք, որ արժե կերտել հենց այդ ապագան։ Շատ շնորհակալ եմ։