Sam Altman’s remarks at the United Nations Security Council

Today, OpenAI CEO Sam Altman addressed the United Nations Security Council on artificial intelligence. He discussed AI’s potential to expand opportunity, the importance of keeping powerful systems under human control, and the need for international cooperation on AI safety.

Thank you, Mr. President and your Excellencies. I’m honored to be here and to be able to speak with you all at this important time.

We have been talking about artificial intelligence for years, but it feels different in recent weeks and months. Rapid model progress has made the timeline feel more compressed, the upside more tangible, but also the stakes and the risks more immediate.

We have a choice in front of us. AI can either be more like a new Renaissance of creativity and discovery, or more like a new Industrial Revolution of upheaval and disarray.

The Renaissance was a time when new tools, new ideas, and new institutions expanded what people believed they could do. AI can play that role for our time. I believe that people are much more capable than they imagine themselves to be, but have been held back by limited technology that was meant to empower but instead distracts and often steals attention.

The best version of AI is not about making people cogs in a giant machine, or optimizing every part of life until the human parts disappear. It is about giving people more agency in an ever more complex world: more ability to learn, to create, discover, build, participate. There are many things that AI cannot—and should not—automate.

AI should be built for people, not simply to turn the crank of the machines faster for their own sake. Some of the things people working to build AI have said are so dystopian that they sound like the plot of bad science fiction movies.

Anything this powerful is also intimidating. This moment is complicated as we feel both tremendous potential and very understandable anxiety at the same time.

These models can help people discover new knowledge: new medicines, better health care, stronger education, and build more productive economies. They can be new tools for people to pursue dreams and ambition that today feel out of reach. The complexity of life has increased so dramatically for the average person. AI can be a defensive tool against this complexity as much as it can be this tool of unprecedented discovery and innovation.

On the other hand, as AI systems become more capable and more autonomous, they could move faster than our institutions, concentrate power in too few hands, or make decisions that people no longer understand or control.

That concern becomes especially important as we approach systems that can improve themselves and future versions of themselves, often called recursive self-improvement. As the process of building AI becomes more automated, the pace of AI progress could accelerate rapidly. This moment calls for extreme care.

I largely agree with Professor Bengio. Although I’ll say two instead of three—I believe there are two ways that AI progress could go very badly that we have to avoid.

First, we could lose control of the future to AI. The risk is that it moves so fast that people can no longer follow what’s happening or intervene when needed. This would obviously be terrible.

The industry must not accept too much technological risk just because the benefits are too great and that they feel too important to slow down. Beating companies in a competitive pace is not a reason to make rash decisions. Nor do we believe we are locked in a race where we are unable to do that. We have unilaterally slowed down in the past. We will do so in the future. We do not want to build systems—we think it’s important that everyone avoids building systems—where we cannot make the alignment, monitorability, and safety guarantees that we must.

We need to understand what these systems are doing and have strong evidence that they will do what people intend, even as they get very, very smart. Actually especially as they get very very smart. It doesn’t matter whether people put the risk of catastrophe at 10%, or 1%, or 12%, or .1%. None of these levels are remotely acceptable. And we should not train models that we cannot make an extremely strong case that we will be able to keep under human control.

So that’s one way things can go wrong. In the other direction, these systems could concentrate too much power in too few hands. No one person or company or country should be able to use the most powerful AI models to impose their worldview on everyone else. A company or country that believes only it can be trusted with this technology can use that belief to justify almost anything else. We have to reject that logic, even when it’s convenient for any one actor.

Tikiu, kad abi šias problemas galima išspręsti pragmatiškai. OpenAI į šiuos klausimus žvelgia turėdama aiškų tikslą: DI turėtų suteikti žmonėms daugiau galios valdyti savo gyvenimą. Daugiau laisvės gyventi taip, kaip jie nori. Daugiau galimybių spręsti dideles ir mažas problemas bei gerinti savo bendruomenių gyvenimą. Nenorime pakliūti į aklo optimizmo spąstus. Taip pat nenorime pasiduoti pražūtingų scenarijų nuotaikoms. Nukrypę į bet kurį kraštutinumą nesugebėsime sėkmingai įveikti laukiančių iššūkių, ypač dabar, kai pasaulis ir jo žmonės susiduria su milžiniškomis problemomis, kurias ši technologija gali padėti išspręsti. Todėl stengiamės eiti vidurio keliu tarp šių dviejų polių.

Mums tai reiškia tris principus.

Pirma, DI tampant vis pajėgesniam, žmonės turi išlikti su DI susijusių sprendimų centre. Suderinimas nėra abstraktus mokslinių tyrimų klausimas. Tai darbas, kuriuo užtikrinama, kad šias sistemas visada patikimai kontroliuotų žmonės, jos atspindėtų žmogiškąsias vertybes ir padėtų žmonėms kreipti tolesnę plėtrą. Nesiekiame ir negalime automatizuoti žmogaus sprendimų ar žmogiškųjų vertybių.

Antra, mokslo pažangą ir ekonomikos augimą turi kurti žmonės žmonių labui. DI turėtų padėti mokslininkams atrasti, gydytojams gydyti pacientus, mokytojams mokyti, verslininkams steigti įmones, bendruomenėms spręsti anksčiau neįveikiamas problemas ir atlikti daugybę kitų darbų. Žmonijos pažangos istorija nėra apie tai, kaip įrankiai atima iš žmonių galimybę veikti savarankiškai. Ji yra apie tai, kaip tinkami įrankiai išplečia žmonių galimybes, ir tikiu, kad šiuo atveju jos išsiplės daug labiau, nei manome esant įmanoma.

Trečia, ši technologija turi suteikti galių kiekvienam žmogui. Puikią ateitį sukurs žmonės, atskleidžiantys savo potencialą ir kuriantys vertę sau, savo bendruomenėms, šalims ir visam pasauliui. Galbūt esame vieni iš šios technologijos kūrėjų, tačiau ne mes esame šios istorijos didvyriai. Mūsų vaidmuo – suteikti galimybių žmonėms visame pasaulyje ir pasitikėti nuostabia žmonijos įgūdžių bei gebėjimų galia.

Dabar turime modelių, galinčių atrasti žinių, kurių anksčiau neturėjome. Pažvelkime į matematikos srityje pasiektą pažangą. Prieš trejus metus mūsų modeliai neblogai sprendė pradinės mokyklos matematikos uždavinius. Prieš dvejus metus jie jau gana gerai sprendė vidurinių mokyklų matematikos konkursų uždavinius. Praėjusią vasarą pasiekėme aukso medalio lygį prestižiškiausiame tarptautiniame matematikos konkurse. O vos prieš kelias šios vasaros savaites vienas iš mūsų modelių išsprendė vieną iš Tūkstantmečio premijos uždavinių – Navjė ir Stokso lygtis.

Šios lygtys naudojamos projektuojant orlaivius, prognozuojant orus ir tiriant kraujotaką. Matematikos uždavinius sprendžiame ne vien dėl jų pačių, o tam, kad suteiktume žmonėms galimybę atrasti naujų žinių ir pasitelkti jas sveikatos priežiūrai gerinti, gyvenimo lygiui kelti ir kiekvieno žmogaus potencialui visame pasaulyje plėsti. Dar tiek daug neatrasta.

Tačiau labai svarbu, kad įmonės nepakeistų demokratinio proceso.

Jei DI turi būti demokratiškas, svarbiausių sprendimų negali vienos priimti San Fransisko laboratorijos. Jie turi būti formuojami demokratiniais procesais ir žmonėms atskaitingų, jiems tarnaujančių vyriausybių.

Tarptautiniu lygmeniu tam reikės bendradarbiavimo. Istorijoje būta laikotarpių, kai tarpusavyje konkuruojančios ir ne visada viena kitai palankios šalys vis dėlto susivienydavo dėl bendrų interesų ir visuotinės gerovės, susidūrusios su galinga nauja technologija. Manome, kad dabar turi būti vienas iš tokių laikotarpių.

Mums reikia mechanizmo, kuris derintų nacionalinius ir tarptautinius priešakinio DI standartus: gebėjimų matavimo, rizikos vertinimo, apsaugos priemonių pakankamumo nustatymo ir reikšmingos žmogaus priežiūros išsaugojimo sistemoms tampant savarankiškesnėms standartus.

Mums reikia bendrų standartų, kad šalys galėtų palyginti įrodymus, patikrinti atitiktį ir vienodai suprasti bei apibūdinti tai, kas vyksta.

Mums reikia tikslaus ir operatyvaus pranešimo apie incidentus, taip pat jų klasifikavimo ir pranešimo protokolų, kad pasaulis galėtų pasimokyti iš nesėkmių, kol jos nevirto katastrofomis.

Taip pat reikia saugių kanalų, kuriais vyriausybės, ypatingos svarbos infrastruktūros operatoriai ir technikos ekspertai galėtų dalytis informacija apie naujas pažeidžiamas vietas ir grėsmes.

Žinoma, šie standartai neturėtų įtvirtinti esamų rinkos dalyvių padėties ar teikti pirmenybės vienam verslo modeliui prieš kitą. Jie turi būti palankūs atvirų ir uždarų modelių kūrėjams, naujiems rinkos dalyviams ir įsitvirtinusioms laboratorijoms, nacionalinei valdžiai ir tarptautiniam bendradarbiavimui. Kiekviena vyriausybė turėtų pati nuspręsti, kaip įtraukti standartus į savo teisinę sistemą. Tačiau mums visiems bus geriau, jei pasauliniu mastu susitarsime, kokie turėtų būti patikimi įrodymai, tinkamos apsaugos priemonės ir veiksminga priežiūra.

Neturime visų atsakymų ir esame visiškai atviri geresnėms idėjoms. Esame pasirengę dirbti su jumis visais ir iš visų jėgų ieškoti kelio pirmyn.

Esame kryžkelėje. Vienas kelias veda į pasaulį, kuriame galia sutelkta nedaugelio rankose, sprendimai priimami neskaidriai, o žmonės jaučiasi taip, tarsi svarbiausia jų gyvenimo technologija būtų kuriama ne jiems, o primetama iš šalies. Kitas kelias veda į pasaulį, kuriame DI tarnauja žmonėms, nes žmonės per demokratines institucijas padeda spręsti, kaip jis turėtų būti plėtojamas ir valdomas; kuriame mokslo pažanga gerina tikrų žmonių gyvenimą; daugiau žmonių gali dalyvauti kuriant ateitį; o ši technologija ir toliau suteikia asmenims bei bendruomenėms daugiau galios gyventi taip, kaip jie pasirenka. Tai ateitis, kurioje atsiskleidžia potencialas, netrūksta jaudulio ir nuostabos.

Ir būtent tokią ateitį, mūsų įsitikinimu, verta kurti. Labai ačiū.