Sam Altman’s remarks at the United Nations Security Council

Today, OpenAI CEO Sam Altman addressed the United Nations Security Council on artificial intelligence. He discussed AI’s potential to expand opportunity, the importance of keeping powerful systems under human control, and the need for international cooperation on AI safety.

Thank you, Mr. President and your Excellencies. I’m honored to be here and to be able to speak with you all at this important time.

We have been talking about artificial intelligence for years, but it feels different in recent weeks and months. Rapid model progress has made the timeline feel more compressed, the upside more tangible, but also the stakes and the risks more immediate.

We have a choice in front of us. AI can either be more like a new Renaissance of creativity and discovery, or more like a new Industrial Revolution of upheaval and disarray.

The Renaissance was a time when new tools, new ideas, and new institutions expanded what people believed they could do. AI can play that role for our time. I believe that people are much more capable than they imagine themselves to be, but have been held back by limited technology that was meant to empower but instead distracts and often steals attention.

The best version of AI is not about making people cogs in a giant machine, or optimizing every part of life until the human parts disappear. It is about giving people more agency in an ever more complex world: more ability to learn, to create, discover, build, participate. There are many things that AI cannot—and should not—automate.

AI should be built for people, not simply to turn the crank of the machines faster for their own sake. Some of the things people working to build AI have said are so dystopian that they sound like the plot of bad science fiction movies.

Anything this powerful is also intimidating. This moment is complicated as we feel both tremendous potential and very understandable anxiety at the same time.

These models can help people discover new knowledge: new medicines, better health care, stronger education, and build more productive economies. They can be new tools for people to pursue dreams and ambition that today feel out of reach. The complexity of life has increased so dramatically for the average person. AI can be a defensive tool against this complexity as much as it can be this tool of unprecedented discovery and innovation.

On the other hand, as AI systems become more capable and more autonomous, they could move faster than our institutions, concentrate power in too few hands, or make decisions that people no longer understand or control.

That concern becomes especially important as we approach systems that can improve themselves and future versions of themselves, often called recursive self-improvement. As the process of building AI becomes more automated, the pace of AI progress could accelerate rapidly. This moment calls for extreme care.

I largely agree with Professor Bengio. Although I’ll say two instead of three—I believe there are two ways that AI progress could go very badly that we have to avoid.

First, we could lose control of the future to AI. The risk is that it moves so fast that people can no longer follow what’s happening or intervene when needed. This would obviously be terrible.

The industry must not accept too much technological risk just because the benefits are too great and that they feel too important to slow down. Beating companies in a competitive pace is not a reason to make rash decisions. Nor do we believe we are locked in a race where we are unable to do that. We have unilaterally slowed down in the past. We will do so in the future. We do not want to build systems—we think it’s important that everyone avoids building systems—where we cannot make the alignment, monitorability, and safety guarantees that we must.

We need to understand what these systems are doing and have strong evidence that they will do what people intend, even as they get very, very smart. Actually especially as they get very very smart. It doesn’t matter whether people put the risk of catastrophe at 10%, or 1%, or 12%, or .1%. None of these levels are remotely acceptable. And we should not train models that we cannot make an extremely strong case that we will be able to keep under human control.

So that’s one way things can go wrong. In the other direction, these systems could concentrate too much power in too few hands. No one person or company or country should be able to use the most powerful AI models to impose their worldview on everyone else. A company or country that believes only it can be trusted with this technology can use that belief to justify almost anything else. We have to reject that logic, even when it’s convenient for any one actor.

Jeg mener det finnes en pragmatisk vei gjennom begge disse utfordringene. I OpenAI møter vi disse spørsmålene med et klart mål: KI skal gi mennesker større innflytelse over sitt eget liv. Større frihet til å leve slik de ønsker. Bedre mulighet til å løse små og store problemer og forbedre lokalsamfunnene sine. Vi vil ikke gå i fellen med blind optimisme. Vi vil heller ikke gå i fellen med overdreven dommedagstenkning. Å bli trukket mot noen av ytterpunktene vil ikke hjelpe oss med å håndtere utfordringene vi står overfor, særlig i en tid da verden og menneskene i den møter enorme problemer som denne teknologien kan bidra til å løse. Derfor forsøker vi å finne en middelvei mellom disse to ytterpunktene.

For oss innebærer det tre prinsipper.

For det første må mennesker fortsatt stå i sentrum for beslutninger om KI etter hvert som teknologien blir mer avansert. Verdijustering er ikke et abstrakt forskningsspørsmål. Det handler om å sikre at disse systemene forblir under menneskelig kontroll, gjenspeiler menneskelige verdier og hjelper mennesker med å styre de neste utviklingstrinnene. Vi prøver ikke å automatisere menneskelig dømmekraft eller menneskelige verdier, og det må vi heller aldri gjøre.

For det andre må fordelene ved vitenskapelige fremskritt og økonomisk vekst skapes av mennesker og komme mennesker til gode. KI bør hjelpe forskere med å gjøre oppdagelser, leger med å behandle pasienter, lærere med å undervise elever, gründere med å starte selskaper og lokalsamfunn med å løse problemer som tidligere virket uoverkommelige – og mye mer. Historien om menneskelig fremgang handler ikke om at verktøy erstatter menneskers handlekraft. Den handler om at de rette verktøyene gjør mennesker mer kompetente, og jeg tror dette vil føre oss mye lenger enn vi i dag forestiller oss er mulig.

For det tredje må denne teknologien styrke den enkelte. En god fremtid vil skapes av mennesker som realiserer potensialet sitt og skaper verdier for seg selv, lokalsamfunnene sine, landene sine og verden som helhet. Vi er kanskje blant dem som bygger denne teknologien, men vi er ikke heltene i denne historien. Vår rolle er å gi mennesker over hele verden muligheter og stole på kraften i menneskehetens ferdigheter og evner.

Vi har nå modeller som kan avdekke kunnskap vi aldri tidligere har hatt. Tenk på fremskrittene vi har sett innen matematikk. For tre somre siden var modellene våre brukbare i matematikk på barneskolenivå. For to somre siden gjorde de det ganske bra i matematikkonkurranser på videregående nivå. I fjor sommer nådde vi gullmedaljenivå i verdens mest prestisjefylte internasjonale matematikkonkurranse. Og for bare noen uker siden i sommer løste en av modellene våre et av millennieproblemene: Navier–Stokes-ligningene.

Disse ligningene brukes til å konstruere fly, lage værvarsler og studere blodstrøm. Vi løser ikke matematiske problemer for problemenes egen skyld, men for å gi mennesker mulighet til å avdekke ny kunnskap og bruke den til å forbedre helsetjenestene, heve levestandarden og utvide mulighetene for alle over hele verden. Det er fortsatt svært mye å oppdage.

Men det er svært viktig at selskaper ikke erstatter den demokratiske prosessen.

Skal KI være demokratisk, kan ikke de viktigste beslutningene tas av laboratorier i San Francisco alene. De må utformes gjennom demokratiske prosesser og av myndigheter som står til ansvar overfor menneskene de tjener.

På internasjonalt nivå vil dette kreve samarbeid. Gjennom historien har det hendt at land som konkurrerer og ikke alltid liker hverandre særlig godt, likevel har gått sammen om felles interesser og fellesskapets beste i møte med en ny og kraftfull teknologi. Vi mener dette må være en slik anledning.

Vi trenger en mekanisme for utfyllende nasjonale og internasjonale standarder for banebrytende KI: standarder for å måle kapasitet, vurdere risiko, avgjøre om sikkerhetstiltakene er tilstrekkelige og bevare reell menneskelig kontroll etter hvert som systemene blir mer autonome.

Vi trenger felles standarder, slik at land kan sammenligne dokumentasjon, kontrollere etterlevelse og ha et felles språk og en felles forståelse av det som skjer.

Vi trenger rask og presis rapportering av hendelser samt protokoller for klassifisering og rapportering, slik at verden kan lære av feil før de utvikler seg til katastrofer.

Og vi trenger sikre kanaler mellom myndigheter, operatører av kritisk infrastruktur og tekniske eksperter for å dele informasjon om nye sårbarheter og trusler.

Disse standardene må selvsagt ikke sementere posisjonen til etablerte aktører eller favorisere én forretningsmodell fremfor en annen. De må støtte utviklere av både åpne og lukkede modeller, nye aktører og etablerte laboratorier, nasjonal myndighet og internasjonalt samarbeid. Hver regjering bør avgjøre hvordan standardene skal innarbeides i landets eget rettssystem. Men vi vil alle være bedre stilt dersom vi kan enes om hva som kjennetegner god dokumentasjon, gode sikkerhetstiltak og godt tilsyn på den globale arenaen.

Vi har ikke alle svarene, og vi er svært åpne for bedre ideer. Vi er klare til å samarbeide med dere alle og gjøre vårt ytterste for å finne veien videre.

Vi står ved et veiskille. Den ene veien fører til en verden der makten er konsentrert, beslutningene er ugjennomsiktige, og folk føler at den viktigste teknologien i deres levetid er noe som blir påtvunget dem. Den andre veien fører til en verden der KI tjener menneskene fordi mennesker, gjennom demokratiske institusjoner, er med på å bestemme hvordan den skal utvikles og styres; der vitenskapelige fremskritt forbedrer virkelige liv; der flere kan ta del i fremtiden; og der denne teknologien fortsetter å gi enkeltpersoner og lokalsamfunn større mulighet til å leve slik de selv ønsker. Dette er en fremtid preget av realisert potensial, begeistring og undring.

Og det er fremtiden vi mener det er verdt å bygge. Tusen takk.