Sam Altman’s remarks at the United Nations Security Council

Today, OpenAI CEO Sam Altman addressed the United Nations Security Council on artificial intelligence. He discussed AI’s potential to expand opportunity, the importance of keeping powerful systems under human control, and the need for international cooperation on AI safety.

Thank you, Mr. President and your Excellencies. I’m honored to be here and to be able to speak with you all at this important time.

We have been talking about artificial intelligence for years, but it feels different in recent weeks and months. Rapid model progress has made the timeline feel more compressed, the upside more tangible, but also the stakes and the risks more immediate.

We have a choice in front of us. AI can either be more like a new Renaissance of creativity and discovery, or more like a new Industrial Revolution of upheaval and disarray.

The Renaissance was a time when new tools, new ideas, and new institutions expanded what people believed they could do. AI can play that role for our time. I believe that people are much more capable than they imagine themselves to be, but have been held back by limited technology that was meant to empower but instead distracts and often steals attention.

The best version of AI is not about making people cogs in a giant machine, or optimizing every part of life until the human parts disappear. It is about giving people more agency in an ever more complex world: more ability to learn, to create, discover, build, participate. There are many things that AI cannot—and should not—automate.

AI should be built for people, not simply to turn the crank of the machines faster for their own sake. Some of the things people working to build AI have said are so dystopian that they sound like the plot of bad science fiction movies.

Anything this powerful is also intimidating. This moment is complicated as we feel both tremendous potential and very understandable anxiety at the same time.

These models can help people discover new knowledge: new medicines, better health care, stronger education, and build more productive economies. They can be new tools for people to pursue dreams and ambition that today feel out of reach. The complexity of life has increased so dramatically for the average person. AI can be a defensive tool against this complexity as much as it can be this tool of unprecedented discovery and innovation.

On the other hand, as AI systems become more capable and more autonomous, they could move faster than our institutions, concentrate power in too few hands, or make decisions that people no longer understand or control.

That concern becomes especially important as we approach systems that can improve themselves and future versions of themselves, often called recursive self-improvement. As the process of building AI becomes more automated, the pace of AI progress could accelerate rapidly. This moment calls for extreme care.

I largely agree with Professor Bengio. Although I’ll say two instead of three—I believe there are two ways that AI progress could go very badly that we have to avoid.

First, we could lose control of the future to AI. The risk is that it moves so fast that people can no longer follow what’s happening or intervene when needed. This would obviously be terrible.

The industry must not accept too much technological risk just because the benefits are too great and that they feel too important to slow down. Beating companies in a competitive pace is not a reason to make rash decisions. Nor do we believe we are locked in a race where we are unable to do that. We have unilaterally slowed down in the past. We will do so in the future. We do not want to build systems—we think it’s important that everyone avoids building systems—where we cannot make the alignment, monitorability, and safety guarantees that we must.

We need to understand what these systems are doing and have strong evidence that they will do what people intend, even as they get very, very smart. Actually especially as they get very very smart. It doesn’t matter whether people put the risk of catastrophe at 10%, or 1%, or 12%, or .1%. None of these levels are remotely acceptable. And we should not train models that we cannot make an extremely strong case that we will be able to keep under human control.

So that’s one way things can go wrong. In the other direction, these systems could concentrate too much power in too few hands. No one person or company or country should be able to use the most powerful AI models to impose their worldview on everyone else. A company or country that believes only it can be trusted with this technology can use that belief to justify almost anything else. We have to reject that logic, even when it’s convenient for any one actor.

Jag tror att det finns en pragmatisk väg genom båda dessa frågor. På OpenAI tar vi oss an dessa frågor med ett tydligt mål: AI ska ge människor större makt över sina egna liv. Större frihet att leva som de själva vill. Större förmåga att lösa stora och små problem och förbättra sina lokalsamhällen. Vi vill inte falla i den blinda optimismens fälla. Men vi vill inte heller falla i undergångspessimismens fälla. Att dras mot någon av ytterligheterna hjälper oss inte att framgångsrikt lösa de utmaningar vi står inför, särskilt inte i en tid då världen och dess befolkning möter enorma utmaningar som denna teknik kan bidra till att lösa. Därför försöker vi gå en medelväg mellan dessa två ytterligheter.

För oss innebär det tre principer.

För det första måste människan förbli central i beslutsfattandet kring AI när tekniken blir mer kapabel. AI-anpassning är ingen abstrakt forskningsfråga. Det handlar om att säkerställa att systemen förblir under mänsklig kontroll, återspeglar mänskliga värderingar och hjälper människor att styra utvecklingens nästa faser. Vi försöker inte, och får inte, automatisera mänskligt omdöme eller mänskliga värderingar.

För det andra måste människor både skapa och få del av vinsterna från vetenskapliga framsteg och ekonomisk tillväxt. AI ska bland annat hjälpa forskare att göra upptäckter, läkare att behandla patienter, lärare att undervisa elever, entreprenörer att starta företag och samhällen att lösa problem som tidigare verkade omöjliga. Den återkommande lärdomen av mänsklighetens framsteg är inte att verktyg ersätter människans handlingsförmåga. Den är att rätt verktyg gör människor mer kapabla, och jag tror att detta kommer att gå mycket längre än vi föreställer oss vara möjligt.

För det tredje måste tekniken stärka varje enskild människa. En fantastisk framtid skapas när människor förverkligar sin potential och skapar värde för sig själva, sina lokalsamhällen, sina länder och världen i stort. Vi må vara några av dem som bygger tekniken, men vi är inte hjältarna i den här berättelsen. Vår roll är att ge människor över hela världen nya möjligheter och att lita till den magi som finns i mänsklighetens färdigheter och förmågor.

Vi har nu modeller som kan upptäcka kunskap som tidigare varit okänd för oss. Tänk på de framsteg vi har sett inom matematiken. För tre somrar sedan var våra modeller hyfsade på matematik för grundskolans lägre årskurser. För två somrar sedan presterade de ganska bra i matematiktävlingar på gymnasienivå. Förra sommaren nådde vi guldmedaljnivå i världens mest prestigefyllda internationella matematiktävling. Och för bara några veckor sedan, nu i somras, löste en av våra modeller ett av millennieproblemen: Navier–Stokes-ekvationerna.

Dessa ekvationer används vid konstruktion av flygplan, väderprognoser och studier av blodflöden. Vi löser inte matematiska problem för deras egen skull, utan för att hjälpa människor att upptäcka ny kunskap och använda den till att förbättra vården, höja levnadsstandarden och vidga möjligheterna för alla världen över. Det finns fortfarande så mycket kvar att upptäcka.

Men det är mycket viktigt att företag inte ersätter den demokratiska processen.

Om AI ska vara demokratisk kan de viktigaste besluten inte fattas enbart av laboratorier i San Francisco. De måste formas genom demokratiska processer och av regeringar som är ansvariga inför de människor de tjänar.

På internationell nivå kräver detta samarbete. Historien rymmer tillfällen då konkurrerande länder, som inte alltid tycker särskilt mycket om varandra, ändå har enats kring gemensamma intressen och det allmännas bästa inför en ny och kraftfull teknik. Vi anser att detta måste bli ett sådant tillfälle.

Vi behöver en mekanism för kompletterande nationella och internationella standarder för banbrytande AI: standarder för att mäta förmågor, bedöma risker, avgöra om skyddsåtgärderna är tillräckliga och bevara en meningsfull mänsklig tillsyn när systemen blir mer autonoma.

Vi behöver gemensamma standarder så att länder kan jämföra underlag, kontrollera efterlevnaden och få ett gemensamt språk och en gemensam förståelse för vad som händer.

Vi behöver snabb och korrekt incidentrapportering samt protokoll för klassificering och rapportering, så att världen kan lära av misslyckanden innan de utvecklas till katastrofer.

Och vi behöver säkra kanaler mellan regeringar, operatörer av kritisk infrastruktur och tekniska experter för att utbyta information om nya sårbarheter och hot.

Dessa standarder ska naturligtvis inte befästa etablerade aktörers ställning eller gynna en affärsmodell framför en annan. De måste stödja utvecklare av både öppna och slutna modeller, nya aktörer och etablerade laboratorier, nationellt självbestämmande och internationellt samarbete. Varje regering bör besluta hur standarderna ska införlivas i det egna rättssystemet. Men vi gynnas alla om vi kan enas om vad som på den globala arenan utgör tillförlitliga belägg, bra skyddsåtgärder och god tillsyn.

Vi har inte alla svar och är mycket öppna för bättre idéer. Vi är redo att samarbeta med er alla och göra vårt yttersta för att hitta vägen framåt.

Vi står vid ett vägskäl. Den ena vägen leder till en värld där makten är koncentrerad, besluten är ogenomskinliga och människor upplever att deras livstids viktigaste teknik är något som påtvingas dem. Den andra vägen leder till en värld där AI arbetar för människor, eftersom människor genom demokratiska institutioner är med och beslutar hur den ska utvecklas och styras; där vetenskapliga framsteg förbättrar människors liv; där fler kan vara delaktiga i framtiden; och där tekniken fortsätter att ge individer och samhällen större möjlighet att leva som de själva vill. Det är en framtid där potential förverkligas och som präglas av entusiasm och förundran.

Och det är den framtid som vi anser vara värd att bygga. Tack så mycket.