Sam Altman’s remarks at the United Nations Security Council

Today, OpenAI CEO Sam Altman addressed the United Nations Security Council on artificial intelligence. He discussed AI’s potential to expand opportunity, the importance of keeping powerful systems under human control, and the need for international cooperation on AI safety.

Thank you, Mr. President and your Excellencies. I’m honored to be here and to be able to speak with you all at this important time.

We have been talking about artificial intelligence for years, but it feels different in recent weeks and months. Rapid model progress has made the timeline feel more compressed, the upside more tangible, but also the stakes and the risks more immediate.

We have a choice in front of us. AI can either be more like a new Renaissance of creativity and discovery, or more like a new Industrial Revolution of upheaval and disarray.

The Renaissance was a time when new tools, new ideas, and new institutions expanded what people believed they could do. AI can play that role for our time. I believe that people are much more capable than they imagine themselves to be, but have been held back by limited technology that was meant to empower but instead distracts and often steals attention.

The best version of AI is not about making people cogs in a giant machine, or optimizing every part of life until the human parts disappear. It is about giving people more agency in an ever more complex world: more ability to learn, to create, discover, build, participate. There are many things that AI cannot—and should not—automate.

AI should be built for people, not simply to turn the crank of the machines faster for their own sake. Some of the things people working to build AI have said are so dystopian that they sound like the plot of bad science fiction movies.

Anything this powerful is also intimidating. This moment is complicated as we feel both tremendous potential and very understandable anxiety at the same time.

These models can help people discover new knowledge: new medicines, better health care, stronger education, and build more productive economies. They can be new tools for people to pursue dreams and ambition that today feel out of reach. The complexity of life has increased so dramatically for the average person. AI can be a defensive tool against this complexity as much as it can be this tool of unprecedented discovery and innovation.

On the other hand, as AI systems become more capable and more autonomous, they could move faster than our institutions, concentrate power in too few hands, or make decisions that people no longer understand or control.

That concern becomes especially important as we approach systems that can improve themselves and future versions of themselves, often called recursive self-improvement. As the process of building AI becomes more automated, the pace of AI progress could accelerate rapidly. This moment calls for extreme care.

I largely agree with Professor Bengio. Although I’ll say two instead of three—I believe there are two ways that AI progress could go very badly that we have to avoid.

First, we could lose control of the future to AI. The risk is that it moves so fast that people can no longer follow what’s happening or intervene when needed. This would obviously be terrible.

The industry must not accept too much technological risk just because the benefits are too great and that they feel too important to slow down. Beating companies in a competitive pace is not a reason to make rash decisions. Nor do we believe we are locked in a race where we are unable to do that. We have unilaterally slowed down in the past. We will do so in the future. We do not want to build systems—we think it’s important that everyone avoids building systems—where we cannot make the alignment, monitorability, and safety guarantees that we must.

We need to understand what these systems are doing and have strong evidence that they will do what people intend, even as they get very, very smart. Actually especially as they get very very smart. It doesn’t matter whether people put the risk of catastrophe at 10%, or 1%, or 12%, or .1%. None of these levels are remotely acceptable. And we should not train models that we cannot make an extremely strong case that we will be able to keep under human control.

So that’s one way things can go wrong. In the other direction, these systems could concentrate too much power in too few hands. No one person or company or country should be able to use the most powerful AI models to impose their worldview on everyone else. A company or country that believes only it can be trusted with this technology can use that belief to justify almost anything else. We have to reject that logic, even when it’s convenient for any one actor.

Crec que hi ha una via pragmàtica per abordar totes dues qüestions. A OpenAI, ho fem amb un objectiu clar: la IA ha de donar a les persones més control sobre la seva pròpia vida. Més llibertat per viure com vulguin. Més capacitat per resoldre problemes, grans o petits, i per millorar les seves comunitats. No volem caure en el parany de l'optimisme cec. Tampoc no volem caure en el parany del catastrofisme. Deixar-nos arrossegar cap a qualsevol dels dos extrems no ens ajudarà a resoldre amb èxit els reptes que tenim al davant, sobretot en un moment en què el món i la humanitat afronten problemes enormes que aquesta tecnologia pot ajudar a solucionar. Per això intentem seguir una via intermèdia entre aquests dos pols.

Per a nosaltres, això es tradueix en tres principis.

En primer lloc, a mesura que la IA adquireixi més capacitats, les persones han de continuar ocupant el centre de la presa de decisions sobre la IA. L'alineament no és una qüestió de recerca abstracta. Consisteix a garantir que aquests sistemes continuïn sota control humà de manera fiable, reflecteixin els valors humans i ajudin les persones a orientar les properes etapes del desenvolupament. No intentem automatitzar el judici ni els valors humans, i no ho hem de fer.

En segon lloc, els beneficis del progrés científic i el creixement econòmic han de ser obra de les persones i estar al seu servei. La IA ha d'ajudar els investigadors a fer descobriments, els metges a tractar pacients, els docents a ensenyar, els emprenedors a crear empreses i les comunitats a resoldre problemes que semblaven inabastables, entre moltes altres coses. La història ininterrompuda del progrés humà no consisteix en el fet que les eines substitueixin la capacitat d'acció humana, sinó en el fet que les eines adequades augmenten les capacitats de les persones, i crec que això arribarà molt més lluny del que ara considerem possible.

En tercer lloc, aquesta tecnologia ha d'empoderar cada persona. Un gran futur sorgirà quan les persones facin realitat el seu potencial i creïn valor per a si mateixes, les seves comunitats, els seus països i el conjunt del món. Potser som un dels creadors d'aquesta tecnologia, però no som els herois d'aquesta història. El nostre paper és facilitar que les persones d'arreu del món actuïn i confiar en la màgia de les habilitats i facultats humanes.

Ara tenim models capaços de descobrir coneixements que mai no havíem tingut. Pensem en els avenços que hem vist en matemàtiques. Fa tres estius, els nostres models se'n sortien prou bé amb les matemàtiques de primària. Fa dos estius, ja eren força bons en competicions de matemàtiques de secundària. L'estiu passat vam assolir el nivell d'una medalla d'or en la competició internacional de matemàtiques més prestigiosa. I fa només unes quantes setmanes, aquest mateix estiu, un dels nostres models va resoldre un dels problemes del Premi del Mil·lenni: les equacions de Navier-Stokes.

Aquestes equacions s'utilitzen per dissenyar aeronaus, fer prediccions meteorològiques i estudiar el flux sanguini. No resolem problemes matemàtics com un fi en si mateix, sinó per donar a les persones la capacitat de descobrir nous coneixements i utilitzar-los per millorar l'atenció sanitària, elevar el nivell de vida i ampliar el potencial de tothom arreu del món. Encara queda molt per descobrir.

Però és molt important que les empreses no substitueixin el procés democràtic.

Si la IA ha de ser democràtica, les decisions més importants no les poden prendre només els laboratoris de San Francisco. S'han de configurar mitjançant processos democràtics i governs que retin comptes davant les persones a qui serveixen.

En l'àmbit internacional, això requerirà cooperació. Al llarg de la història, hi ha hagut moments en què països que competeixen i que no sempre s'avenen gaire s'han unit, malgrat tot, per defensar interessos compartits i el bé comú davant d'una nova i poderosa tecnologia. Creiem que aquest ha de ser un d'aquests moments.

Necessitem un mecanisme que articuli estàndards nacionals i internacionals complementaris per a la IA d'avantguarda: estàndards per mesurar capacitats, avaluar riscos, determinar si les salvaguardes són suficients i mantenir una supervisió humana efectiva a mesura que els sistemes esdevenen més autònoms.

Necessitem estàndards comuns perquè els països puguin comparar proves, verificar-ne el compliment i compartir un llenguatge i una comprensió del que està passant.

Necessitem una notificació d'incidents ràpida i precisa, així com protocols de classificació i notificació, perquè el món pugui aprendre dels errors abans no es converteixin en catàstrofes.

I necessitem canals segurs entre governs, operadors d'infraestructures crítiques i experts tècnics per compartir vulnerabilitats emergents i noves amenaces.

Evidentment, aquests estàndards no haurien de consolidar la posició dels actors dominants ni afavorir un model de negoci per sobre d'un altre. Han de donar suport tant als desenvolupadors de models oberts com als de models tancats, tant als nous actors com als laboratoris consolidats, i tant a l'autoritat nacional com a la cooperació internacional. Cada govern hauria de decidir com incorpora els estàndards al seu propi ordenament jurídic. Però tots hi sortirem guanyant si podem acordar què constitueix una bona base probatòria, unes bones salvaguardes i una bona supervisió en l'àmbit mundial.

No tenim totes les respostes i estem molt oberts a qualsevol idea millor. Estem disposats a treballar amb tots vosaltres i a esforçar-nos al màxim per trobar el camí que cal seguir.

Som en una cruïlla. Un camí porta a un món on el poder està concentrat, les decisions són opaques i la gent sent que la tecnologia més important de la seva vida és una cosa que se li imposa. L'altre camí porta a un món on la IA treballa per a les persones perquè les persones, a través de les institucions democràtiques, contribueixen a decidir com aquesta s'ha de desenvolupar i orientar; on el progrés científic millora vides reals; on més persones poden participar en el futur, i on aquesta tecnologia continua donant a les persones i a les comunitats més poder per viure com vulguin. És un futur de potencial fet realitat, entusiasme i fascinació.

I és el futur que creiem que val la pena construir. Moltes gràcies.