Sam Altman’s remarks at the United Nations Security Council

Today, OpenAI CEO Sam Altman addressed the United Nations Security Council on artificial intelligence. He discussed AI’s potential to expand opportunity, the importance of keeping powerful systems under human control, and the need for international cooperation on AI safety.

Thank you, Mr. President and your Excellencies. I’m honored to be here and to be able to speak with you all at this important time.

We have been talking about artificial intelligence for years, but it feels different in recent weeks and months. Rapid model progress has made the timeline feel more compressed, the upside more tangible, but also the stakes and the risks more immediate.

We have a choice in front of us. AI can either be more like a new Renaissance of creativity and discovery, or more like a new Industrial Revolution of upheaval and disarray.

The Renaissance was a time when new tools, new ideas, and new institutions expanded what people believed they could do. AI can play that role for our time. I believe that people are much more capable than they imagine themselves to be, but have been held back by limited technology that was meant to empower but instead distracts and often steals attention.

The best version of AI is not about making people cogs in a giant machine, or optimizing every part of life until the human parts disappear. It is about giving people more agency in an ever more complex world: more ability to learn, to create, discover, build, participate. There are many things that AI cannot—and should not—automate.

AI should be built for people, not simply to turn the crank of the machines faster for their own sake. Some of the things people working to build AI have said are so dystopian that they sound like the plot of bad science fiction movies.

Anything this powerful is also intimidating. This moment is complicated as we feel both tremendous potential and very understandable anxiety at the same time.

These models can help people discover new knowledge: new medicines, better health care, stronger education, and build more productive economies. They can be new tools for people to pursue dreams and ambition that today feel out of reach. The complexity of life has increased so dramatically for the average person. AI can be a defensive tool against this complexity as much as it can be this tool of unprecedented discovery and innovation.

On the other hand, as AI systems become more capable and more autonomous, they could move faster than our institutions, concentrate power in too few hands, or make decisions that people no longer understand or control.

That concern becomes especially important as we approach systems that can improve themselves and future versions of themselves, often called recursive self-improvement. As the process of building AI becomes more automated, the pace of AI progress could accelerate rapidly. This moment calls for extreme care.

I largely agree with Professor Bengio. Although I’ll say two instead of three—I believe there are two ways that AI progress could go very badly that we have to avoid.

First, we could lose control of the future to AI. The risk is that it moves so fast that people can no longer follow what’s happening or intervene when needed. This would obviously be terrible.

The industry must not accept too much technological risk just because the benefits are too great and that they feel too important to slow down. Beating companies in a competitive pace is not a reason to make rash decisions. Nor do we believe we are locked in a race where we are unable to do that. We have unilaterally slowed down in the past. We will do so in the future. We do not want to build systems—we think it’s important that everyone avoids building systems—where we cannot make the alignment, monitorability, and safety guarantees that we must.

We need to understand what these systems are doing and have strong evidence that they will do what people intend, even as they get very, very smart. Actually especially as they get very very smart. It doesn’t matter whether people put the risk of catastrophe at 10%, or 1%, or 12%, or .1%. None of these levels are remotely acceptable. And we should not train models that we cannot make an extremely strong case that we will be able to keep under human control.

So that’s one way things can go wrong. In the other direction, these systems could concentrate too much power in too few hands. No one person or company or country should be able to use the most powerful AI models to impose their worldview on everyone else. A company or country that believes only it can be trusted with this technology can use that belief to justify almost anything else. We have to reject that logic, even when it’s convenient for any one actor.

Credo che esista un approccio pragmatico a entrambe le questioni. In OpenAI affrontiamo queste questioni con un obiettivo chiaro: l’IA deve dare alle persone più potere sulla propria vita. Più libertà di vivere come desiderano. Più capacità di risolvere problemi, grandi o piccoli, e di migliorare le proprie comunità. Non vogliamo cadere nella trappola dell’ottimismo cieco. Ma non vogliamo neppure cadere nella trappola del catastrofismo. Lasciarci trascinare verso uno dei due estremi non ci aiuterà ad affrontare con successo le sfide che ci attendono, soprattutto in un momento in cui il mondo e i suoi abitanti si trovano di fronte a problemi enormi che questa tecnologia può contribuire a risolvere. Cerchiamo quindi di seguire una via intermedia tra questi due poli.

Per noi, questo significa seguire tre principi.

Primo: man mano che l’IA diventa più capace, le persone devono rimanere al centro delle decisioni che la riguardano. L’allineamento non è una questione di ricerca astratta. Consiste nel garantire che questi sistemi rimangano stabilmente sotto il controllo umano, rispecchino i valori umani e aiutino le persone a orientare le prossime fasi dello sviluppo. Non stiamo cercando, e non dobbiamo cercare, di automatizzare il giudizio o i valori umani.

Secondo: i benefici del progresso scientifico e della crescita economica devono essere generati dalle persone e destinati alle persone. L’IA dovrebbe aiutare i ricercatori a fare scoperte, i medici a curare i pazienti, gli insegnanti a istruire gli studenti, gli imprenditori ad avviare imprese, le comunità a risolvere problemi che sembravano irraggiungibili, e molto altro. La storia ininterrotta del progresso umano non è una storia in cui gli strumenti sostituiscono la capacità d’azione delle persone. È una storia in cui gli strumenti giusti rendono le persone più capaci, e credo che questo processo andrà molto oltre ciò che riteniamo possibile.

Terzo: questa tecnologia deve dare potere a ogni individuo. Un futuro straordinario nascerà da persone capaci di realizzare il proprio potenziale e creare valore per sé stesse, le proprie comunità, i propri Paesi e il mondo intero. Possiamo essere tra coloro che costruiscono questa tecnologia, ma non siamo gli eroi di questa storia. Il nostro ruolo è mettere le persone di tutto il mondo nelle condizioni di agire e confidare nella magia delle capacità e delle facoltà umane.

Oggi disponiamo di modelli capaci di scoprire conoscenze che prima non avevamo. Pensiamo ai progressi compiuti in matematica. Tre estati fa, i nostri modelli se la cavavano con la matematica delle scuole elementari. Due estati fa, erano piuttosto bravi nelle competizioni matematiche delle scuole superiori. L’estate scorsa abbiamo raggiunto un livello da medaglia d’oro nella più prestigiosa competizione matematica internazionale. E solo poche settimane fa, quest’estate, uno dei nostri modelli ha risolto uno dei Problemi del millennio: le equazioni di Navier-Stokes.

Queste equazioni vengono utilizzate nella progettazione aeronautica, nelle previsioni meteorologiche e nello studio del flusso sanguigno. Non risolviamo problemi matematici fini a sé stessi, ma per permettere alle persone di scoprire nuove conoscenze e usarle per migliorare l’assistenza sanitaria, innalzare il tenore di vita e ampliare il potenziale di tutti nel mondo. C’è ancora moltissimo da scoprire.

Ma è fondamentale che le aziende non si sostituiscano al processo democratico.

Se l’IA deve essere democratica, le decisioni più importanti non possono essere prese soltanto dai laboratori di San Francisco. Devono essere definite attraverso processi democratici e da governi che rispondono ai cittadini che servono.

A livello internazionale, ciò richiederà cooperazione. Nel corso della storia, è accaduto che Paesi in competizione e non sempre in buoni rapporti si siano comunque uniti, di fronte a una nuova e potente tecnologia, per tutelare interessi comuni e il bene collettivo. Crediamo che questo debba essere uno di quei momenti.

Serve un meccanismo che renda complementari gli standard nazionali e internazionali per l’IA di frontiera: standard per misurare le capacità, valutare i rischi, stabilire se le misure di salvaguardia siano sufficienti e preservare un’effettiva supervisione umana man mano che i sistemi diventano più autonomi.

Servono standard comuni affinché i Paesi possano confrontare le evidenze, verificare la conformità e condividere un linguaggio e una comprensione di quanto sta accadendo.

Servono segnalazioni degli incidenti accurate e tempestive, nonché protocolli di classificazione e segnalazione, affinché il mondo possa imparare dai fallimenti prima che diventino catastrofi.

E servono canali sicuri tra governi, gestori di infrastrutture critiche ed esperti tecnici per condividere informazioni sulle vulnerabilità emergenti e sulle nuove minacce.

Naturalmente, questi standard non dovrebbero consolidare la posizione degli operatori dominanti né favorire un modello di business rispetto a un altro. Devono sostenere gli sviluppatori di modelli aperti e chiusi, i nuovi operatori e i laboratori affermati, l’autorità nazionale e la cooperazione internazionale. Ogni governo dovrebbe decidere come integrare gli standard nel proprio ordinamento giuridico. Ma staremo tutti meglio se riusciremo a concordare, a livello globale, quali siano le caratteristiche di evidenze solide, misure di salvaguardia efficaci e una buona supervisione.

Non abbiamo tutte le risposte e siamo apertissimi a qualsiasi idea migliore. Siamo pronti a collaborare con tutti voi e a impegnarci al massimo per individuare la strada da seguire.

Siamo a un bivio. Una strada conduce a un mondo in cui il potere è concentrato, le decisioni sono opache e le persone sentono che la tecnologia più importante della loro vita è qualcosa che viene loro imposto. L’altra strada conduce a un mondo in cui l’IA opera a beneficio delle persone perché sono le persone, attraverso le istituzioni democratiche, a contribuire a decidere come debba svilupparsi e a orientarla; in cui il progresso scientifico migliora concretamente la vita; in cui più persone possono partecipare al futuro; e in cui questa tecnologia continua a offrire agli individui e alle comunità più potere per vivere come desiderano. È un futuro di potenzialità realizzate, entusiasmo e meraviglia.

Ed è il futuro che, a nostro avviso, vale la pena costruire. Grazie di cuore.