Sam Altman’s remarks at the United Nations Security Council

Today, OpenAI CEO Sam Altman addressed the United Nations Security Council on artificial intelligence. He discussed AI’s potential to expand opportunity, the importance of keeping powerful systems under human control, and the need for international cooperation on AI safety.

Thank you, Mr. President and your Excellencies. I’m honored to be here and to be able to speak with you all at this important time.

We have been talking about artificial intelligence for years, but it feels different in recent weeks and months. Rapid model progress has made the timeline feel more compressed, the upside more tangible, but also the stakes and the risks more immediate.

We have a choice in front of us. AI can either be more like a new Renaissance of creativity and discovery, or more like a new Industrial Revolution of upheaval and disarray.

The Renaissance was a time when new tools, new ideas, and new institutions expanded what people believed they could do. AI can play that role for our time. I believe that people are much more capable than they imagine themselves to be, but have been held back by limited technology that was meant to empower but instead distracts and often steals attention.

The best version of AI is not about making people cogs in a giant machine, or optimizing every part of life until the human parts disappear. It is about giving people more agency in an ever more complex world: more ability to learn, to create, discover, build, participate. There are many things that AI cannot—and should not—automate.

AI should be built for people, not simply to turn the crank of the machines faster for their own sake. Some of the things people working to build AI have said are so dystopian that they sound like the plot of bad science fiction movies.

Anything this powerful is also intimidating. This moment is complicated as we feel both tremendous potential and very understandable anxiety at the same time.

These models can help people discover new knowledge: new medicines, better health care, stronger education, and build more productive economies. They can be new tools for people to pursue dreams and ambition that today feel out of reach. The complexity of life has increased so dramatically for the average person. AI can be a defensive tool against this complexity as much as it can be this tool of unprecedented discovery and innovation.

On the other hand, as AI systems become more capable and more autonomous, they could move faster than our institutions, concentrate power in too few hands, or make decisions that people no longer understand or control.

That concern becomes especially important as we approach systems that can improve themselves and future versions of themselves, often called recursive self-improvement. As the process of building AI becomes more automated, the pace of AI progress could accelerate rapidly. This moment calls for extreme care.

I largely agree with Professor Bengio. Although I’ll say two instead of three—I believe there are two ways that AI progress could go very badly that we have to avoid.

First, we could lose control of the future to AI. The risk is that it moves so fast that people can no longer follow what’s happening or intervene when needed. This would obviously be terrible.

The industry must not accept too much technological risk just because the benefits are too great and that they feel too important to slow down. Beating companies in a competitive pace is not a reason to make rash decisions. Nor do we believe we are locked in a race where we are unable to do that. We have unilaterally slowed down in the past. We will do so in the future. We do not want to build systems—we think it’s important that everyone avoids building systems—where we cannot make the alignment, monitorability, and safety guarantees that we must.

We need to understand what these systems are doing and have strong evidence that they will do what people intend, even as they get very, very smart. Actually especially as they get very very smart. It doesn’t matter whether people put the risk of catastrophe at 10%, or 1%, or 12%, or .1%. None of these levels are remotely acceptable. And we should not train models that we cannot make an extremely strong case that we will be able to keep under human control.

So that’s one way things can go wrong. In the other direction, these systems could concentrate too much power in too few hands. No one person or company or country should be able to use the most powerful AI models to impose their worldview on everyone else. A company or country that believes only it can be trusted with this technology can use that belief to justify almost anything else. We have to reject that logic, even when it’s convenient for any one actor.

Acredito que exista um caminho pragmático entre esses dois extremos. Na OpenAI, abordamos essas questões com um objetivo claro: a IA deve dar às pessoas mais poder sobre a própria vida. Mais liberdade para viver como quiserem. Mais capacidade para resolver problemas, grandes ou pequenos, e melhorar suas comunidades. Não queremos cair na armadilha do otimismo cego. Também não queremos cair na armadilha do catastrofismo. Deixar-nos levar por qualquer um desses extremos não nos ajudará a enfrentar com êxito os desafios à nossa frente, sobretudo em um momento em que o mundo e sua população enfrentam problemas imensos que essa tecnologia pode ajudar a resolver. Por isso, tentamos seguir um caminho intermediário entre esses dois polos.

Para nós, isso se traduz em três princípios.

Primeiro, à medida que a IA se torna mais capaz, as pessoas devem permanecer no centro das decisões relacionadas a ela. O alinhamento não é uma questão abstrata de pesquisa. É o trabalho de garantir que esses sistemas permaneçam sob controle humano de forma confiável, reflitam os valores humanos e ajudem as pessoas a orientar as próximas etapas do desenvolvimento. Não estamos tentando — e não devemos tentar — automatizar o discernimento ou os valores humanos.

Segundo, os benefícios do progresso científico e do crescimento econômico devem ser produzidos pelas pessoas e destinados a elas. A IA deve ajudar pesquisadores a fazer descobertas, médicos a tratar pacientes, professores a ensinar alunos, empreendedores a criar empresas, comunidades a resolver problemas que pareciam fora de alcance e muito mais. A história contínua do progresso humano não mostra que as ferramentas substituem a autonomia humana. Ela mostra que as ferramentas certas ampliam a capacidade das pessoas, e acredito que isso irá muito além do que julgamos possível.

Terceiro, essa tecnologia deve empoderar cada pessoa. Um futuro excelente surgirá quando as pessoas concretizarem seu potencial e criarem valor para si mesmas, suas comunidades, seus países e o mundo em geral. Podemos ser um dos responsáveis pela criação dessa tecnologia, mas não somos os heróis desta história. Nosso papel é capacitar pessoas no mundo inteiro e confiar na magia das habilidades e faculdades humanas.

Agora temos modelos capazes de descobrir conhecimentos aos quais nunca tivemos acesso. Vejam o progresso que observamos na matemática. Três anos atrás, nossos modelos tinham um desempenho razoável em matemática do ensino fundamental. Dois anos atrás, já se saíam muito bem em competições de matemática do ensino médio. No ano passado, alcançamos o nível de medalha de ouro na mais prestigiosa competição internacional de matemática. E há poucas semanas, um de nossos modelos resolveu um dos Problemas do Prêmio Millennium: as equações de Navier-Stokes.

Essas equações são usadas no projeto de aeronaves, na previsão do tempo e no estudo do fluxo sanguíneo. Não resolvemos problemas matemáticos como um fim em si mesmo, mas para permitir que as pessoas descubram novos conhecimentos e os usem para melhorar a saúde, elevar o padrão de vida e ampliar o potencial de todos ao redor do mundo. Ainda há muito a descobrir.

Mas é muito importante que as empresas não substituam o processo democrático.

Para que a IA seja democrática, as decisões mais importantes não podem ser tomadas apenas por laboratórios de São Francisco. Elas devem ser definidas por meio de processos democráticos e por governos que prestem contas às pessoas que servem.

No âmbito internacional, isso exigirá cooperação. Ao longo da história, houve momentos em que países concorrentes, que nem sempre nutriam grande simpatia uns pelos outros, uniram-se em torno de interesses comuns e do bem coletivo diante de uma nova e poderosa tecnologia. Acreditamos que este deve ser um desses momentos.

Precisamos de um mecanismo para normas nacionais e internacionais complementares sobre IA de fronteira: normas para medir capacidades, avaliar riscos, determinar se as salvaguardas são suficientes e preservar uma supervisão humana significativa à medida que os sistemas se tornam mais autônomos.

Precisamos de normas comuns para que os países possam comparar evidências, verificar a conformidade e compartilhar uma linguagem e um entendimento sobre o que está acontecendo.

Precisamos de protocolos rápidos e precisos para a notificação, classificação e elaboração de relatórios sobre incidentes, para que o mundo possa aprender com as falhas antes que elas se transformem em catástrofes.

E precisamos de canais seguros entre governos, operadores de infraestrutura crítica e especialistas técnicos para compartilhar vulnerabilidades emergentes e novas ameaças.

Evidentemente, essas normas não devem consolidar a posição das empresas dominantes nem favorecer um modelo de negócios em detrimento de outro. Elas devem apoiar desenvolvedores de modelos abertos e fechados, novos participantes e laboratórios estabelecidos, a autoridade nacional e a cooperação internacional. Cada governo deve decidir como incorporar as normas ao seu próprio sistema jurídico. Mas todos estaremos em melhor situação se pudermos chegar a um consenso, no cenário global, sobre o que caracteriza boas evidências, boas salvaguardas e boa supervisão.

Não temos todas as respostas e estamos muito abertos a ideias melhores. Estamos prontos para trabalhar com todos vocês e dar o máximo para encontrar o melhor caminho a seguir.

Estamos diante de uma encruzilhada. Um caminho leva a um mundo onde o poder está concentrado, as decisões são opacas e as pessoas sentem que a tecnologia mais importante de suas vidas é algo que lhes está sendo imposto. O outro caminho leva a um mundo onde a IA trabalha para as pessoas porque elas, por meio de instituições democráticas, ajudam a decidir como ela deve se desenvolver e orientam esse desenvolvimento; onde o progresso científico melhora vidas reais; onde mais pessoas podem participar do futuro; e onde essa tecnologia continua dando a indivíduos e comunidades mais poder para viver como quiserem. Esse é um futuro de potencial concretizado, entusiasmo e encantamento.

E é o futuro que, acreditamos, vale a pena construir. Muito obrigado.