Sam Altman’s remarks at the United Nations Security Council

Today, OpenAI CEO Sam Altman addressed the United Nations Security Council on artificial intelligence. He discussed AI’s potential to expand opportunity, the importance of keeping powerful systems under human control, and the need for international cooperation on AI safety.

Thank you, Mr. President and your Excellencies. I’m honored to be here and to be able to speak with you all at this important time.

We have been talking about artificial intelligence for years, but it feels different in recent weeks and months. Rapid model progress has made the timeline feel more compressed, the upside more tangible, but also the stakes and the risks more immediate.

We have a choice in front of us. AI can either be more like a new Renaissance of creativity and discovery, or more like a new Industrial Revolution of upheaval and disarray.

The Renaissance was a time when new tools, new ideas, and new institutions expanded what people believed they could do. AI can play that role for our time. I believe that people are much more capable than they imagine themselves to be, but have been held back by limited technology that was meant to empower but instead distracts and often steals attention.

The best version of AI is not about making people cogs in a giant machine, or optimizing every part of life until the human parts disappear. It is about giving people more agency in an ever more complex world: more ability to learn, to create, discover, build, participate. There are many things that AI cannot—and should not—automate.

AI should be built for people, not simply to turn the crank of the machines faster for their own sake. Some of the things people working to build AI have said are so dystopian that they sound like the plot of bad science fiction movies.

Anything this powerful is also intimidating. This moment is complicated as we feel both tremendous potential and very understandable anxiety at the same time.

These models can help people discover new knowledge: new medicines, better health care, stronger education, and build more productive economies. They can be new tools for people to pursue dreams and ambition that today feel out of reach. The complexity of life has increased so dramatically for the average person. AI can be a defensive tool against this complexity as much as it can be this tool of unprecedented discovery and innovation.

On the other hand, as AI systems become more capable and more autonomous, they could move faster than our institutions, concentrate power in too few hands, or make decisions that people no longer understand or control.

That concern becomes especially important as we approach systems that can improve themselves and future versions of themselves, often called recursive self-improvement. As the process of building AI becomes more automated, the pace of AI progress could accelerate rapidly. This moment calls for extreme care.

I largely agree with Professor Bengio. Although I’ll say two instead of three—I believe there are two ways that AI progress could go very badly that we have to avoid.

First, we could lose control of the future to AI. The risk is that it moves so fast that people can no longer follow what’s happening or intervene when needed. This would obviously be terrible.

The industry must not accept too much technological risk just because the benefits are too great and that they feel too important to slow down. Beating companies in a competitive pace is not a reason to make rash decisions. Nor do we believe we are locked in a race where we are unable to do that. We have unilaterally slowed down in the past. We will do so in the future. We do not want to build systems—we think it’s important that everyone avoids building systems—where we cannot make the alignment, monitorability, and safety guarantees that we must.

We need to understand what these systems are doing and have strong evidence that they will do what people intend, even as they get very, very smart. Actually especially as they get very very smart. It doesn’t matter whether people put the risk of catastrophe at 10%, or 1%, or 12%, or .1%. None of these levels are remotely acceptable. And we should not train models that we cannot make an extremely strong case that we will be able to keep under human control.

So that’s one way things can go wrong. In the other direction, these systems could concentrate too much power in too few hands. No one person or company or country should be able to use the most powerful AI models to impose their worldview on everyone else. A company or country that believes only it can be trusted with this technology can use that belief to justify almost anything else. We have to reject that logic, even when it’s convenient for any one actor.

Acredito que existe uma via pragmática entre estes dois extremos. Na OpenAI, abordamos estas questões com um objetivo claro: a IA deve dar às pessoas mais controlo sobre as suas próprias vidas. Mais liberdade para viverem como quiserem. Mais capacidade para resolverem problemas, grandes ou pequenos, e melhorarem as suas comunidades. Não queremos cair na armadilha do otimismo cego. Também não queremos cair na armadilha do catastrofismo. Deixarmo-nos arrastar para qualquer um dos extremos não nos ajudará a enfrentar com êxito os desafios que temos pela frente, sobretudo numa altura em que o mundo e os seus habitantes enfrentam desafios tão enormes que esta tecnologia pode ajudar a resolver. Por isso, tentamos seguir uma via intermédia entre estes dois polos.

Para nós, isso traduz-se em três princípios.

Em primeiro lugar, à medida que a IA se torna mais capaz, as pessoas têm de permanecer no centro das decisões relacionadas com esta tecnologia. O alinhamento não é uma questão de investigação abstrata. É o trabalho de garantir que estes sistemas permanecem, de forma fiável, sob controlo humano, refletem valores humanos e ajudam as pessoas a orientar as próximas fases do desenvolvimento. Não estamos a tentar automatizar — nem podemos automatizar — o discernimento ou os valores humanos.

Em segundo lugar, os benefícios do progresso científico e do crescimento económico têm de ser criados pelas pessoas e estar ao seu serviço. A IA deve ajudar os investigadores a fazer descobertas, os médicos a tratar doentes, os professores a ensinar alunos, os empreendedores a criar empresas e as comunidades a resolver problemas que pareciam estar fora do seu alcance, entre muitas outras coisas. A história contínua do progresso humano não é a de ferramentas que substituem a capacidade de ação humana. É a de que as ferramentas certas tornam as pessoas mais capazes, e acredito que isto irá muito além do que julgamos possível.

Em terceiro lugar, esta tecnologia tem de capacitar cada pessoa individualmente. Um futuro promissor nascerá da concretização do potencial das pessoas e da criação de valor para si próprias, para as suas comunidades, para os seus países e para o mundo em geral. Podemos ser uma das entidades que desenvolvem esta tecnologia, mas não somos os heróis desta história. O nosso papel é capacitar pessoas em todo o mundo e confiar na magia das competências e faculdades humanas.

Temos agora modelos capazes de descobrir conhecimento a que nunca antes tivemos acesso. Vejamos os progressos que alcançámos na matemática. Há três verões, os nossos modelos tinham um desempenho razoável em matemática do ensino básico. Há dois verões, já tinham um desempenho bastante bom em competições de matemática do ensino secundário. No verão passado, atingimos o nível de uma medalha de ouro na mais prestigiada competição internacional de matemática. E, há apenas algumas semanas, neste verão, um dos nossos modelos resolveu um dos Problemas do Prémio Millennium: as equações de Navier–Stokes.

Estas equações são utilizadas na conceção de aeronaves, na previsão meteorológica e no estudo do fluxo sanguíneo. Não resolvemos problemas matemáticos como um fim em si mesmo, mas para capacitar as pessoas a descobrir novos conhecimentos e a utilizá-los para melhorar os cuidados de saúde, elevar os níveis de vida e ampliar o potencial de todos em todo o mundo. Há ainda tanto por descobrir.

Mas é muito importante que as empresas não substituam o processo democrático.

Para que a IA seja democrática, as decisões mais importantes não podem ser tomadas apenas por laboratórios de São Francisco. Têm de ser definidas através de processos democráticos e por governos que prestem contas às pessoas que servem.

A nível internacional, isto exigirá cooperação. Ao longo da história, houve momentos em que países concorrentes, que nem sempre nutriam grande simpatia uns pelos outros, se uniram em torno de interesses comuns e do bem coletivo perante uma nova e poderosa tecnologia. Acreditamos que este tem de ser um desses momentos.

Precisamos de um mecanismo que articule normas nacionais e internacionais complementares para a IA de fronteira: normas para medir capacidades, avaliar riscos, determinar se as salvaguardas são suficientes e preservar uma supervisão humana efetiva à medida que os sistemas se tornam mais autónomos.

Precisamos de normas comuns para que os países possam comparar provas, verificar a conformidade e partilhar uma linguagem e um entendimento sobre o que está a acontecer.

Precisamos de uma comunicação de incidentes rápida e rigorosa, bem como de protocolos de classificação e comunicação, para que o mundo possa aprender com as falhas antes de estas se transformarem em catástrofes.

E precisamos de canais seguros entre governos, operadores de infraestruturas críticas e especialistas técnicos para partilhar vulnerabilidades emergentes e novas ameaças.

Obviamente, estas normas não devem proteger os intervenientes já estabelecidos nem favorecer um modelo de negócio em detrimento de outro. Devem apoiar os criadores de modelos abertos e fechados, os novos participantes e os laboratórios estabelecidos, a autoridade nacional e a cooperação internacional. Cada governo deve decidir como incorporar as normas no seu próprio sistema jurídico. Mas todos ficaremos a ganhar se conseguirmos chegar a acordo, a nível mundial, sobre o que constitui boas provas, boas salvaguardas e uma boa supervisão.

Não temos todas as respostas e estamos muito recetivos a ideias melhores. Estamos prontos para trabalhar com todos vós e dar o nosso melhor para encontrarmos o caminho a seguir.

Estamos numa encruzilhada. Um dos caminhos conduz a um mundo onde o poder está concentrado, as decisões são opacas e as pessoas sentem que a tecnologia mais importante das suas vidas é algo que lhes está a ser imposto. O outro conduz a um mundo onde a IA trabalha em benefício das pessoas porque estas, através das instituições democráticas, ajudam a decidir como deve evoluir e orientam o seu desenvolvimento; onde o progresso científico melhora vidas reais; onde mais pessoas podem participar no futuro; e onde esta tecnologia continua a dar aos indivíduos e às comunidades mais poder para viverem como escolherem. Este é um futuro de potencial concretizado, entusiasmo e deslumbramento.

E é o futuro que, acreditamos, vale a pena construir. Muito obrigado.