Sam Altman’s remarks at the United Nations Security Council

Today, OpenAI CEO Sam Altman addressed the United Nations Security Council on artificial intelligence. He discussed AI’s potential to expand opportunity, the importance of keeping powerful systems under human control, and the need for international cooperation on AI safety.

Thank you, Mr. President and your Excellencies. I’m honored to be here and to be able to speak with you all at this important time.

We have been talking about artificial intelligence for years, but it feels different in recent weeks and months. Rapid model progress has made the timeline feel more compressed, the upside more tangible, but also the stakes and the risks more immediate.

We have a choice in front of us. AI can either be more like a new Renaissance of creativity and discovery, or more like a new Industrial Revolution of upheaval and disarray.

The Renaissance was a time when new tools, new ideas, and new institutions expanded what people believed they could do. AI can play that role for our time. I believe that people are much more capable than they imagine themselves to be, but have been held back by limited technology that was meant to empower but instead distracts and often steals attention.

The best version of AI is not about making people cogs in a giant machine, or optimizing every part of life until the human parts disappear. It is about giving people more agency in an ever more complex world: more ability to learn, to create, discover, build, participate. There are many things that AI cannot—and should not—automate.

AI should be built for people, not simply to turn the crank of the machines faster for their own sake. Some of the things people working to build AI have said are so dystopian that they sound like the plot of bad science fiction movies.

Anything this powerful is also intimidating. This moment is complicated as we feel both tremendous potential and very understandable anxiety at the same time.

These models can help people discover new knowledge: new medicines, better health care, stronger education, and build more productive economies. They can be new tools for people to pursue dreams and ambition that today feel out of reach. The complexity of life has increased so dramatically for the average person. AI can be a defensive tool against this complexity as much as it can be this tool of unprecedented discovery and innovation.

On the other hand, as AI systems become more capable and more autonomous, they could move faster than our institutions, concentrate power in too few hands, or make decisions that people no longer understand or control.

That concern becomes especially important as we approach systems that can improve themselves and future versions of themselves, often called recursive self-improvement. As the process of building AI becomes more automated, the pace of AI progress could accelerate rapidly. This moment calls for extreme care.

I largely agree with Professor Bengio. Although I’ll say two instead of three—I believe there are two ways that AI progress could go very badly that we have to avoid.

First, we could lose control of the future to AI. The risk is that it moves so fast that people can no longer follow what’s happening or intervene when needed. This would obviously be terrible.

The industry must not accept too much technological risk just because the benefits are too great and that they feel too important to slow down. Beating companies in a competitive pace is not a reason to make rash decisions. Nor do we believe we are locked in a race where we are unable to do that. We have unilaterally slowed down in the past. We will do so in the future. We do not want to build systems—we think it’s important that everyone avoids building systems—where we cannot make the alignment, monitorability, and safety guarantees that we must.

We need to understand what these systems are doing and have strong evidence that they will do what people intend, even as they get very, very smart. Actually especially as they get very very smart. It doesn’t matter whether people put the risk of catastrophe at 10%, or 1%, or 12%, or .1%. None of these levels are remotely acceptable. And we should not train models that we cannot make an extremely strong case that we will be able to keep under human control.

So that’s one way things can go wrong. In the other direction, these systems could concentrate too much power in too few hands. No one person or company or country should be able to use the most powerful AI models to impose their worldview on everyone else. A company or country that believes only it can be trusted with this technology can use that belief to justify almost anything else. We have to reject that logic, even when it’s convenient for any one actor.

Creo que existe una vía pragmática para abordar ambos asuntos. En OpenAI, abordamos estas preguntas con un objetivo claro: la IA debe dar a las personas más poder sobre sus propias vidas. Más libertad para vivir como quieran. Más capacidad para resolver problemas, grandes o pequeños, y mejorar sus comunidades. No queremos caer en la trampa del optimismo ciego. Tampoco queremos caer en la trampa del catastrofismo. Dejarnos arrastrar hacia cualquiera de los extremos no nos ayudará a resolver con éxito los desafíos que enfrentamos, especialmente cuando el mundo y sus habitantes afrontan problemas enormes que esta tecnología puede ayudar a solucionar. Por eso intentamos seguir un camino intermedio entre estos dos polos.

Para nosotros, eso implica tres principios.

Primero, a medida que la IA adquiere más capacidades, las personas deben seguir ocupando el centro de las decisiones sobre ella. La alineación no es una cuestión de investigación abstracta. Es la labor de garantizar que estos sistemas permanezcan de forma confiable bajo control humano, reflejen valores humanos y ayuden a las personas a orientar las próximas etapas del desarrollo. No intentamos —ni debemos— automatizar el criterio ni los valores humanos.

Segundo, los beneficios del progreso científico y del crecimiento económico deben surgir de las personas y estar a su servicio. La IA debe ayudar a los investigadores a hacer descubrimientos, a los médicos a tratar pacientes, a los docentes a enseñar, a los emprendedores a crear empresas, a las comunidades a resolver problemas que parecían inalcanzables y mucho más. La historia continua del progreso humano no consiste en que las herramientas reemplacen la capacidad de acción de las personas. Consiste en que las herramientas adecuadas aumentan las capacidades de las personas, y creo que esto llegará mucho más lejos de lo que hoy consideramos posible.

Tercero, esta tecnología debe empoderar a cada persona. Un gran futuro surgirá cuando las personas alcancen su potencial y generen valor para sí mismas, sus comunidades, sus países y el mundo en general. Podemos ser algunos de los creadores de esta tecnología, pero no somos los héroes de esta historia. Nuestro papel es brindar oportunidades a personas de todo el mundo y confiar en la magia de las habilidades y facultades humanas.

Ahora tenemos modelos capaces de descubrir conocimientos que nunca antes habíamos tenido. Consideremos los avances que hemos visto en matemáticas. Hace tres veranos, nuestros modelos tenían un desempeño aceptable en matemáticas de primaria. Hace dos veranos, eran bastante buenos en competencias de matemáticas de secundaria. El verano pasado, alcanzamos un nivel de medalla de oro en la competencia internacional de matemáticas más prestigiosa. Y hace apenas unas semanas, este verano, uno de nuestros modelos resolvió uno de los Problemas del Milenio: las ecuaciones de Navier-Stokes.

Estas ecuaciones se usan para diseñar aeronaves, pronosticar el tiempo y estudiar el flujo sanguíneo. No resolvemos problemas matemáticos como un fin en sí mismo, sino para que las personas puedan descubrir nuevos conocimientos y usarlos para mejorar la atención médica, elevar el nivel de vida y ampliar el potencial de todos en el mundo. Aún queda muchísimo por descubrir.

Pero es muy importante que las empresas no sustituyan el proceso democrático.

Para que la IA sea democrática, las decisiones más importantes no pueden quedar únicamente en manos de laboratorios de San Francisco. Deben definirse mediante procesos democráticos y por gobiernos que rindan cuentas a las personas a las que sirven.

En el ámbito internacional, esto exigirá cooperación. A lo largo de la historia, ha habido momentos en que países que compiten y no siempre se llevan muy bien aun así se unen en torno a intereses compartidos y al bien común ante una nueva y poderosa tecnología. Creemos que este debe ser uno de esos momentos.

Necesitamos un mecanismo de normas nacionales e internacionales complementarias para la IA de vanguardia: normas para medir capacidades, evaluar riesgos, determinar si las salvaguardas son suficientes y preservar una supervisión humana efectiva a medida que los sistemas se vuelven más autónomos.

Necesitamos normas comunes para que los países puedan comparar pruebas, verificar el cumplimiento y compartir un mismo lenguaje y entendimiento de lo que ocurre.

Necesitamos informes de incidentes precisos y oportunos, así como protocolos de clasificación y notificación, para que el mundo pueda aprender de las fallas antes de que se conviertan en catástrofes.

Y necesitamos canales seguros entre gobiernos, operadores de infraestructura crítica y expertos técnicos para compartir vulnerabilidades emergentes y nuevas amenazas.

Por supuesto, estas normas no deben consolidar a los actores establecidos ni favorecer un modelo de negocio sobre otro. Deben respaldar a desarrolladores de modelos abiertos y cerrados, a nuevos participantes y laboratorios establecidos, así como la autoridad nacional y la cooperación internacional. Cada gobierno debe decidir cómo incorporar las normas a su propio sistema jurídico. Pero todos estaremos mejor si logramos acordar qué constituyen buenas pruebas, buenas salvaguardas y una buena supervisión en el ámbito mundial.

No tenemos todas las respuestas y estamos muy abiertos a escuchar mejores ideas. Estamos listos para trabajar con todos ustedes y hacer nuestro mayor esfuerzo por encontrar el camino a seguir.

Estamos ante una encrucijada. Un camino conduce a un mundo donde el poder está concentrado, las decisiones son opacas y las personas sienten que la tecnología más importante de sus vidas es algo que se les impone. El otro camino conduce a un mundo donde la IA trabaja para las personas porque ellas, a través de instituciones democráticas, ayudan a decidir cómo debe desarrollarse y orientarse; donde el progreso científico mejora vidas reales; donde más personas pueden participar en el futuro; y donde esta tecnología sigue dando a las personas y las comunidades más poder para vivir como elijan. Este es un futuro de potencial realizado, entusiasmo y asombro.

Y es el futuro que creemos que vale la pena construir. Muchas gracias.