Sam Altman’s remarks at the United Nations Security Council

Today, OpenAI CEO Sam Altman addressed the United Nations Security Council on artificial intelligence. He discussed AI’s potential to expand opportunity, the importance of keeping powerful systems under human control, and the need for international cooperation on AI safety.

Thank you, Mr. President and your Excellencies. I’m honored to be here and to be able to speak with you all at this important time.

We have been talking about artificial intelligence for years, but it feels different in recent weeks and months. Rapid model progress has made the timeline feel more compressed, the upside more tangible, but also the stakes and the risks more immediate.

We have a choice in front of us. AI can either be more like a new Renaissance of creativity and discovery, or more like a new Industrial Revolution of upheaval and disarray.

The Renaissance was a time when new tools, new ideas, and new institutions expanded what people believed they could do. AI can play that role for our time. I believe that people are much more capable than they imagine themselves to be, but have been held back by limited technology that was meant to empower but instead distracts and often steals attention.

The best version of AI is not about making people cogs in a giant machine, or optimizing every part of life until the human parts disappear. It is about giving people more agency in an ever more complex world: more ability to learn, to create, discover, build, participate. There are many things that AI cannot—and should not—automate.

AI should be built for people, not simply to turn the crank of the machines faster for their own sake. Some of the things people working to build AI have said are so dystopian that they sound like the plot of bad science fiction movies.

Anything this powerful is also intimidating. This moment is complicated as we feel both tremendous potential and very understandable anxiety at the same time.

These models can help people discover new knowledge: new medicines, better health care, stronger education, and build more productive economies. They can be new tools for people to pursue dreams and ambition that today feel out of reach. The complexity of life has increased so dramatically for the average person. AI can be a defensive tool against this complexity as much as it can be this tool of unprecedented discovery and innovation.

On the other hand, as AI systems become more capable and more autonomous, they could move faster than our institutions, concentrate power in too few hands, or make decisions that people no longer understand or control.

That concern becomes especially important as we approach systems that can improve themselves and future versions of themselves, often called recursive self-improvement. As the process of building AI becomes more automated, the pace of AI progress could accelerate rapidly. This moment calls for extreme care.

I largely agree with Professor Bengio. Although I’ll say two instead of three—I believe there are two ways that AI progress could go very badly that we have to avoid.

First, we could lose control of the future to AI. The risk is that it moves so fast that people can no longer follow what’s happening or intervene when needed. This would obviously be terrible.

The industry must not accept too much technological risk just because the benefits are too great and that they feel too important to slow down. Beating companies in a competitive pace is not a reason to make rash decisions. Nor do we believe we are locked in a race where we are unable to do that. We have unilaterally slowed down in the past. We will do so in the future. We do not want to build systems—we think it’s important that everyone avoids building systems—where we cannot make the alignment, monitorability, and safety guarantees that we must.

We need to understand what these systems are doing and have strong evidence that they will do what people intend, even as they get very, very smart. Actually especially as they get very very smart. It doesn’t matter whether people put the risk of catastrophe at 10%, or 1%, or 12%, or .1%. None of these levels are remotely acceptable. And we should not train models that we cannot make an extremely strong case that we will be able to keep under human control.

So that’s one way things can go wrong. In the other direction, these systems could concentrate too much power in too few hands. No one person or company or country should be able to use the most powerful AI models to impose their worldview on everyone else. A company or country that believes only it can be trusted with this technology can use that belief to justify almost anything else. We have to reject that logic, even when it’s convenient for any one actor.

Creo que existe una vía pragmática para abordar ambas cuestiones. En OpenAI abordamos estas cuestiones con un objetivo claro: la IA debe dar a las personas más control sobre su propia vida. Más libertad para vivir como quieran. Más capacidad para resolver problemas, grandes o pequeños, y mejorar sus comunidades. No queremos caer en la trampa del optimismo ciego. Tampoco queremos caer en la trampa del catastrofismo. Dejarnos arrastrar hacia cualquiera de los extremos no nos ayudará a resolver con éxito los retos que tenemos ante nosotros, especialmente cuando el mundo y sus habitantes afrontan desafíos enormes que esta tecnología puede ayudar a solucionar. Por eso intentamos seguir una vía intermedia entre ambos polos.

Para nosotros, eso se traduce en tres principios.

En primer lugar, a medida que la IA adquiere más capacidades, las personas deben seguir ocupando el centro de la toma de decisiones sobre ella. La alineación no es una cuestión de investigación abstracta. Consiste en garantizar que estos sistemas permanezcan de forma fiable bajo control humano, reflejen valores humanos y ayuden a las personas a orientar las siguientes etapas de desarrollo. No intentamos automatizar —ni debemos hacerlo— el criterio ni los valores humanos.

En segundo lugar, los beneficios del progreso científico y el crecimiento económico deben estar en manos de las personas y a su servicio. La IA debe ayudar a los investigadores a realizar descubrimientos, a los médicos a tratar a sus pacientes, a los docentes a enseñar, a los emprendedores a crear empresas y a las comunidades a resolver problemas que parecían fuera de su alcance, entre muchas otras cosas. La historia continua del progreso humano no consiste en que las herramientas sustituyan la capacidad de acción humana. Consiste en que las herramientas adecuadas aumentan las capacidades de las personas, y creo que esto llegará mucho más lejos de lo que hoy consideramos posible.

En tercer lugar, esta tecnología debe empoderar a cada persona. Un gran futuro surgirá cuando las personas hagan realidad su potencial y creen valor para sí mismas, sus comunidades, sus países y el conjunto del mundo. Puede que seamos uno de los artífices de esta tecnología, pero no somos los héroes de esta historia. Nuestro papel es facilitar que las personas de todo el mundo desarrollen sus capacidades y confiar en la magia del talento y las facultades de la humanidad.

Ya tenemos modelos capaces de descubrir conocimientos a los que nunca antes habíamos tenido acceso. Pensemos en los avances que hemos visto en matemáticas. Hace tres veranos, nuestros modelos se desenvolvían de forma aceptable con las matemáticas de primaria. Hace dos veranos, se desenvolvían bastante bien en competiciones de matemáticas de secundaria. El verano pasado alcanzamos el nivel de una medalla de oro en la competición internacional de matemáticas más prestigiosa. Y hace apenas unas semanas, este verano, uno de nuestros modelos resolvió uno de los Problemas del Milenio: las ecuaciones de Navier-Stokes.

Estas ecuaciones se utilizan para diseñar aeronaves, predecir el tiempo y estudiar el flujo sanguíneo. No resolvemos problemas matemáticos como un fin en sí mismo, sino para que las personas puedan descubrir nuevos conocimientos y utilizarlos para mejorar la atención sanitaria, elevar el nivel de vida y ampliar el potencial de todos en todo el mundo. Aún queda muchísimo por descubrir.

Pero es muy importante que las empresas no sustituyan al proceso democrático.

Para que la IA sea democrática, las decisiones más importantes no pueden tomarlas únicamente unos laboratorios de San Francisco. Deben definirse mediante procesos democráticos y a través de gobiernos que rindan cuentas ante las personas a las que sirven.

En el ámbito internacional, esto exigirá cooperación. A lo largo de la historia ha habido momentos en que países que compiten y no siempre se llevan demasiado bien se han unido por intereses comunes y por el bien colectivo ante una nueva y poderosa tecnología. Creemos que este debe ser uno de esos momentos.

Necesitamos un mecanismo de normas nacionales e internacionales complementarias para la IA de vanguardia: normas para medir capacidades, evaluar riesgos, determinar si las salvaguardias son suficientes y preservar una supervisión humana efectiva a medida que los sistemas adquieren más autonomía.

Necesitamos normas comunes para que los países puedan comparar pruebas, verificar el cumplimiento y compartir un lenguaje y una comprensión de lo que ocurre.

Necesitamos una notificación precisa y rápida de los incidentes, junto con protocolos de clasificación y notificación, para que el mundo pueda aprender de los fallos antes de que se conviertan en catástrofes.

Y necesitamos canales seguros entre gobiernos, operadores de infraestructuras críticas y expertos técnicos para compartir información sobre nuevas vulnerabilidades y amenazas emergentes.

Evidentemente, estas normas no deben consolidar la posición de quienes ya dominan el mercado ni favorecer un modelo de negocio frente a otro. Deben respaldar a los desarrolladores de modelos abiertos y cerrados, tanto a los recién llegados como a los laboratorios consolidados, así como la autoridad nacional y la cooperación internacional. Cada gobierno debe decidir cómo incorporar las normas a su propio ordenamiento jurídico. Pero todos estaremos mejor si logramos acordar qué constituyen unas pruebas, unas salvaguardias y una supervisión adecuadas en el ámbito mundial.

No tenemos todas las respuestas y estamos muy abiertos a cualquier idea mejor. Estamos dispuestos a trabajar con todos vosotros y a esforzarnos al máximo para encontrar el camino a seguir.

Estamos en una encrucijada. Un camino conduce a un mundo donde el poder está concentrado, las decisiones son opacas y las personas sienten que la tecnología más importante de su vida es algo que se les impone. El otro camino conduce a un mundo donde la IA trabaja para las personas porque estas, a través de las instituciones democráticas, ayudan a decidir cómo debe desarrollarse y orientarse; donde el progreso científico mejora vidas reales; donde más personas pueden participar en el futuro; y donde esta tecnología sigue dando a las personas y las comunidades más poder para vivir como elijan. Es un futuro de potencial realizado, entusiasmo y asombro.

Y es el futuro que creemos que merece la pena construir. Muchas gracias.