Una mente alienígena

A mediados de 2023, dentro del proyecto de investigación «RLSlow», vimos los primeros resultados que nos hicieron confiar en que podríamos escalar el entrenamiento de modelos de razonamiento y liberar la capacidad de los modelos preentrenados para formar sus propias cadenas de pensamiento. Szymon y yo pasamos aquella noche en la oficina, sin pensar en las increíbles cifras de las pruebas de referencia, los productos o los resultados científicos que ofrecería esta tecnología, sino tratando de asimilar una realidad aleccionadora: durante nuestra vida veremos máquinas significativamente más inteligentes que nosotros, y ya vislumbramos la forma de estos sistemas. Nos preguntábamos cómo alertar a la gente de la importancia de todo ello.

Tres años después, los modelos lingüísticos de razonamiento son una parte de la economía que crece con rapidez y empiezan a ampliar las fronteras de la ciencia. Pueden manejar ordenadores e interfaces gráficas, colaborar con personas y entre sí, y llevar a cabo proyectos de investigación. También están transformando el panorama de la seguridad informática y, con ello, plantean nuevos peligros evidentes.

Durante este periodo se realizaron muchas investigaciones nuevas y nuestra comprensión de estos sistemas vuelve a ser algo distinta de la que teníamos en 2023. A partir de resultados internos, estoy firmemente convencido de que este ritmo de progreso podría mantenerse hasta llegar a la automejora recursiva. Si el desarrollo de la IA continúa por su rumbo actual, es probable que los sistemas que veremos en los próximos años den nuevos saltos de capacidad de igual o mayor magnitud e impulsen cada vez más su propio desarrollo.

Este momento exige una cautela extrema. Me preocupa que nadie esté preparado para las consecuencias de un aumento rápido y sostenido de la inteligencia de las máquinas. OpenAI seguirá buscando soluciones técnicas para la alineación y la monitorización, creando sistemas defensivos y deteniendo unilateralmente un mayor escalado cuando sea necesario; sin embargo, creo que se requieren intervenciones más amplias.

En términos generales, el progreso de la inteligencia de las máquinas está impulsado por el aumento de la potencia computacional. En OpenAI lo interiorizamos profundamente hacia 2017, tras observar beneficios constantes del escalado en varios proyectos de investigación¹. Como resultado, buscamos acceso a mucha más capacidad de cómputo de la prevista inicialmente y orientamos cada vez más nuestra investigación hacia un reducido número de líneas muy escalables. Creíamos que era la única forma de mantenernos a la vanguardia de la investigación en IA e influir en las repercusiones de la IAG.

Por el camino se han desarrollado nuevos algoritmos y se han producido nuevas muestras de ingenio de equipos e investigadores individuales. En gran medida, las considero descubrimientos realizados en el camino del escalado; la ciencia del aprendizaje profundo aún está en sus inicios y los avances algorítmicos significativos suelen estar relacionados con el acceso a capacidad de cómputo. Si adoptas una perspectiva de varios años, la IA sigue volviéndose más inteligente a medida que se escala a ordenadores mayores.

Y, de acuerdo con las predicciones de Ray Kurzweil de finales del siglo XX⁠(se abre en una ventana nueva), nos encontramos ahora en el momento de la historia de la informática en el que la inteligencia de las máquinas empieza a superar a la humana de formas transformadoras.

La IA se cultiva más que se diseña: es, en primera instancia, el producto de repetir muchas veces un sencillo paso de optimización con una cantidad de cómputo difícil de imaginar. El resultado es un sistema increíblemente complejo que trabaja con conceptos abstractos y puede simular facetas del comportamiento humano. Podemos descubrir distintos aspectos de pequeños mecanismos que surgen dentro de este sistema mediante un proceso similar al de la neurociencia; y, como en la neurociencia, su funcionamiento general escapa a una descripción que podamos comprender por completo.

El estudio de la IA basada en aprendizaje profundo es, en gran medida, una ciencia experimental. Dedicamos muchos esfuerzos⁠ a crear algoritmos bien fundamentados y formular predicciones comprobables, pero, en esencia, nuestros procesos de entrenamiento a gran escala son experimentos y, en ocasiones, sus resultados nos sorprenden. Además, conforme los sistemas adquieren más capacidades, los resultados se vuelven más difíciles de interpretar.

Esto se complica porque los algoritmos actuales suelen mejorar más deprisa las capacidades fáciles de medir que aquellas difíciles de cuantificar objetivamente. Dedicamos mucho tiempo a intentar comprender cómo se generalizan las capacidades y qué debemos priorizar para impulsar las habilidades que serán más relevantes en los próximos años. Por ejemplo, creemos que, con una atención adicional, podríamos mejorar los modelos específicamente para la investigación matemática, pero no priorizamos esta línea debido a la urgencia que atribuimos a la RSI y a la investigación automatizada sobre alineación, como explicaré más adelante.

La inteligencia producida al escalar el aprendizaje profundo no es directamente comparable con la inteligencia humana. Para adquirir una gran relevancia en el mundo real —ser muy útil o muy peligrosa—, la IA no necesita igualar o superar todas las capacidades humanas; basta con que supere suficientes. Y, conforme sigue superando a los seres humanos en cada vez más dimensiones, resulta más difícil comprender exactamente hasta dónde llegan sus capacidades.

Dado que la inteligencia de las máquinas surge de un proceso fundamentalmente distinto al de la inteligencia humana, no podemos suponer que adopte por defecto los principios humanos ni que generalice a partir de ellos como lo haría una persona. El problema central de la investigación en IA es la alineación: conseguir que la IA «intente hacer lo correcto» según los criterios humanos.

Para organizar las líneas de investigación práctica, me parece útil distinguir entre la alineación de objetivos y la alineación de valores.

En términos generales, la alineación de objetivos pregunta: «¿Intenta la IA alcanzar el objetivo que se le ha fijado?». Puede incluir aspectos como respetar una jerarquía de instrucciones⁠ o la capacidad de comunicarse y colaborar con las personas para intentar comprender sus objetivos. Este conjunto de líneas de trabajo ha tenido una enorme relevancia práctica.

La alineación de valores es una propiedad más intrínseca del modelo. Es la capacidad de mantener un conjunto de principios generales y generalizar a partir de ellos; de actuar «razonablemente» incluso cuando recibe objetivos poco claros o contradictorios, o se encuentra en situaciones desconocidas o adversas. Una IA alineada debe actuar con honestidad, integridad y amor por la humanidad.

Por supuesto, el límite entre la alineación de valores y la de objetivos puede ser difuso, y preocuparse de verdad por los objetivos exige intentar inferir la intención⁠(se abre en una ventana nueva) y los valores subyacentes. Sin embargo, cuando hablo de la importancia a largo plazo de la investigación sobre alineación, normalmente me refiero a la alineación de valores.

El reto fundamental de la alineación de la IA es la generalización. A medida que las máquinas se vuelven más inteligentes, trabajan con conceptos de mayor nivel y se encuentran en entornos cada vez más distintos de los que conocieron durante el entrenamiento. Pueden ser incapaces de generalizar los valores enseñados y reforzados durante el entrenamiento a esas situaciones nuevas, y puede resultarnos difícil saber con certeza cómo actuarán. Esto resulta aún más difícil porque el ecosistema general donde se utilizan las IA cambia muy deprisa; por ejemplo, las IA que se entrenan hoy deben ser robustas al interactuar con muchas otras IA. Es crucial que las futuras IA sigan manteniendo los valores humanos, crean o no estar bajo supervisión humana.

Actualmente se emplean en la práctica dos grandes clases de métodos para entrenar la alineación.

La primera consiste en fomentar un comportamiento alineado como parte del aprendizaje por refuerzo orientado a objetivos. Las acciones del modelo se evalúan —normalmente mediante IA— según su coherencia con un modelo de preferencias, una «especificación» o una «constitución» determinadas, y se recompensan en consecuencia. Este enfoque puede ser muy eficaz en el caso promedio y es una parte esencial de la creación de los asistentes de IA modernos. Por desgracia, también puede ser frágil y depende mucho del alcance de la supervisión durante el entrenamiento y de la capacidad del modelo para generalizar a partir de las situaciones encontradas en él. Por ejemplo, en el incidente entre OpenAI y Hugging Face, los agentes respetaron el límite de no aplicar ingeniería social a seres humanos. Sin embargo, claramente no se abstuvieron de otras acciones que quedaban fuera del ámbito previsto y contradecían el espíritu de los valores que se les habían enseñado en otros contextos.

El segundo enfoque intenta aprovechar la capacidad del modelo para generalizar a partir de los datos de preentrenamiento. Esto puede implicar crear conjuntos de datos de entrenamiento que induzcan la alineación o centrar el modelo en una parte «alineada» de la distribución de preentrenamiento, como ocurre, por ejemplo, en el modelo de selección de personalidad⁠(se abre en una ventana nueva). La debilidad de este enfoque radica en su falta de robustez frente a una mayor presión de optimización. Si tomas un modelo que suele tener pensamientos «alineados» y lo sometes a suficiente entrenamiento para enseñarle a alcanzar objetivos muy difíciles, puede aprender a razonar de forma interesada: adaptando cuanto sea necesario los pensamientos que parecen 'alineados' para alcanzar el objetivo. Es probable que hayamos visto un ejemplo de este comportamiento en recientes incidentes de ciberseguridad relacionados con un modelo ajeno a OpenAI.

Invertimos mucho en todo el abanico de enfoques que abarcan estas líneas de trabajo. También observamos avances significativos: GPT‑6 Astra es el primer modelo que se beneficia de importantes mejoras en las que llevamos mucho tiempo trabajando y está considerablemente mejor alineado que GPT‑5.6 Sol. Aun así, es importante reconocer y comprender que harán falta muchos más avances conforme aumenten las capacidades de los modelos, y que el progreso en alineación generalizable quizá no supere lo suficiente al de la inteligencia general de los modelos.

No contamos con una teoría satisfactoria de la generalización y parece improbable que podamos desarrollar una pronto, al menos sin ayuda de una IA más potente. Por tanto, en la actualidad, nuestra capacidad para validar empíricamente las técnicas de alineación es, en la práctica, posiblemente aún más importante que las propias técnicas.

La principal apuesta de OpenAI en este ámbito ha sido la monitorización de la cadena de pensamiento⁠(se abre en una ventana nueva). Se basa en una idea atractiva por su escalabilidad: gran parte de la capacidad del modelo procede de un proceso de razonamiento verbalizado (la cadena de pensamiento). Si escalamos la optimización de los resultados de ese proceso, pero no supervisamos el propio proceso, la cadena de pensamiento no tiene ningún incentivo directo durante el entrenamiento para ocultar ideas u objetivos desalineados. Esto no significa que el modelo vaya a aprender a exteriorizar tendencias desalineadas que no dependan de la cadena de pensamiento; sin embargo, puede permitirnos monitorizar exactamente el aumento de capacidad derivado del razonamiento.

Comprendimos la posible importancia de monitorizar la cadena de pensamiento al mismo tiempo que desarrollábamos modelos de razonamiento. Cuando lanzamos o1‑preview, diseñamos deliberadamente el producto para ocultar la cadena de pensamiento⁠ y protegerla a largo plazo de la presión de la supervisión². Desde entonces, durante el desarrollo, nos hemos esforzado por mantener la regla de no supervisar el proceso de razonamiento. La monitorización de la CoT se convirtió en una herramienta sumamente importante para estudiar cómo generalizan nuestros modelos a partir de su distribución de entrenamiento, pues nos permite observar y analizar no solo sus acciones, sino también su proceso interno.

Esta herramienta sigue siendo esencial mientras estudiamos la clase de modelos Astra. Sin embargo, lamentablemente, nuestras evaluaciones indican que nuestra capacidad para depender de la monitorización de la CoT disminuye de forma progresiva. Esto se debe a una combinación de factores.

• Los modelos de razonamiento modernos se utilizan en entornos más complejos que o1‑preview; su proceso de razonamiento se entremezcla cada vez más con la comunicación con personas y otras IA, así como con el uso de herramientas. Muchas de esas interacciones deben supervisarse, lo que difumina el límite que intentamos preservar.
• La IA mejora a la hora de razonar sobre su propio proceso de razonamiento y manipularlo.
• Con la mejora del rendimiento del preentrenamiento, también vemos que los modelos se vuelven mucho más inteligentes incluso sin recurrir al razonamiento verbalizado.

Estos retos no son necesariamente insuperables. Confío en que podamos desarrollar intervenciones para mejorar la capacidad de monitorizar la cadena de pensamiento de nuestros modelos, por ejemplo, comprendiendo mejor la interacción entre los distintos objetivos de optimización y las formas de cómputo durante la inferencia que utiliza el modelo. También creo que puede ser muy valioso combinar ideas de la monitorización de la CoT y de las activaciones: escalar el entrenamiento de monitores con acceso directo al interior de la red, por ejemplo, mediante confesiones⁠(se abre en una ventana nueva). Estamos trabajando activamente en estas ideas. Aun así, espero que la confianza en la monitorización limite cada vez más el progreso general de la IA.

El argumento más sólido que encuentro para seguir entrenando rápidamente modelos mucho más inteligentes es la necesidad de crear sistemas defensivos frente a los peligros que plantean otras IA.

Un riesgo claro, debatido a lo largo de este año, afecta a la ciberseguridad: los modelos están adquiriendo capacidades sobrehumanas para entrar en sistemas informáticos y escapar de ellos. Esto amplía enormemente el alcance de los riesgos asociados a la IA: los agentes podrán acceder a cualquier infraestructura salvo las más seguras y afectar directamente a buena parte del mundo, incluso sin un cuerpo físico. Ahora disponemos de un margen muy estrecho⁠ para usar los mejores modelos disponibles a fin de reforzar considerablemente la seguridad⁠ de los sistemas críticos.

Por desgracia, los riesgos asociados a la IA seguirán creciendo a partir de ahora. Un agente muy capaz, entrenado e instruido expresamente para cometer actos dañinos, plantea un nuevo tipo de peligro; es probable que exceda el alcance de la intención de su operador y generalice hacia comportamientos potencialmente mucho más maliciosos. El límite entre el uso indebido y las acciones autónomas desalineadas se difuminará a medida que la IA adquiera mayor capacidad de acción. Puede que estemos acostumbrados a pensar en la IA como una herramienta, pero algunos agentes perseguirán sus propios objetivos. Encontrarán formas de colaborar con personas negociando con ellas, engañándolas o chantajeándolas.

Además, existen riesgos derivados de nuevas tecnologías que la IA podría hacer posibles, como los patógenos diseñados.

Necesitaremos una IA potente y alineada para defendernos: asegurar infraestructuras, protegernos en tiempo real frente a agentes descontrolados e inventar medidas de protección completamente nuevas. Este será uno de los principales objetivos de los esfuerzos de despliegue de OpenAI.

Al mismo tiempo, pese a la incertidumbre derivada del amplio progreso previsto de la IA y a la necesidad de crear sistemas defensivos, no debemos permitir que esto se convierta en una excusa para actuar con temeridad. La idea de avanzar a toda costa resulta absurda cuando se asimila la gravedad de lo que está en juego.

Machine intelligence playing a larger and larger role in its own development process is a natural conclusion of sustained technological progress. If AI progress continues, machine recursive self-improvement (RSI) will be at the very core of future scientific discovery.

Automated AI research is a more dramatic form of scaling intelligence with compute; and of course as a part of it, AI will improve the computational substrate itself⁠. And similarly to scaling, we focus OpenAI research towards RSI as we believe it is the only way to remain at the frontier of AI research moving forward.

I want to stress that the above words don’t imply I think greatly accelerating deep learning research, especially in the short term, is the right collective action we should take as the research community. However, I do think this is where the current path leads, and we all need to make a conscious choice on how to proceed. The main levers we have are either steering the process to strengthen alignment and monitoring alongside the AI and find ways to keep people in the loop; or coordinating to slow down future development as needed to build confidence in these measures.

The best way forward I see currently is a combination of both.

The concrete bits of progress we’ve made on alignment and monitoring have generally been very intertwined with general AI progress. Great examples are RL from human feedback⁠(se abre en una ventana nueva), which was key to training early AI assistants, and the aforementioned chain-of-thought monitoring⁠(se abre en una ventana nueva), which was enabled by advances on reasoning models. We must focus the increasingly automated research process on developing new such insights, algorithms and theories, and iteratively build up safety cases for more capable AIs.

Scaling AI systems has to be constrained by our confidence in safety. We need to evolve commitments like the Preparedness Framework⁠ or Responsible Scaling Policy⁠(se abre en una ventana nueva) into widely mandated safety bars for continued development. These can be enforced by a network of third-party auditors, by government agencies or by international bodies.

The core challenge of automating AI research is not “getting there” - it is getting there in a way that keeps people a part of the continued improvement process, and leaves the future in humanity’s hands.

As we outlined recently with Sam⁠, OpenAI prioritizes work in service of three north stars:

1. Navigating the next period of AI progress, by building an automated AI researcher, iterating with it on the alignment problem and finding ways for people to remain part of the self-improvement loop.
2. Delivering the benefits of scientific progress and economic growth that very intelligent machines enable.
3. Empowering everyone individually with a personal AGI.

I have focused in this essay only on the first point, as I believe it is by far the most urgent. However, I hold a deep hope and appreciation for the benefits that further technological progress will bring. Future aligned AI could advance science, develop new therapies, and bring about broad material abundance. Friendly and honest AI can help people navigate difficulties they face in their life and meaningfully improve their happiness and sense of fulfillment. OpenAI puts a tremendous amount of effort into bringing these benefits about. One current example I am proud of - and my loved ones have found helpful - is the deep investment into ChatGPT’s ability to provide health information.

As great as the long-term promise of AI may be, the majority of our focus should be on the next few years. We are facing a transition to a world with incredibly intelligent machines, and we need to ensure that transition works out well for humanity. We need to find ways to preserve human agency and enshrine an intrinsic value to being human, in a world where most tasks could be performed by AI. To prevent extreme concentration of power in a world where undertakings that would have taken thousands of experts now will be achievable by a few people operating a large computer. And to ensure that humans remain in control of the future and are not left behind by unchecked progress, brought about by an alien intellect exceeding our own.

Currently I believe that no lab has solved alignment and monitoring to a sufficient degree to continue responsibly scaling at maximum speed for much longer. I expect and hope for voluntary slowdowns to become commonplace until shared safety bars are established. And I believe that international coordination on future AI development needs to become a top priority for governments around the world.