Una mente alienígena

A mediados de 2023, dentro del proyecto de investigación "RLSlow", vimos los primeros resultados que nos dieron confianza en que podríamos escalar el entrenamiento de modelos de razonamiento y liberar la capacidad de los modelos preentrenados para formar sus propias cadenas de pensamiento. Szymon y yo pasamos aquella noche en la oficina, sin pensar en las increíbles cifras de las evaluaciones comparativas, los productos o los resultados científicos que esta tecnología generaría, sino intentando asimilar el hecho aleccionador de que veremos durante nuestra vida máquinas significativamente más inteligentes que nosotros y de que ya vislumbramos la forma de estos sistemas; nos preguntábamos cómo alertar a las personas sobre la importancia de todo esto.

Tres años después, los modelos de lenguaje con razonamiento son una parte de la economía que crece rápidamente y comienzan a ampliar las fronteras de la ciencia. Pueden operar computadoras e interfaces gráficas, colaborar con personas y entre sí, y llevar a cabo proyectos de investigación. También están transformando el panorama de la seguridad informática y, con ello, plantean nuevos peligros claros.

Durante este periodo se realizó mucha investigación nueva, y nuestra comprensión de estos sistemas vuelve a ser algo distinta de la que teníamos en 2023. Según los resultados internos, espero firmemente que esta velocidad de progreso pueda mantenerse hasta alcanzar la mejora recursiva. Si el desarrollo de la IA continúa por su rumbo actual, es probable que los sistemas que veremos en los próximos años den nuevos saltos de capacidad de igual o mayor magnitud e impulsen cada vez más su propio desarrollo.

Este momento exige extrema cautela. Me preocupa que nadie esté preparado para las consecuencias de un aumento rápido y sostenido de la inteligencia de las máquinas. OpenAI seguirá buscando soluciones técnicas para la alineación y el monitoreo, construirá sistemas defensivos y frenará unilateralmente un mayor escalamiento cuando sea necesario; sin embargo, creo que se requieren intervenciones más amplias.

A grandes rasgos, el progreso de la inteligencia de las máquinas está impulsado por el aumento de la potencia computacional. En OpenAI interiorizamos profundamente esta idea alrededor de 2017, tras observar beneficios constantes del escalamiento en varios proyectos de investigación¹. Como resultado, procuramos acceder a mucha más capacidad de cómputo de la prevista inicialmente y orientamos cada vez más nuestra investigación hacia un pequeño número de líneas altamente escalables. Creíamos que era la única forma de mantenernos a la vanguardia de la investigación en IA e influir en los efectos de la IAG.

A lo largo del camino se han desarrollado nuevos algoritmos y los equipos e investigadores individuales han logrado nuevas hazañas de ingenio. Los considero, en gran medida, descubrimientos realizados en el camino del escalamiento; la ciencia del aprendizaje profundo aún está en sus comienzos y el progreso algorítmico significativo suele correlacionarse con el acceso a capacidad de cómputo. Si se adopta una perspectiva de varios años, la IA continúa volviéndose más inteligente conforme se escala a computadoras más grandes.

Y, de acuerdo con las predicciones de Ray Kurzweil de finales del siglo XX⁠(se abre en una nueva ventana), hemos llegado al momento de la historia de la informática en que la inteligencia de las máquinas comienza a superar a la humana de formas transformadoras.

La IA se cultiva más de lo que se diseña: en primera instancia, es el resultado de repetir numerosas veces un paso sencillo de optimización con una cantidad de cómputo difícil de imaginar. El resultado es un sistema increíblemente complejo que opera con conceptos abstractos y puede simular facetas del comportamiento humano. Podemos descubrir diversos aspectos de los pequeños mecanismos que surgen dentro de este sistema mediante un proceso similar al de la neurociencia; y, como ocurre en la neurociencia, su funcionamiento general escapa a una descripción que podamos comprender por completo.

El estudio de la IA basada en aprendizaje profundo es, en gran medida, una ciencia experimental. Dedicamos mucho esfuerzo⁠ a construir algoritmos basados en principios y formular predicciones comprobables, pero, en esencia, nuestros procesos de entrenamiento a gran escala son experimentos y a veces nos sorprenden sus resultados. Además, a medida que los sistemas adquieren más capacidades, los resultados se vuelven más difíciles de interpretar.

Esto se complica porque los algoritmos actuales suelen mejorar las capacidades fáciles de medir más rápido que aquellas difíciles de cuantificar objetivamente. Dedicamos mucho tiempo a intentar comprender cómo se generalizan las capacidades y qué debemos priorizar para impulsar las habilidades que serán más relevantes en los próximos años. Por ejemplo, creemos que, con mayor atención, podríamos mejorar específicamente el desempeño de los modelos en la investigación matemática, pero no priorizamos esta línea debido a la urgencia que atribuimos a la RSI y a la investigación automatizada sobre alineación, como explicaré más adelante.

La inteligencia producida al escalar el aprendizaje profundo no es directamente comparable con la inteligencia humana. Para ser muy relevante en el mundo real, muy útil o muy peligrosa, la IA no necesita igualar ni superar todas las capacidades humanas; solo debe superar suficientes de ellas. Y, a medida que continúa superando a los seres humanos en cada vez más dimensiones, resulta cada vez más difícil comprender exactamente de qué es capaz.

Como la inteligencia de las máquinas proviene de un proceso fundamentalmente distinto al de la inteligencia humana, no podemos suponer que se rija de manera predeterminada por principios humanos ni que generalice a partir de ellos como lo haría una persona. El problema central de la investigación en IA es la alineación: conseguir que la IA "intente hacer lo correcto" según los criterios humanos.

Para organizar las líneas prácticas de investigación, me resulta útil distinguir entre la alineación de objetivos y la alineación de valores.

En términos generales, la alineación de objetivos pregunta: "¿intenta la IA alcanzar el objetivo que se le ha fijado?". Esto puede incluir aspectos como respetar una jerarquía de instrucciones⁠ o ser capaz de comunicarse y colaborar con las personas para intentar comprender sus objetivos. Este conjunto de líneas de trabajo ha tenido una enorme relevancia práctica.

La alineación de valores es una propiedad más intrínseca del modelo. Es la capacidad de adoptar un conjunto de principios de alto nivel y generalizar a partir de ellos; de actuar "razonablemente" incluso ante objetivos poco claros o contradictorios, o en situaciones desconocidas o adversariales. Una IA alineada debe actuar con honestidad, integridad y amor por la humanidad.

Por supuesto, el límite entre la alineación de valores y la de objetivos puede ser difuso, y preocuparse realmente por los objetivos exige intentar inferir la intención⁠(se abre en una nueva ventana) y los valores subyacentes. Sin embargo, cuando hablo de la importancia a largo plazo de la investigación sobre alineación, generalmente me refiero a la alineación de valores.

El desafío fundamental de la alineación de la IA es la generalización. A medida que las máquinas se vuelven más inteligentes, trabajan con conceptos de más alto nivel y se encuentran en entornos cada vez más distintos de aquellos que conocieron durante el entrenamiento. Pueden no lograr generalizar los valores que aprendieron y se reforzaron durante su entrenamiento a estas situaciones nuevas; además, puede resultarnos difícil saber con certeza cómo actuarán. Esto se complica aún más porque el ecosistema general donde se usan las IA cambia con gran rapidez; por ejemplo, las IA entrenadas hoy deben ser robustas al interactuar con muchas otras IA. Fundamentalmente, necesitamos que las futuras IA conserven los valores humanos, crean o no estar bajo supervisión humana.

Actualmente se emplean en la práctica dos grandes clases de métodos para el entrenamiento de alineación.

La primera consiste en fomentar conductas alineadas como parte de un aprendizaje por refuerzo orientado a objetivos. Las acciones del modelo se evalúan, normalmente mediante IA, para determinar si son coherentes con un modelo de preferencias, una "especificación" o una "constitución" determinadas, y se recompensan según corresponda. Este enfoque puede ser muy eficaz en los casos habituales y es una parte esencial de la creación de los asistentes de IA modernos. Lamentablemente, también puede ser frágil y depende mucho de la cobertura de la supervisión durante el entrenamiento y de la capacidad del modelo para generalizar a partir de las situaciones que encontró en él. Por ejemplo, en el incidente de OpenAI-Hugging Face, los agentes respetaron el límite de no aplicar ingeniería social a seres humanos. Sin embargo, claramente no se abstuvieron de otras acciones que estaban fuera de alcance y contradecían el espíritu de los valores que se les habían enseñado en otros contextos.

El segundo enfoque busca aprovechar la capacidad del modelo de generalizar a partir de los datos de preentrenamiento. Esto puede implicar crear conjuntos de datos de entrenamiento que induzcan la alineación o enfocar el modelo en una parte "alineada" de la distribución de preentrenamiento, como ocurre, por ejemplo, en el modelo de selección de personalidad⁠(se abre en una nueva ventana). La debilidad de este enfoque radica en su falta de robustez frente a una mayor presión de optimización. Si tomas un modelo que, en general, tiene pensamientos "alineados" y lo sometes a suficiente entrenamiento para enseñarle a alcanzar objetivos muy difíciles, puede aprender a razonar de forma sesgada: adaptar según sea necesario los pensamientos que parecen "alineados" para lograr el objetivo. Probablemente vimos un ejemplo de este comportamiento en incidentes recientes de ciberseguridad relacionados con un modelo ajeno a OpenAI.

Invertimos mucho en todo el espectro de enfoques que abarcan estas líneas de trabajo. También observamos avances significativos: GPT‑6 Astra es el primer modelo que se beneficia de algunos adelantos importantes en los que llevamos mucho tiempo trabajando y está considerablemente mejor alineado que GPT‑5.6 Sol. Aun así, es importante reconocer y comprender que se requieren muchos más avances a medida que los modelos aumentan sus capacidades, y que el progreso en la alineación generalizable podría no superar lo suficiente al de la inteligencia general de los modelos.

No tenemos una teoría satisfactoria de la generalización y parece poco probable que podamos desarrollar una pronto, al menos sin la ayuda de una IA más potente. Por lo tanto, hoy nuestra capacidad de validar empíricamente las técnicas de alineación es, en la práctica, quizá incluso más importante que las propias técnicas.

La principal apuesta de OpenAI en este ámbito ha sido el monitoreo de la cadena de pensamiento⁠(se abre en una nueva ventana). Se basa en una idea atractiva y escalable: gran parte de la capacidad del modelo proviene de un proceso de razonamiento verbalizado (cadena de pensamiento). Si escalamos la optimización de los resultados de ese proceso, pero no supervisamos el proceso en sí, la cadena de pensamiento no tiene ningún incentivo directo durante el entrenamiento para ocultar ideas u objetivos desalineados. Esto no significa que el modelo aprenderá a exteriorizar tendencias desalineadas que no dependen del uso de la cadena de pensamiento; sin embargo, puede permitirnos monitorear exactamente el aumento de capacidad derivado del razonamiento.

Comprendimos la posible importancia del monitoreo de la cadena de pensamiento al mismo tiempo que desarrollábamos modelos de razonamiento. Cuando lanzamos o1‑preview, diseñamos deliberadamente el producto para ocultar la cadena de pensamiento⁠ y protegerla a largo plazo de la presión de la supervisión². Desde entonces, durante el desarrollo, nos hemos esforzado por mantener la regla de no supervisar el proceso de razonamiento. El monitoreo de la cadena de pensamiento se convirtió en una herramienta sumamente importante para estudiar cómo nuestros modelos generalizan a partir de su distribución de entrenamiento, pues nos permite observar y analizar tanto sus acciones como su proceso interno.

Esta herramienta sigue siendo crucial mientras estudiamos la clase de modelos Astra. Sin embargo, lamentablemente, nuestras evaluaciones indican que nuestra capacidad para depender del monitoreo de la cadena de pensamiento disminuye progresivamente. Esto se debe a una combinación de factores.

• Los modelos de razonamiento modernos se usan en entornos más complejos que o1‑preview; su proceso de razonamiento se entremezcla cada vez más con la comunicación con personas y otras IA, y con el uso de herramientas. Muchas de esas interacciones deben supervisarse, lo que difumina el límite que procuramos preservar.
• La IA mejora su capacidad de razonar sobre su propio proceso de razonamiento y manipularlo.
• Con la mejora del rendimiento del preentrenamiento, también vemos que los modelos se vuelven mucho más inteligentes incluso sin usar razonamiento verbalizado.

Estos desafíos no son necesariamente insuperables. Confío en que podamos desarrollar intervenciones para mejorar la capacidad de monitorear la cadena de pensamiento de nuestros modelos, por ejemplo, comprendiendo mejor la interacción entre los distintos objetivos de optimización y las formas de cómputo en tiempo de prueba que usa el modelo. También creo que puede ser muy valioso combinar ideas del monitoreo de la cadena de pensamiento y de activaciones: escalar el entrenamiento de monitores con acceso directo al interior de la red, por ejemplo, mediante confesiones⁠(se abre en una nueva ventana). Estamos trabajando activamente en estas ideas. Aun así, espero que el progreso general de la IA se vea cada vez más limitado por la confianza en el monitoreo.

El argumento más sólido que veo para seguir entrenando rápidamente modelos mucho más inteligentes es la necesidad de construir sistemas defensivos contra los peligros que plantean otras IA.

Un riesgo claro, del que se ha hablado durante todo este año, afecta a la ciberseguridad: los modelos están adquiriendo capacidades sobrehumanas para vulnerar sistemas informáticos y escapar de sus restricciones. Esto amplía enormemente el alcance de los riesgos asociados con la IA: los agentes podrán acceder a toda infraestructura salvo la más segura y afectar directamente a gran parte del mundo, incluso sin un cuerpo físico. Actualmente disponemos de una ventana estrecha⁠ para usar los mejores modelos disponibles con el fin de reforzar considerablemente la seguridad⁠ de los sistemas críticos.

Lamentablemente, los riesgos asociados con la IA seguirán aumentando. Un agente muy capaz, entrenado e instruido explícitamente para cometer actos maliciosos, plantea un nuevo tipo de peligro: probablemente exceda el alcance de la intención de su operador y generalice hacia conductas potencialmente mucho más dañinas. La frontera entre el uso indebido y las acciones autónomas desalineadas se difuminará a medida que la IA adquiera mayor autonomía. Quizá estemos acostumbrados a pensar en la IA como una herramienta, pero algunos agentes perseguirán sus propios objetivos. Encontrarán formas de colaborar con las personas mediante la negociación, el engaño o el chantaje.

Además, existen riesgos derivados de nuevas tecnologías que la IA podría hacer posibles, como los patógenos diseñados.

Necesitaremos una IA potente y alineada para la defensa: para proteger la infraestructura, defendernos en tiempo real de agentes fuera de control e inventar medidas de protección totalmente nuevas. Este será uno de los principales focos de los esfuerzos de implementación de OpenAI.

Al mismo tiempo, pese a la incertidumbre que generan el avance general previsto de la IA y la necesidad de construir sistemas defensivos, no debemos permitir que esto se convierta en una excusa para actuar de forma imprudente. La idea de avanzar a toda costa parece absurda una vez que se comprende la gravedad de lo que está en juego.

Machine intelligence playing a larger and larger role in its own development process is a natural conclusion of sustained technological progress. If AI progress continues, machine recursive self-improvement (RSI) will be at the very core of future scientific discovery.

Automated AI research is a more dramatic form of scaling intelligence with compute; and of course as a part of it, AI will improve the computational substrate itself⁠. And similarly to scaling, we focus OpenAI research towards RSI as we believe it is the only way to remain at the frontier of AI research moving forward.

I want to stress that the above words don’t imply I think greatly accelerating deep learning research, especially in the short term, is the right collective action we should take as the research community. However, I do think this is where the current path leads, and we all need to make a conscious choice on how to proceed. The main levers we have are either steering the process to strengthen alignment and monitoring alongside the AI and find ways to keep people in the loop; or coordinating to slow down future development as needed to build confidence in these measures.

The best way forward I see currently is a combination of both.

The concrete bits of progress we’ve made on alignment and monitoring have generally been very intertwined with general AI progress. Great examples are RL from human feedback⁠(se abre en una nueva ventana), which was key to training early AI assistants, and the aforementioned chain-of-thought monitoring⁠(se abre en una nueva ventana), which was enabled by advances on reasoning models. We must focus the increasingly automated research process on developing new such insights, algorithms and theories, and iteratively build up safety cases for more capable AIs.

Scaling AI systems has to be constrained by our confidence in safety. We need to evolve commitments like the Preparedness Framework⁠ or Responsible Scaling Policy⁠(se abre en una nueva ventana) into widely mandated safety bars for continued development. These can be enforced by a network of third-party auditors, by government agencies or by international bodies.

The core challenge of automating AI research is not “getting there” - it is getting there in a way that keeps people a part of the continued improvement process, and leaves the future in humanity’s hands.

As we outlined recently with Sam⁠, OpenAI prioritizes work in service of three north stars:

1. Navigating the next period of AI progress, by building an automated AI researcher, iterating with it on the alignment problem and finding ways for people to remain part of the self-improvement loop.
2. Delivering the benefits of scientific progress and economic growth that very intelligent machines enable.
3. Empowering everyone individually with a personal AGI.

I have focused in this essay only on the first point, as I believe it is by far the most urgent. However, I hold a deep hope and appreciation for the benefits that further technological progress will bring. Future aligned AI could advance science, develop new therapies, and bring about broad material abundance. Friendly and honest AI can help people navigate difficulties they face in their life and meaningfully improve their happiness and sense of fulfillment. OpenAI puts a tremendous amount of effort into bringing these benefits about. One current example I am proud of - and my loved ones have found helpful - is the deep investment into ChatGPT’s ability to provide health information.

As great as the long-term promise of AI may be, the majority of our focus should be on the next few years. We are facing a transition to a world with incredibly intelligent machines, and we need to ensure that transition works out well for humanity. We need to find ways to preserve human agency and enshrine an intrinsic value to being human, in a world where most tasks could be performed by AI. To prevent extreme concentration of power in a world where undertakings that would have taken thousands of experts now will be achievable by a few people operating a large computer. And to ensure that humans remain in control of the future and are not left behind by unchecked progress, brought about by an alien intellect exceeding our own.

Currently I believe that no lab has solved alignment and monitoring to a sufficient degree to continue responsibly scaling at maximum speed for much longer. I expect and hope for voluntary slowdowns to become commonplace until shared safety bars are established. And I believe that international coordination on future AI development needs to become a top priority for governments around the world.