Una mente alienígena

A mediados de 2023, dentro del proyecto de investigación «RLSlow», vimos los primeros resultados que nos hicieron confiar en que podríamos escalar el entrenamiento de modelos de razonamiento y liberar la capacidad de los modelos preentrenados para formar sus propias cadenas de pensamiento. Szymon y yo pasamos aquella noche en la oficina, sin pensar en las increíbles cifras de las pruebas de referencia, los productos o los resultados científicos que ofrecería esta tecnología, sino tratando de asimilar una realidad aleccionadora: durante nuestra vida veremos máquinas significativamente más inteligentes que nosotros, y ya vislumbramos la forma de estos sistemas. Nos preguntábamos cómo alertar a la gente de la importancia de todo ello.

Tres años después, los modelos lingüísticos de razonamiento son una parte de la economía que crece con rapidez y empiezan a ampliar las fronteras de la ciencia. Pueden manejar ordenadores e interfaces gráficas, colaborar con personas y entre sí, y llevar a cabo proyectos de investigación. También están transformando el panorama de la seguridad informática y, con ello, plantean nuevos peligros evidentes.

Durante este periodo se realizaron muchas investigaciones nuevas y nuestra comprensión de estos sistemas vuelve a ser algo distinta de la que teníamos en 2023. A partir de resultados internos, estoy firmemente convencido de que este ritmo de progreso podría mantenerse hasta llegar a la automejora recursiva. Si el desarrollo de la IA continúa por su rumbo actual, es probable que los sistemas que veremos en los próximos años den nuevos saltos de capacidad de igual o mayor magnitud e impulsen cada vez más su propio desarrollo.

Este momento exige una cautela extrema. Me preocupa que nadie esté preparado para las consecuencias de un aumento rápido y sostenido de la inteligencia de las máquinas. OpenAI seguirá buscando soluciones técnicas para la alineación y la monitorización, creando sistemas defensivos y deteniendo unilateralmente un mayor escalado cuando sea necesario; sin embargo, creo que se requieren intervenciones más amplias.

En términos generales, el progreso de la inteligencia de las máquinas está impulsado por el aumento de la potencia computacional. En OpenAI lo interiorizamos profundamente hacia 2017, tras observar beneficios constantes del escalado en varios proyectos de investigación¹. Como resultado, buscamos acceso a mucha más capacidad de cómputo de la prevista inicialmente y orientamos cada vez más nuestra investigación hacia un reducido número de líneas muy escalables. Creíamos que era la única forma de mantenernos a la vanguardia de la investigación en IA e influir en las repercusiones de la IAG.

Por el camino se han desarrollado nuevos algoritmos y se han producido nuevas muestras de ingenio de equipos e investigadores individuales. En gran medida, las considero descubrimientos realizados en el camino del escalado; la ciencia del aprendizaje profundo aún está en sus inicios y los avances algorítmicos significativos suelen estar relacionados con el acceso a capacidad de cómputo. Si adoptas una perspectiva de varios años, la IA sigue volviéndose más inteligente a medida que se escala a ordenadores mayores.

Y, de acuerdo con las predicciones de Ray Kurzweil de finales del siglo XX⁠(se abre en una ventana nueva), nos encontramos ahora en el momento de la historia de la informática en el que la inteligencia de las máquinas empieza a superar a la humana de formas transformadoras.

La IA se cultiva más que se diseña: es, en primera instancia, el producto de repetir muchas veces un sencillo paso de optimización con una cantidad de cómputo difícil de imaginar. El resultado es un sistema increíblemente complejo que trabaja con conceptos abstractos y puede simular facetas del comportamiento humano. Podemos descubrir distintos aspectos de pequeños mecanismos que surgen dentro de este sistema mediante un proceso similar al de la neurociencia; y, como en la neurociencia, su funcionamiento general escapa a una descripción que podamos comprender por completo.

El estudio de la IA basada en aprendizaje profundo es, en gran medida, una ciencia experimental. Dedicamos muchos esfuerzos⁠ a crear algoritmos bien fundamentados y formular predicciones comprobables, pero, en esencia, nuestros procesos de entrenamiento a gran escala son experimentos y, en ocasiones, sus resultados nos sorprenden. Además, conforme los sistemas adquieren más capacidades, los resultados se vuelven más difíciles de interpretar.

Esto se complica porque los algoritmos actuales suelen mejorar más deprisa las capacidades fáciles de medir que aquellas difíciles de cuantificar objetivamente. Dedicamos mucho tiempo a intentar comprender cómo se generalizan las capacidades y qué debemos priorizar para impulsar las habilidades que serán más relevantes en los próximos años. Por ejemplo, creemos que, con una atención adicional, podríamos mejorar los modelos específicamente para la investigación matemática, pero no priorizamos esta línea debido a la urgencia que atribuimos a la RSI y a la investigación automatizada sobre alineación, como explicaré más adelante.

La inteligencia producida al escalar el aprendizaje profundo no es directamente comparable con la inteligencia humana. Para adquirir una gran relevancia en el mundo real —ser muy útil o muy peligrosa—, la IA no necesita igualar o superar todas las capacidades humanas; basta con que supere suficientes. Y, conforme sigue superando a los seres humanos en cada vez más dimensiones, resulta más difícil comprender exactamente hasta dónde llegan sus capacidades.

Dado que la inteligencia de las máquinas surge de un proceso fundamentalmente distinto al de la inteligencia humana, no podemos suponer que adopte por defecto los principios humanos ni que generalice a partir de ellos como lo haría una persona. El problema central de la investigación en IA es la alineación: conseguir que la IA «intente hacer lo correcto» según los criterios humanos.

Para organizar las líneas de investigación práctica, me parece útil distinguir entre la alineación de objetivos y la alineación de valores.

En términos generales, la alineación de objetivos pregunta: «¿Intenta la IA alcanzar el objetivo que se le ha fijado?». Puede incluir aspectos como respetar una jerarquía de instrucciones⁠ o la capacidad de comunicarse y colaborar con las personas para intentar comprender sus objetivos. Este conjunto de líneas de trabajo ha tenido una enorme relevancia práctica.

La alineación de valores es una propiedad más intrínseca del modelo. Es la capacidad de mantener un conjunto de principios generales y generalizar a partir de ellos; de actuar «razonablemente» incluso cuando recibe objetivos poco claros o contradictorios, o se encuentra en situaciones desconocidas o adversas. Una IA alineada debe actuar con honestidad, integridad y amor por la humanidad.

Por supuesto, el límite entre la alineación de valores y la de objetivos puede ser difuso, y preocuparse de verdad por los objetivos exige intentar inferir la intención⁠(se abre en una ventana nueva) y los valores subyacentes. Sin embargo, cuando hablo de la importancia a largo plazo de la investigación sobre alineación, normalmente me refiero a la alineación de valores.

El reto fundamental de la alineación de la IA es la generalización. A medida que las máquinas se vuelven más inteligentes, trabajan con conceptos de mayor nivel y se encuentran en entornos cada vez más distintos de los que conocieron durante el entrenamiento. Pueden ser incapaces de generalizar los valores enseñados y reforzados durante el entrenamiento a esas situaciones nuevas, y puede resultarnos difícil saber con certeza cómo actuarán. Esto resulta aún más difícil porque el ecosistema general donde se utilizan las IA cambia muy deprisa; por ejemplo, las IA que se entrenan hoy deben ser robustas al interactuar con muchas otras IA. Es crucial que las futuras IA sigan manteniendo los valores humanos, crean o no estar bajo supervisión humana.

Actualmente se emplean en la práctica dos grandes clases de métodos para entrenar la alineación.

La primera consiste en fomentar un comportamiento alineado como parte del aprendizaje por refuerzo orientado a objetivos. Las acciones del modelo se evalúan —normalmente mediante IA— según su coherencia con un modelo de preferencias, una «especificación» o una «constitución» determinadas, y se recompensan en consecuencia. Este enfoque puede ser muy eficaz en el caso promedio y es una parte esencial de la creación de los asistentes de IA modernos. Por desgracia, también puede ser frágil y depende mucho del alcance de la supervisión durante el entrenamiento y de la capacidad del modelo para generalizar a partir de las situaciones encontradas en él. Por ejemplo, en el incidente entre OpenAI y Hugging Face, los agentes respetaron el límite de no aplicar ingeniería social a seres humanos. Sin embargo, claramente no se abstuvieron de otras acciones que quedaban fuera del ámbito previsto y contradecían el espíritu de los valores que se les habían enseñado en otros contextos.

El segundo enfoque intenta aprovechar la capacidad del modelo para generalizar a partir de los datos de preentrenamiento. Esto puede implicar crear conjuntos de datos de entrenamiento que induzcan la alineación o centrar el modelo en una parte «alineada» de la distribución de preentrenamiento, como ocurre, por ejemplo, en el modelo de selección de personalidad⁠(se abre en una ventana nueva). La debilidad de este enfoque radica en su falta de robustez frente a una mayor presión de optimización. Si tomas un modelo que suele tener pensamientos «alineados» y lo sometes a suficiente entrenamiento para enseñarle a alcanzar objetivos muy difíciles, puede aprender a razonar de forma interesada: adaptando cuanto sea necesario los pensamientos que parecen 'alineados' para alcanzar el objetivo. Es probable que hayamos visto un ejemplo de este comportamiento en recientes incidentes de ciberseguridad relacionados con un modelo ajeno a OpenAI.

Invertimos mucho en todo el abanico de enfoques que abarcan estas líneas de trabajo. También observamos avances significativos: GPT‑6 Astra es el primer modelo que se beneficia de importantes mejoras en las que llevamos mucho tiempo trabajando y está considerablemente mejor alineado que GPT‑5.6 Sol. Aun así, es importante reconocer y comprender que harán falta muchos más avances conforme aumenten las capacidades de los modelos, y que el progreso en alineación generalizable quizá no supere lo suficiente al de la inteligencia general de los modelos.

No contamos con una teoría satisfactoria de la generalización y parece improbable que podamos desarrollar una pronto, al menos sin ayuda de una IA más potente. Por tanto, en la actualidad, nuestra capacidad para validar empíricamente las técnicas de alineación es, en la práctica, posiblemente aún más importante que las propias técnicas.

La principal apuesta de OpenAI en este ámbito ha sido la monitorización de la cadena de pensamiento⁠(se abre en una ventana nueva). Se basa en una idea atractiva por su escalabilidad: gran parte de la capacidad del modelo procede de un proceso de razonamiento verbalizado (la cadena de pensamiento). Si escalamos la optimización de los resultados de ese proceso, pero no supervisamos el propio proceso, la cadena de pensamiento no tiene ningún incentivo directo durante el entrenamiento para ocultar ideas u objetivos desalineados. Esto no significa que el modelo vaya a aprender a exteriorizar tendencias desalineadas que no dependan de la cadena de pensamiento; sin embargo, puede permitirnos monitorizar exactamente el aumento de capacidad derivado del razonamiento.

Comprendimos la posible importancia de monitorizar la cadena de pensamiento al mismo tiempo que desarrollábamos modelos de razonamiento. Cuando lanzamos o1‑preview, diseñamos deliberadamente el producto para ocultar la cadena de pensamiento⁠ y protegerla a largo plazo de la presión de la supervisión². Desde entonces, durante el desarrollo, nos hemos esforzado por mantener la regla de no supervisar el proceso de razonamiento. La monitorización de la CoT se convirtió en una herramienta sumamente importante para estudiar cómo generalizan nuestros modelos a partir de su distribución de entrenamiento, pues nos permite observar y analizar no solo sus acciones, sino también su proceso interno.

Esta herramienta sigue siendo esencial mientras estudiamos la clase de modelos Astra. Sin embargo, lamentablemente, nuestras evaluaciones indican que nuestra capacidad para depender de la monitorización de la CoT disminuye de forma progresiva. Esto se debe a una combinación de factores.

• Los modelos de razonamiento modernos se utilizan en entornos más complejos que o1‑preview; su proceso de razonamiento se entremezcla cada vez más con la comunicación con personas y otras IA, así como con el uso de herramientas. Muchas de esas interacciones deben supervisarse, lo que difumina el límite que intentamos preservar.

• La IA mejora a la hora de razonar sobre su propio proceso de razonamiento y manipularlo.

• Con la mejora del rendimiento del preentrenamiento, también vemos que los modelos se vuelven mucho más inteligentes incluso sin recurrir al razonamiento verbalizado.

Estos retos no son necesariamente insuperables. Confío en que podamos desarrollar intervenciones para mejorar la capacidad de monitorizar la cadena de pensamiento de nuestros modelos, por ejemplo, comprendiendo mejor la interacción entre los distintos objetivos de optimización y las formas de cómputo durante la inferencia que utiliza el modelo. También creo que puede ser muy valioso combinar ideas de la monitorización de la CoT y de las activaciones: escalar el entrenamiento de monitores con acceso directo al interior de la red, por ejemplo, mediante confesiones⁠(se abre en una ventana nueva). Estamos trabajando activamente en estas ideas. Aun así, espero que la confianza en la monitorización limite cada vez más el progreso general de la IA.

El argumento más sólido que encuentro para seguir entrenando rápidamente modelos mucho más inteligentes es la necesidad de crear sistemas defensivos frente a los peligros que plantean otras IA.

Un riesgo claro, debatido a lo largo de este año, afecta a la ciberseguridad: los modelos están adquiriendo capacidades sobrehumanas para entrar en sistemas informáticos y escapar de ellos. Esto amplía enormemente el alcance de los riesgos asociados a la IA: los agentes podrán acceder a cualquier infraestructura salvo las más seguras y afectar directamente a buena parte del mundo, incluso sin un cuerpo físico. Ahora disponemos de un margen muy estrecho⁠ para usar los mejores modelos disponibles a fin de reforzar considerablemente la seguridad⁠ de los sistemas críticos.

Por desgracia, los riesgos asociados a la IA seguirán creciendo a partir de ahora. Un agente muy capaz, entrenado e instruido expresamente para cometer actos dañinos, plantea un nuevo tipo de peligro; es probable que exceda el alcance de la intención de su operador y generalice hacia comportamientos potencialmente mucho más maliciosos. El límite entre el uso indebido y las acciones autónomas desalineadas se difuminará a medida que la IA adquiera mayor capacidad de acción. Puede que estemos acostumbrados a pensar en la IA como una herramienta, pero algunos agentes perseguirán sus propios objetivos. Encontrarán formas de colaborar con personas negociando con ellas, engañándolas o chantajeándolas.

Además, existen riesgos derivados de nuevas tecnologías que la IA podría hacer posibles, como los patógenos diseñados.

Necesitaremos una IA potente y alineada para defendernos: asegurar infraestructuras, protegernos en tiempo real frente a agentes descontrolados e inventar medidas de protección completamente nuevas. Este será uno de los principales objetivos de los esfuerzos de despliegue de OpenAI.

Al mismo tiempo, pese a la incertidumbre derivada del amplio progreso previsto de la IA y a la necesidad de crear sistemas defensivos, no debemos permitir que esto se convierta en una excusa para actuar con temeridad. La idea de avanzar a toda costa resulta absurda cuando se asimila la gravedad de lo que está en juego.

Que la inteligencia de las máquinas desempeñe un papel cada vez mayor en su propio proceso de desarrollo es una consecuencia natural del progreso tecnológico sostenido. Si el progreso de la IA continúa, la automejora recursiva de las máquinas (RSI) ocupará el centro mismo de los futuros descubrimientos científicos.

La investigación automatizada de IA es una forma más drástica de escalar la inteligencia mediante cómputo; y, por supuesto, como parte de ella, la IA mejorará el propio sustrato computacional⁠. Al igual que con el escalado, orientamos la investigación de OpenAI hacia la RSI porque creemos que es la única forma de mantenernos a la vanguardia de la investigación en IA en el futuro.

Quiero subrayar que lo anterior no implica que crea que acelerar mucho la investigación sobre aprendizaje profundo, especialmente a corto plazo, sea la actuación colectiva adecuada para la comunidad investigadora. Sin embargo, sí creo que el rumbo actual conduce hasta ahí y que todos debemos decidir conscientemente cómo proceder. Nuestras principales vías de actuación son orientar el proceso para reforzar la alineación y la monitorización a la par que la IA, y encontrar formas de mantener a las personas implicadas; o coordinarnos para ralentizar el desarrollo futuro cuando sea necesario hasta confiar en estas medidas.

Actualmente, la mejor vía que veo combina ambas opciones.

Los avances concretos que hemos logrado en alineación y monitorización han estado, por lo general, estrechamente ligados al progreso general de la IA. Dos grandes ejemplos son el aprendizaje por refuerzo a partir de comentarios humanos⁠(se abre en una ventana nueva), esencial para entrenar a los primeros asistentes de IA, y la ya mencionada monitorización de la cadena de pensamiento⁠(se abre en una ventana nueva), que hicieron posible los avances en modelos de razonamiento. Debemos centrar el proceso de investigación, cada vez más automatizado, en desarrollar nuevos conocimientos, algoritmos y teorías de este tipo, y elaborar de forma iterativa argumentos de seguridad para IA más capaces.

El escalado de los sistemas de IA debe estar limitado por nuestra confianza en su seguridad. Debemos transformar compromisos como el Marco de preparación⁠ o la Política de escalado responsable⁠(se abre en una ventana nueva) en umbrales de seguridad ampliamente obligatorios para continuar el desarrollo. Una red de auditores externos, organismos gubernamentales o entidades internacionales puede hacer cumplir estos umbrales.

El reto fundamental de automatizar la investigación de IA no es «llegar», sino hacerlo de forma que las personas sigan formando parte del proceso de mejora continua y el futuro permanezca en manos de la humanidad.

Como expusimos recientemente con Sam⁠, OpenAI prioriza el trabajo al servicio de tres objetivos rectores:

1. Gestionar la próxima etapa del progreso de la IA creando un investigador de IA automatizado, trabajando con él de forma iterativa en el problema de la alineación y buscando formas de que las personas sigan dentro del ciclo de automejora.

2. Hacer llegar los beneficios del progreso científico y el crecimiento económico que permiten las máquinas de gran inteligencia.

3. Dotar a cada persona de una IAG personal.

En este ensayo me he centrado únicamente en el primer punto, pues creo que es, con diferencia, el más urgente. Sin embargo, albergo una profunda esperanza y un gran aprecio por los beneficios que traerá un mayor progreso tecnológico. Una futura IA alineada podría impulsar la ciencia, desarrollar nuevas terapias y generar una abundancia material generalizada. Una IA amable y honesta puede ayudar a las personas a superar las dificultades de la vida y mejorar de forma significativa su felicidad y sensación de plenitud. OpenAI dedica enormes esfuerzos a hacer realidad estos beneficios. Un ejemplo actual del que me siento orgulloso —y que ha resultado útil para mis seres queridos— es la gran inversión en la capacidad de ChatGPT para ofrecer información sanitaria.

Por muy prometedora que sea la IA a largo plazo, la mayor parte de nuestra atención debe centrarse en los próximos años. Nos enfrentamos a la transición hacia un mundo con máquinas increíblemente inteligentes y debemos asegurarnos de que resulte beneficiosa para la humanidad. Debemos encontrar formas de preservar la capacidad de acción humana y consagrar el valor intrínseco de ser humano en un mundo donde la IA podría realizar la mayoría de las tareas. Debemos impedir una concentración extrema del poder en un mundo donde unas pocas personas con un gran ordenador podrán acometer proyectos que antes habrían requerido miles de expertos. Y debemos garantizar que los seres humanos sigan controlando el futuro y no queden atrás por un progreso sin freno, impulsado por un intelecto ajeno que supere al nuestro.

Actualmente, creo que ningún laboratorio ha resuelto la alineación y la monitorización en grado suficiente para seguir escalando de forma responsable a máxima velocidad durante mucho más tiempo. Espero y deseo que las ralentizaciones voluntarias se generalicen hasta que se establezcan umbrales de seguridad compartidos. También creo que la coordinación internacional sobre el desarrollo futuro de la IA debe convertirse en una prioridad absoluta para los gobiernos de todo el mundo.