Crear normas para la próxima fase de la IA
Nuestra misión es garantizar que la inteligencia artificial general beneficie a toda la humanidad. Como explicaron recientemente Sam Altman y Jakub Pachocki, orientamos nuestro trabajo hacia esta misión mediante tres objetivos principales:
Transitar la próxima etapa del progreso de la IA mediante la creación de un investigador automatizado de IA, el trabajo iterativo con este sobre el problema de la alineación y la búsqueda de formas de mantener a las personas dentro del ciclo de automejora.
Hacer llegar los beneficios del progreso científico y el crecimiento económico que permiten las máquinas de gran inteligencia.
Empoderar a cada persona con una IAG personal.
La IA está acelerando nuestra propia investigación e ingeniería, y la investigación apoyada por IA ha generado avances en matemáticas, entre ellos el problema del milenio de Navier-Stokes. Este progreso resulta muy prometedor para nuestros otros dos objetivos, pues podría dar lugar a importantes descubrimientos médicos, una atención médica ampliamente accesible y oportunidades económicas para pequeñas empresas y emprendedores independientes de todo el mundo.
La IA avanza en numerosas empresas y países, y el progreso en todo el campo transforma las oportunidades y los desafíos que enfrenta cada persona. Además de sus otros beneficios, una IA capaz y alineada será una parte importante de la manera en que atravesemos esta transición: fortalecerá las defensas, impulsará la investigación sobre alineación y ayudará a las personas a comprender y orientar las próximas etapas del desarrollo de la IA.
Para transitar esta etapa de forma segura, la investigación sobre alineación debe avanzar al mismo ritmo que estas capacidades, de modo que los sistemas que nosotros y otros construyamos permanezcan alineados con los valores humanos y bajo control humano. Esto cobra cada vez más importancia a medida que los sistemas de IA adquieren mayores capacidades y autonomía, incluso cuando asumen una parte creciente de la propia investigación y desarrollo de la IA. Para que el progreso continuo de la IA sea seguro y beneficioso, harán falta tanto avances en la investigación sobre alineación como normas compartidas que orienten el desarrollo en distintos laboratorios y países.
La investigación automatizada de IA puede implicar distintos grados de supervisión humana. A medida que los sistemas de IA asumen una mayor parte del trabajo de desarrollar generaciones sucesivas de IA, pueden impulsar cada vez más un proceso de automejora recursiva (RSI), incluso con la participación continua de las personas. A medida que este proceso se automatice, el ritmo del progreso de la IA podría acelerarse rápidamente.
Creemos que la investigación automatizada de IA producirá modelos que mejorarán directamente la vida de las personas. Puede reducir el costo de la inteligencia avanzada para que las personas de todo el mundo se beneficien. La investigación automatizada también podría ayudarnos a mejorar considerablemente la alineación y crear defensas contra una IA cada vez más capaz: un investigador automatizado de IA también puede investigar de forma automatizada la seguridad de la IA. Los sistemas alineados y con mayores capacidades podrían ayudar a proteger infraestructura crítica, defendernos de agentes de IA peligrosos y desarrollar nuevas medidas de protección.
La RSI totalmente autónoma no es una realidad hoy, y no debemos intentar desarrollarla a menos que podamos hacerlo de forma segura. La decisión de avanzar y la forma de hacerlo deben depender de nuestra capacidad para preservar el control humano y de decisiones democráticas informadas(se abre en una nueva ventana) sobre los beneficios y riesgos. Si se llevara a cabo sin el debido cuidado y cautela, la RSI podría hacer que los seres humanos perdieran el control práctico del desarrollo de la IA y no pudieran supervisar procesos de investigación que ya no comprenden. A partir de ahí, la IA podría volverse más peligrosa, menos alineada y, en general, representar un peligro para las personas. El incidente de Hugging Face que divulgamos, aunque no fue resultado directo de la RSI, anticipa los tipos de riesgos que podrían agravarse mucho sin salvaguardas y medidas de alineación sólidas.
Las normas internacionales sobre prácticas de seguridad y protección en el desarrollo de IA de vanguardia podrían ser tan importantes para marcar el ritmo de la vanguardia como la propia investigación sobre alineación. Las normas pueden establecer definiciones compartidas de evidencia de alta calidad y bases acordadas para el rigor de las salvaguardas técnicas. En resumen, nos ayudan a responder la pregunta: “¿Cómo se ve una buena mitigación del riesgo catastrófico de la IA?”
Las instituciones democráticas existentes, como el Centro para Normas e Innovación en IA (CAISI), las leyes estatales y un marco federal para la IA, pueden contribuir a este objetivo, al igual que las nuevas formas de colaboración público-privada(se abre en una nueva ventana). Sin embargo, el desarrollo y la implementación de la IA ocurren en varios países, su adopción es global y es probable que, de alguna manera y en algún momento, todas las personas experimenten sus efectos.
Por lo tanto, se necesitan iniciativas internacionales para desarrollar normas que permitan resolver algunos desafíos clave:
Fragmentación: las evaluaciones, los requisitos de presentación de informes y las definiciones de incidentes de distintos países podrían entrar en conflicto, lo que dificultaría comparar la evidencia, comprender las capacidades emergentes y responder a riesgos transfronterizos.
Acción colectiva: si cada país actúa de forma independiente, pueden surgir resultados que ninguno desea. La RSI puede acelerar la propia investigación de IA, posiblemente más allá de nuestra capacidad colectiva para comprender el progreso, evaluar los riesgos y mantener una supervisión humana significativa.
Capacidad desigual: la actividad de desarrollo de vanguardia y los conocimientos relacionados no están distribuidos de manera uniforme en el mundo. Esto agrava los dos problemas anteriores.
Estos desafíos se aplican tanto a los modelos abiertos como a los cerrados.
Para ser claros, todo laboratorio de IA que emprenda investigaciones automatizadas de IA u otras capacidades avanzadas debe asumir la responsabilidad de hacerlo de forma segura, conforme a los principios básicos de responsabilidad propia y las leyes vigentes. Nuestra justificación para establecer normas se basa en evitar la concentración del poder y obtener mejores resultados prácticos. Las normas permiten que más partes interesadas externas a los laboratorios opinen sobre cómo debe evolucionar esta tecnología y ofrecen un conjunto visible de principios en los que se puede confiar, independientemente de las prácticas específicas de cualquier laboratorio. Además, probablemente obtendremos mejores resultados si las partes colaboran para abordar los desafíos anteriores.
Por eso creemos que Estados Unidos debe liderar una iniciativa de colaboración con países de todo el mundo para desarrollar normas técnicas globales para la IA de vanguardia, incluida la RSI.
Aunque esperamos que este concepto evolucione considerablemente con el tiempo, dos aspectos serán esenciales.
Una forma de lograrlo sería aprovechar la red emergente de institutos de seguridad de la IA —como los ya establecidos en Alemania, Australia, Canadá, Corea, Francia, India, Japón, Kenia, Reino Unido y Singapur— para facilitar el establecimiento de normas mediante el CAISI y organismos nacionales de la industria, con un enfoque específico en (1) los modelos y desarrolladores de IA de vanguardia, según parámetros de referencia de capacidades; y (2) la gestión de beneficios y riesgos de la investigación automatizada de IA, incluida la RSI. Estados Unidos puede aprovechar la creación por parte del CAISI de la Red Internacional para la Medición, Evaluación y Ciencia Avanzadas de la IA(se abre en una nueva ventana) en 2024, que reúne a instituciones públicas para cooperar en la medición, evaluación y ciencia de la IA.
Las normas desarrolladas mediante esta iniciativa proporcionarían una base técnica común para medir y evaluar capacidades, valorar riesgos y determinar si las salvaguardas son suficientes. Estas normas técnicas no serían licencias, revisiones obligatorias previas al lanzamiento ni requisitos de aprobación para los modelos de IA. Los gobiernos nacionales decidirían si incorporan estas normas a sus propios sistemas jurídicos y cómo hacerlo.
Este trabajo también debe respaldar un ecosistema competitivo de IA mediante consultas a desarrolladores de modelos abiertos y cerrados, expertos técnicos independientes y el ámbito académico. Las normas comunes deben desarrollarse de forma transparente y diseñarse para no favorecer a empresas, países o modelos de negocio específicos, lo que incluye evitar que dificulten la competencia para nuevos participantes o desarrolladores de modelos con parámetros abiertos.
Como hemos sugerido(se abre en una nueva ventana), este enfoque puede extraer lecciones de ámbitos como la aviación y la estabilidad financiera, en los que los países han desarrollado normas técnicas comunes y canales de cooperación confiables sin renunciar a la autoridad nacional. También debe colaborar estrechamente con organismos de normalización nuevos y consolidados, como ISO(se abre en una nueva ventana), el Foro de Modelos de Vanguardia(se abre en una nueva ventana), la Fundación de IA con Agentes(se abre en una nueva ventana) y la Alianza para una IA Abierta y Segura(se abre en una nueva ventana), así como con organizaciones centradas en la implementación, como la Fundación Appia, que desarrolla especificaciones prácticas para conectar las normas internacionales con evaluaciones de IA en el mundo real.
Las normas internacionales para la IA serán especialmente cruciales para gestionar la creciente autonomía en la investigación de IA y la automejora recursiva. En concreto, podrían incluir normas para lo siguiente:
Evaluar el progreso de la IA relevante para la RSI y la cantidad de investigación autónoma que se realiza dentro de una empresa de IA. Nuestro informe reciente sobre la aceleración de la investigación es una contribución inicial a esta iniciativa.
Supervisar de forma humana la investigación automatizada de IA, incluidos los tipos de procesos automatizados de investigación de IA que deberían activar una revisión humana inmediata.
Clasificar, rastrear, notificar y responder a incidentes relacionados con la alineación y la investigación automatizada de IA, mediante niveles comunes de gravedad y umbrales de notificación, entre otras medidas. Nuestro marco para informar desalineaciones es una contribución inicial.
Además de estas normas, creemos que será importante que los operadores de infraestructura crítica y los gobiernos de todo el mundo establezcan canales de comunicación seguros para compartir inquietudes de seguridad nacional, vulnerabilidades y amenazas emergentes, así como prácticas recomendadas en el campo de la seguridad de la IA de vanguardia, que evoluciona con rapidez. El diálogo entre Estados Unidos y China en estas áreas sería un paso positivo, y las próximas conversaciones llegan en un momento oportuno.
Marcar el ritmo del desarrollo de la IA no implica mantener una velocidad predeterminada. En términos técnicos, implica garantizar que la investigación sobre alineación y su implementación se mantengan por delante de las capacidades. En términos sociales, implica usar normas, instituciones y colaboración para potenciar las redes industriales, las relaciones sociales y las fuerzas del mercado con el fin de generar resultados de suma positiva. El reciente llamado a la acción colectiva en materia de ciberdefensa es un ejemplo de esto último.
Estados Unidos está bien posicionado para liderar porque su industria de IA está a la vanguardia técnica y el país aún ocupa una posición privilegiada en las redes globales de áreas críticas como las finanzas, el comercio, la defensa, la tecnología y los sistemas de información. Liderar ahora determinará si Estados Unidos define el marco global de la IA o contempla cómo se consolida a su alrededor un sistema fragmentado, desigual y plagado de conflictos. Esto también determinará si la IA avanzada fortalece las redes que Estados Unidos y sus aliados ya tienen; no asumir el liderazgo podría debilitarlas.
La competencia geopolítica no solo girará en torno a quién lleva la delantera en lo técnico, sino también a la adopción y difusión de la IA. Cada vez más, esto último podría quedar determinado por quien impulse una cooperación realista y reglas sensatas que las empresas y sociedades de todo el mundo quieran adoptar si van a apostar su futuro a esta tecnología.
Una gobernanza nacional sólida, conectada mediante una cooperación internacional práctica, ofrece una vía hacia mayores salvaguardas, innovación continua y un amplio acceso a los beneficios de la IA.
