Avanzando la investigación independiente sobre la alineación de la IA

A medida que los sistemas de IA se vuelven más capaces y autónomos, la investigación sobre alineación debe seguir el ritmo y diversificarse. En OpenAI, invertimos mucho en investigación de alineación y seguridad de vanguardia, ya que es crucial para nuestra misión. También creemos que garantizar que la IAG sea segura y beneficiosa para todos no puede lograrse por una sola organización, y queremos apoyar la investigación independiente y los enfoques conceptuales que puedan desarrollarse fuera de los laboratorios de vanguardia. Creemos que el futuro de la IA no se desarrollará exactamente como nadie lo predice, y que muchas más personas deberían tener un papel en moldear el resultado.

Hoy anunciamos una subvención de $7,5 millones para The Alignment Project⁠(se abre en una nueva ventana), un fondo global para la investigación independiente sobre alineación creado por el Instituto de Seguridad de IA del Reino Unido (UK AISI). Renaissance Philanthropy está respaldando la gestión de la subvención. Esta contribución ayuda a que The Alignment Project sea uno de los mayores esfuerzos de financiamiento dedicados a la investigación independiente sobre alineación hasta la fecha y fortalece el ecosistema independiente en general.

Los laboratorios de vanguardia, como OpenAI, están en una posición única para realizar investigaciones sobre la alineación que dependen del acceso a modelos de vanguardia y una capacidad de cómputo significativa, trabajo que a menudo es difícil de explorar para investigadores independientes. Nos esforzamos internamente para desarrollar métodos escalables para que el progreso en alineación mantenga el ritmo del progreso en capacidades. Creemos en el despliegue iterativo, es decir, aumentar gradualmente las capacidades mientras se refuerzan las medidas de seguridad, ya que ayuda a detectar problemas a tiempo y nos proporciona evidencia concreta sobre lo que funciona en la práctica, y que el desarrollo responsable requiere un trabajo significativo de alineación y seguridad que esté estrechamente integrado con la construcción y el despliegue del modelo.

En paralelo, el campo se beneficia de una inversión sostenida en investigación independiente y exploratoria, la cual puede ampliar el espacio de ideas y descubrir nuevas direcciones. La investigación independiente sigue siendo esencial; en muchos tipos de investigación útil, los laboratorios no mantienen una ventaja comparativa. Un ecosistema de alineación saludable depende de equipos independientes que pongan a prueba supuestos diversos, desarrollen marcos alternativos y exploren ideas conceptuales, teóricas y de carácter exploratorio que pueden no ajustarse perfectamente a la hoja de ruta de una sola organización.

Y dado que el progreso hacia la IAG puede depender en última instancia de avances fundamentales que cambien la forma del problema de alineación y qué enfoques son más útiles, es importante apoyar investigaciones que serían relevantes incluso si los métodos dominantes de hoy no escalan de la manera que esperamos. En esos mundos, es especialmente importante tener un ecosistema externo fuerte que realice trabajo fundamental, conceptual y no correlacionado. El problema de la alineación y la seguridad de la IA es de una importancia sin precedentes, y necesitamos a todas las manos a la obra, ya que todavía no sabemos qué enfoques resultarán más duraderos a medida que las capacidades continúen avanzando.

Nuestra subvención, aproximadamente £5,6 millones a los tipos de cambio actuales, cofinanciará The Alignment Project⁠(se abre en una nueva ventana) junto con otros patrocinadores públicos, filantrópicos e industriales. El fondo total supera los £27 millones y está diseñado para apoyar un amplio portafolio de proyectos de investigación de alineación en todo el mundo, abarcando temas tan diversos como la teoría de la complejidad computacional, la teoría económica y la teoría de juegos, las ciencias cognitivas y la teoría de la información y la criptografía. Los proyectos individuales suelen financiarse entre £50 000 y £1 millón, y también pueden recibir acceso opcional a recursos de cómputo y soporte de expertos.

Nuestro financiamiento no crea un nuevo programa ni un proceso de selección, ni influye en el proceso existente; aumenta la cantidad de proyectos⁠(se abre en una nueva ventana) de alta calidad ya evaluados que pueden recibir financiamiento en la ronda actual.

UK AISI está bien posicionado para dirigir fondos de alineación a esta escala y alcance. Aporta una coalición intersectorial establecida que abarca el gobierno, la academia, la filantropía y la industria, junto con un proceso de otorgamiento de subvenciones ya en marcha y un gran conjunto de propuestas que fueron revisadas por expertos. Como organización de investigación del gobierno del Reino Unido dentro del Departamento de Ciencia, Innovación y Tecnología (DSIT), también tiene un mandato enfocado en los riesgos serios de la IA y tiene experiencia en la gestión de programas de financiamiento para investigación.

Dado que el futuro de la IA no se desarrollará exactamente como nadie lo predice, y puede avanzar muy rápidamente, creemos que la democratización, la “resiliencia de la IA” y el despliegue iterativo son esenciales. Mientras continuamos avanzando en nuestra investigación de alineación y seguridad de vanguardia en OpenAI, el progreso se beneficiará de un ecosistema robusto, diverso e independiente que persiga enfoques complementarios a medida que las capacidades avancen. Esta subvención es un paso hacia ese objetivo. Esperamos seguir colaborando con la comunidad de investigación más amplia a medida que el campo progresa.