Avanzando en la investigación independiente sobre el alineamiento de la IA

A medida que los sistemas de IA se vuelven más capaces y más autónomos, la investigación sobre alineación debe mantener el ritmo y ampliar la diversidad. En OpenAI, invertimos mucho en la investigación de alineación y seguridad de vanguardia, ya que es fundamental para nuestra misión. También creemos que garantizar que la inteligencia artificial general (IAG) sea segura y beneficiosa para toda la humanidad no puede lograrse por una sola organización, y queremos apoyar la investigación independiente y los enfoques conceptuales que pueden desarrollarse fuera de los laboratorios de vanguardia. Creemos que el futuro de la IA no se desarrollará exactamente como nadie lo predice, y que muchas más personas deberían tener un papel en dar forma al resultado.

Hoy anunciamos una subvención de 7,5 millones de dólares a The Alignment Project⁠(se abre en una ventana nueva), un fondo global para la investigación independiente sobre alineamiento creado por el Instituto de Seguridad de la IA del Reino Unido (UK AISI). Renaissance Philanthropy está apoyando la gestión de la subvención. Esta contribución ayuda a que The Alignment Project sea uno de los mayores esfuerzos de financiación dedicados a la investigación independiente de alineación hasta la fecha y fortalece el ecosistema independiente más amplio.

Los laboratorios de vanguardia como OpenAI están en una posición única para realizar investigaciones sobre alineación que dependen del acceso a modelos de vanguardia y de una capacidad de cómputo significativa, un trabajo que a menudo es difícil de explorar para investigadores independientes. Dedicamos gran parte de nuestro esfuerzo interno a desarrollar métodos escalables para que el progreso en alineación mantenga el ritmo del progreso en capacidades. Creemos en el despliegue iterativo—aumentar gradualmente las capacidades mientras se refuerzan las salvaguardias—ayuda a detectar problemas pronto y nos proporciona pruebas concretas de lo que funciona en la práctica, y que el desarrollo responsable requiere un trabajo significativo de alineación y seguridad que esté estrechamente integrado con la construcción y el despliegue del modelo.

En paralelo, el campo se beneficia de una inversión sostenida en investigación independiente y exploratoria, que puede ampliar el espacio de ideas y descubrir nuevas direcciones. La investigación independiente sigue siendo esencial; en muchos tipos de investigación útil, los laboratorios no mantienen una ventaja comparativa. Un ecosistema de alineación saludable depende de que equipos independientes prueben diversos supuestos, desarrollen marcos alternativos y exploren ideas conceptuales, teóricas y de investigación abierta que quizás no se alineen claramente con la hoja de ruta de ninguna organización.

Y dado que el progreso hacia la IAG puede depender en última instancia de avances fundamentales que cambien la naturaleza del problema de la alineación y cuáles enfoques son más útiles, es importante apoyar la investigación que sería relevante incluso si los métodos dominantes de hoy no escalan de la manera que esperamos. En esos mundos, es especialmente importante tener un ecosistema externo fuerte que realice trabajos fundamentales, conceptuales y no correlacionados. El problema de la alineación y la seguridad de la IA es de una importancia sin precedentes, y necesitamos a todas las personas involucradas, ya que todavía no sabemos qué enfoques resultarán más duraderos a medida que las capacidades sigan avanzando.

Nuestra subvención —aproximadamente 5,6 millones de libras esterlinas al tipo de cambio actual— cofinanciará el Proyecto de Alineación⁠(se abre en una ventana nueva) junto con otros patrocinadores públicos, filantrópicos y del sector. El fondo total supera los 27 millones de libras esterlinas y está diseñado para apoyar una amplia cartera de proyectos de investigación sobre alineación en todo el mundo, abarcando temas tan diversos como la teoría de la complejidad computacional, la teoría económica y la teoría de juegos, la ciencia cognitiva, y la teoría de la información y la criptografía. Los proyectos individuales suelen financiarse con entre 50 000 £ y 1 millón £, y también pueden recibir acceso opcional a recursos de computación y apoyo de expertos.

Nuestra financiación no crea un nuevo programa ni un proceso de selección, ni influye en el proceso existente; aumenta el número de proyectos⁠(se abre en una ventana nueva) ya evaluados y de alta calidad que pueden ser financiados en la ronda actual.

UK AISI está bien posicionada para dirigir la financiación de alineación a esta escala y alcance. Aporta una coalición intersectorial consolidada que abarca el gobierno, la academia, la filantropía y la industria, junto con un canal de concesión de subvenciones ya en marcha y un amplio conjunto de propuestas que han sido revisadas por expertos. Como organización de investigación del gobierno del Reino Unido dentro del Departamento de Ciencia, Innovación y Tecnología (DSIT), también tiene un mandato enfocado en los riesgos serios de la IA y tiene experiencia en la ejecución de programas de financiación de investigación.

Dado que el futuro de la IA no se desarrollará exactamente como nadie predice—y puede avanzar muy rápidamente—, creemos que la democratización, la «resiliencia de la IA» y el despliegue iterativo son esenciales. Mientras continuamos avanzando en nuestra investigación de alineación y seguridad de vanguardia en OpenAI, el progreso se beneficiará de un ecosistema robusto, diverso e independiente que persiga enfoques complementarios a medida que las capacidades avancen. Esta subvención es un paso hacia ese objetivo. Esperamos seguir colaborando con la comunidad investigadora más amplia a medida que el campo avance.