Ritmo de desarrollo de modelos en una era de capacidades cibernéticas críticas

En las últimas semanas, dos acontecimientos han puesto de relieve los crecientes riesgos asociados a sistemas de IA cada vez más capaces: el incidente de OpenAI y Hugging Face y, por otra parte, los indicios preliminares de que uno de nuestros próximos modelos, Astra, podría alcanzar el umbral de capacidad crítica de ciberseguridad establecido en nuestro Marco de preparación. Estos acontecimientos, junto con el rápido avance de nuestra investigación interna, han dado mayor urgencia a nuestro trabajo para reforzar las salvaguardas de supervisión, alineación y contención en todas las etapas del proceso de entrenamiento.

A medida que los modelos adquieren más capacidades, también aumentan los riesgos de desarrollarlos y probarlos internamente. Nuestros estándares de supervisión, alineación y seguridad deben anticiparse a esos riesgos. Queríamos dedicar el tiempo necesario a cumplir esos estándares, por lo que ralentizamos temporalmente el aumento de escala. Esto incluyó una pausa de dos semanas en el entrenamiento mediante aprendizaje por refuerzo (RL) de nuestros modelos más recientes destinados al despliegue, mientras reforzábamos y sometíamos a pruebas de equipos rojos nuestros entornos de investigación y ampliábamos la cobertura de los sistemas de supervisión. Nuestra mayor ejecución prevista de RL de vanguardia sigue en pausa mientras realizamos entrenamientos y evaluaciones a menor escala para analizar el comportamiento del modelo, validar nuestras salvaguardas y reunir más pruebas de alineación antes de continuar.

La alineación —el trabajo para lograr que los sistemas de IA se comporten según lo previsto y respondan a la supervisión humana— lleva mucho tiempo en el centro de nuestro programa de investigación. Ahora exigimos pruebas más sólidas de un comportamiento alineado durante todo el entrenamiento, basándonos en investigaciones y evaluaciones ya en curso. Mantener alineados sistemas cada vez más capaces es un reto que deberá abordar todo el sector. Los indicios que observamos sobre el progreso de los próximos modelos dejan claro que necesitamos un enfoque más amplio, que parta del actual Marco de preparación y vaya más allá.

Creemos que es importante explicar con transparencia cómo está cambiando nuestro enfoque. A continuación, describimos los cambios que ya hemos introducido en nuestros procesos e infraestructuras de investigación, así como el trabajo que sigue en curso.

Nuestro enfoque para desarrollar modelos más capaces se basa en tres salvaguardas que se refuerzan mutuamente:

1. Supervisión, que detecta comportamientos preocupantes y nos permite responder a ellos.
2. Alineación, que reduce la probabilidad de que se produzcan acciones dañinas o no autorizadas.
3. Medidas de seguridad, que limitan aquello a lo que los sistemas de IA pueden acceder o afectar.

Esperamos que pronto los modelos se encarguen de la mayor parte del trabajo de seguridad, incluida la defensa frente a otros modelos. Esto permitirá que las tres salvaguardas evolucionen a la par que las capacidades de los modelos, algo que consideramos esencial.

Aplicamos estas salvaguardas tanto en la investigación como en el despliegue y las adaptamos a las capacidades, el entorno operativo y el nivel de riesgo de cada modelo.

A medida que los modelos de vanguardia adquieren mayores capacidades de ciberseguridad, elevamos los estándares de seguridad de los entornos en los que los entrenamos y evaluamos. Cumplir estos estándares ha exigido un importante trabajo de ingeniería y ha supuesto grandes costes y retrasos para la investigación de vanguardia. Inmediatamente después del incidente de OpenAI y Hugging Face*, pausamos la inferencia de modelos de vanguardia en clústeres de investigación para las ejecuciones que podían ejecutar código o utilizar herramientas con acceso a internet. Restablecimos con bastante rapidez una vía más limitada y segura para ejecutar código y, después, revisamos cada carga de trabajo por separado para determinar si podía reanudarse de forma segura. Algunas cargas de trabajo de investigación se reanudaron con estos nuevos controles, mientras que otras exigieron cambios adicionales.

Durante las semanas siguientes, definimos y comenzamos a aplicar requisitos de seguridad más estrictos para las cargas de trabajo de investigación de vanguardia. Por ejemplo:

• Aislamiento de cargas de trabajo: ahora exigimos un aislamiento más estricto («entornos aislados») para las cargas de trabajo que ejecutan código generado por modelos o que, por otros motivos, no es de confianza. Esto también se aplica al software que podría verse comprometido al procesar los resultados de los modelos.
• Aislamiento de red: hemos implantado más controles para aislar de internet las cargas de trabajo de mayor riesgo y aquellas que no son de confianza. Hemos diseñado estos controles para que comprometer una única carga de trabajo o un servicio de apoyo no permita, por sí solo, acceder sin autorización a internet ni a otras redes internas.
• Pruebas continuas de seguridad: hemos reconfigurado nuestro entorno para eliminar servicios compartidos potencialmente vulnerables, reducir los privilegios permanentes y mejorar los límites de seguridad y confianza. También estamos mejorando nuestra capacidad para recopilar y supervisar registros de seguridad. Por último, estamos invirtiendo en automatización y utilizando nuestros modelos para poner a prueba continuamente estos límites frente a ataques simulados.

En conjunto, estos controles proporcionan una defensa en profundidad y ayudan a proteger nuestro entorno de investigación frente a ataques. Actualmente, exigimos el máximo nivel de salvaguardas de seguridad para las cargas de trabajo que implican a Astra o a modelos cibernéticos, ya que hemos determinado que los modelos Astra podrían tener un nivel crítico de capacidad cibernética. Estas salvaguardas también se aplican a todas las demás cargas de trabajo relacionadas con la ciberseguridad.

Aunque parte del entrenamiento y las evaluaciones de Astra cumple esos requisitos, un número considerable de cargas de trabajo sigue en pausa hasta que se migren por completo y se refuercen para cumplir el nuevo estándar de seguridad. Estamos dando prioridad a la migración de las cargas de trabajo de seguridad y alineación a estos nuevos entornos.

La supervisión lleva mucho tiempo siendo una parte importante de nuestro proceso de desarrollo de modelos, incluida la supervisión de agentes internos de programación y de sesiones de larga duración. Nuestros esfuerzos de supervisión se centraban especialmente en los despliegues internos de modelos de vanguardia y las ejecuciones de entrenamiento de RL de vanguardia, que considerábamos las cargas de trabajo de mayor riesgo porque pueden combinar capacidades avanzadas del modelo con acceso a herramientas, sistemas sensibles y redes internas o externas. No se aplicaban a todas las ejecuciones de inferencia y entrenamiento que utilizaban herramientas. Hemos revisado y ampliado nuestro enfoque con el nuevo sistema de supervisión.

Este nuevo sistema de supervisión consta de varias etapas. Comienza con clasificadores de activaciones —detectores que examinan la actividad interna de un modelo— que se ejecutan en cada token muestreado y remiten los posibles problemas a investigadores automatizados cada vez más sofisticados y con mayor capacidad de cómputo. Estos sistemas examinan las acciones realizadas con herramientas, el razonamiento disponible y toda la secuencia de actividad para detectar accesos no autorizados, robos de datos, comportamientos destructivos e intentos de eludir las salvaguardas. Nuestro objetivo es emitir una alerta en los 30 minutos posteriores a que el sistema de supervisión detecte una actividad preocupante. Si el sistema de supervisión identifica una probable vulneración de un límite crítico de seguridad, genera una alerta de máxima prioridad. En nuestra implementación actual, se avisa a los equipos de seguridad, protección e investigación. Si no pueden determinar de forma concluyente en un plazo de 30 minutos que la señal es un falso positivo, esos equipos deben pausar la actividad.

Esta supervisión es obligatoria para todo el entrenamiento de RL y todas las evaluaciones con herramientas de modelos con capacidades equivalentes o superiores a Sol. Cuando determinamos el 7 de agosto que Astra podría tener capacidades cibernéticas críticas, añadimos un requisito de supervisión adicional para toda inferencia de Astra con herramientas, no solo para el entrenamiento de RL y las evaluaciones.

Estas salvaguardas requieren una capacidad de cómputo considerable. Nuestras estimaciones actuales sitúan la sobrecarga de la supervisión en torno al 20 % del cómputo de inferencia supervisado, aunque el coste varía considerablemente entre las cargas de trabajo de entrenamiento y evaluación. Próximamente compartiremos más información sobre este sistema en una entrada del blog.

La investigación sobre alineación es fundamental para nuestra misión. Nuestra misión es garantizar que la inteligencia artificial general beneficie a toda la humanidad. A medida que los modelos adquieran capacidades avanzadas, como la posibilidad de realizar ciberataques, y operen en entornos más complejos, los comportamientos desalineados —como el reward hacking (encontrar formas de recibir recompensas elevadas durante el entrenamiento sin alcanzar realmente el resultado previsto), el engaño o el acceso no autorizado— generarán riesgos cada vez más graves.

En las ejecuciones de RL de los modelos más capaces, ahora aplicamos nuestras principales técnicas de alineación en más etapas del proceso de entrenamiento. Esto incluye mejorar los modelos de recompensa para detectar y desincentivar mejor los comportamientos inseguros en distintas tareas y entornos; entrenar los modelos para que sean más transparentes sobre sus acciones, capacidades y limitaciones; y reducir los comportamientos que aprovechan puntos débiles en las recompensas, los evaluadores, las herramientas o la supervisión. También estamos ampliando la cobertura del entrenamiento sobre comportamientos que podrían causar daños cuando los modelos interactúan con sistemas o recursos externos.

Seguimos invirtiendo de forma decidida en la investigación sobre alineación, ampliando la cobertura de las evaluaciones y utilizando lo aprendido para orientar el entrenamiento y las salvaguardas. Tenemos previsto compartir pronto mucha más información sobre nuestra investigación en materia de alineación, incluido lo que estamos aprendiendo sobre el comportamiento de los modelos y cualquier nuevo reto que descubramos.

Actualizaremos nuestro Marco de preparación para integrar estas salvaguardas en el entrenamiento y el despliegue, y para reflejar mejor las capacidades de los futuros modelos y los entornos en los que operan. Desarrollar métodos que puedan evolucionar a la par que esas capacidades exigirá una inversión sostenida en seguridad asistida por modelos, una supervisión más eficaz y avances continuos en la investigación sobre alineación. Tenemos la intención de involucrar a organizaciones externas y compartir más de lo que aprendamos a medida que evolucione nuestro enfoque.

Las capacidades de los modelos de vanguardia avanzan rápidamente. Nuestra capacidad para comprenderlos, alinearlos y protegerlos debe anticiparse a ese avance.

*Publicaremos un informe técnico con lo aprendido en las próximas semanas.