Ritmo del desarrollo de modelos en una era de capacidades cibercríticas

En las últimas semanas, dos acontecimientos han puesto de relieve los crecientes riesgos asociados con sistemas de IA cada vez más capaces: el incidente de OpenAI y Hugging Face y, por otra parte, los indicios preliminares de que uno de nuestros próximos modelos, Astra, podría alcanzar el umbral de capacidad crítica de ciberseguridad establecido en nuestro Marco de preparación. En conjunto, estos acontecimientos y el rápido avance de nuestra investigación interna han vuelto más urgente nuestra labor para reforzar las salvaguardas de monitoreo, alineación y contención en todas las etapas del proceso de entrenamiento.

A medida que los modelos adquieren más capacidades, también aumentan los riesgos de desarrollarlos y probarlos internamente. Nuestros estándares de monitoreo, alineación y seguridad deben mantenerse por delante de esos riesgos. Queríamos dedicar el tiempo necesario para cumplir esos estándares, por lo que redujimos temporalmente el ritmo de escalamiento. Esto incluyó una pausa de dos semanas en el entrenamiento mediante aprendizaje por refuerzo (RL) de nuestros modelos más recientes destinados al despliegue, mientras reforzábamos aún más y sometíamos a pruebas de equipos rojos nuestros entornos de investigación, además de ampliar la cobertura de nuestros sistemas de monitoreo. Nuestra mayor ejecución planificada de RL de vanguardia sigue en pausa mientras realizamos entrenamientos y evaluaciones a menor escala para analizar el comportamiento del modelo, validar nuestras salvaguardas y reunir más pruebas de alineación antes de continuar.

La alineación —la labor de lograr que los sistemas de IA se comporten según lo previsto y respondan a la supervisión humana— ha ocupado desde hace mucho un lugar central en nuestro programa de investigación. Ahora exigimos pruebas más sólidas de un comportamiento alineado durante todo el entrenamiento, a partir de las investigaciones y evaluaciones que ya están en curso. Mantener alineados sistemas cada vez más capaces es un desafío que todo el sector deberá afrontar. Las señales que observamos en los avances de nuestros próximos modelos dejan claro que necesitamos un enfoque más amplio, que parta del Marco de preparación actual y vaya más allá.

Consideramos importante explicar con transparencia cómo está cambiando nuestro enfoque. A continuación, describimos los cambios que ya realizamos en nuestros procesos e infraestructura de investigación, así como el trabajo que sigue en curso.

Nuestro enfoque para desarrollar modelos más capaces se sustenta en tres salvaguardas que se refuerzan entre sí:

1. Monitoreo, que detecta comportamientos preocupantes y nos permite responder ante ellos.
2. Alineación, que reduce la probabilidad de acciones perjudiciales o no autorizadas.
3. Medidas de seguridad, que limitan aquello a lo que los sistemas de IA pueden acceder o afectar.

Esperamos que pronto los modelos se encarguen de la mayor parte del trabajo de seguridad, incluida la defensa frente a otros modelos. Esto permitirá que las tres salvaguardas se amplíen a la par de las capacidades del modelo, algo que consideramos crucial.

Aplicamos estas salvaguardas tanto en la investigación como en el despliegue, adaptándolas a las capacidades, el entorno operativo y el nivel de riesgo de cada modelo.

A medida que los modelos de vanguardia adquieren mayores capacidades de ciberseguridad, elevamos los estándares de seguridad de los entornos donde los entrenamos y evaluamos. Cumplir estos estándares ha requerido un trabajo de ingeniería considerable y ha supuesto grandes costos y demoras para la investigación de vanguardia. Inmediatamente después del incidente de OpenAI y Hugging Face*, pausamos la inferencia de modelos de vanguardia en clústeres de investigación para las ejecuciones que podían ejecutar código o usar herramientas con acceso a internet. Restablecimos con bastante rapidez una vía más limitada y segura para ejecutar código y luego revisamos cada carga de trabajo por separado para determinar si podía reanudarse de forma segura. Algunas cargas de trabajo de investigación se reanudaron con estos nuevos controles, mientras que otras requirieron cambios adicionales.

Durante las semanas siguientes, definimos y comenzamos a implementar requisitos de seguridad más estrictos para las cargas de trabajo de investigación de vanguardia. Por ejemplo:

• Aislamiento de cargas de trabajo: ahora exigimos un aislamiento más estricto (“entornos aislados”) para las cargas de trabajo que ejecutan código generado por modelos o cualquier otro código que no sea de confianza. Esto también se aplica al software que podría verse comprometido al procesar los resultados de los modelos.
• Aislamiento de red: implementamos más controles para aislar de internet las cargas de trabajo de mayor riesgo y aquellas que no son de confianza. Diseñamos estos controles para que comprometer una sola carga de trabajo o servicio de apoyo no permita, por sí solo, acceder sin autorización a internet ni a otras redes internas.
• Pruebas continuas de seguridad: reconfiguramos nuestro entorno para eliminar servicios compartidos potencialmente vulnerables, reducir los privilegios permanentes y mejorar los límites de seguridad y confianza. También estamos mejorando nuestra capacidad para recopilar y monitorear registros de seguridad. Por último, estamos invirtiendo en automatización mediante nuestros modelos para poner a prueba continuamente estos límites frente a ataques simulados.

En conjunto, estos controles ofrecen una defensa en profundidad y ayudan a proteger nuestro entorno de investigación frente a ataques. Actualmente, exigimos el nivel más estricto de salvaguardas de seguridad para las cargas de trabajo relacionadas con Astra o con modelos cibernéticos, ya que determinamos que los modelos Astra podrían tener un nivel crítico de capacidad cibernética. Estas salvaguardas también se aplican a todas las demás cargas de trabajo relacionadas con la ciberseguridad.

Aunque algunos entrenamientos y evaluaciones de Astra cumplen esos requisitos, una cantidad considerable de cargas de trabajo sigue en pausa hasta que se migren por completo y se refuercen para cumplir el nuevo estándar de seguridad. Estamos dando prioridad a la migración de las cargas de trabajo de seguridad y alineación a estos nuevos entornos.

El monitoreo ha sido desde hace mucho una parte importante de nuestro proceso de desarrollo de modelos, incluido el monitoreo de agentes internos de codificación y de sesiones de larga duración. Nuestros esfuerzos de monitoreo se centraban especialmente en los despliegues internos de modelos de vanguardia y las ejecuciones de entrenamiento de RL de vanguardia, que considerábamos las cargas de trabajo de mayor riesgo porque pueden combinar capacidades avanzadas de los modelos con acceso a herramientas, sistemas sensibles y redes internas o externas. No se aplicaban a todas las ejecuciones de inferencia y entrenamiento que usaban herramientas. Revisamos y ampliamos nuestro enfoque mediante una nueva configuración de monitoreo.

Esta nueva configuración de monitoreo consta de varias etapas: comienza con clasificadores de activación —detectores que inspeccionan la actividad interna de un modelo— que se ejecutan con cada token muestreado y derivan las posibles inquietudes a investigadores automatizados cada vez más sofisticados y con mayor capacidad de cómputo. Esos sistemas examinan las acciones realizadas con herramientas, el razonamiento disponible y la secuencia completa de actividades para detectar accesos no autorizados, robo de datos, comportamientos destructivos e intentos de eludir las salvaguardas. Nuestro objetivo es emitir una alerta en un plazo de 30 minutos desde que el sistema de monitoreo detecta una actividad preocupante. Si el sistema de monitoreo identifica una probable vulneración de un límite crítico de seguridad, genera una alerta de máxima prioridad. En nuestra implementación actual, se envía una notificación urgente a los equipos de seguridad, protección e investigación. Si no pueden determinar de manera concluyente en un plazo de 30 minutos que la señal es un falso positivo, se espera que esos equipos pausen la actividad.

Este monitoreo es obligatorio para todos los entrenamientos y evaluaciones de RL que involucren herramientas y modelos con capacidades equivalentes o superiores a las de Sol. Cuando determinamos el 7 de agosto que Astra podría tener capacidades cibernéticas críticas, añadimos un requisito adicional de monitoreo para toda inferencia de Astra que use herramientas, no solo para el entrenamiento y las evaluaciones de RL.

Estas salvaguardas requieren una cantidad considerable de cómputo. Según nuestras estimaciones actuales, la sobrecarga del monitoreo equivale aproximadamente al 20 % del cómputo de inferencia monitoreado, aunque el costo varía considerablemente entre las cargas de trabajo de entrenamiento y evaluación. Compartiremos más detalles sobre este sistema en una próxima publicación del blog.

La investigación sobre alineación es fundamental para nuestra misión. Nuestra misión es garantizar que la inteligencia artificial general beneficie a toda la humanidad. A medida que los modelos adquieren capacidades avanzadas, como la de lanzar ciberataques, y operan en entornos más complejos, los comportamientos desalineados —como el reward hacking (encontrar formas de obtener recompensas altas durante el entrenamiento sin lograr realmente el resultado previsto), el engaño o el acceso no autorizado— generarán riesgos cada vez más graves.

En las ejecuciones de RL de los modelos más capaces, ahora aplicamos nuestras principales técnicas de alineación en más etapas del proceso de entrenamiento. Esto incluye mejorar los modelos de recompensa para detectar y desalentar con mayor eficacia los comportamientos inseguros en distintas tareas y entornos; entrenar modelos para que sean más honestos sobre sus acciones, capacidades y limitaciones; y reducir los comportamientos que aprovechan debilidades en las recompensas, los evaluadores, las herramientas o la supervisión. También estamos ampliando la cobertura del entrenamiento para abordar comportamientos que podrían causar daños cuando los modelos interactúan con sistemas o recursos externos.

Seguimos invirtiendo decididamente en la investigación sobre alineación, ampliando la cobertura de las evaluaciones y usando lo aprendido para orientar el entrenamiento y las salvaguardas. Prevemos compartir mucha más información sobre nuestra investigación de alineación en un futuro próximo, incluido lo que estamos aprendiendo sobre el comportamiento de los modelos y cualquier desafío nuevo que descubramos.

Actualizaremos nuestro Marco de preparación para integrar estas salvaguardas en el entrenamiento y el despliegue, y reflejar mejor las capacidades de los modelos futuros y los entornos en los que operan. Desarrollar métodos que puedan ampliarse a la par de esas capacidades requerirá una inversión sostenida en seguridad asistida por modelos, un monitoreo más eficaz y avances continuos en la investigación sobre alineación. Tenemos la intención de involucrar a organizaciones externas y compartir más de lo que aprendamos a medida que evolucione nuestro enfoque.

Las capacidades de los modelos de vanguardia avanzan rápidamente. Nuestra capacidad para comprenderlos, alinearlos y protegerlos debe mantenerse por delante.

*Publicaremos un informe técnico con nuestros aprendizajes en las próximas semanas.