Reforzar continuamente a ChatGPT Atlas contra los ataques de inyección de mensajes

El modo de agente en ChatGPT Atlas es una de las características más generales y versátiles que hemos lanzado hasta la fecha. En este modo, el agente del navegador visualiza las páginas web y hace acciones, clics y pulsaciones de teclas dentro de tu navegador, tal como lo harías tú. Esto permite que ChatGPT trabaje directamente en muchos de tus flujos de trabajo diarios usando el mismo espacio, el mismo contexto y los mismos datos.

A medida que el agente del navegador te ayuda a ser más productivo, también se convierte en un objetivo más valioso para los ataques adversarios. Esto hace que la seguridad de la IA sea especialmente importante. Mucho antes de lanzar ChatGPT Atlas, hemos estado construyendo y fortaleciendo continuamente defensas contra amenazas emergentes que apuntan específicamente a este nuevo paradigma de "agente en el navegador". La inyección de mensajes⁠ es uno de los riesgos más significativos contra los que nos defendemos activamente para garantizar que ChatGPT Atlas pueda operar de manera segura en tu nombre. 

Como parte de esta iniciativa, recientemente enviamos una actualización de seguridad al agente del navegador de Atlas, que incluye un nuevo modelo entrenado de manera adversarial y salvaguardias fortalecidas. Esta actualización fue impulsada por una nueva clase de ataques de inyección de mensajes descubierto a través de nuestro red teaming automatizado interno.

En esta publicación, explicamos cómo puede surgir el riesgo de inyección de mensajes para los agentes basados en la web y compartimos un ciclo de respuesta rápida que hemos estado desarrollando para descubrir continuamente nuevos ataques y enviar mitigaciones sin demoras, ilustrado por esta reciente actualización de seguridad.

Consideramos la inyección de mensajes como un desafío de seguridad a largo plazo para la IA, y necesitaremos fortalecer sin respiro nuestras defensas contra ella (al igual que las estafas en línea que evolucionan constantemente y que tienen como objetivo a los seres humanos). Nuestro último ciclo de respuesta rápida está mostrando un potencial temprano como herramienta crítica en ese camino: estamos descubriendo nuevas estrategias de ataque internamente antes de que se manifiesten en el entorno real. Nuestra visión a largo plazo es aprovechar al máximo (1) nuestro acceso irrestricto a nuestros modelos, (2) la profunda comprensión de nuestras defensas, y (3) la escala de computación para mantenernos por delante de los atacantes externos, encontrando exploits antes, implementando mitigaciones más rápidamente y ajustando continuamente el ciclo. Combinado con la investigación de vanguardia sobre nuevas técnicas para abordar la inyección de mensajes y una mayor inversión en otros controles de seguridad, este ciclo acumulativo puede hacer que los ataques sean cada vez más difíciles y costosos, reduciendo significativamente el riesgo de inyección de mensajes en el mundo real. En definitiva, nuestro objetivo es que puedas confiar en un agente de ChatGPT para usar tu navegador como confiarías en un colega o amigo muy competente y consciente de la seguridad.

Un ataque de inyección de mensajes apunta a los agentes de IA incrustando instrucciones maliciosas en el contenido que procesan. Esas instrucciones están diseñadas para anular o redirigir el comportamiento del agente, desviándolo para seguir la intención de un atacante en lugar de la del usuario.

Para un agente de navegador como el que está dentro de ChatGPT Atlas, la inyección de mensajes añade un nuevo vector de amenaza más allá de los riesgos tradicionales de seguridad web (como errores de usuario o vulnerabilidades de software). En lugar de hacer phishing a personas o explotar vulnerabilidades del sistema del navegador, el atacante se dirige al agente que opera dentro de este.

Como ejemplo hipotético, un atacante podría enviar un correo electrónico malicioso para intentar engañar a un agente y hacer que ignore la solicitud del usuario y, en su lugar, reenvíe documentos fiscales sensibles a una dirección de correo electrónico controlada por el atacante. Si un usuario le pide al agente que revise los correos electrónicos no leídos y resuma los puntos clave, el agente podría procesar ese correo electrónico malicioso durante el flujo de trabajo. Si sigue las instrucciones inyectadas, puede desviarse de la tarea y compartir incorrectamente información sensible.

Esta es solo una situación específico. La misma generalidad que hace útiles a los agentes de navegador también amplía los riesgos: el agente puede encontrarse con instrucciones no confiables a través de una superficie efectivamente ilimitada: correos electrónicos y archivos adjuntos, invitaciones de calendario, documentos compartidos, foros, publicaciones en redes sociales y páginas web arbitrarias. Dado que el agente puede hacer muchas de las mismas acciones que un usuario en un navegador, el impacto de un ataque exitoso podría ser igual de amplio: reenviar un correo electrónico sensible, enviar dinero, editar o eliminar archivos en la nube, y más.

Hemos avanzado en la defensa contra la inyección de mensajes a través de varias capas de protección, como compartimos en una publicación anterior⁠. Sin embargo, la inyección de mensajes sigue siendo un desafío abierto para la seguridad de los agentes, y esperamos continuar trabajando en esta área durante los próximos años.

Para fortalecer nuestras defensas, hemos estado buscando continuamente nuevos ataques de inyección de mensajes contra sistemas de agentes en producción. Encontrar estos ataques es un requisito necesario para desarrollar mitigaciones robustas: nos ayuda a entender el riesgo real, revela las brechas en nuestras defensas y promueve la implementación de parches concretos.

Para lograrlo a escala, desarrollamos un atacante automatizado basado en LLM y lo entrenamos para detectar ataques de inyección de mensajes que puedan efectivamente comprometer a un agente de navegador. Entrenamos a este atacante de principio a fin con aprendizaje por refuerzo, para que aprenda de sus propios éxitos y fracasos y mejore sus habilidades de red teaming. También permitimos que "pruebe antes de ser enviado", lo que significa que, durante su cadena de razonamiento, el atacante puede proponer una inyección candidata y enviarla a un simulador externo. El simulador hace una implementación contrafáctica sobre cómo actuaría el agente víctima objetivo (el defensor) si se enfrentara a la inyección, y proporciona un razonamiento completo y un registro de acciones del agente víctima. El atacante utiliza esos comentarios como retroalimentación, itera en el ataque y vuelve a ejecutar la simulación, repitiendo este ciclo varias veces antes de emprender un ataque final. Esto ofrece al atacante comentarios más ricos en contexto que una simple señal de aprobado/reprobado. También incrementa el cómputo en tiempo de prueba del atacante. Además, el acceso privilegiado a los rastros de razonamiento (que no divulgamos a usuarios externos) del defensor otorga a nuestro atacante interno una ventaja asimétrica, aumentando las probabilidades de que pueda superar a los adversarios externos.

¿Por qué el aprendizaje por refuerzo (RL)? Elegimos el aprendizaje por refuerzo para entrenar al atacante automatizado por varias razones:

1. Optimización de objetivos de atacantes a largo plazo y no continuos. Nuestro objetivo es buscar ataques de inyección de mensajes que puedan engañar al agente para ejecutar tareas adversariales sofisticadas (p. ej., enviar correos electrónicos, hacer transacciones bancarias) que podrían ocurrir en el mundo real. Estas tareas adversariales son inherentemente de largo plazo, requiriendo muchos pasos de razonamiento e interacción con el entorno, con señales de éxito escasas y retrasadas. El aprendizaje por refuerzo es ideal para esta estructura de recompensas escasas y diferidas.
2. Aprovechar las capacidades de vanguardia de los LLM. Entrenamos LLM de vanguardia directamente como auto-red-teamers, por lo que el atacante se beneficia directamente de las mejoras en el razonamiento y la planificación en los modelos de vanguardia. A medida que los modelos base se fortalecen, el atacante también se vuelve más capaz, lo que lo convierte en una forma escalable de mantener la presión sobre nuestras defensas a medida que nuestros modelos evolucionan.
3. Escalamiento de la capacidad de cómputo y simulación de atacantes adaptativos. El aprendizaje por refuerzo es ideal para escalar el cálculo dedicado a la búsqueda de ataques en una gran cantidad de muestreos y pasos de aprendizaje, y también refleja fielmente cómo se comportan los atacantes humanos adaptativos: probando estrategias de manera iterativa, aprendiendo de los resultados y reforzando los comportamientos exitosos.
   

Nuestro atacante automatizado puede descubrir ataques de inyección de mensajes novedosos y realistas de principio a fin. A diferencia de la mayoría de los trabajos previos de red teaming automatizado, que revelaron fallas simples como la generación de cadenas de salida específicas o la activación de una llamada de herramienta no intencionada de un solo paso por parte del agente, nuestro atacante entrenado con RL puede dirigir a un agente para que ejecute flujos de trabajo dañinos sofisticados y de largo alcance que se desarrollan en decenas (o incluso cientos) de pasos. También observamos estrategias de ataque novedosas que no se presentaron en nuestra campaña de red teaming humano ni en informes externos.

La demostración a continuación presenta un exploit concreto de inyección de mensajes encontrado por nuestro atacante automatizado, que luego usamos para reforzar aún más las defensas de ChatGPT Atlas. El atacante siembra la bandeja de entrada del usuario con un correo electrónico malicioso que contiene una inyección de mensajes que instruye al agente a enviar una carta de renuncia al Director general (CEO) del usuario. Más tarde, cuando el usuario le pide al agente que redacte una respuesta de fuera de la oficina, el agente encuentra ese correo electrónico durante la ejecución normal de tareas, trata el mensaje inyectado como genuino y lo sigue. El mensaje de fuera de la oficina nunca se redacta y el agente termina renunciando en lugar del usuario.

La naturaleza de la inyección de mensajes hace que las garantías de seguridad deterministas sean un desafío, pero escalando nuestra investigación de seguridad automatizada, las pruebas adversariales y ajustando nuestro ciclo de respuesta rápida, podemos mejorar la robustez y las defensas del modelo, antes de que ocurra un ataque en el entorno real. 

Estamos compartiendo esta demostración para ayudar a los usuarios e investigadores a comprender mejor la naturaleza de estos ataques y cómo nos estamos defendiendo activamente de ellos. Creemos que esto representa la vanguardia de lo que el red teaming automatizado puede lograr, y estamos muy entusiasmados de continuar nuestra investigación.

Nuestro equipo automatizado de red teaming está impulsando un ciclo de respuesta rápida proactiva: cuando el atacante automatizado descubre una nueva clase de ataques exitosos de inyección de mensajes, inmediatamente crea un objetivo concreto para mejorar nuestras defensas.

Entrenamiento adversarial contra ataques recién descubiertos. Entrenamos continuamente modelos de agentes actualizados contra nuestro mejor atacante automatizado, priorizando los ataques en los que los agentes objetivo fallan actualmente. El objetivo es enseñar a los agentes a ignorar las instrucciones adversariales y mantenerse alineados con la intención del usuario, mejorando la resistencia a las estrategias de inyección de mensajes recién descubiertas. Esto "integra" la robustez contra ataques novedosos y de alta intensidad directamente en el punto de control del modelo. Por ejemplo, el reciente red teaming automatizado produjo directamente un nuevo punto de control de un agente de navegador entrenado adversarialmente que ya ha sido implementado para todos los usuarios de ChatGPT Atlas. Esto permite proteger mejor a nuestros usuarios contra nuevos tipos de ataques.

Utilizar rastros de ataques para mejorar el sistema de defensa más amplio. Muchos caminos de ataque descubiertos por nuestro red teamer automatizado también revelan oportunidades de mejora fuera del modelo en sí mismo, como en el monitoreo, las instrucciones de seguridad que colocamos en el contexto del modelo o las salvaguardias a nivel de sistema. Esos hallazgos nos ayudan a iterar en toda la pila de defensa, no solo en el punto de control del agente.

Respuesta a ataques activos. Este ciclo también puede ayudar a responder mejor a los ataques activos en el entorno. Al observar nuestro alcance global en busca de posibles ataques, podemos tomar las técnicas y tácticas que observamos que utilizan los adversarios externos, introducirlas en este ciclo, emular su actividad y fomentar cambios defensivos en toda nuestra plataforma.

Fortalecer nuestra capacidad para hacer pruebas de red team en los agentes y utilizar nuestros modelos más avanzados para automatizar partes de ese trabajo ayuda a que el agente del navegador Atlas sea más robusto escalando el ciclo de descubrimiento y corrección. Esta iniciativa de fortalecimiento refuerza una lección conocida en materia de seguridad: un camino bien transitado hacia una protección más sólida es someter continuamente a prueba a los sistemas reales, reaccionar ante las fallas y proporcionar soluciones concretas.

Esperamos que los adversarios continúen adaptándose. La inyección de mensajes, al igual que las estafas y la ingeniería social en la web, probablemente nunca se "resolverá" por completo. Pero somos optimistas de que un ciclo de respuesta rápida, proactivo y sumamente receptivo, con el tiempo, puede continuar reduciendo de manera significativa el riesgo en el mundo real. Al combinar el descubrimiento automatizado de ataques con el entrenamiento adversarial y las salvaguardias a nivel de sistema, podemos identificar nuevos patrones de ataque más pronto, cerrar brechas más rápido y aumentar continuamente el costo de la explotación.

El modo agente en ChatGPT Atlas es potente y también amplía la superficie de amenazas de seguridad. Tener una visión clara sobre esa compensación es parte de construir de manera responsable. Nuestro objetivo es hacer que Atlas sea más seguro de manera significativa con cada iteración: mejorando la robustez del modelo, fortaleciendo la pila de defensa circundante y monitoreando los patrones emergentes de abuso en el entorno.

Continuaremos invirtiendo en investigación e implementación, desarrollando mejores métodos automatizados de red teaming, implementando mitigaciones en capas e iterando rápidamente a medida que aprendemos. También compartiremos lo que podamos con la comunidad más amplia.

Mientras seguimos fortaleciendo Atlas a nivel del sistema, hay medidas que los usuarios pueden adoptar para reducir riesgos al usar agentes. 

Limitar el acceso al iniciar sesión cuando sea posible. Seguimos recomendando que los usuarios aprovechen el modo de cerrar sesión⁠(se abre en una nueva ventana) al usar el agente en Atlas, siempre que no sea necesario acceder a los sitios web en los que hayas iniciado sesión para la tarea en cuestión, o para limitar el acceso a sitios específicos en los que inicies sesión durante la tarea. 

Revisar cuidadosamente las solicitudes de confirmación. Para ciertas acciones consecuentes, como completar una compra o enviar un correo electrónico, los agentes están diseñados para pedir tu confirmación antes de proceder. Cuando un agente te pida confirmar una acción, tómate un momento para verificar que la acción sea correcta y que cualquier información compartida sea adecuada para ese contexto.

Dar instrucciones explícitas a los agentes siempre que sea posible. Evita mensajes demasiado amplios como “revisa mis correos electrónicos y toma las acciones necesarias”. La amplia latitud facilita que el contenido oculto o malicioso influya en el agente, incluso cuando hay salvaguardias presentes. Es más seguro pedirle al agente que haga tareas específicas y bien delimitadas. Aunque esto no elimina el riesgo, dificulta la ejecución de los ataques.

Si los agentes van a convertirse en socios de confianza para las tareas de todos los días, deben ser resistentes a los tipos de manipulación que habilita la web abierta. El fortalecimiento contra la inyección de mensajes es un compromiso a largo plazo y una de nuestras principales prioridades. Pronto compartiremos más información sobre este trabajo.