Diseño de agentes de IA para resistir la inyección de prompts

Los agentes de IA son cada vez más capaces de navegar por la web, recuperar información y realizar acciones en nombre de un usuario. Esas capacidades son útiles, pero también dan lugar a nuevas formas para que los atacantes intenten manipular el sistema.

Estos ataques se describen a menudo como inyección de prompts⁠: instrucciones colocadas en contenido externo con el fin de que el modelo haga algo que el usuario no solicitó. En nuestra experiencia, las versiones más efectivas de estos ataques en el mundo real se asemejan cada vez más a la ingeniería social que a simples sobrescrituras de prompts.

El cambio es significativo. Si el problema no consiste solo en identificar una cadena maliciosa, sino en resistir contenido engañoso o manipulador dentro del contexto, la defensa no puede basarse únicamente en filtrar las entradas. También es necesario diseñar el sistema de manera que el impacto de la manipulación esté limitado, incluso si algunos ataques logran ejecutarse.

Los primeros ataques del tipo inyección de prompts podían ser tan simples como editar un artículo de Wikipedia para incluir instrucciones directas a los agentes de IA que lo visitaran; sin experiencia previa en un entorno adversarial de este tipo, los modelos de IA solían seguir esas instrucciones sin cuestionarlas¹. A medida que los modelos se vuelven más inteligentes, también son menos vulnerables a este tipo de sugerencias, y hemos observado que los ataques al estilo inyección de prompts responden incorporando elementos de ingeniería social:

Dentro del ecosistema más amplio de seguridad de la IA, se ha vuelto común recomendar técnicas como el “firewalling” de IA, en las que un intermediario entre el agente de IA y el mundo exterior intenta clasificar las entradas que contienen inyecciones de prompts maliciosas y las entradas regulares; sin embargo, estos ataques totalmente desarrollados no suelen ser detectados por dichos sistemas. Para estos sistemas, detectar una entrada maliciosa es tan difícil como identificar una mentira o desinformación, y a menudo sin el contexto necesario.

A medida que los ataques de inyección de prompts en el mundo real se volvieron más complejos, observamos que las técnicas ofensivas más efectivas recurrían a tácticas de ingeniería social. En lugar de tratar estos ataques de inyección de prompts con ingeniería social como una clase de problema separada o completamente nueva, comenzamos a analizarlos con el mismo enfoque que se utiliza para gestionar el riesgo de ingeniería social en seres humanos en otros ámbitos. En estos sistemas, el objetivo no se limita a identificar perfectamente las entradas maliciosas, sino a diseñar agentes y sistemas para que el impacto de la manipulación esté limitado, incluso si logra ejecutarse. Dichos sistemas han demostrado ser efectivos para mitigar tanto la inyección de prompts como la ingeniería social.

De este modo, podemos imaginar al agente de IA como parte de un sistema de tres actores similar al de un agente de atención al cliente; el agente desea actuar en nombre de su empleador, pero está continuamente expuesto a entradas externas que podrían intentar engañarlo. El agente de atención al cliente, ya sea humano o IA, debe tener límites en sus funciones para reducir el riesgo inherente a operar en un entorno malicioso de este tipo.

Imaginemos una situación en la que una persona que opera un sistema de atención al cliente puede otorgar tarjetas de regalo o reembolsos por inconvenientes que afecten al cliente, como retrasos en la entrega o daños por mal funcionamiento. Se trata de un problema de múltiples partes, en el que la empresa debe confiar en que el agente otorgue los reembolsos por los motivos correctos, mientras que el agente también interactúa con terceros que podrían intentar engañarlo o incluso presionarlo.

En el mundo real, al agente se le asigna un conjunto de reglas a seguir, pero se espera que pueda ser engañado en el entorno adversarial en el que opera. Tal vez un cliente envíe un mensaje afirmando que su reembolso nunca se procesó o amenace con causar daños si no recibe el reembolso. Los sistemas deterministas con los que interactúa el agente limitan la cantidad de reembolsos que puede recibir un cliente, señalan posibles correos electrónicos de phishing y aplican otras medidas de mitigación similares para reducir el impacto de comprometer a un agente individual . 

Esta mentalidad ha motivado un sólido conjunto de contramedidas que hemos desplegado y que cumplen con las expectativas de seguridad de nuestros usuarios.

En ChatGPT, combinamos este modelo de ingeniería social con enfoques más tradicionales de ingeniería de seguridad, como el análisis "source-sink".

En este contexto, un atacante necesita tanto una source, es decir, una manera de influir en el sistema, como una sink, una capacidad que se vuelve peligrosa en el contexto incorrecto. Para sistemas agentivos, esto suele implicar combinar contenido externo no confiable con una acción, como transmitir información a un tercero, seguir un enlace o interactuar con una herramienta.

Nuestro objetivo es mantener una expectativa básica de seguridad para los usuarios: las acciones potencialmente peligrosas, o la transmisión de información sensible, no deben ocurrir de manera silenciosa ni sin las salvaguardas adecuadas.

Los ataques contra ChatGPT que hemos observado con mayor frecuencia consisten en intentar convencer al asistente de que debería tomar información confidencial de una conversación y transmitirla a un tercero malicioso. En la mayoría de los casos que conocemos, estos ataques fallan porque nuestro entrenamiento de seguridad hace que el agente se niegue. Para aquellos casos en los que el agente es convencido, hemos desarrollado una estrategia de mitigación llamada Safe Url diseñada para detectar cuándo la información que el asistente aprendió en la conversación se transmitiría a un tercero. En estos raros casos, o mostramos al usuario la información que se podría transmitir y le pedimos confirmación, o la bloqueamos e indicamos al agente que intente otra forma de continuar con la solicitud del usuario.

Este mismo mecanismo se aplica a la navegación y los marcadores en Atlas⁠; y a las búsquedas y la navegación en Investigación profunda⁠. ChatGPT Canvas⁠ y ChatGPT Apps⁠ adoptan un enfoque similar, lo que permite que el agente cree y utilice aplicaciones funcionales; estas se ejecutan en un entorno aislado que puede detectar comunicaciones inesperadas y pedir el consentimiento del usuario⁠(se abre en una nueva ventana).

Puedes consultar más información sobre Safe Url y revisar un artículo sobre su estructura en la entrada del blog dedicada Cómo mantenemos tus datos seguros cuando un agente de IA hace clic en un enlace⁠.

La interacción segura con un entorno adversarial externo es necesaria para agentes totalmente autónomos. Al integrar un modelo de IA con un sistema de aplicaciones, recomendamos preguntarse qué controles debería tener un agente humano en una situación similar e implementarlos. Esperamos que un modelo de IA con inteligencia máxima pueda resistir la ingeniería social mejor que un agente humano, pero esto no siempre es factible ni rentable, dependiendo de la aplicación.

Seguimos explorando las implicaciones de la ingeniería social contra modelos de IA y las defensas frente a ella, e incorporamos nuestros hallazgos tanto en las arquitecturas de seguridad de nuestras aplicaciones como en el entrenamiento de nuestros modelos de IA.