Projetando agentes de IA para resistir à injeção de prompt

Agentes de IA estão cada vez mais capazes de navegar na web, recuperar informações e realizar ações em nome do usuário. Essas capacidades são úteis, mas também criam novas formas de atacantes tentarem manipular o sistema.

Esses ataques geralmente são descritos como injeção de prompt⁠: instruções inseridas em conteúdo externo na tentativa de fazer o modelo realizar algo que o usuário não pediu. Na nossa experiência, as versões mais eficazes desses ataques no mundo real se parecem cada vez mais com engenharia social do que com simples tentativas de sobrescrever o prompt.

Essa mudança é importante. Se o problema não é apenas identificar uma string maliciosa, mas resistir a conteúdo enganoso ou manipulador no contexto, então a defesa não pode depender apenas de filtrar entradas. Também é preciso projetar o sistema para que o impacto da manipulação seja limitado, mesmo que alguns ataques tenham sucesso.

Ataques iniciais do tipo "injeção de prompt" podiam ser tão simples quanto editar um artigo da Wikipédia para incluir instruções diretas a agentes de IA que o visitassem; sem experiência desse tipo de ambiente adversarial durante o treinamento, modelos de IA muitas vezes seguiam essas instruções sem questionar¹. À medida que os modelos ficaram mais inteligentes, também se tornaram menos vulneráveis a esse tipo de sugestão, e observamos que ataques no estilo de injeção de prompt passaram a incorporar elementos de engenharia social:

No ecossistema mais amplo de segurança de IA, tornou-se comum recomendar técnicas como "AI firewalling", em que um intermediário entre o agente de IA e o mundo externo tenta classificar entradas como injeção de prompt maliciosa ou entradas normais — mas esses ataques mais sofisticados geralmente não são detectados por esses sistemas. Para esses sistemas, detectar uma entrada maliciosa se torna o mesmo problema muito difícil que detectar uma mentira ou desinformação — e muitas vezes sem o contexto necessário.

À medida que ataques de injeção de prompt no mundo real ganharam complexidade, vimos que as técnicas ofensivas mais eficazes exploravam táticas de engenharia social. Em vez de tratar esses ataques de injeção de prompt com engenharia social como uma classe separada ou totalmente nova de problema, passamos a enxergá-los pela mesma lente usada para gerenciar o risco de engenharia social sobre pessoas em outros domínios. Nesses sistemas, o objetivo não é apenas identificar entradas maliciosas com perfeição, e sim projetar agentes e sistemas para que o impacto da manipulação seja limitado, mesmo que ela tenha sucesso. Esses sistemas se mostram eficazes em mitigar tanto a injeção de prompt quanto a engenharia social.

Assim, podemos imaginar o agente de IA existindo em um sistema de três atores semelhante ao de um atendente de suporte ao cliente; o agente quer agir em nome do empregador, mas fica continuamente exposto a entradas externas que podem tentar enganá-lo. O atendente de suporte ao cliente, humano ou de IA, precisa ter suas capacidades limitadas para reduzir o risco de dano inerente a atuar em um ambiente tão malicioso.

Imagine uma situação em que uma pessoa opera um sistema de suporte ao cliente e pode conceder cartões-presente e reembolsos por inconvenientes vivenciados pelo cliente, como atrasos na entrega, danos por mau funcionamento etc. Esse é um problema envolvendo múltiplas partes, no qual a empresa precisa confiar que o atendente concede reembolsos pelos motivos certos, enquanto o atendente também interage com terceiros que podem tentar enganá-lo ou até colocá-lo sob coação.

No mundo real, o atendente recebe um conjunto de regras a seguir, mas é esperado que, no ambiente adversarial em que atua, ele seja enganado. Talvez um cliente envie uma mensagem dizendo que o reembolso nunca foi processado ou ameace causar dano se não receber um reembolso. Sistemas determinísticos com os quais o atendente interage limitam o montante de reembolsos que podem ser concedidos a um cliente, sinalizam e-mails potencialmente de phishing e fornecem outras mitigações para reduzir o impacto de comprometer um atendente individual. 

Essa mentalidade orientou um conjunto robusto de contramedidas que implementamos para atender às expectativas de segurança dos nossos usuários.

No ChatGPT, combinamos esse modelo de engenharia social com abordagens mais tradicionais de engenharia de segurança, como a análise source-sink (fonte e sumidouro).

Nessa abordagem, um atacante precisa tanto de uma fonte, ou seja, um modo de influenciar o sistema, quanto de um sumidouro, isto é, uma capacidade que se torna perigosa no contexto errado. Para sistemas com agentes, isso muitas vezes significa combinar conteúdo externo não confiável com uma ação como transmitir informações a terceiros, seguir um link ou interagir com uma ferramenta.

Nosso objetivo é preservar uma expectativa central de segurança para os usuários: ações potencialmente perigosas ou transmissões de informações potencialmente sensíveis não devem acontecer em silêncio nem sem salvaguardas adequadas.

Os ataques que vemos sendo desenvolvidos contra o ChatGPT, na maioria das vezes, consistem em tentar convencer o assistente a pegar alguma informação secreta de uma conversa e transmiti-la a um terceiro malicioso. Na maioria dos casos de que temos conhecimento, esses ataques falham porque nosso treinamento de segurança faz com que o agente recuse. Para os casos em que o agente é convencido, desenvolvemos uma estratégia de mitigação chamada Safe Url, projetada para detectar quando informações que o assistente aprendeu na conversa seriam transmitidas a terceiros. Nesses casos raros, ou mostramos ao usuário as informações que seriam transmitidas e pedimos confirmação, ou bloqueamos e orientamos o agente a tentar outra forma de avançar com a solicitação do usuário.

Esse mesmo mecanismo se aplica a navegações e favoritos no Atlas⁠, e a pesquisas e navegações na Pesquisa Aprofundada⁠. ChatGPT Canvas⁠ e ChatGPT Apps⁠ adotam uma abordagem semelhante, permitindo que o agente crie e use aplicações funcionais — elas rodam em um sandbox capaz de detectar comunicações inesperadas e pedir o consentimento do usuário⁠(abre em uma nova janela).

Você pode ler mais sobre o Safe Url e encontrar um artigo sobre sua estrutura no post dedicado Mantendo seus dados seguros quando um agente de IA clica em um link⁠.

Interações seguras com o mundo externo adversarial são necessárias para agentes totalmente autônomos. Ao integrar um modelo de IA a um sistema de aplicativos, recomendamos perguntar quais controles um agente humano deveria ter em uma situação semelhante e implementá-los. Esperamos que um modelo de IA maximamente inteligente consiga resistir à engenharia social melhor do que um agente humano, mas isso nem sempre é viável ou custo-efetivo dependendo da aplicação.

Continuamos explorando as implicações da engenharia social contra modelos de IA e as defesas contra ela, e incorporamos nossas descobertas tanto às nossas arquiteturas de segurança de aplicações quanto ao treinamento pelo qual passamos nossos modelos de IA.