Reforçar continuamente o ChatGPT Atlas contra ataques de injeção de prompts

O modo agente no ChatGPT Atlas é uma das funcionalidades agênticas de uso geral mais abrangentes que lançámos até hoje. Neste modo, o agente do navegador visualiza páginas web e executa ações, cliques e pressionamentos de teclas no teu navegador, tal como tu farias. Isto permite que o ChatGPT trabalhe diretamente em muitos dos teus fluxos de trabalho diários, utilizando o mesmo espaço, contexto e dados.

À medida que o agente do navegador te ajuda a realizar mais tarefas, torna-se também um alvo de maior valor para os ataques adversários. Isto torna a segurança da IA especialmente importante. Muito antes de lançarmos o ChatGPT Atlas, já estávamos continuamente a construir e a reforçar as nossas defesas contra ameaças emergentes que visam especificamente este novo paradigma de "agente no browser". A injeção de prompts⁠ é um dos riscos mais significativos que combatemos ativamente para garantir que o ChatGPT Atlas pode operar em segurança em teu nome. 

Como parte deste esforço, lançámos recentemente uma atualização de segurança para o agente do navegador do Atlas, incluindo um modelo recentemente treinado contra adversários e medidas de segurança reforçadas. Esta atualização foi motivada por uma nova classe de ataques de injeção de prompt descoberta através da nossa red teaming interna automatizada.

Neste post, explicamos como pode surgir o risco de injeção de prompt para agentes baseados na web e partilhamos um ciclo de resposta rápida que temos vindo a desenvolver para descobrir continuamente novos ataques e implementar medidas de mitigação rapidamente — ilustrado por esta recente atualização de segurança.

Consideramos a injeção de prompt um desafio de segurança de IA a longo prazo, e vamos precisar de reforçar continuamente as nossas defesas (tal como fazemos com os esquemas online em constante evolução que visam os humanos). O nosso mais recente ciclo de resposta rápida está a demonstrar resultados promissores como ferramenta essencial nesta jornada: estamos a descobrir internamente novas estratégias de ataque antes que surjam em ataques reais. A nossa visão a longo prazo é tirar total partido (1) do nosso acesso white-box aos nossos modelos, (2) da compreensão profunda das nossas defesas e (3) da nossa capacidade de processamento para nos mantermos à frente dos atacantes externos — identificando explorações mais cedo, implementando mitigações mais rapidamente e apertando continuamente o ciclo. Aliado à investigação de ponta sobre novas técnicas para mitigar a injeção de prompt e ao aumento do investimento noutros controlos de segurança, este ciclo cumulativo pode tornar os ataques cada vez mais difíceis e dispendiosos, reduzindo significativamente o risco de injeção de prompt no mundo real. Em última análise, o nosso objetivo é que possas confiar num agente ChatGPT para usar o teu navegador da mesma forma que confiarias num colega ou amigo altamente competente e atento à segurança.

Um ataque de injeção de prompt visa os agentes de IA, incorporando instruções maliciosas no conteúdo que o agente processa. Essas instruções são elaboradas para substituir ou redirecionar o comportamento do agente, sequestrando-o para seguir a intenção do atacante, em vez da do utilizador.

Para um agente de navegador como o presente no ChatGPT Atlas, a injeção de prompts acrescenta um novo vetor de ameaça para além dos riscos tradicionais de segurança na web (como erros do utilizador ou vulnerabilidades de software). Em vez de fazer phishing de pessoas ou explorar vulnerabilidades do sistema do navegador, o atacante visa o agente que opera dentro dele.

Como exemplo hipotético, um atacante poderia enviar um e-mail malicioso tentando enganar um agente para que ignore o pedido do utilizador e, em vez disso, reencaminhar documentos fiscais confidenciais para um endereço de e-mail controlado pelo atacante. Se um utilizador solicitar ao agente que reveja e-mails não lidos e resuma os pontos principais, o agente poderá incorporar esse e-mail malicioso durante o fluxo de trabalho. Se seguir as instruções injetadas, pode desviar-se da tarefa e partilhar indevidamente informações sensíveis.

Este é apenas um cenário específico. A mesma generalidade que torna os agentes de navegador úteis também amplia os riscos: o agente pode encontrar instruções não fidedignas numa área praticamente ilimitada — e-mails e anexos, convites de calendário, documentos partilhados, fóruns, publicações nas redes sociais e páginas web aleatórias. Uma vez que o agente pode realizar muitas das mesmas ações que um utilizador pode realizar num browser, o impacto de um ataque bem-sucedido pode, hipoteticamente, ser igualmente amplo: encaminhar um e-mail confidencial, enviar dinheiro, editar ou eliminar ficheiros na nuvem e muito mais.

Fizemos progressos na defesa contra a injeção de prompts através de múltiplas camadas de salvaguardas, como partilhámos numa publicação anterior⁠. No entanto, a injeção de prompt continua a ser um desafio em aberto para a segurança dos agentes, e prevemos continuar a trabalhar nisso durante os próximos anos.

Para reforçar as nossas defesas, temos procurado continuamente novos ataques de injeção de prompts contra sistemas de agentes em produção. A identificação destes ataques é um pré-requisito necessário para a criação de medidas de mitigação robustas: ajuda-nos a compreender os riscos no mundo real, expõe lacunas nas nossas defesas e impulsiona correções concretas.

Para o fazer em grande escala, criámos um atacante automatizado baseado em LLM e treinámo-lo para procurar ataques de injeção de prompts que possam atacar com sucesso um agente de navegador. Treinámos este atacante do início ao fim com aprendizagem por reforço, para que aprenda com os seus próprios sucessos e fracassos a melhorar as suas capacidades de red teaming. Permitimos também que "teste antes de ser lançado", o que significa que, durante o seu processo de reflexão, o atacante pode propor uma possível injeção e enviá-la para um simulador externo. O simulador executa uma simulação contrafactual de como o agente-vítima alvo (o defensor) se comportaria caso encontrasse a injeção e devolve um registo completo da reflexão e das ações do agente-vítima. O atacante utiliza esse registo como feedback, itera sobre o ataque e executa novamente a simulação—repetindo este ciclo várias vezes antes de se comprometer com um ataque final. Isto fornece ao atacante um feedback contextual mais rico do que um simples sinal de aprovação/reprovação. Também aumenta a capacidade computacional do atacante durante os testes. Além disso, o acesso privilegiado aos registos de reflexão do defensor (que não divulgamos aos utilizadores externos) confere ao nosso atacante interno uma vantagem assimétrica, aumentando as probabilidades de este superar adversários externos.

Porque usar a aprendizagem por reforço (RL)? Optámos pela aprendizagem por reforço para treinar o atacante automatizado por vários motivos:

1. Otimizar objetivos de longo prazo e não contínuos dos atacantes. O nosso objetivo é procurar ataques de injeção de prompt que possam enganar o agente a executar tarefas adversárias sofisticadas (por exemplo, envio de e-mails, transações bancárias) que poderiam ocorrer no mundo real. Estas tarefas adversárias são inerentemente de longo prazo, exigindo muitas etapas de reflexão e interação com o meio envolvente, com sinais de sucesso esparsos e tardios. A aprendizagem por reforço é muito adequada a esta estrutura de recompensas escassas e diferidas.
2. Aproveitar as capacidades de ponta dos LLM. Treinamos LLM de vanguarda diretamente como red teamers automáticos, de modo a que o atacante beneficie diretamente das melhorias na reflexão e no planeamento presentes nestes modelos. À medida que os modelos base se tornam mais fortes, o atacante naturalmente também se torna mais capaz — tornando esta uma forma escalável de manter a pressão sobre as nossas defesas à medida que os nossos modelos evoluem.
3. Escalar o poder computacional e imitar atacantes adaptativos. A aprendizagem por reforço é ideal para escalar o poder computacional dedicado na procura de ataques num grande número de amostras e etapas de aprendizagem, além de refletir de perto o comportamento adaptativo dos atacantes humanos: testando estratégias iterativamente, aprendendo com os resultados e reforçando comportamentos bem-sucedidos.
   

O nosso atacante automatizado consegue descobrir ataques de injeção de prompt inovadores e realistas de ponta a ponta. Ao contrário da maioria dos trabalhos anteriores de testes de red teaming automatizados, que revelavam falhas simples, como a obtenção de sequências de saída específicas ou o acionamento não intencional de uma única ferramenta pelo agente, o nosso atacante com formação em aprendizagem por reforço pode direcionar um agente para executar fluxos de trabalho sofisticados e prejudiciais a longo prazo, que se desenrolam em dezenas (ou mesmo centenas) de passos. Observámos também novas estratégias de ataque que não apareceram na nossa campanha de red teaming humano nem em relatórios externos.

A demonstração abaixo apresenta uma vulnerabilidade concreta de injeção de prompts encontrada pelo nosso atacante automatizado, que depois utilizámos para fortalecer ainda mais as defesas do ChatGPT Atlas. O atacante insere um e-mail malicioso na caixa de entrada do utilizador, contendo uma instrução que direciona o agente para enviar uma carta de demissão ao CEO da empresa. Mais tarde, quando o utilizador pede ao agente para redigir uma resposta automática de ausência do escritório, o agente encontra esse e-mail durante a execução normal da tarefa, trata o prompt introduzida como autoritário e segue-o. A mensagem de ausência do escritório nunca é escrita e o agente demite-se em nome do utilizador.

A natureza da injeção de prompt torna as garantias de segurança determinísticas um desafio, mas ao expandirmos a nossa pesquisa de segurança automatizada, realizarmos testes adversários e apertarmos o nosso ciclo de resposta rápida, conseguimos melhorar a robustez e as defesas do modelo - antes de esperar que um ataque ocorra na realidade. 

Estamos a partilhar esta demonstração para ajudar os utilizadores e investigadores a compreender melhor a natureza destes ataques e como nos estamos a defender ativamente contra eles. Acreditamos que isto representa a vanguarda do que o red teaming automatizado pode alcançar, e estamos extremamente entusiasmados por continuar a nossa investigação.

O nosso red teaming automatizado está a impulsionar um ciclo de resposta rápida proativa: quando o atacante automatizado descobre uma nova classe de ataques de injeção de prompt bem-sucedidos, cria imediatamente um alvo concreto para melhorar as nossas defesas.

Treino adversarial contra ataques recém-descobertos. Treinamos continuamente modelos de agentes atualizados contra o nosso melhor atacante automatizado, dando prioridade aos ataques em que os agentes-alvo falham atualmente. O objetivo é ensinar os agentes a ignorar instruções adversárias e a manterem-se alinhados com a intenção do utilizador, melhorando a resistência a estratégias de injeção de ptompts recentemente descobertas. Isto "incorpora" robustez contra ataques novos e de alta intensidade diretamente no ponto de verificação do modelo. Por exemplo, os testes recentes de red teaming automatizados geraram diretamente um novo ponto de verificação de agente de navegador treinado em situações adversas, que já foi implementado para todos os utilizadores do ChatGPT Atlas. Em última análise, isto ajuda a proteger melhor os nossos utilizadores contra novos tipos de ataques.

Utilizar os registos de ataques para melhorar o conjunto de defesas em geral. Muitas vias de ataque descobertas pelo nosso red teaming automatizado também revelam oportunidades de melhoria fora do próprio modelo — como na monitorização, nas instruções de segurança que inserimos no contexto do modelo ou nas salvaguardas ao nível do sistema. Estas descobertas ajudam-nos a iterar em toda a estrutura de defesa, e não apenas no ponto de verificação do agente.

Responder a ataques ativos. Este ciclo também pode ajudar a responder melhor a ataques ativos reais. Ao analisarmos a nossa presença global em busca de possíveis ataques, podemos aproveitar as técnicas e táticas que observamos nos adversários externos, integrá-las neste ciclo, emular a sua atividade e impulsionar mudanças defensivas em toda a nossa plataforma.

Melhorar a nossa capacidade de red teaming em agentes e utilizar os nossos modelos mais avançados para automatizar partes deste trabalho ajuda a tornar o agente de navegador Atlas mais robusto, escalando o ciclo de descoberta e correção. Esta diligência de reforço sublinha uma lição já conhecida da área da segurança: um caminho bem trilhado para uma proteção mais forte é testar continuamente a resistência dos sistemas reais, reagir às falhas e implementar soluções concretas.

Prevemos que os adversários continuem a adaptar-se. A injeção de prompt, tal como as burlas e a engenharia social na internet, provavelmente nunca será totalmente "resolvida". Mas estamos otimistas de que um ciclo de resposta rápida, proativa e altamente eficaz possa continuar a reduzir significativamente o risco no mundo real ao longo do tempo. Ao combinar a descoberta automatizada de ataques com o treino adversário e salvaguardas ao nível do sistema, podemos identificar novos padrões de ataque mais cedo, eliminar vulnerabilidades mais rapidamente e aumentar continuamente o custo da exploração.

O modo agente no ChatGPT Atlas é poderoso — e também amplia a superfície de ameaça à segurança. Ter uma visão clara sobre esse compromisso faz parte de construir de forma responsável. O nosso objetivo é tornar o Atlas significativamente mais seguro a cada iteração: melhorando a robustez do modelo, fortalecendo a estrutura de defesa subjacente e monitorizando os padrões de abuso emergentes em ambientes reais.

Continuaremos a investir em investigação e implementação, desenvolvendo melhores métodos automatizados de red teaming, implementando medidas de mitigação por camadas e iterando rapidamente à medida que aprendemos. Vamos também partilhar o que pudermos com a comunidade em geral.

Enquanto continuamos a fortalecer o Atlas ao nível do sistema, há medidas que os utilizadores podem tomar para reduzir os riscos ao utilizar agentes. 

Limita o acesso de utilizadores com sessão iniciada sempre que possível. Continuamos a recomendar que os utilizadores aproveitem o modo sem sessão iniciada⁠(abre numa nova janela) ao utilizar o agente no Atlas sempre que o acesso a sites em que estão com sessão iniciada não for necessário para a tarefa em questão, ou para limitar o acesso a sites específicos nos quais iniciam sessão durante a tarefa. 

Revê cuidadosamente as solicitações de confirmação. Para determinadas ações importantes, como concluir uma compra ou enviar um e-mail, os agentes estão programados para solicitar a tua confirmação antes de prosseguir. Quando um agente te pedir para confirmar uma ação, dedica um momento para verificar se a ação está correta e se a informação partilhada é adequada para o contexto.

Dá instruções explícitas aos agentes sempre que possível. Evita prompts muito vagos como "revê os meus e-mails e toma as medidas necessárias". A grande margem de manobra facilita a influência de conteúdos ocultos ou maliciosos no agente, mesmo quando existem medidas de segurança implementadas. É mais seguro pedir ao agente para executar tarefas específicas e bem delimitadas. Embora isto não elimine o risco, torna os ataques mais difíceis de executar.

Para que os agentes se tornem parceiros fiáveis nas tarefas quotidianas, precisam de resistir aos tipos de manipulação que a web aberta possibilita. O reforço contra a injeção de prompt é um compromisso a longo prazo e uma das nossas principais prioridades. Em breve partilharemos mais informações sobre este trabalho.