GPT‑Red: Desbloqueando autoaperfeiçoamento para robustez

Sistemas de IA frequentemente encontram dados de terceiros por meio de navegadores, apps conectados, arquivos locais e outras ferramentas. Essas funcionalidades são necessárias para executar tarefas do mundo real, mas também criam mais oportunidades para agentes maliciosos influenciarem o comportamento do modelo. Por exemplo, um terceiro pode inserir em um e-mail, página web, resposta de ferramenta ou repositório de código uma instrução cuidadosamente elaborada⁠, projetada para enganar o modelo e fazê-lo enviar dados sensíveis para um servidor externo.

O red teaming humano é uma parte fundamental do nosso trabalho de segurança, ajudando-nos a descobrir essas vulnerabilidades antes da implantação e a implementar as salvaguardas adequadas. Mas é difícil escalar apenas com red teaming humano. Projetar e executar esses exercícios consome muito tempo, limitando a rapidez com que podemos identificar novos modos de falha e incorporá-los a salvaguardas mais fortes. Além disso, embora esses exercícios produzam exemplos valiosos de ataques bem-sucedidos, eles não conseguem gerar o volume e a diversidade de dados adversários necessários para melhorar a robustez do modelo por meio de treinamento.

Acompanhar o ritmo de modelos cada vez mais capazes exige que o red teaming também escale. Para isso, temos treinado modelos automatizados de red teaming, apenas para uso interno, que descobrem vulnerabilidades antes da implantação e geram ataques durante o treinamento de modelos para melhorar a robustez. Acreditamos que o red teaming automatizado destrava uma forma crucial de autoaperfeiçoamento para a segurança: usar os modelos de hoje para ajudar diretamente a tornar os modelos futuros mais seguros.

GPT‑Red é o resultado desses esforços e nosso melhor modelo atual de red teaming automatizado para segurança. Assim como red teamers humanos elaboram ataques, o modelo trabalha em direção a um objetivo enviando um prompt, observando como os modelos GPT respondem a ele e iterando. Treinamos o GPT‑Red na escala computacional de algumas das nossas maiores execuções de pós-treinamento na OpenAI — uma quantidade sem precedentes de computação dedicada exclusivamente a melhorar a segurança.

Incorporamos o GPT‑Red diretamente ao processo de treinamento dos nossos modelos em produção. Como resultado, o GPT‑5.6 Sol é nosso modelo mais robusto contra injeções de prompt até hoje, com 6 vezes menos falhas no nosso benchmark mais difícil de injeção direta de prompt em comparação com nosso melhor modelo em produção de apenas quatro meses antes. A escalabilidade da nossa abordagem nos deixa animados com resultados ainda mais fortes no futuro, à medida que continuamos a treinar red teamers mais fortes.

O GPT‑Red é treinado com aprendizado por reforço por self-play, em que o modelo e um conjunto diverso de LLMs defensores são treinados simultaneamente em um amplo conjunto de cenários de red teaming. O GPT‑Red é recompensado por provocar uma falha válida, como uma injeção de prompt bem-sucedida, enquanto os modelos defensores são recompensados por resistir ao ataque e concluir suas tarefas originais. À medida que os defensores se tornam mais robustos, o GPT‑Red é forçado a descobrir ataques mais fortes e variados.

Para apoiar o treinamento por self-play, criamos um amplo conjunto de cenários realistas nos quais injeções de prompt poderiam ser inseridas. Cada ambiente tem um modelo de ameaça que especifica o que o GPT‑Red pode controlar e o que conta como um ataque bem-sucedido. Por exemplo, o GPT‑Red pode controlar parte de um arquivo local, um banner de página web, o corpo de um e-mail ou a saída de uma ferramenta.

Ao fim do treinamento, o GPT‑Red é um atacante muito forte: consegue comprometer quase todos os modelos contra os quais é colocado, tanto internos quanto em produção, até e incluindo o GPT‑5.5. Depois que o GPT‑Red concluiu o treinamento, nós o usamos para gerar injeções de prompt para o treinamento do GPT‑5.6, tornando o modelo altamente resistente aos ataques do GPT‑Red.

Mantemos o GPT‑Red separado dos modelos que implantamos. Isso mantém as capacidades maliciosas que treinamos especificamente no GPT‑Red fora do alcance de agentes adversários, ao mesmo tempo que incorpora robustez aos nossos modelos em produção.

O GPT‑Red é altamente eficaz contra a população de modelos defensores e cenários de red teaming em que foi treinado. Também avaliamos se o modelo é útil como agente de red teaming de uso geral para beneficiar amplamente a segurança na OpenAI. Para isso, testamos a eficácia do GPT‑Red em novos ambientes de segurança e modelos-alvo.

Primeiro avaliamos a capacidade do GPT‑Red de generalizar para novos cenários de red teaming usando uma versão replicada da arena de injeção indireta de prompt de Dziemian et al. (2025)⁠(abre em uma nova janela). Nesse desafio, tanto especialistas humanos de red teaming quanto o GPT‑Red propuseram ataques de forma independente contra o GPT‑5.1 em um conjunto de ambientes pré-especificados. Esses cenários e objetivos de red teaming são diferentes dos usados para treinar o GPT‑Red. O GPT‑Red alcança taxas de sucesso de ataque significativamente maiores, obtendo sucesso em 84% dos cenários, contra 13% para humanos.

O teste definitivo de um red teamer é a capacidade de alcançar objetivos maliciosos direcionados contra sistemas agênticos do mundo real, com conhecimento incompleto do modelo subjacente do sistema e do design do harness. Nosso primeiro experimento nesse contexto colocou o GPT‑Red contra uma máquina de vendas com IA no escritório da OpenAI (semelhante ao Project Vend⁠(abre em uma nova janela)) produzida pela Andon Labs. Demos ao GPT‑Red uma descrição do sistema e a capacidade de enviar ataques e observar chamadas de ferramentas do agente simulado, que espelha de perto a implantação no mundo real. Depois de iterar nos ataques, o GPT‑Red implantou seu ataque contra o agente em produção, alcançando todos os três objetivos maliciosos:

• Alterar o preço de um item caro em estoque para o preço mínimo permitido de US$ 0,50;
• Pedir um novo item de mais de US$ 100 e oferecê-lo por US$ 0,50; e
• Cancelar o pedido de outro cliente.

Divulgamos essas vulnerabilidades, e novas salvaguardas estão sendo testadas ativamente.

Também usamos o GPT‑Red para atacar um agente Codex CLI (baseado no GPT‑5.4 mini) em um conjunto de 10 cenários reservados de exfiltração de dados. Comparamos o modelo a uma linha de base com GPT‑5.5 acionado por prompt para estudar o impacto do nosso procedimento de treinamento no desempenho de red teaming em cenários reservados. O GPT‑Red é mais eficaz, pois consegue fazer o agente exfiltrar dados sensíveis com sucesso em mais cenários, e também é mais eficiente em tokens.

O objetivo final do GPT‑Red é melhorar a robustez dos nossos modelos. Nos últimos seis meses, treinamos modelos de red teaming progressivamente mais fortes (precursores do GPT‑Red) com capacidade computacional crescente, e usamos esses modelos no treinamento de cada modelo em produção sucessivo desde o GPT‑5.3. Com o tempo, cada lançamento subsequente do GPT se tornou mais robusto.

Como exemplo, uma versão inicial do GPT‑Red encontrou uma nova classe de ataques diretos de injeção de prompt conhecida como ataques de “cadeia de pensamento falsa”. Esses ataques alcançaram taxas de sucesso acima de 95% no GPT‑5.1, mas agora estão abaixo de 10% para o GPT‑5.6 Sol. Da mesma forma, vários dos nossos benchmarks de injeção indireta de prompt que miram ataques em ferramentas de desenvolvedor e navegação foram saturados pelo nosso modelo mais recente (>97% de acurácia).

A robustez ao próprio GPT‑Red também melhorou substancialmente. Em um amplo conjunto de ambientes de robustez, as taxas de sucesso de ataque do GPT‑Red caíram de forma monotônica ao longo do tempo. Com o lançamento do nosso modelo mais recente, o GPT‑5.6 Sol falha em apenas 0,05% das injeções diretas de prompt do GPT‑Red.

Um modelo pode parecer mais seguro ao recusar mais solicitações ou se tornar menos capaz. Um modelo que faz menos é naturalmente mais difícil de atacar, mas isso não é uma robustez útil.

Avaliamos minuciosamente tanto capacidades gerais de fronteira quanto tarefas direcionadas de recusa excessiva que desenvolvemos. Constatamos que todas as capacidades normais permanecem inalteradas, enquanto a robustez melhora significativamente. Isso sugere que os ganhos de robustez vieram de maior resistência a instruções maliciosas, e não do uso inadequado de ferramentas ou da recusa de solicitações legítimas por padrão.

Agentes de IA já estão sendo usados para melhorar as capacidades dos nossos modelos de próxima geração. Acreditamos que, com o GPT‑Red, começamos a destravar um ciclo virtuoso semelhante para a segurança, em que os modelos de hoje podem ser usados para tornar os modelos de amanhã mais robustos, alinhados e confiáveis. Continuaremos a escalar computação e dados enquanto fazemos melhorias algorítmicas, para treinar versões futuras do GPT‑Red mais fortes que o modelo atual. E, por sua vez, esses modelos ajudarão a tornar os futuros lançamentos do GPT mais seguros.

Lançaremos um preprint com mais detalhes ainda esta semana.