GPT‑Red: desbloquear a auto-melhoria da robustez

Os sistemas de IA encontram frequentemente dados de terceiros através de navegadores, aplicações ligadas, ficheiros locais e outras ferramentas. Estas capacidades são necessárias para realizar tarefas no mundo real, mas também criam mais oportunidades para atores maliciosos influenciarem o comportamento do modelo. Por exemplo, um terceiro pode incorporar uma instrução cuidadosamente concebida⁠ — destinada a enganar o modelo para que carregue dados sensíveis para um servidor externo — num email, página Web, resposta de ferramenta ou repositório de código.

O red teaming humano é uma parte crítica do nosso trabalho de segurança, ajudando-nos a descobrir estas vulnerabilidades antes da disponibilização e a implementar as salvaguardas adequadas. Mas o red teaming humano, por si só, é difícil de escalar. Conceber e executar estes exercícios consome muito tempo, limitando a rapidez com que podemos identificar novos modos de falha e incorporá-los em salvaguardas mais fortes. Além disso, embora estes exercícios produzam exemplos valiosos de ataques bem-sucedidos, não conseguem gerar o volume e a diversidade de dados adversariais necessários para melhorar a robustez do modelo através do treino.

Acompanhar o ritmo de modelos cada vez mais capazes exige que o red teaming também escale. Para esse fim, temos vindo a treinar modelos automatizados de red teaming, apenas para uso interno, que descobrem vulnerabilidades antes da disponibilização e geram ataques durante o treino de modelos para melhorar a robustez. Acreditamos que o red teaming automatizado desbloqueia uma forma crucial de auto-melhoria para a segurança: usar os modelos de hoje para ajudar diretamente a tornar os modelos futuros mais seguros.

O GPT‑Red é o culminar destes esforços e o nosso melhor modelo atual de red teaming automatizado para segurança. Tal como os especialistas humanos em red teaming concebem ataques, o modelo trabalha para atingir um objetivo enviando um prompt, observando como os modelos GPT respondem e iterando. Treinámos o GPT‑Red à escala computacional de algumas das nossas maiores execuções de pós-treino na OpenAI — uma quantidade sem precedentes de computação dedicada exclusivamente a melhorar a segurança.

Incorporamos diretamente o GPT‑Red no processo de treino dos nossos modelos de produção. Como resultado, o GPT‑5.6 Sol é o nosso modelo mais robusto até à data contra injeções de prompt, com 6 vezes menos falhas no nosso benchmark mais difícil de injeção direta de prompt, em comparação com o nosso melhor modelo de produção de há apenas quatro meses. A escalabilidade da nossa abordagem deixa-nos entusiasmados com resultados ainda mais fortes no futuro, à medida que continuamos a treinar sistemas de red teaming mais fortes.

O GPT‑Red é treinado com aprendizagem por reforço em self-play, em que o modelo e um conjunto diversificado de LLMs defensores são treinados em simultâneo num amplo conjunto de cenários de red teaming. O GPT‑Red é recompensado por provocar uma falha válida, como uma injeção de prompt bem-sucedida, enquanto os modelos defensores são recompensados por resistirem ao ataque e concluírem as suas tarefas originais. À medida que os defensores se tornam mais robustos, o GPT‑Red é obrigado a descobrir ataques mais fortes e diversificados.

Para apoiar o treino por self-play, criamos um conjunto vasto de cenários realistas onde poderiam ser inseridas injeções de prompt. Cada ambiente tem um modelo de ameaça que especifica o que o GPT‑Red pode controlar e o que conta como ataque bem-sucedido. Por exemplo, o GPT‑Red pode controlar parte de um ficheiro local, um banner numa página Web, o corpo de um email ou a saída de uma ferramenta.

No fim do treino, o GPT‑Red é um atacante muito forte: consegue comprometer quase todos os modelos contra os quais é testado, tanto internos como de produção, até ao GPT‑5.5 inclusive. Depois de o GPT‑Red concluir o treino, usámo-lo para gerar injeções de prompt para o treino do GPT‑5.6, fazendo com que o modelo se tornasse altamente resistente aos ataques do GPT‑Red.

Mantemos o GPT‑Red separado dos modelos que disponibilizamos. Isto mantém fora do alcance de atores adversários as capacidades maliciosas que treinamos especificamente no GPT‑Red, ao mesmo tempo que incute robustez nos nossos modelos de produção.

O GPT‑Red é altamente eficaz contra a população de modelos defensores e os cenários de red teaming em que foi treinado. Também avaliamos se o modelo é útil como agente de red teaming de finalidade geral, para beneficiar amplamente a segurança na OpenAI. Para isso, testamos a eficácia do GPT‑Red em novos ambientes de segurança e modelos-alvo.

Primeiro, avaliamos a capacidade do GPT‑Red para generalizar para novos cenários de red teaming usando uma versão replicada da arena de injeção indireta de prompt de Dziemian et al. (2025)⁠(abre numa nova janela). Neste desafio, especialistas humanos em red teaming e o GPT‑Red propuseram, de forma independente, ataques contra o GPT‑5.1 num conjunto de ambientes pré-especificados. Estes cenários e objetivos de red teaming são distintos dos usados para treinar o GPT‑Red. O GPT‑Red alcança taxas de sucesso de ataque significativamente mais elevadas, obtendo sucesso em 84% dos cenários, face a 13% no caso dos humanos.

O teste decisivo para um especialista em red teaming é a capacidade de atingir objetivos maliciosos específicos contra sistemas agentivos do mundo real, com conhecimento incompleto do modelo subjacente e do desenho do harness do sistema. A nossa primeira experiência neste contexto colocou o GPT‑Red contra uma máquina de venda automática com IA no escritório da OpenAI (semelhante ao Project Vend⁠(abre numa nova janela)) produzida pela Andon Labs. Demos ao GPT‑Red uma descrição do sistema e a capacidade de enviar ataques e observar chamadas a ferramentas do agente simulado, que espelha de perto a implementação no mundo real. Depois de iterar nos ataques, o GPT‑Red lançou o seu ataque contra o agente de produção, atingindo os três objetivos maliciosos:

• Alterar o preço de um artigo caro em stock para o preço mínimo permitido de 0,50 $;
• Encomendar um novo artigo de mais de 100 $ e oferecê-lo por 0,50 $; e
• Cancelar a encomenda de outro cliente.

Divulgámos estas vulnerabilidades e estão a ser testadas ativamente novas salvaguardas.

Também usamos o GPT‑Red para atacar um agente Codex CLI (baseado no GPT‑5.4 mini) numa suite de 10 cenários reservados de exfiltração de dados. Comparamos o modelo com uma linha de base GPT‑5.5 orientada por prompt para estudar o impacto do nosso procedimento de treino no desempenho de red teaming em cenários reservados. O GPT‑Red é mais eficaz, porque consegue levar o agente a exfiltrar dados sensíveis em mais cenários, e também é mais eficiente em tokens.

O objetivo final do GPT‑Red é melhorar a robustez dos nossos modelos. Nos últimos seis meses, treinámos modelos de red teaming progressivamente mais fortes (precursores do GPT‑Red) com cada vez mais computação, e usámos estes modelos no treino de cada modelo de produção sucessivo desde o GPT‑5.3. Ao longo do tempo, cada versão GPT subsequente tornou-se mais robusta.

Como exemplo, uma versão inicial do GPT‑Red encontrou uma nova classe de ataques diretos de injeção de prompt conhecidos como ataques de «Falsa cadeia de pensamento». Estes ataques atingiam taxas de sucesso superiores a 95% no GPT‑5.1, mas estão agora abaixo de 10% no GPT‑5.6 Sol. De forma semelhante, vários dos nossos benchmarks de injeção indireta de prompt, que visam ataques em ferramentas de programação e navegação, foram saturados pelo nosso modelo mais recente (>97% de precisão).

A robustez ao próprio GPT‑Red também melhorou substancialmente. Num conjunto amplo de ambientes de robustez, as taxas de sucesso dos ataques do GPT‑Red diminuíram monotonamente ao longo do tempo. Com o nosso lançamento de modelo mais recente, o GPT‑5.6 Sol falha em apenas 0,05% das injeções diretas de prompt do GPT‑Red.

Um modelo pode parecer mais seguro ao recusar mais pedidos ou ao tornar-se menos capaz. Um modelo que faz menos é naturalmente mais difícil de atacar, mas isso não é robustez útil.

Avaliamos em profundidade tanto as capacidades gerais de fronteira como tarefas direcionadas de recusa excessiva que concebemos. Concluímos que todas as capacidades normais permanecem intactas, ao mesmo tempo que a robustez melhora significativamente. Isto sugere que os ganhos de robustez vieram de uma melhor resistência a instruções maliciosas, e não de uso inadequado de ferramentas ou de recusa por defeito de pedidos legítimos.

Os agentes de IA já estão a ser usados para melhorar as capacidades dos nossos modelos de próxima geração. Acreditamos que, com o GPT‑Red, começámos a desbloquear um ciclo virtuoso semelhante para a segurança, em que os modelos de hoje podem ser usados para tornar os modelos de amanhã mais robustos, alinhados e fiáveis. Continuaremos a escalar computação e dados, fazendo melhorias algorítmicas, para treinar futuras versões do GPT‑Red mais fortes do que o modelo atual. E, por sua vez, estes modelos ajudarão a tornar mais seguras as futuras versões GPT.

Vamos publicar uma pré-publicação com mais detalhes ainda esta semana.