GPT‑Red : débloquer l’auto-amélioration de la robustesse

Les systèmes d’IA rencontrent couramment des données tierces via des navigateurs, des applications connectées, des fichiers locaux et d’autres outils. Ces possibilités sont nécessaires pour accomplir des tâches réelles, mais elles donnent aussi aux acteurs malveillants davantage d’occasions d’influencer le comportement des modèles. Par exemple, un tiers peut intégrer dans un e-mail, une page web, une réponse d’outil ou un dépôt de code une instruction soigneusement conçue⁠ pour tromper le modèle et l’amener à téléverser des données sensibles vers un serveur externe.

Le red teaming humain est une composante essentielle de notre travail de sécurité : il nous aide à mettre au jour ces vulnérabilités avant le déploiement et à mettre en place les protections appropriées. Mais le red teaming humain seul est difficile à faire passer à l’échelle. Concevoir et mener ces exercices prend beaucoup de temps, ce qui limite la rapidité avec laquelle nous pouvons identifier de nouveaux modes d’échec et les intégrer dans des protections plus robustes. En outre, si ces exercices produisent de précieux exemples d’attaques réussies, ils ne peuvent pas générer le volume et la diversité de données adversariales nécessaires pour améliorer la robustesse des modèles par l’entraînement.

Suivre le rythme de modèles de plus en plus capables exige que le red teaming passe lui aussi à l’échelle. À cette fin, nous entraînons des modèles internes et automatisés de red teaming, qui découvrent des vulnérabilités avant le déploiement et génèrent des attaques pendant l’entraînement des modèles afin d’améliorer leur robustesse. Nous pensons que le red teaming automatisé ouvre une forme cruciale d’auto-amélioration pour la sécurité : utiliser les modèles d’aujourd’hui pour contribuer directement à rendre ceux de demain plus sûrs.

GPT‑Red est l’aboutissement de ces efforts et notre meilleur modèle actuel de red teaming automatisé pour la sécurité. Comme les spécialistes humains du red teaming qui conçoivent des attaques, le modèle poursuit un objectif en envoyant un prompt, en observant la réponse des modèles GPT, puis en itérant. Nous avons entraîné GPT‑Red à une échelle de calcul comparable à celle de certaines de nos plus grandes phases de post-entraînement chez OpenAI : une quantité de calcul sans précédent dédiée exclusivement à l’amélioration de la sécurité.

Nous intégrons directement GPT‑Red au processus d’entraînement de nos modèles de production. En conséquence, GPT‑5.6 Sol est à ce jour notre modèle le plus robuste face aux attaques par injection de prompt, avec six fois moins d’échecs sur notre benchmark le plus difficile d’attaques directes par injection de prompt que notre meilleur modèle de production d’il y a seulement quatre mois. La scalabilité de notre approche nous rend optimistes quant à des résultats encore plus solides à l’avenir, à mesure que nous continuerons d’entraîner des spécialistes du red teaming plus puissants.

GPT‑Red est entraîné au moyen de l’apprentissage par renforcement en self-play : le modèle et un ensemble diversifié de LLM défenseurs sont entraînés simultanément sur un large éventail de scénarios de red teaming. GPT‑Red est récompensé lorsqu’il provoque un échec valide, comme une attaque par injection de prompt réussie, tandis que les modèles défenseurs sont récompensés lorsqu’ils résistent à l’attaque et accomplissent leurs tâches initiales. À mesure que les défenseurs deviennent plus robustes, GPT‑Red est contraint de découvrir des attaques plus puissantes et plus variées.

Pour prendre en charge l’entraînement par self-play, nous constituons un vaste ensemble de scénarios réalistes dans lesquels des attaques par injection de prompt pourraient être insérées. Chaque environnement possède un modèle de menace qui précise ce que GPT‑Red peut contrôler et ce qui constitue une attaque réussie. Par exemple, GPT‑Red peut contrôler une partie d’un fichier local, une bannière de page web, le corps d’un e-mail ou la sortie d’un outil.

À la fin de son entraînement, GPT‑Red est un attaquant très puissant : il peut compromettre presque tous les modèles auxquels il est confronté, qu’il s’agisse de modèles internes ou de production, jusqu’à GPT‑5.5 inclus. Une fois l’entraînement de GPT‑Red terminé, nous l’avons utilisé pour générer des attaques par injection de prompt destinées à l’entraînement de GPT‑5.6, ce qui a rendu le modèle très résistant aux attaques de GPT‑Red.

Nous gardons GPT‑Red séparé des modèles que nous déployons. Cela permet d’empêcher que les capacités malveillantes spécifiquement développées dans GPT‑Red ne tombent entre les mains d’acteurs hostiles, tout en renforçant la robustesse de nos modèles de production.

GPT‑Red est très efficace face à l’ensemble des modèles défenseurs et des scénarios de red teaming sur lesquels il a été entraîné. Nous évaluons aussi si le modèle peut servir d’agent de red teaming polyvalent, afin de renforcer plus largement la sécurité chez OpenAI. Pour cela, nous testons l’efficacité de GPT‑Red sur de nouveaux environnements de sécurité et de nouveaux modèles cibles.

Nous évaluons d’abord la capacité de GPT‑Red à généraliser à de nouveaux scénarios de red teaming à l’aide d’une version répliquée de l’arène d’attaques indirectes par injection de prompt de Dziemian et al. (2025)⁠(ouverture dans une nouvelle fenêtre). Dans ce défi, des spécialistes humains du red teaming et GPT‑Red ont proposé indépendamment des attaques contre GPT‑5.1 sur un ensemble d’environnements prédéfinis. Ces scénarios et objectifs de red teaming sont distincts de ceux utilisés pour entraîner GPT‑Red. GPT‑Red obtient des taux de réussite d’attaque nettement plus élevés, avec des succès dans 84 % des scénarios contre 13 % pour les humains.

Le test ultime pour un spécialiste du red teaming est sa capacité à atteindre des objectifs malveillants ciblés contre des systèmes agentiques réels, avec une connaissance incomplète du modèle sous-jacent et de l’architecture du système qui l’exécute. Notre première expérience dans ce contexte a opposé GPT‑Red à un distributeur automatique alimenté par l’IA dans les bureaux d’OpenAI, semblable à Project Vend⁠(ouverture dans une nouvelle fenêtre), produit par Andon Labs. Nous avons fourni à GPT‑Red une description du système, ainsi que la possibilité d’envoyer des attaques et d’observer les appels d’outils de l’agent simulé, qui reflète de près le déploiement réel. Après plusieurs itérations sur ses attaques, GPT‑Red a déployé son attaque contre l’agent de production et atteint ses trois objectifs malveillants :

• Faire passer le prix d’un article coûteux en stock au prix minimal autorisé de 0,50 $ ;
• Commander un nouvel article de plus de 100 $ et le proposer à 0,50 $ ; et
• Annuler la commande d’un autre client.

Nous avons divulgué ces vulnérabilités, et de nouvelles protections sont activement testées.

Nous utilisons également GPT‑Red pour attaquer un agent Codex CLI basé sur GPT‑5.4 mini, sur une suite de 10 scénarios d’exfiltration de données tenus à l’écart. Nous comparons le modèle à une référence GPT‑5.5 pilotée par prompt afin d’étudier l’impact de notre procédure d’entraînement sur les performances de red teaming tenues à l’écart. GPT‑Red est à la fois plus efficace, car il parvient à pousser l’agent à exfiltrer des données sensibles dans davantage de scénarios, et plus efficient en tokens.

L’objectif ultime de GPT‑Red est d’améliorer la robustesse de nos modèles. Au cours des six derniers mois, nous avons entraîné des modèles de red teaming progressivement plus puissants, précurseurs de GPT‑Red, avec davantage de calcul, et nous les avons utilisés dans l’entraînement de chaque modèle de production successif depuis GPT‑5.3. Au fil du temps, chaque nouvelle version de GPT est devenue plus robuste.

Par exemple, une première version de GPT‑Red a découvert une nouvelle classe d’attaques directes par injection de prompt, appelées attaques « faux raisonnement détaillé (“chain-of-thought”) ». Ces attaques atteignaient des taux de réussite supérieurs à 95 % sur GPT‑5.1, mais sont désormais sous les 10 % pour GPT‑5.6 Sol. De même, plusieurs de nos benchmarks d’attaques indirectes par injection de prompt ciblant les outils de développement et la navigation sont désormais saturés par notre modèle le plus récent (> 97 % de précision).

La robustesse face à GPT‑Red lui-même s’est également nettement améliorée. Sur un large ensemble d’environnements de robustesse, les taux de réussite des attaques de GPT‑Red ont diminué de façon monotone au fil du temps. Avec notre dernière version de modèle, GPT‑5.6 Sol échoue sur seulement 0,05 % des attaques directes par injection de prompt de GPT‑Red.

Un modèle peut sembler plus sûr s’il refuse davantage de requêtes ou devient moins capable. Un modèle qui en fait moins est naturellement plus difficile à attaquer, mais ce n’est pas une robustesse utile.

Nous évaluons en profondeur les capacités générales de pointe ainsi que des tâches ciblées de refus excessif que nous concevons. Nous constatons que toutes les capacités normales restent intactes, tandis que la robustesse s’améliore nettement. Cela suggère que les gains de robustesse proviennent d’une meilleure résistance aux instructions malveillantes, plutôt que d’une mauvaise utilisation des outils ou d’un refus par défaut des requêtes légitimes.

Les agents d’IA sont déjà utilisés pour améliorer les capacités de nos modèles de nouvelle génération. Avec GPT‑Red, nous pensons avoir commencé à débloquer une dynamique similaire pour la sécurité, dans laquelle les modèles d’aujourd’hui peuvent être utilisés pour rendre ceux de demain plus robustes, mieux alignés et plus fiables. Nous continuerons à augmenter le calcul et les données tout en apportant des améliorations algorithmiques, afin d’entraîner de futures versions de GPT‑Red plus puissantes que le modèle actuel. En retour, ces modèles contribueront à rendre les futures versions de GPT plus sûres.

Nous publierons une prépublication avec davantage de détails plus tard cette semaine.