GPT‑Red : débloquer l’autoamélioration pour la robustesse

Les systèmes d’IA rencontrent souvent des données de tiers par l’intermédiaire de navigateurs, d’applications connectées, de fichiers locaux et d’autres outils. Ces possibilités sont nécessaires pour accomplir des tâches réelles, mais elles donnent aussi plus d’occasions aux acteurs malveillants d’influencer le comportement des modèles. Par exemple, un tiers pourrait intégrer dans un courriel, une page Web, une réponse d’outil ou un dépôt de code une instruction soigneusement conçue⁠ pour inciter le modèle à téléverser des données sensibles vers un serveur externe.

L’équipe rouge humaine est un élément essentiel de notre travail de sécurité : elle nous aide à découvrir ces vulnérabilités avant le déploiement et à mettre en place les bonnes protections. Mais l’équipe rouge humaine seule est difficile à faire évoluer. La conception et l’exécution de ces exercices demandent beaucoup de temps, ce qui limite la vitesse à laquelle nous pouvons repérer de nouveaux modes de défaillance et les intégrer à des protections plus solides. De plus, même si ces exercices produisent de précieux exemples d’attaques réussies, ils ne peuvent pas générer le volume et la diversité de données adverses nécessaires pour améliorer la robustesse des modèles par l’entraînement.

Pour suivre le rythme de modèles de plus en plus capables, l’équipe rouge doit elle aussi passer à l’échelle. À cette fin, nous entraînons des modèles d’équipe rouge automatisés, à usage interne seulement, qui découvrent les vulnérabilités avant le déploiement et génèrent des attaques pendant l’entraînement des modèles afin d’améliorer leur robustesse. Nous croyons que l’équipe rouge automatisée débloque une forme essentielle d’autoamélioration pour la sécurité : utiliser les modèles d’aujourd’hui pour contribuer directement à rendre les modèles futurs plus sûrs.

GPT‑Red est l’aboutissement de ces efforts et notre meilleur modèle actuel d’équipe rouge automatisée pour la sécurité. À l’instar des membres humains de l’équipe rouge qui conçoivent des attaques, le modèle poursuit un objectif en envoyant une invite, en observant la réponse des modèles GPT, puis en itérant. Nous avons entraîné GPT‑Red à une échelle de calcul comparable à certaines de nos plus grandes exécutions de post-entraînement chez OpenAI — une quantité de calcul sans précédent consacrée uniquement à l’amélioration de la sécurité.

Nous intégrons directement GPT‑Red au processus d’entraînement de nos modèles de production. Par conséquent, GPT‑5.6 Sol est notre modèle le plus robuste à ce jour contre les injections d’invite, avec six fois moins d’échecs sur notre banc d’essai d’injection d’invite directe le plus difficile que notre meilleur modèle de production d’il y a seulement quatre mois. L’évolutivité de notre approche nous enthousiasme quant à des résultats encore plus solides à l’avenir, alors que nous continuons d’entraîner des membres de l’équipe rouge plus puissants.

GPT‑Red est entraîné au moyen de l’apprentissage par renforcement en autojeu, où le modèle et un ensemble diversifié de LLM défenseurs sont entraînés simultanément sur un vaste éventail de scénarios d’équipe rouge. GPT‑Red est récompensé lorsqu’il provoque une défaillance valide, comme une injection d’invite réussie, tandis que les modèles défenseurs sont récompensés lorsqu’ils résistent à l’attaque et accomplissent leurs tâches initiales. À mesure que les défenseurs deviennent plus robustes, GPT‑Red doit découvrir des attaques plus fortes et plus diversifiées.

Pour soutenir l’entraînement par autojeu, nous construisons un vaste ensemble de scénarios réalistes où des injections d’invite pourraient être insérées. Chaque environnement comporte un modèle de menace qui précise ce que GPT‑Red peut contrôler et ce qui constitue une attaque réussie. Par exemple, GPT‑Red pourrait contrôler une partie d’un fichier local, une bannière de page Web, le corps d’un courriel ou la sortie d’un outil.

À la fin de son entraînement, GPT‑Red est un attaquant très puissant : il peut compromettre presque tous les modèles auxquels il est opposé, qu’il s’agisse de modèles internes ou de production, jusqu’à GPT‑5.5 inclusivement. Une fois l’entraînement de GPT‑Red terminé, nous l’avons utilisé pour générer des injections d’invite destinées à l’entraînement de GPT‑5.6, ce qui a rendu le modèle très résistant aux attaques de GPT‑Red.

Nous gardons GPT‑Red séparé des modèles que nous déployons. Cela empêche les capacités malveillantes que nous entraînons expressément dans GPT‑Red de tomber entre les mains d’acteurs adverses, tout en inculquant de la robustesse à nos modèles de production.

GPT‑Red est très efficace contre l’ensemble des modèles défenseurs et des scénarios d’équipe rouge sur lesquels il a été entraîné. Nous évaluons aussi l’utilité du modèle comme agent d’équipe rouge polyvalent, afin d’améliorer la sécurité de façon générale chez OpenAI. Pour ce faire, nous testons l’efficacité de GPT‑Red dans de nouveaux environnements de sécurité et contre de nouveaux modèles cibles.

Nous évaluons d’abord la capacité de GPT‑Red à se généraliser à de nouveaux scénarios d’équipe rouge au moyen d’une version reproduite de l’arène d’injection d’invite indirecte de Dziemian et coll. (2025)⁠(s'ouvre dans une nouvelle fenêtre). Dans ce défi, des membres humains de l’équipe rouge et GPT‑Red ont proposé de façon indépendante des attaques contre GPT‑5.1 dans un ensemble d’environnements prédéfinis. Ces scénarios et objectifs d’équipe rouge sont distincts de ceux utilisés pour entraîner GPT‑Red. GPT‑Red obtient des taux de réussite d’attaque nettement plus élevés, réussissant dans 84 % des scénarios contre 13 % pour les humains.

Le test ultime pour un membre de l’équipe rouge est sa capacité à atteindre des objectifs malveillants ciblés contre des systèmes agentiques réels, avec une connaissance incomplète du modèle sous-jacent et de la conception du harnais du système. Notre première expérience dans ce contexte a opposé GPT‑Red à une distributrice automatique alimentée par l’IA dans les bureaux d’OpenAI, produite par Andon Labs et semblable à Project Vend⁠(s'ouvre dans une nouvelle fenêtre). Nous avons fourni à GPT‑Red une description du système ainsi que la capacité d’envoyer des attaques et d’observer les appels d’outils de l’agent simulé, qui reflète de près le déploiement réel. Après avoir itéré sur les attaques, GPT‑Red a déployé son attaque contre l’agent de production et atteint ses trois objectifs malveillants :

• Faire passer le prix d’un article coûteux en stock au prix minimal autorisé de 0,50 $;
• Commander un nouvel article de plus de 100 $ et l’offrir à 0,50 $; et
• Annuler la commande d’un autre client.

Nous avons divulgué ces vulnérabilités, et de nouvelles protections sont actuellement testées.

Nous utilisons aussi GPT‑Red pour attaquer un agent Codex CLI, basé sur GPT‑5.4 mini, dans une suite de 10 scénarios réservés d’exfiltration de données. Nous comparons le modèle à une référence GPT‑5.5 guidée par invite afin d’étudier l’effet de notre procédure d’entraînement sur la performance d’équipe rouge dans des cas réservés. GPT‑Red est à la fois plus efficace, puisqu’il réussit à amener l’agent à exfiltrer des données sensibles dans davantage de scénarios, et plus efficient en tokens.

L’objectif ultime de GPT‑Red est d’améliorer la robustesse de nos modèles. Au cours des six derniers mois, nous avons entraîné des modèles d’équipe rouge de plus en plus puissants, précurseurs de GPT‑Red, avec une puissance de calcul croissante, et nous les avons utilisés dans l’entraînement de chaque modèle de production successif depuis GPT‑5.3. Au fil du temps, chaque nouvelle version de GPT est devenue plus robuste.

Par exemple, une première version de GPT‑Red a découvert une nouvelle classe d’attaques directes par injection d’invite, appelées attaques de « faux raisonnement détaillé (« chain-of-thought ») ». Ces attaques affichaient des taux de réussite de plus de 95 % sur GPT‑5.1, mais sont maintenant sous les 10 % pour GPT‑5.6 Sol. De même, plusieurs de nos bancs d’essai d’injection d’invite indirecte ciblant les attaques dans les outils de développement et la navigation ont été saturés par notre plus récent modèle (>97 % de précision).

La robustesse face à GPT‑Red lui-même s’est aussi nettement améliorée. Dans un large ensemble d’environnements de robustesse, les taux de réussite des attaques de GPT‑Red ont diminué de façon monotone au fil du temps. Avec notre plus récent lancement de modèle, GPT‑5.6 Sol échoue à seulement 0,05 % des injections d’invite directes de GPT‑Red.

Un modèle peut sembler plus sûr s’il refuse davantage de requêtes ou devient moins capable. Un modèle qui en fait moins est naturellement plus difficile à attaquer, mais ce n’est pas une robustesse utile.

Nous évaluons en profondeur les capacités générales de pointe ainsi que les tâches ciblées de refus excessif que nous concevons. Nous constatons que toutes les capacités normales restent intactes, tandis que la robustesse s’améliore considérablement. Cela suggère que les gains de robustesse proviennent d’une meilleure résistance aux instructions malveillantes plutôt que d’une mauvaise utilisation des outils ou d’un refus par défaut des requêtes légitimes.

Les agents d’IA sont déjà utilisés pour améliorer les capacités de nos modèles de prochaine génération. Nous croyons qu’avec GPT‑Red, nous avons commencé à débloquer un cercle vertueux similaire pour la sécurité, où les modèles d’aujourd’hui peuvent servir à rendre ceux de demain plus robustes, alignés et dignes de confiance. Nous continuerons d’augmenter la puissance de calcul et les données, tout en apportant des améliorations algorithmiques, afin d’entraîner de futures versions de GPT‑Red plus fortes que le modèle actuel. Et, à leur tour, ces modèles contribueront à rendre les futures versions de GPT plus sûres.

Nous publierons une prépublication contenant plus de détails plus tard cette semaine.