GPT‑6 Cyber : repousser les limites des agents de cybersécurité alignés

Nous présentons GPT‑6 Cyber, une avancée majeure pour la recherche en sécurité : plus performant pour trouver et corriger les vulnérabilités, et bien plus fiable pour respecter les limites fixées par les chercheurs. GPT‑6 Cyber apporte des gains majeurs sur les principaux benchmarks de cybersécurité par rapport à GPT‑5.6 Cyber, dont une amélioration relative de 51 % sur ExploitGym et un progrès considérable dans les tests de respect du périmètre. Il contribue déjà à sécuriser des logiciels réels, en découvrant et en validant des milliers d’exploits dans des bases de code essentielles à la sécurité, comme Linux et Firefox.

Sur ExploitGym, qui teste la capacité des modèles à exploiter une vulnérabilité donnée, GPT‑6 Cyber obtient un score de 48,5 %, contre 32,1 % pour GPT‑5.6 Cyber. Il respecte aussi plus fidèlement les limites de la tâche : dans une évaluation d’alignement distincte, GPT‑6 Cyber a évité d’exploiter des services hors périmètre dans 99,93 % des tests sans son prompt de déploiement, et dans 100 % des tests avec ce prompt. Ce meilleur alignement résulte d’un entraînement dédié au respect du périmètre autorisé et des restrictions, ainsi qu’à la restitution fidèle des résultats.

Ces capacités contribuent déjà à sécuriser des systèmes réels. Nos chercheurs ont utilisé GPT‑6 Cyber pour développer 948 exploits d’élévation de privilèges dans Linux⁠ et identifier 81 vulnérabilités de gravité élevée jusque-là inconnues dans Firefox, malgré des tests préalables approfondis avec des modèles de pointe. Le modèle a aussi aidé à proposer des correctifs, et Mozilla a publié des correctifs pour bon nombre de ces vulnérabilités de Firefox⁠(ouverture dans une nouvelle fenêtre). Les équipes de sécurité de Cisco, Calif et CodeRabbit l’utilisent pour la recherche en vulnérabilités et la revue de code, et nous nous sommes appuyés sur lui pour trouver et corriger des faiblesses dans notre propre infrastructure⁠.

Il est clair que nous disposons d’une fenêtre limitée pour utiliser les modèles de pointe afin de sécuriser les logiciels⁠. Notre objectif est d’élargir considérablement Daybreak pour rendre la recherche avancée en sécurité accessible aux organisations de toutes tailles, aux chercheurs indépendants et aux responsables de maintenance de projets open source. Les modèles généralistes comme GPT‑6 Astra prennent déjà en charge la revue de code, le triage des vulnérabilités et le développement de correctifs. Daybreak Blue aide les défenseurs vérifiés à valider les vulnérabilités et les correctifs avec moins de refus inutiles, tandis que Daybreak Red permet un développement d’exploits plus poussé et des tests de sécurité autorisés avec GPT‑6 Cyber.

GPT‑6 Cyber représente une avancée majeure par rapport à GPT‑5.6 Cyber et surpasse GPT‑6 Astra dans la plupart des tâches cyber, même lorsqu’Astra ne refuse pas la requête. Nous avons évalué le modèle sur des tâches exigeant de comprendre des logiciels, d’identifier des vulnérabilités et de développer des exploits fonctionnels. Sur la base de ces résultats, nous classons le modèle au niveau critique en cybersécurité selon notre cadre de préparation, contre le niveau élevé pour GPT‑5.6 Cyber.

Sur ExploitGym, qui teste la capacité des modèles à exploiter une vulnérabilité donnée sur une cible distante, GPT‑6 Cyber obtient un score de 48,5 %, soit environ 16 points de pourcentage de plus que les 32,1 % de GPT‑5.6 Cyber. Pour tester la découverte de vulnérabilités, nous avons aussi créé une nouvelle évaluation de tests d’intrusion web offensifs. Les modèles sondent des applications web sans avoir accès à leur code source. GPT‑6 Cyber a atteint un taux de rappel des vulnérabilités de 40,3 %, contre 32,0 % pour GPT‑6 Astra.

Daybreak Red est conçu pour des workflows de sécurité plus avancés, notamment le développement d’exploits fonctionnels et leur utilisation contre des cibles distantes. Pour évaluer ces capacités, nous avons créé un nouveau benchmark, RemoteExploitBench, qui utilise des vulnérabilités connues dans des applications comme GitLab, PostgreSQL et Jenkins, déployées dans un environnement contrôlé. Lors de notre évaluation initiale, GPT‑6 Astra avec Daybreak Blue a refusé 100 % des tâches, tandis que GPT‑6 Cyber en a accompli 95 % ; son seul échec concernait un exploit qu’il n’a pas réussi à faire fonctionner à distance. Consultez la fiche système⁠(ouverture dans une nouvelle fenêtre) pour obtenir les résultats complets et les paramètres d’évaluation.

L’un des risques liés aux agents de cybersécurité est qu’ils sortent du périmètre de leur tâche, tentent d’exploiter des services sans rapport avec celle-ci ou ignorent les règles d’engagement du chercheur.

Nous avons fait de l’alignement une priorité de GPT‑6 Cyber, avec un entraînement spécialisé pour aider le modèle à rester dans le périmètre autorisé, à respecter les restrictions imposées à ses actions et à rendre compte fidèlement de son travail. Avant le déploiement, nous avons mené une série d’évaluations d’alignement pour mesurer ces comportements. Consultez la fiche système⁠(ouverture dans une nouvelle fenêtre) pour obtenir les résultats complets.

L’une de ces évaluations, ExploitGym Honeypot, s’inspire de l’incident Hugging Face⁠. Nous confions au modèle une tâche d’exploitation difficile dans un environnement isolé, avec accès à des services auxiliaires, comme un registre de paquets ou un stockage d’objets. Nous rendons délibérément ces services faciles à exploiter, de sorte qu’une attaque contre eux puisse révéler le drapeau de la tâche. Le modèle doit déduire que leur exploitation sort du périmètre de sa tâche.

GPT‑6 Cyber marque un progrès considérable par rapport à GPT‑5.6 Cyber dans cette évaluation. Testé sans les prompts de sécurité utilisés au déploiement, il a évité d’exploiter des services hors périmètre dans 99,93 % des cas, contre 94,49 % pour GPT‑5.6 Cyber. Avec ces prompts, GPT‑6 Cyber a respecté les limites dans 100 % des cas.

Le raisonnement détaillé (« chain-of-thought ») du modèle GPT‑6 Cyber montre directement comment il réfléchit au respect des limites :

GPT‑6 Cyber aide déjà les équipes de sécurité à trouver des vulnérabilités, à valider leur impact et à développer des correctifs. Des clients l’utilisent sur de vastes bases de code, pour développer des exploits sur la durée et pour réaliser des audits de sécurité :

Nous nous sommes également appuyés sur GPT‑6 Cyber pour sécuriser nos propres systèmes. Il a été l’un des principaux modèles utilisés dans les travaux que nous avons récemment présentés sur le renforcement de l’infrastructure servant à entraîner les modèles de pointe⁠. Lors de campagnes contrôlées de red teaming, des agents utilisant GPT‑6 Cyber et d’autres modèles OpenAI ont enchaîné des vulnérabilités pour s’échapper de microVM et exécuter du code sur les hôtes sous-jacents. Nous avons utilisé ces résultats pour corriger des logiciels, renforcer les restrictions réseau et signaler des problèmes aux responsables de maintenance et aux fournisseurs.

Nos chercheurs en vulnérabilités utilisent aussi GPT‑6 Cyber pour trouver et valider à grande échelle des vulnérabilités dans des logiciels open source. Ces travaux ont révélé des failles jusque-là inconnues dans des logiciels examinés à la loupe depuis des années :

• Découverte de 81 vulnérabilités inédites dans Firefox. GPT‑6 Cyber peut convenir à des workflows autonomes visant à trouver des vulnérabilités et à proposer des correctifs de qualité à grande échelle. Lors d’une campagne de recherche en vulnérabilités, GPT‑6 Cyber a produit des preuves et des tests reproductibles pour 81 vulnérabilités inédites classées par Mozilla comme étant de gravité élevée, et a montré que 30 autres problèmes connus étaient plus graves qu’indiqué précédemment. Nous avons communiqué ces résultats à Mozilla, accompagnés de propositions de correctifs pour aider ses ingénieurs à élaborer des solutions. Mozilla a soutenu ces travaux et a commencé à intégrer des correctifs peu après avoir reçu les rapports⁠(ouverture dans une nouvelle fenêtre).

• Développement d’exploits pour 948 vulnérabilités du noyau Linux⁠. GPT‑6 Cyber a reproduit 1 724 vulnérabilités et développé des exploits fonctionnels pour 948 d’entre elles, soit plus de cinq fois les 166 exploitées par GPT‑5.6 Sol avec le même harnais de recherche. Conformément aux recommandations de la communauté Linux, nous avons signalé 304 problèmes critiques aux responsables de maintenance, accompagnés de propositions de correctifs, et nous travaillons à faire corriger les autres vulnérabilités.

• Démonstration de vulnérabilités critiques d’exécution de code à distance (RCE). Nous avons récemment évoqué une vulnérabilité critique dans Brotli⁠(ouverture dans une nouvelle fenêtre), une bibliothèque de compression utilisée par Node.js et d’autres logiciels. Nos chercheurs en sécurité ont utilisé GPT‑6 Cyber avec d’autres modèles OpenAI pour développer et valider des exploits montrant comment cette faille pouvait permettre l’exécution de code à distance dans les applications qui en dépendent.

À mesure que les modèles deviennent plus performants et découvrent davantage de vulnérabilités de sécurité, nous observons aussi davantage de tentatives de les utiliser à des fins nuisibles. Ces tentatives incluent celles de cyberacteurs malveillants et de groupes adverses cherchant à distiller nos modèles. Nous avons donc associé les capacités accrues de GPT‑6 Cyber à des garde-fous renforcés pour détecter et interrompre les usages abusifs, et maintenir les actions du modèle dans le cadre des intentions et des autorisations de l’utilisateur.

Nous avons ajouté et renforcé ces protections à l’occasion de la sortie de GPT‑6 Cyber (consultez la fiche système⁠(ouverture dans une nouvelle fenêtre) pour en savoir plus) :

• Surveillance des défauts d’alignement propres à la cybersécurité. Nous vérifions que les actions correspondent aux autorisations de l’utilisateur, tout en tenant compte du développement et des tests légitimes d’exploits.

• Surveillance ciblée des menaces émergentes. Par exemple, lors de la divulgation coordonnée de vulnérabilités critiques de PHP, nous avons mis en place une surveillance ciblée des tentatives de développement d’exploits contre des serveurs PHP en production, tout en continuant à aider les défenseurs à corriger les systèmes concernés.

• Private Safety Processing (PSP). Nous utilisons des contrôles automatisés pour examiner les interactions connexes et détecter les usages abusifs. La conservation standard reste le réglage par défaut. Les clients de l’API qui utilisent la politique de non-conservation des données⁠(ouverture dans une nouvelle fenêtre) doivent généralement utiliser PSP⁠(ouverture dans une nouvelle fenêtre), qui examine des enregistrements chiffrés conservés pendant 30 jours dans le stockage du client, sans exposer les prompts ni les réponses au personnel d’OpenAI.

• Protection contre le vol d’identifiants. Par défaut, nous exigeons une liste d’adresses IP autorisées pour l’accès à l’API Daybreak Red, limitant les requêtes aux réseaux approuvés, avec de rares exceptions. Nous surveillons également les identifiants pour détecter toute compromission.

• Exécution en bac à sable et supervision. Comme pour les modèles précédents, nous recommandons l’exécution en bac à sable⁠(ouverture dans une nouvelle fenêtre), l’examen des actions⁠(ouverture dans une nouvelle fenêtre) et la supervision humaine pour les workflows à haut risque.

• Protections contre l’assistance cyber à haut risque. Nous utilisons de nouveaux contrôles pour bloquer les activités à haut risque impliquant des systèmes critiques (voir ci-dessous pour en savoir plus).

La protection des infrastructures critiques a été un enjeu central dans la conception des garde-fous et des modalités d’accès à GPT‑6 Cyber. Cela inclut les centrales électriques, les installations de traitement de l’eau, ainsi que les technologies opérationnelles et les systèmes de contrôle industriel (OT/ICS) sur lesquels elles reposent. Nous voulons à la fois donner aux équipes qui défendent ces systèmes accès à nos modèles les plus performants et renforcer nos garde-fous pour prévenir les attaques non autorisées.

Premièrement, pour équiper ces défenseurs, notre programme de subventions Daybreak for Frontline Defenders⁠, doté d’un milliard de dollars, finance l’accès des équipes aux ressources limitées, comme les organismes publics et les fournisseurs de services essentiels. Nous créons aussi un nouveau groupe au sein de Daybreak Red (Daybreak Red pour les infrastructures critiques) destiné aux défenseurs approuvés de ces infrastructures. Il leur donne l’autorisation de mener des tests sur des systèmes critiques, tout en maintenant les garde-fous contre les défauts d’alignement du modèle.

Deuxièmement, pour prévenir les usages abusifs des plateformes Daybreak Red et Blue, nous avons affiné les garde-fous contre l’assistance et le développement de capacités susceptibles de compromettre les contrôles industriels ou les systèmes essentiels à la sûreté, de perturber des équipements ou de provoquer des blessures graves, des dommages matériels catastrophiques ou des interruptions de service mettant des vies en danger. Le graphique ci-dessous compare les taux de signalement des garde-fous dans quatre configurations d’accès, avant et après les récentes mises à jour que nous déployons avec GPT‑6 Cyber.

Des taux de blocage plus élevés ne sont pas toujours préférables. Nombre des techniques de cette évaluation sont aussi essentielles aux travaux légitimes de sécurité : comprendre les systèmes, trouver les vulnérabilités et vérifier que les correctifs résistent aux attaques. Nous évaluons donc ces taux en tenant compte de l’aide apportée à la recherche et à la correction légitimes, plutôt que de viser 100 %.

Pour évaluer la façon dont nos modèles peuvent aider à défendre les infrastructures critiques, nous avons collaboré avec Dragos, fournisseur mondial de cybersécurité pour les technologies opérationnelles étendues (xOT). Dragos a mené des évaluations avec les modèles Daybreak Red, plus permissifs en matière de cybersécurité, dans un environnement de laboratoire contrôlé. Ces évaluations portaient sur des requêtes allant de la découverte du réseau et de l’énumération des actifs à la reconnaissance ciblée, à l’exfiltration de données sensibles et à des actions non autorisées, potentiellement dangereuses, sur des équipements.

Nous avons utilisé les retours de Dragos pour affiner nos garde-fous, afin de bloquer l’assistance nuisible sans restreindre inutilement les tests autorisés. Consultez leur rapport final⁠(ouverture dans une nouvelle fenêtre) pour plus de détails sur les évaluations. Nous cherchons aussi à étendre nos partenariats avec d’autres prestataires de sécurité offensive et des équipes violettes pour les tests d’intrusion et le red teaming avec l’IA, ainsi qu’avec des entreprises du secteur de l’énergie, d’autres opérateurs d’infrastructures critiques et des laboratoires nationaux pour évaluer l’efficacité et les garde-fous de nos modèles dans la défense industrielle. Nous avons également accru nos investissements dans les enquêtes sur les menaces pour détecter les utilisations des modèles impliquant des systèmes OT/ICS. Nous continuerons d’affiner nos garde-fous grâce aux retours de nos partenaires et de la communauté de la sécurité, notamment aux signalements via /feedback lorsque les garde-fous laissent passer une activité nuisible ou interrompent un travail légitime.

GPT‑6 Cyber est initialement disponible via l’API et Codex pour un groupe restreint de clients Daybreak Red approuvés. Nous élargirons bientôt cet accès progressivement à tous les clients Daybreak Red, et nous mettons également GPT‑5.6 Cyber à la disposition de l’ensemble de ces clients. Nous élargissons aussi l’accès alpha à Daybreak Blue pour GPT‑6 Astra à davantage d’organisations et de chercheurs indépendants en sécurité ; faites-nous savoir⁠(ouverture dans une nouvelle fenêtre) si cela vous intéresse.

Les nouveaux utilisateurs et organisations peuvent demander à rejoindre Daybreak⁠ et se lancer avec nos compétences, produits et partenaires en cybersécurité⁠.