L’incident OpenAI-Hugging Face(ouverture dans une nouvelle fenêtre) a marqué un tournant pour la cybersécurité, car il a donné un aperçu de l’évolution prochaine des capacités d’un acteur malveillant type. J’ai échangé avec de nombreuses organisations ces dernières semaines, et un constat s’impose : elles savent qu’elles doivent améliorer en profondeur leurs pratiques de cybersécurité à une vitesse sans précédent. Dans cet article, je présenterai ce que nous faisons pour défendre OpenAI, les mesures concrètes que d’autres organisations peuvent prendre dès aujourd’hui et les raisons pour lesquelles il faut agir maintenant.
Les modèles d’IA développés dans le monde entier peuvent de plus en plus automatiser certaines parties de cyberattaques réelles, ce qui facilite la découverte et l’exploitation de failles de sécurité anciennes, qu’il s’agisse de bugs profondément enfouis dans des logiciels écrits par des humains ou d’autorisations oubliées. Ces mêmes capacités d’IA offrent aux défenseurs de nouveaux moyens de repérer et de corriger ces faiblesses, mais ils doivent agir maintenant. Si les entreprises agissent résolument — notamment en renforçant leurs fondamentaux et en décuplant les capacités de leurs équipes grâce à l’IA — nous pouvons rendre Internet plus sûr que jamais.
Lors de l’incident OpenAI-Hugging Face, un collectif agentique a réussi à pénétrer de manière autonome non seulement l’infrastructure de recherche d’OpenAI, mais aussi l’infrastructure de production d’une autre entreprise, en enchaînant des vulnérabilités allant de failles de sécurité jusque-là inconnues à l’utilisation d’identifiants de comptes utilisateurs divulgués sur Internet. Il est de plus en plus évident que la dette technique(ouverture dans une nouvelle fenêtre) de chaque entreprise dissimule d’importantes failles, que les défenseurs doivent repérer et corriger avant les attaquants.
Afin de favoriser les défenseurs face aux attaquants, nous avons commencé cette année à réserver nos capacités cyber aux défenseurs de confiance. Depuis, plusieurs entreprises ont publié des modèles à poids ouverts dotés de capacités cyber qui n’ont que quelques mois de retard sur les modèles de pointe. Le plus récent de ces modèles semble devoir être publié(ouverture dans une nouvelle fenêtre) fin août et devrait vraisemblablement accélérer considérablement l’évolution des menaces.
Si les attaquants assistés par l’IA pourront bientôt repérer des failles anciennes dans de nombreux systèmes existants, l’IA permettra aussi aux défenseurs de repérer, de hiérarchiser et de corriger ces mêmes failles bien plus facilement. La sécurité reste un jeu du chat et de la souris, mais l’IA pourrait en modifier l’équilibre économique(ouverture dans une nouvelle fenêtre) de manière à favoriser fondamentalement les défenseurs. Par exemple, nous commençons à entraîner nos modèles spécifiquement pour écrire du code d’une sécurité surhumaine. Nos modèles sont également remarquables pour réaliser des démonstrations mathématiques, qui peuvent servir à vérifier formellement la sécurité des logiciels d’une manière qui s’est révélée hors de portée des humains.
Après l’incident OpenAI-Hugging Face, j’ai demandé à ChatGPT Work, utilisant GPT‑5.6 Sol accessible au public, d’évaluer la sécurité de gregbrockman.com(ouverture dans une nouvelle fenêtre). Il s’agit d’un simple site statique, hébergé sur AWS avec Cloudflare comme point d’entrée ; je pensais donc que sa surface d’attaque serait très limitée.
En une quinzaine de minutes, il a découvert 13 problèmes, dont beaucoup ne sont probablement pas exploitables isolément, mais que j’imagine pouvoir être enchaînés à d’autres vulnérabilités avec des conséquences importantes. Je n’avais pas configuré mes enregistrements DNS pour empêcher des attaquants d’envoyer des e-mails en usurpant mon identité ; mon site utilisait une version non sécurisée de jQuery ; Cloudflare transmettait les requêtes à AWS via une connexion HTTP non chiffrée.
J’ai ensuite demandé à ChatGPT Work de corriger ces problèmes, ce qu’il a fait en une heure. Il a ouvert le panneau de configuration de Cloudflare dans mon navigateur, puis a cliqué sur de nombreux boutons pour configurer correctement le DNS, TLS et les paramètres de sécurité avancés ; il a entièrement supprimé jQuery du site ; il m’a fait migrer d’AWS vers Cloudflare Pages ; il a lancé un déploiement progressif de DMARC(ouverture dans une nouvelle fenêtre).
Et il ne s’agissait que de mon site personnel. Ce petit exemple montre comment nos modèles actuels peuvent agir comme des cyberprotecteurs : ils repèrent la longue traîne de problèmes qu’un humain n’aurait ni le temps ni l’expertise de traiter — beaucoup des paramètres corrigés me sont vaguement familiers, mais je n’aurais pas su spontanément comment les configurer — puis les corrigent au moyen d’un plan de déploiement adapté.
L’incident Hugging Face a montré que nous avions sous-estimé les capacités cyber réelles de nos modèles d’IA. Nous renforçons donc nos exigences de sécurité, ce qui rend encore plus urgents nos travaux existants sur la sécurité ainsi que notre sécurité interne.
Je présente ici quelques éléments de notre approche actuelle pour sécuriser OpenAI, dans l’espoir qu’ils soient utiles à d’autres organisations. Pour protéger OpenAI, nous investissons largement à la fois dans les contrôles fondamentaux — en appliquant correctement les principes de base — et dans le renforcement de nos défenses grâce à une intelligence de pointe. Cette stratégie repose sur quatre grands piliers.
Premièrement, nous utilisons nos modèles pour sécuriser notre code. Codex, notamment notre plugin de sécurité, valide les modifications du code, repère les vulnérabilités et aide les développeurs à corriger les problèmes avant leur déploiement. Notre but n’est pas de produire davantage de constats de sécurité nécessitant une validation humaine ; l’objectif est de détecter les véritables vulnérabilités avant leur mise en production et de raccourcir le délai entre la découverte d’un problème et le déploiement sécurisé d’un correctif. Alors que nous continuons à entraîner nos modèles à produire du code toujours plus sûr, notre objectif est d’éliminer certaines catégories de vulnérabilités logicielles dans le code nouvellement écrit.
Deuxièmement, nous mettons nos modèles au service de la défense continue de notre infrastructure. Aujourd’hui, la quasi-totalité de nos alertes de sécurité initiales sont triées par l’IA avant toute intervention humaine. Cela réduit les tâches fastidieuses des défenseurs, améliore les délais de réponse et permet aux humains de consacrer leur temps aux domaines où leurs compétences sont les plus utiles : discernement, jugement et expertise appliquée. Nous relions de plus en plus ces détections à des réponses automatisées aux limites bien définies, tout en laissant aux humains la responsabilité des décisions ayant le plus d’impact. L’objectif est de pouvoir détecter les problèmes de sécurité et y répondre à la vitesse d’une machine.
Troisièmement, nous utilisons une intelligence de pointe pour recenser, sonder et repérer en continu les voies d’attaque potentielles. En repérant les vulnérabilités, les erreurs de configuration, les identités dotées de privilèges excessifs ou les périmètres de confiance involontaires, nous pouvons rapidement identifier et combler ces lacunes avant que des attaquants ne les exploitent. Cela nous permet d’évaluer, de surveiller et de tester en continu nos invariants de sécurité — les propriétés de sécurité que nous tenons pour vraies — dans l’ensemble de nos produits, infrastructures et systèmes.
Enfin, nous investissons massivement dans les fondamentaux à grande échelle. Nous continuons à investir dans une architecture et des contrôles sécurisés, à adopter des stratégies telles que la défense en profondeur et le moindre privilège, et à concevoir des systèmes dans lesquels plusieurs contrôles indépendants doivent échouer simultanément pour qu’un événement catastrophique se produise. Les contrôles de sécurité classiques, tels que l’isolement du réseau, le renforcement des charges de travail, la surveillance, ainsi que l’application et le déploiement sécurisés de correctifs, seront plus importants que jamais dans l’avenir façonné par l’IA.
Le temps presse et les défenseurs devront suivre les étapes ci-dessous à toute vitesse. Je mentionnerai ci-dessous des technologies OpenAI, mais l’écosystème compte aussi de nombreux concurrents à évaluer. L’outil choisi importe moins que le fait de mettre dès maintenant une IA performante entre les mains de vos défenseurs.
- Obtenez l’engagement et l’adhésion de votre organisation. Les risques de sécurité évoluent rapidement : veillez à ce que vos équipes de sécurité et d’ingénierie disposent du soutien, des partenariats et des ressources nécessaires pour y faire face sans délai. Organisez avec vos équipes des exercices sur table pour simuler la manière dont ces attaques pourraient se manifester dans votre organisation et la façon dont vous y répondriez.
- Donnez un agent à votre équipe de sécurité. Commencez à utiliser Codex, le plugin Codex Security(ouverture dans une nouvelle fenêtre) ou un autre outil performant de programmation agentique et de sécurité. Accordez-lui un accès approuvé aux bases de code, aux configurations d’infrastructure et à la documentation technique que votre équipe de sécurité doit évaluer. N’attendez pas un déploiement à l’échelle de l’entreprise pour commencer par vos systèmes les plus prioritaires.
- Dotez cet agent d’une expertise en sécurité. Commencez par des compétences(ouverture dans une nouvelle fenêtre) prises en charge par la communauté, comprenant des workflows d’analyse statique, de revue de code axée sur la sécurité, d’analyse des variantes de vulnérabilités, d’évaluation des risques liés à la chaîne d’approvisionnement logicielle et d’autres workflows de sécurité. Créez ensuite vos propres compétences en fonction de l’architecture, des normes de sécurité, des modèles de menace et des procédures de votre organisation.
- Évaluez immédiatement la sécurité de vos propres systèmes. Évaluez en priorité les services exposés à Internet, les flux d’authentification, l’infrastructure en tant que code, les pipelines de déploiement et les systèmes traitant des informations sensibles. Élargissez vos analyses à mesure que votre équipe gagne en confiance.
- Traitez votre liste de vulnérabilités existante. Transmettez à votre agent les résultats des analyseurs de code, les alertes sur les dépendances, les tickets de sécurité, les rapports de primes aux bugs et les évaluations antérieures. Demandez-lui de trier ces résultats, de distinguer les problèmes exploitables du bruit, de repérer les vulnérabilités connexes ailleurs dans la base de code et de recommander les corrections prioritaires.
- Intégrez directement la revue de sécurité à votre processus de développement. Utilisez des agents pour examiner les modifications du code avant leur fusion et exécuter des contrôles de sécurité dans l’intégration continue. Recherchez les erreurs d’authentification, les contournements du contrôle d’accès, les identifiants exposés, les dépendances dangereuses, les réglages par défaut non sécurisés, les modifications élargissant l’accès aux systèmes de production et les autres vulnérabilités.
- Demandez à l’agent de vous aider à corriger ce qu’il trouve. Pour les problèmes validés, demandez-lui de produire et de vérifier un correctif ciblé, d’écrire un test de régression et de confirmer que la vulnérabilité ne peut plus être reproduite. Conservez une revue humaine pour les modifications lourdes de conséquences, mais éliminez les délais inutiles entre l’identification d’un véritable problème et la présentation d’un correctif sûr à un ingénieur.
- Automatisez progressivement le tri des détections. Ne commencez pas par tenter de créer un centre opérationnel de sécurité autonome. Commencez par lancer une analyse de sécurité en lecture seule sur un dépôt, ou demandez à un agent d’examiner des alertes déjà résolues avec un accès en lecture seule à vos journaux existants. Laissez-le résumer les éléments probants et recommander une décision, tandis qu’un humain prend chacune des décisions. À mesure que la confiance augmente, passez à l’analyse consultative des demandes de fusion, puis au tri des alertes en temps réel et enfin à la clôture automatique de faux positifs étroitement définis.
- Préparez une capacité d’investigation forensique assistée par l’IA avant d’en avoir besoin. Demandez l’accès de confiance pour le domaine cyber(ouverture dans une nouvelle fenêtre) et faites approuver votre équipe pour utiliser GPT‑Daybreak‑Blue dans le cadre d’activités défensives autorisées, notamment la réponse aux incidents, l’ingénierie de la détection et l’analyse des logiciels malveillants. Entraînez-vous à utiliser cette capacité pour analyser les journaux, la télémétrie et les alertes de sécurité.
- Expérimentez, organisez des semaines de hack et itérez rapidement. Nous devrons créer toutes sortes de nouveaux outils, modifier nos méthodes de travail et faire progresser tout le monde pour nous adapter au monde vers lequel nous allons. Encouragez vos collaborateurs à expérimenter, programmez une semaine de hack pour créer de nouvelles capacités et concentrez-vous sur l’itération rapide de boucles automatisant de petites parties du problème. Des progrès incrémentaux rapides produisent des résultats défensifs cumulatifs, et vous pourrez progressivement accroître l’autonomie à mesure que votre équipe gagnera en confiance.
Aucune entreprise ne peut y parvenir seule. Nous demandons aux laboratoires d’IA, aux fournisseurs de solutions de sécurité, aux entreprises et aux responsables de maintenance de partager les constats validés, les correctifs et les procédures pratiques, afin que la découverte d’une organisation puisse renforcer tout l’écosystème.
La fenêtre des défenseurs est ouverte maintenant. Dans les mois à venir, chaque organisation devra commencer à automatiser largement son programme de sécurité pour rester protégée, et la communauté de la sécurité doit définir sans attendre les outils, les pratiques et les procédures qui accroîtront la puissance des défenseurs plus rapidement que celle des attaquants, tandis que l’IA continue de progresser. Cela exigera un effort colossal et sans précédent, mais si nous nous mobilisons ensemble, nous pourrons bâtir un monde plus sûr qu’on ne pouvait jusqu’ici l’imaginer.
