L’incident OpenAI-Hugging Face(s'ouvre dans une nouvelle fenêtre) a marqué un tournant pour la cybersécurité, car il a donné un aperçu de l’évolution prochaine des capacités d’un acteur malveillant typique. J’ai discuté avec de nombreuses organisations au cours des dernières semaines, et un thème ressort clairement : elles savent qu’elles doivent rehausser fondamentalement leurs pratiques de cybersécurité à une vitesse sans précédent. Dans cet article, je présenterai ce que nous faisons pour défendre OpenAI, les mesures concrètes que d’autres organisations peuvent prendre aujourd’hui et les raisons pour lesquelles il faut agir maintenant.
Les modèles d’IA développés partout dans le monde peuvent de plus en plus automatiser certaines parties de cyberattaques réelles, ce qui facilite la découverte et l’exploitation de lacunes de sécurité de longue date, qu’il s’agisse de bogues profondément enfouis dans des logiciels écrits par des humains ou d’autorisations oubliées. Ces mêmes capacités d’IA offrent aux défenseurs de nouvelles façons de repérer et de corriger ces faiblesses, mais ils doivent agir maintenant. Si les entreprises agissent résolument — notamment en renforçant leurs fondements et en décuplant les capacités de leurs équipes grâce à l’IA —, nous pouvons rendre Internet plus sécuritaire que jamais.
Lors de l’incident OpenAI-Hugging Face, un collectif agentique a réussi à pénétrer de façon autonome non seulement l’infrastructure de recherche d’OpenAI, mais aussi l’infrastructure de production d’une autre entreprise, en enchaînant des vulnérabilités allant de failles de sécurité jusque-là inconnues à l’utilisation d’identifiants de comptes d’utilisateurs divulgués sur Internet. Il devient de plus en plus évident que la dette technique(s'ouvre dans une nouvelle fenêtre) de chaque entreprise dissimule d’importantes failles, que les défenseurs doivent repérer et corriger avant les attaquants.
Pour donner l’avantage aux défenseurs par rapport aux attaquants, nous avons commencé plus tôt cette année à réserver nos capacités cybernétiques aux défenseurs de confiance. Depuis, diverses entreprises ont lancé des modèles à poids ouverts dotés de capacités cybernétiques qui n’accusent que quelques mois de retard sur les modèles de pointe. Le plus récent de ces modèles semble devoir être lancé(s'ouvre dans une nouvelle fenêtre) à la fin d’août et devrait vraisemblablement accélérer considérablement l’évolution des menaces.
Si les attaquants assistés par l’IA pourront bientôt repérer des failles de longue date dans de nombreux systèmes existants, l’IA permettra aussi aux défenseurs de les trouver, de les prioriser et de les corriger beaucoup plus facilement. La sécurité demeure un jeu du chat et de la souris, mais l’IA pourrait en modifier les paramètres économiques(s'ouvre dans une nouvelle fenêtre) de manière à avantager fondamentalement les défenseurs. Par exemple, nous commençons à entraîner nos modèles expressément pour qu’ils écrivent du code d’une sécurité surhumaine. Nos modèles sont également incroyablement doués pour les démonstrations mathématiques, qui peuvent servir à vérifier formellement la sécurité des logiciels d’une manière qui s’est révélée impossible à maîtriser pour les humains.
Après l’incident OpenAI-Hugging Face, j’ai demandé à ChatGPT Work, qui utilisait le modèle GPT‑5.6 Sol accessible au public, d’évaluer la sécurité de gregbrockman.com(s'ouvre dans une nouvelle fenêtre). C’est un simple site statique hébergé sur AWS, avec Cloudflare comme passerelle, alors je pensais que sa surface d’attaque serait assez limitée.
En environ 15 minutes, il a découvert 13 problèmes, dont bon nombre ne sont probablement pas exploitables individuellement — mais je pouvais imaginer qu’ils soient enchaînés à d’autres vulnérabilités avec des conséquences importantes. Je n’avais pas configuré mes enregistrements DNS pour empêcher des attaquants de falsifier des courriels en mon nom; mon site utilisait une version non sécuritaire de jQuery; Cloudflare transmettait les requêtes à AWS par une connexion HTTP non chiffrée.
J’ai ensuite demandé à ChatGPT Work de corriger ces problèmes, ce qu’il a fait en une heure. Il a ouvert le panneau de configuration de Cloudflare dans mon navigateur, puis a cliqué sur de nombreux boutons pour configurer correctement le DNS, le protocole TLS et les paramètres de sécurité avancés; il a entièrement retiré jQuery du site; il a migré mon site d’AWS vers Cloudflare Pages; il a amorcé un déploiement progressif de DMARC(s'ouvre dans une nouvelle fenêtre).
Et il ne s’agissait que de mon site Web personnel. Voilà un petit exemple de la façon dont nos modèles actuels peuvent agir comme cybergardiens : ils repèrent la longue traîne de problèmes qu’un humain n’aurait ni le temps ni l’expertise de traiter — bon nombre des paramètres corrigés me sont vaguement familiers, mais je n’aurais pas su spontanément les configurer correctement —, puis les corrigent au moyen d’un plan de déploiement adéquatement calibré.
L’incident Hugging Face a montré que nous avions sous-estimé les capacités cybernétiques réelles de nos modèles d’IA. Nous renforçons donc nos exigences de sécurité, ce qui rend encore plus urgents nos travaux actuels de recherche sur la sécurité et de sécurité interne.
Je présente ici quelques éléments de notre approche actuelle pour sécuriser OpenAI, dans l’espoir qu’ils soient utiles à d’autres organisations. Pour protéger OpenAI, nous investissons considérablement à la fois dans les contrôles fondamentaux — bien faire l’essentiel — et dans le renforcement de nos défenses grâce à une intelligence de pointe. Cette stratégie repose sur quatre grands piliers.
Premièrement, nous utilisons nos modèles pour aider à sécuriser notre code. Codex, y compris notre plugiciel de sécurité, valide les modifications du code, repère les vulnérabilités et aide les développeurs à corriger les problèmes avant le déploiement. Le simple fait de produire davantage de constats de sécurité nécessitant une validation humaine va à l’encontre du but recherché; l’objectif est de repérer les véritables vulnérabilités avant la mise en production et de raccourcir le parcours entre leur découverte et le déploiement sécuritaire d’un correctif. Alors que nous continuons d’entraîner nos modèles à produire du code toujours plus sécuritaire, notre objectif est d’éliminer certaines catégories de vulnérabilités logicielles dans le nouveau code.
Deuxièmement, nous mettons nos modèles à contribution pour défendre continuellement notre infrastructure. Aujourd’hui, la quasi-totalité de nos alertes de sécurité initiales sont triées par l’IA avant l’intervention humaine. Cela réduit le travail fastidieux des défenseurs, améliore les délais d’intervention et permet aux humains de consacrer leur temps là où leurs compétences ont le plus d’impact : le discernement, le jugement et l’expertise appliquée. Nous relions de plus en plus ces détections à des interventions automatisées aux limites définies, tout en laissant aux humains la responsabilité des décisions ayant le plus d’incidence. L’objectif est de pouvoir détecter les problèmes de sécurité et y répondre à la vitesse d’une machine.
Troisièmement, nous utilisons une intelligence de pointe pour recenser, sonder et repérer continuellement les voies d’attaque potentielles. En repérant les vulnérabilités, les erreurs de configuration, les identités dotées de privilèges excessifs ou les frontières de confiance involontaires, nous pouvons rapidement combler ces lacunes avant que des attaquants puissent les exploiter. Cela nous permet d’évaluer, de surveiller et de tester continuellement nos invariants de sécurité — les propriétés de sécurité que nous tenons pour vraies — dans l’ensemble de nos produits, de notre infrastructure et de nos systèmes.
Enfin, nous investissons massivement dans les fondements à grande échelle. Nous continuons d’investir dans une architecture et des contrôles sécuritaires, d’adopter des stratégies comme la défense en profondeur et le moindre privilège, et de concevoir des systèmes où plusieurs contrôles indépendants doivent échouer simultanément pour qu’une catastrophe survienne. Les contrôles de sécurité classiques, comme l’isolation du réseau, le renforcement des charges de travail, la surveillance ainsi que l’application sécuritaire des correctifs et des déploiements, seront plus importants que jamais dans l’avenir façonné par l’IA.
Le temps presse, et les défenseurs devront suivre les étapes ci-dessous à vitesse grand V. Je mentionnerai ci-dessous des technologies d’OpenAI, mais l’écosystème compte aussi de nombreux concurrents à évaluer. L’outil précis importe moins que le fait de mettre dès maintenant une IA performante entre les mains de vos défenseurs.
- Obtenez l’engagement et l’adhésion de l’organisation. Les risques de sécurité évoluent rapidement : veillez à ce que vos équipes de sécurité et d’ingénierie disposent du soutien, des partenariats et des ressources nécessaires pour y faire face rapidement. Organisez des exercices sur table avec vos équipes pour simuler la façon dont ces attaques pourraient se manifester dans votre organisation et la manière dont vous y répondriez.
- Donnez un agent à votre équipe de sécurité. Commencez à utiliser Codex, le plugiciel Codex Security(s'ouvre dans une nouvelle fenêtre) ou un autre outil performant de programmation agentique et de sécurité. Accordez-lui un accès approuvé aux bases de code, aux configurations d’infrastructure et à la documentation technique que votre équipe de sécurité doit évaluer. N’attendez pas un déploiement à l’échelle de l’entreprise pour commencer par vos systèmes les plus prioritaires.
- Dotez cet agent d’une expertise en sécurité. Commencez par des compétences(s'ouvre dans une nouvelle fenêtre) soutenues par la communauté, qui comprennent des flux de travail pour l’analyse statique, la revue de code axée sur la sécurité, l’analyse des variantes de vulnérabilités, les risques liés à la chaîne d’approvisionnement logicielle et d’autres tâches de sécurité. Créez ensuite vos propres compétences en fonction de l’architecture, des normes de sécurité, des modèles de menaces et des guides d’intervention de votre organisation.
- Évaluez immédiatement la sécurité de vos propres systèmes. Priorisez d’abord l’évaluation des services exposés à Internet, des flux d’authentification, de l’infrastructure sous forme de code, des pipelines de déploiement et des systèmes qui traitent des renseignements sensibles. Élargissez vos analyses à mesure que votre équipe gagne en confiance.
- Résorbez votre arriéré de vulnérabilités. Transmettez à votre agent les résultats des analyseurs de code, les alertes de dépendances, les billets de sécurité, les rapports de programmes de primes aux bogues et les évaluations antérieures. Demandez-lui de trier ces résultats, de distinguer les problèmes exploitables du bruit, de repérer les vulnérabilités connexes ailleurs dans la base de code et de recommander les correctifs à prioriser.
- Intégrez directement la revue de sécurité à votre processus de développement. Utilisez des agents pour examiner les modifications du code avant leur fusion et exécutez des vérifications de sécurité dans le système d’intégration continue. Recherchez les erreurs d’authentification, les contournements des contrôles d’accès, les identifiants exposés, les dépendances dangereuses, les paramètres par défaut non sécuritaires, les modifications qui élargissent l’accès aux systèmes de production et les autres vulnérabilités.
- Demandez à l’agent de corriger ce qu’il trouve. Pour les problèmes validés, demandez-lui de produire et de vérifier un correctif ciblé, d’écrire un test de régression et de confirmer que la vulnérabilité ne peut plus être reproduite. Conservez la revue humaine pour les modifications importantes, mais éliminez le délai inutile entre le repérage d’un véritable problème et la présentation d’un correctif sécuritaire à un ingénieur.
- Automatisez progressivement le tri des détections. Ne commencez pas par tenter de créer un centre autonome des opérations de sécurité. Commencez par exécuter une analyse de sécurité en lecture seule sur un dépôt, ou demandez à un agent d’examiner des alertes déjà résolues en utilisant un accès en lecture seule à vos journaux existants. Laissez-le résumer les éléments probants et recommander une décision, tandis qu’un humain prend chacune des décisions. À mesure que la confiance augmente, passez à l’analyse consultative des pull requests, puis au tri des alertes en temps réel et enfin à la fermeture automatique de faux positifs précisément définis.
- Préparez une capacité d’enquête judiciaire assistée par l’IA avant d’en avoir besoin. Demandez l’accès de confiance pour la cybersécurité(s'ouvre dans une nouvelle fenêtre) et faites approuver votre équipe afin qu’elle puisse utiliser GPT‑Daybreak‑Blue pour des travaux défensifs autorisés, notamment l’intervention en cas d’incident, l’ingénierie de la détection et l’analyse de logiciels malveillants. Exercez-vous à utiliser cette capacité pour analyser les journaux, les données de télémétrie et les alertes de sécurité.
- Expérimentez, organisez des semaines de piratage et procédez rapidement par itérations. Nous devrons créer toutes sortes de nouveaux outils, modifier nos méthodes de travail et rehausser les compétences de tout le monde pour nous adapter au monde vers lequel nous nous dirigeons. Encouragez votre personnel à mener des expériences, planifiez une semaine de piratage pour créer de nouvelles capacités et concentrez-vous sur l’amélioration rapide de boucles qui automatisent de petites parties du problème. Des progrès graduels et rapides produisent des résultats défensifs cumulatifs, et vous pouvez accroître progressivement l’autonomie à mesure que votre équipe gagne en confiance.
Aucune entreprise ne peut y arriver seule. Nous demandons aux laboratoires d’IA, aux fournisseurs de solutions de sécurité, aux entreprises et aux responsables de la maintenance de communiquer leurs constats validés, leurs correctifs et leurs guides d’intervention pratiques, afin que la découverte d’une organisation puisse renforcer tout l’écosystème.
La fenêtre des défenseurs est ouverte maintenant. Au cours des prochains mois, chaque organisation devra commencer à automatiser considérablement son programme de sécurité pour demeurer en sécurité, et la communauté de la sécurité devra définir d’urgence les outils, les pratiques et les guides d’intervention qui accroîtront la puissance des défenseurs plus rapidement que celle des attaquants, à mesure que l’IA progressera. Cela exigera un effort colossal et sans précédent, mais si nous nous mobilisons ensemble, nous pourrons bâtir un monde plus sécuritaire que tout ce que nous pouvions imaginer auparavant.
