OpenAI

Gérer les risques de l’IA de pointe : de l’entraînement au déploiement

18 novembre 2026 · Sûreté

Les capacités des modèles de pointe progressent rapidement. Notre aptitude à les comprendre, à les aligner et à les sécuriser doit garder une longueur d’avance. Nous adaptons le rythme de développement et de diffusion de nos modèles, quitte à suspendre l’entraînement interne⁠(ouverture dans une nouvelle fenêtre) ou à différer la sortie de modèles comme GPT‑6.1 Astra s’il nous faut plus de temps pour satisfaire à nos normes de sûreté. Nous avons instauré de nouveaux processus, tels que les dossiers de sûreté, et exigeons des preuves plus solides de comportements alignés tout au long de l’entraînement. Ces exigences ralentissent la sortie des modèles, mais renforcent notre confiance pour avancer en toute sûreté.

Depuis l’incident Hugging Face⁠ de juillet, nous avons renforcé les garde-fous et les exigences d’alignement qui encadrent l’entraînement, les tests et le déploiement des modèles. Cet article explique comment nous évaluons et gérons les risques à chaque étape, des environnements d’entraînement fortement isolés en bac à sable au déploiement de Codex sur votre ordinateur. À chaque étape, nous évaluons les modèles et les garde-fous, et exigeons un examen de sûreté avant de passer à la suivante.

Une défense en profondeur sur tout le cycle de vie du modèle

Nous appliquons une défense en profondeur à plusieurs couches de protection, pour moins dépendre d’un seul garde-fou. Si une couche échoue, les autres aident à prévenir les préjudices, à limiter les conséquences ou à nous alerter pour que nous intervenions.

Nous organisons nos protections en quatre couches :

L’efficacité de la surveillance dépend de la capacité du modèle à être surveillé : la fiabilité avec laquelle les systèmes de surveillance détectent les erreurs ou comportements dangereux à partir de son raisonnement et de ses actions. Par exemple, un modèle qui exprime son intention de tricher dans son raisonnement détaillé (« chain-of-thought ») (CoT) est plus facile à surveiller qu’un modèle qui omet cette information. Nous évaluons cette capacité pendant l’entraînement et avant le déploiement, améliorons les méthodes pour la mesurer⁠(ouverture dans une nouvelle fenêtre) et étudions ce qui l’influence⁠(ouverture dans une nouvelle fenêtre).

L’incident Hugging Face a montré pourquoi le bac à sable ne suffit pas à lui seul pour confiner des modèles très performants. Nous surveillons désormais les modèles de pointe dans la plupart des contextes de déploiement internes et externes, dont tous les déploiements internes utilisant des outils.

Le rôle de chaque couche évolue au fil des trois étapes de développement et de déploiement des modèles :

  • Recherche : nous entraînons, testons et utilisons les modèles dans des environnements en bac à sable.

  • Déploiement interne : les employés d’OpenAI utilisent les modèles pour des tâches concrètes.

  • Déploiement externe : les modèles deviennent accessibles à un plus large éventail de personnes et d’organisations.

Nous nous appuyons sur différentes couches selon les étapes. Pendant l’entraînement, quand l’alignement est moins certain, nous comptons davantage sur le bac à sable et la surveillance. À mesure que les modèles obtiennent des accès plus larges lors du déploiement, l’alignement et les contrôles au niveau du système deviennent plus importants. À chaque étape, nous évaluons si les protections combinées suffisent au regard des capacités et des accès du modèle. Nos conclusions peuvent être examinées avec notre Groupe consultatif sur la sûreté, sous la supervision du Comité de sûreté et de sécurité du conseil d’administration d’OpenAI Foundation.

Pendant la recherche : confiner les modèles en bac à sable

Durant la recherche, nous évaluons les modèles pour renforcer notre confiance dans leurs propriétés d’alignement. Comme l’alignement ne suffit pas encore à prévenir les préjudices, nous nous appuyons fortement sur la sécurité et le bac à sable pour restreindre leurs accès et leurs actions.

Vu l’état actuel de la recherche sur l’alignement, des systèmes de surveillance et de la sécurité de l’infrastructure Internet, nous estimons responsable d’entraîner les modèles de pointe sans accès direct à Internet. Après l’incident Hugging Face, nous avons profondément restructuré nos systèmes de recherche internes pour confiner les modèles à l’aide :

  • de bacs à sable qui restreignent les privilèges du modèle

  • de machines virtuelles qui isolent davantage la charge de travail de l’ordinateur sous-jacent

  • de périmètres réseau et cloud qui coupent l’ensemble du cluster d’Internet

Nous mettons continuellement ce système à l’épreuve : des équipes de nos modèles les plus performants tentent d’accéder directement à Internet, de franchir les limites de sécurité ou de communiquer avec des agents dont ils sont censés être isolés. Cela permet de tester si le confinement résiste aux capacités des modèles qu’il doit contraindre.

Comme défense supplémentaire, nous surveillons toutes les inférences des modèles de pointe pour détecter tout contournement de nos invariants de sécurité. Si la surveillance détecte un accès du modèle à Internet, nous alertons nos équipes de sécurité et suspendons automatiquement la charge de travail.

La surveillance constitue un filet de sécurité essentiel lorsque le confinement échoue. Dans un récent rapport sur un défaut d’alignement, nous avons indiqué que les systèmes de surveillance avaient détecté un modèle de recherche interne exploitant une mauvaise configuration DNS⁠(ouverture dans une nouvelle fenêtre) pour obtenir un accès limité à Internet. Nous avons suspendu l’entraînement et l’évaluation de nos modèles les plus performants du 20 septembre au 1er octobre, le temps d’enquêter et de corriger la faille de sécurité.

Pour intervenir vite et de manière fiable, nous avons créé Control Room⁠, un système central qui suit les charges de travail de recherche et arrête toute nouvelle sortie du modèle sous 35 secondes après réception d’une consigne d’arrêt. Ces contrôles sont appliqués directement dans l’infrastructure d’inférence : chaque charge de travail de recherche n’a donc pas besoin de son propre mécanisme d’arrêt. Pour les charges de recherche sur les modèles de pointe, ils arrêtent aussi les sorties du modèle si Control Room devient indisponible.

Le red teaming et la surveillance se complètent. Nous ne pouvons garantir qu’un bac à sable est impénétrable, mais le red teaming aide à évaluer l’effort qu’un modèle devrait fournir pour s’en échapper. Plus cet effort est important, plus les systèmes de surveillance ont l’occasion de détecter et d’arrêter le modèle.

Nous imposons des contrôles rigoureux de sécurité et de surveillance durant la recherche pour plusieurs raisons :

  • Les modèles sont encore en cours d’évaluation. Certains n’ont pas encore achevé l’entraînement à la sûreté, les audits d’alignement et les examens requis pour leur mise à disposition du public.

  • Les environnements de recherche de pointe peuvent amplifier les risques. Certaines tâches de recherche nécessitent des dispositifs plus ambitieux, qui rendent le modèle plus persistant ou plus performant que lors d’un déploiement externe classique (par exemple, une équipe de 10 000 agents a été nécessaire pour résoudre le problème de Navier–Stokes).

  • L’entraînement se déroule à grande échelle, avec moins de supervision humaine directe. Contrairement à une session Codex classique, nos charges de travail d’entraînement impliquent de nombreuses actions des modèles, sans qu’une personne suive chaque interaction.

Déploiement interne : tester l’alignement, surveiller étroitement le comportement

Avant une diffusion à grande échelle, les employés passent de l’usage des modèles de pointe en bac à sable pour la recherche à un usage interne hors bac à sable, par exemple en accédant au modèle dans ChatGPT. Cela nous aide à mieux comprendre comment les modèles se comportent en conditions réelles⁠(ouverture dans une nouvelle fenêtre) et éclaire nos décisions de déploiement.

Durant cette phase, nous donnons au modèle un accès élargi à Internet, à notre Slack, à notre base de code et à notre infrastructure interne. Cela modifie considérablement le risque, car les actions du modèle affectent désormais directement les systèmes qui servent à développer et à faire fonctionner OpenAI. Lors du déploiement interne, nous devons davantage compter sur l’alignement du modèle, les garde-fous du système et la surveillance que sur les contrôles de sécurité.

Avant de déployer un modèle de pointe hors du bac à sable, nous devons tester son alignement et sa capacité à être surveillé⁠(ouverture dans une nouvelle fenêtre). Notre série d’évaluations d’alignement teste des modes de défaillance précis (comme le contournement des restrictions de sûreté et de sécurité) et mesure les propensions générales (par exemple en rééchantillonnant des trajectoires Codex internes pour y rechercher des défauts d’alignement). Pour en savoir plus sur nos évaluations d’alignement et de capacité à être surveillé, consultez la dernière fiche système de GPT‑6 Astra⁠(ouverture dans une nouvelle fenêtre).

Comme en production, nous ajoutons une couche de défense avec des classificateurs au niveau du système, conçus pour prévenir les préjudices liés aux modèles de pointe, tels que les cyberabus et la création d’armes biologiques. Nous imposons aussi généralement Auto-Review⁠(ouverture dans une nouvelle fenêtre) aux employés utilisant Codex : cet outil évalue les actions potentiellement risquées et les soumet à l’utilisateur.

Enfin, lors du déploiement interne, nous surveillons chaque inférence des modèles de pointe pour détecter les comportements non alignés. Le modèle disposant désormais de privilèges étendus et d’un accès aux informations et systèmes internes, il devient crucial de détecter les risques tels que l’exfiltration de données ou l’envoi de données sensibles vers une destination non autorisée. La surveillance nous aide aussi à étudier de nouvelles formes de défauts d’alignement⁠(ouverture dans une nouvelle fenêtre).

Déploiement externe : prévenir les usages abusifs et les défauts d’alignement à grande échelle

Le déploiement public expose les modèles à bien plus d’utilisateurs, de tâches et d’environnements, ce qui accroît l’ampleur et la diversité des risques. À ce stade, nous devons aussi nous protéger contre des acteurs potentiellement malveillants qui demandent délibérément au modèle de causer des préjudices.

Avant leur diffusion publique, les modèles et les garde-fous du système doivent satisfaire à nos exigences de sûreté pour le déploiement externe. Nous les évaluons en procédant ainsi :

  • Réaliser une série plus large d’évaluations d’alignement et de sûreté. Pour nos modèles de pointe, cela comprend de nouvelles séries de tests adaptatifs⁠ avec nos outils internes de red teaming automatisé, afin de mettre leur robustesse à l’épreuve. Nous publions les résultats de nos évaluations des capacités et de la sûreté dans nos fiches système⁠(ouverture dans une nouvelle fenêtre).

  • Pour nos modèles les plus performants, nous menons aussi des tests avec des tiers afin de mettre à l’épreuve nos garde-fous contre les usages abusifs et l’alignement sous-jacent de nos modèles.

  • Examiner les alertes de surveillance issues du déploiement interne pour suivre toute évolution de l’alignement sous-jacent du modèle de base.

Outre nos garde-fous « synchrones » (entraînement à la sûreté et classificateurs du système, par exemple), les déploiements externes s’appuient aussi sur des mesures d’application des règles et des enquêtes hors ligne. Ces équipes associent des agents d’enquête à grande échelle à des examens humains pour détecter et identifier les menaces potentielles : cyberabus, création d’armes biologiques, distillation⁠ ou défauts d’alignement du modèle lui-même. L’application des règles hors ligne aide notamment à recueillir des informations sur plusieurs comptes pour obtenir une vue plus complète d’une menace potentielle.

Les programmes d’accès de confiance, tels que Daybreak et Rosalind⁠, ajoutent une couche de sécurité et accélèrent le travail des défenseurs et des chercheurs légitimes, tout en limitant l’accès des attaquants potentiels.

Réponse aux incidents et divulgation

Lorsque nous constatons une défaillance dans une couche de sûreté, qu’elle ait causé ou non un préjudice, nous voulons rapidement enquêter, établir les priorités et, si possible et pertinent, la divulguer publiquement. Notre politique de signalement des défauts d’alignement⁠ permet à tout employé de signaler un incident en vue d’une divulgation publique. Ces signalements font l’objet d’une enquête. En cas de désaccord sur leur divulgation externe, la décision est soumise à notre Groupe consultatif sur la sûreté. Outre les signalements des employés, nous recherchons activement les incidents de défaut d’alignement pour les traiter et partager nos conclusions.

Consultez nos rapports sur les défauts d’alignement ici⁠(ouverture dans une nouvelle fenêtre).

​


​

Ce travail repose sur les progrès de la recherche et la rigueur opérationnelle : bien configurer les contrôles, tester leurs interactions et réagir résolument en cas de défaillance. Un service réseau mal configuré ou un arrêt automatique défaillant peut compromettre des protections pourtant solides.

À mesure que les modèles acquièrent de nouvelles capacités, nous devrons continuer à remettre en question les hypothèses qui fondent nos garde-fous et à les améliorer si nécessaire. Les enseignements de la recherche, de l’usage interne et du déploiement public doivent guider l’entraînement, l’évaluation et le déploiement des prochains modèles.

Nous continuerons à partager nos conclusions via les fiches système, les rapports d’incident, les rapports de risques⁠(ouverture dans une nouvelle fenêtre) du déploiement interne et les évaluations externes⁠, pour permettre l’examen critique de notre approche et de ses limites. Si ces éléments ne satisfont pas à nos exigences de sûreté, nous suspendrons à nouveau l’entraînement ou différerons la diffusion jusqu’à ce qu’elles soient remplies.

Recherches et ressources connexes

Définir les normes de sûreté

Définir et évaluer les comportements alignés

Confiner les modèles et améliorer les garde-fous

Réponse aux incidents et divulgation

Progrès de la recherche et applications