Gérer les risques de l’IA de pointe : de l’entraînement au déploiement
18 novembre 2026 · Sûreté
Les capacités des modèles de pointe progressent rapidement. Notre aptitude à les comprendre, à les aligner et à les sécuriser doit garder une longueur d’avance. Nous adaptons le rythme de développement et de diffusion de nos modèles, quitte à suspendre l’entraînement interne(ouverture dans une nouvelle fenêtre) ou à différer la sortie de modèles comme GPT‑6.1 Astra s’il nous faut plus de temps pour satisfaire à nos normes de sûreté. Nous avons instauré de nouveaux processus, tels que les dossiers de sûreté, et exigeons des preuves plus solides de comportements alignés tout au long de l’entraînement. Ces exigences ralentissent la sortie des modèles, mais renforcent notre confiance pour avancer en toute sûreté.
Depuis l’incident Hugging Face de juillet, nous avons renforcé les garde-fous et les exigences d’alignement qui encadrent l’entraînement, les tests et le déploiement des modèles. Cet article explique comment nous évaluons et gérons les risques à chaque étape, des environnements d’entraînement fortement isolés en bac à sable au déploiement de Codex sur votre ordinateur. À chaque étape, nous évaluons les modèles et les garde-fous, et exigeons un examen de sûreté avant de passer à la suivante.
Nous appliquons une défense en profondeur à plusieurs couches de protection, pour moins dépendre d’un seul garde-fou. Si une couche échoue, les autres aident à prévenir les préjudices, à limiter les conséquences ou à nous alerter pour que nous intervenions.
Nous organisons nos protections en quatre couches :
L’efficacité de la surveillance dépend de la capacité du modèle à être surveillé : la fiabilité avec laquelle les systèmes de surveillance détectent les erreurs ou comportements dangereux à partir de son raisonnement et de ses actions. Par exemple, un modèle qui exprime son intention de tricher dans son raisonnement détaillé (« chain-of-thought ») (CoT) est plus facile à surveiller qu’un modèle qui omet cette information. Nous évaluons cette capacité pendant l’entraînement et avant le déploiement, améliorons les méthodes pour la mesurer(ouverture dans une nouvelle fenêtre) et étudions ce qui l’influence(ouverture dans une nouvelle fenêtre).
L’incident Hugging Face a montré pourquoi le bac à sable ne suffit pas à lui seul pour confiner des modèles très performants. Nous surveillons désormais les modèles de pointe dans la plupart des contextes de déploiement internes et externes, dont tous les déploiements internes utilisant des outils.
Le rôle de chaque couche évolue au fil des trois étapes de développement et de déploiement des modèles :
Recherche : nous entraînons, testons et utilisons les modèles dans des environnements en bac à sable.
Déploiement interne : les employés d’OpenAI utilisent les modèles pour des tâches concrètes.
Déploiement externe : les modèles deviennent accessibles à un plus large éventail de personnes et d’organisations.
Nous nous appuyons sur différentes couches selon les étapes. Pendant l’entraînement, quand l’alignement est moins certain, nous comptons davantage sur le bac à sable et la surveillance. À mesure que les modèles obtiennent des accès plus larges lors du déploiement, l’alignement et les contrôles au niveau du système deviennent plus importants. À chaque étape, nous évaluons si les protections combinées suffisent au regard des capacités et des accès du modèle. Nos conclusions peuvent être examinées avec notre Groupe consultatif sur la sûreté, sous la supervision du Comité de sûreté et de sécurité du conseil d’administration d’OpenAI Foundation.
Durant la recherche, nous évaluons les modèles pour renforcer notre confiance dans leurs propriétés d’alignement. Comme l’alignement ne suffit pas encore à prévenir les préjudices, nous nous appuyons fortement sur la sécurité et le bac à sable pour restreindre leurs accès et leurs actions.
Vu l’état actuel de la recherche sur l’alignement, des systèmes de surveillance et de la sécurité de l’infrastructure Internet, nous estimons responsable d’entraîner les modèles de pointe sans accès direct à Internet. Après l’incident Hugging Face, nous avons profondément restructuré nos systèmes de recherche internes pour confiner les modèles à l’aide :
de bacs à sable qui restreignent les privilèges du modèle
de machines virtuelles qui isolent davantage la charge de travail de l’ordinateur sous-jacent
de périmètres réseau et cloud qui coupent l’ensemble du cluster d’Internet
Nous mettons continuellement ce système à l’épreuve : des équipes de nos modèles les plus performants tentent d’accéder directement à Internet, de franchir les limites de sécurité ou de communiquer avec des agents dont ils sont censés être isolés. Cela permet de tester si le confinement résiste aux capacités des modèles qu’il doit contraindre.
Comme défense supplémentaire, nous surveillons toutes les inférences des modèles de pointe pour détecter tout contournement de nos invariants de sécurité. Si la surveillance détecte un accès du modèle à Internet, nous alertons nos équipes de sécurité et suspendons automatiquement la charge de travail.
La surveillance constitue un filet de sécurité essentiel lorsque le confinement échoue. Dans un récent rapport sur un défaut d’alignement, nous avons indiqué que les systèmes de surveillance avaient détecté un modèle de recherche interne exploitant une mauvaise configuration DNS(ouverture dans une nouvelle fenêtre) pour obtenir un accès limité à Internet. Nous avons suspendu l’entraînement et l’évaluation de nos modèles les plus performants du 20 septembre au 1er octobre, le temps d’enquêter et de corriger la faille de sécurité.
Pour intervenir vite et de manière fiable, nous avons créé Control Room, un système central qui suit les charges de travail de recherche et arrête toute nouvelle sortie du modèle sous 35 secondes après réception d’une consigne d’arrêt. Ces contrôles sont appliqués directement dans l’infrastructure d’inférence : chaque charge de travail de recherche n’a donc pas besoin de son propre mécanisme d’arrêt. Pour les charges de recherche sur les modèles de pointe, ils arrêtent aussi les sorties du modèle si Control Room devient indisponible.
Le red teaming et la surveillance se complètent. Nous ne pouvons garantir qu’un bac à sable est impénétrable, mais le red teaming aide à évaluer l’effort qu’un modèle devrait fournir pour s’en échapper. Plus cet effort est important, plus les systèmes de surveillance ont l’occasion de détecter et d’arrêter le modèle.
Nous imposons des contrôles rigoureux de sécurité et de surveillance durant la recherche pour plusieurs raisons :
Les modèles sont encore en cours d’évaluation. Certains n’ont pas encore achevé l’entraînement à la sûreté, les audits d’alignement et les examens requis pour leur mise à disposition du public.
Les environnements de recherche de pointe peuvent amplifier les risques. Certaines tâches de recherche nécessitent des dispositifs plus ambitieux, qui rendent le modèle plus persistant ou plus performant que lors d’un déploiement externe classique (par exemple, une équipe de 10 000 agents a été nécessaire pour résoudre le problème de Navier–Stokes).
L’entraînement se déroule à grande échelle, avec moins de supervision humaine directe. Contrairement à une session Codex classique, nos charges de travail d’entraînement impliquent de nombreuses actions des modèles, sans qu’une personne suive chaque interaction.
Avant une diffusion à grande échelle, les employés passent de l’usage des modèles de pointe en bac à sable pour la recherche à un usage interne hors bac à sable, par exemple en accédant au modèle dans ChatGPT. Cela nous aide à mieux comprendre comment les modèles se comportent en conditions réelles(ouverture dans une nouvelle fenêtre) et éclaire nos décisions de déploiement.
Durant cette phase, nous donnons au modèle un accès élargi à Internet, à notre Slack, à notre base de code et à notre infrastructure interne. Cela modifie considérablement le risque, car les actions du modèle affectent désormais directement les systèmes qui servent à développer et à faire fonctionner OpenAI. Lors du déploiement interne, nous devons davantage compter sur l’alignement du modèle, les garde-fous du système et la surveillance que sur les contrôles de sécurité.
Avant de déployer un modèle de pointe hors du bac à sable, nous devons tester son alignement et sa capacité à être surveillé(ouverture dans une nouvelle fenêtre). Notre série d’évaluations d’alignement teste des modes de défaillance précis (comme le contournement des restrictions de sûreté et de sécurité) et mesure les propensions générales (par exemple en rééchantillonnant des trajectoires Codex internes pour y rechercher des défauts d’alignement). Pour en savoir plus sur nos évaluations d’alignement et de capacité à être surveillé, consultez la dernière fiche système de GPT‑6 Astra(ouverture dans une nouvelle fenêtre).
Comme en production, nous ajoutons une couche de défense avec des classificateurs au niveau du système, conçus pour prévenir les préjudices liés aux modèles de pointe, tels que les cyberabus et la création d’armes biologiques. Nous imposons aussi généralement Auto-Review(ouverture dans une nouvelle fenêtre) aux employés utilisant Codex : cet outil évalue les actions potentiellement risquées et les soumet à l’utilisateur.
Enfin, lors du déploiement interne, nous surveillons chaque inférence des modèles de pointe pour détecter les comportements non alignés. Le modèle disposant désormais de privilèges étendus et d’un accès aux informations et systèmes internes, il devient crucial de détecter les risques tels que l’exfiltration de données ou l’envoi de données sensibles vers une destination non autorisée. La surveillance nous aide aussi à étudier de nouvelles formes de défauts d’alignement(ouverture dans une nouvelle fenêtre).
Le déploiement public expose les modèles à bien plus d’utilisateurs, de tâches et d’environnements, ce qui accroît l’ampleur et la diversité des risques. À ce stade, nous devons aussi nous protéger contre des acteurs potentiellement malveillants qui demandent délibérément au modèle de causer des préjudices.
Avant leur diffusion publique, les modèles et les garde-fous du système doivent satisfaire à nos exigences de sûreté pour le déploiement externe. Nous les évaluons en procédant ainsi :
Réaliser une série plus large d’évaluations d’alignement et de sûreté. Pour nos modèles de pointe, cela comprend de nouvelles séries de tests adaptatifs avec nos outils internes de red teaming automatisé, afin de mettre leur robustesse à l’épreuve. Nous publions les résultats de nos évaluations des capacités et de la sûreté dans nos fiches système(ouverture dans une nouvelle fenêtre).
Pour nos modèles les plus performants, nous menons aussi des tests avec des tiers afin de mettre à l’épreuve nos garde-fous contre les usages abusifs et l’alignement sous-jacent de nos modèles.
Examiner les alertes de surveillance issues du déploiement interne pour suivre toute évolution de l’alignement sous-jacent du modèle de base.
Outre nos garde-fous « synchrones » (entraînement à la sûreté et classificateurs du système, par exemple), les déploiements externes s’appuient aussi sur des mesures d’application des règles et des enquêtes hors ligne. Ces équipes associent des agents d’enquête à grande échelle à des examens humains pour détecter et identifier les menaces potentielles : cyberabus, création d’armes biologiques, distillation ou défauts d’alignement du modèle lui-même. L’application des règles hors ligne aide notamment à recueillir des informations sur plusieurs comptes pour obtenir une vue plus complète d’une menace potentielle.
Les programmes d’accès de confiance, tels que Daybreak et Rosalind, ajoutent une couche de sécurité et accélèrent le travail des défenseurs et des chercheurs légitimes, tout en limitant l’accès des attaquants potentiels.
Lorsque nous constatons une défaillance dans une couche de sûreté, qu’elle ait causé ou non un préjudice, nous voulons rapidement enquêter, établir les priorités et, si possible et pertinent, la divulguer publiquement. Notre politique de signalement des défauts d’alignement permet à tout employé de signaler un incident en vue d’une divulgation publique. Ces signalements font l’objet d’une enquête. En cas de désaccord sur leur divulgation externe, la décision est soumise à notre Groupe consultatif sur la sûreté. Outre les signalements des employés, nous recherchons activement les incidents de défaut d’alignement pour les traiter et partager nos conclusions.
Consultez nos rapports sur les défauts d’alignement ici(ouverture dans une nouvelle fenêtre).
Ce travail repose sur les progrès de la recherche et la rigueur opérationnelle : bien configurer les contrôles, tester leurs interactions et réagir résolument en cas de défaillance. Un service réseau mal configuré ou un arrêt automatique défaillant peut compromettre des protections pourtant solides.
À mesure que les modèles acquièrent de nouvelles capacités, nous devrons continuer à remettre en question les hypothèses qui fondent nos garde-fous et à les améliorer si nécessaire. Les enseignements de la recherche, de l’usage interne et du déploiement public doivent guider l’entraînement, l’évaluation et le déploiement des prochains modèles.
Nous continuerons à partager nos conclusions via les fiches système, les rapports d’incident, les rapports de risques(ouverture dans une nouvelle fenêtre) du déploiement interne et les évaluations externes, pour permettre l’examen critique de notre approche et de ses limites. Si ces éléments ne satisfont pas à nos exigences de sûreté, nous suspendrons à nouveau l’entraînement ou différerons la diffusion jusqu’à ce qu’elles soient remplies.
Définir les normes de sûreté
Adapter le rythme de développement des modèles à l’ère des capacités cybercritiques — Comment nous avons ralenti l’entraînement des modèles de pointe tout en renforçant le confinement, en étendant la surveillance et en exigeant des preuves d’alignement plus solides.
Vers des dossiers de sûreté pour l’entraînement de l’IA de pointe — Premières lignes directrices pour des arguments de sûreté fondés sur des preuves, couvrant les garde-fous techniques, les pratiques opérationnelles et les enquêtes sur les défauts d’alignement.
Priorités et principes pour des évaluations efficaces par des tiers — Notre approche proposée pour un examen indépendant des dossiers de sûreté, des garde-fous, des évaluations et du comportement des modèles.
Synthèse périodique des évaluations des risques catastrophiques liés à l’usage interne(ouverture dans une nouvelle fenêtre) — Notre rapport public de juin à septembre 2026 décrit les déploiements internes des modèles de pointe, leurs risques évalués et les évolutions des garde-fous et de la gouvernance.
Définir et évaluer les comportements alignés
Une spécification du modèle actualisée pour une IA plus performante et bénéfique — Comment nous avons actualisé la spécification du modèle autour de cinq valeurs clés pour guider le jugement, le comportement et le respect de la supervision humaine par les modèles.
Écarts de comportement entre évaluation et production dans la sûreté des agents, et rôle de la conscience d’être évalué(ouverture dans une nouvelle fenêtre) — Étude des écarts entre résultats d’évaluation de sûreté et comportement en production, et de l’effet de l’interprétation des objectifs d’évaluation par les modèles sur leurs performances.
Au-delà de g-mean² : des métriques complémentaires pour la capacité à être surveillé(ouverture dans une nouvelle fenêtre) — De nouvelles métriques pour comparer cette capacité et estimer le risque résiduel dans des systèmes simulés où la surveillance rejette des sorties des modèles.
Fiche système de GPT‑6 Astra(ouverture dans une nouvelle fenêtre) — Évaluations détaillées des capacités, de la sûreté, de l’alignement et de la capacité à être surveillé d’Astra, avec ses garde-fous de déploiement et ses limites.
Confiner les modèles et améliorer les garde-fous
Sécuriser l’environnement d’entraînement de nos modèles de pointe — Comment nous avons renforcé l’isolation, créé des environnements de recherche hors ligne et testé les limites du confinement avec nos modèles les plus performants.
Entraîner des classificateurs d’activation pour la sûreté et l’alignement(ouverture dans une nouvelle fenêtre) — Comment les classificateurs utilisent les activations internes des modèles pour détecter des comportements potentiellement nuisibles et interrompre les réponses ou les appels d’outils.
Examen automatique des actions des agents sans supervision humaine synchrone(ouverture dans une nouvelle fenêtre) — Comment un agent d’examen distinct évalue les actions qui franchissent les limites du bac à sable, permettant aux agents de programmation de travailler en autonomie tout en bloquant les actions potentiellement nuisibles ou non autorisées.
GPT‑Red : exploiter l’auto-amélioration pour renforcer la robustesse — Comment nous entraînons des agents de red teaming automatisé par auto-jeu pour découvrir des vulnérabilités et renforcer la robustesse des modèles face aux injections de prompt.
Control Room — Comment nous suivons les charges de travail dans notre infrastructure de recherche et arrêtons rapidement les sorties des modèles lorsque des enjeux de sûreté ou de sécurité exigent une intervention.
Réponse aux incidents et divulgation
Comment nous détectons les défauts d’alignement des modèles de pointe — Notre surveillance associe sondes d’activation, examen par des modèles, enquête automatisée et intervention humaine pour détecter et étudier les comportements préoccupants.
L’incident Hugging Face et la voie à suivre — Nos conclusions sur l’incident Hugging Face et les changements qu’il a entraînés en matière de sécurité, de surveillance et d’alignement.
Un agent a utilisé le DNS pour accéder à un chatbot externe(ouverture dans une nouvelle fenêtre) — Comment un modèle de recherche a contourné les restrictions Internet grâce à un filtrage DNS insuffisant, comment la surveillance l’a détecté et quels contrôles ont été ajoutés.
Déjouer une campagne coordonnée de distillation de modèles — Comment nous avons enquêté sur des tentatives d’extraction du raisonnement protégé des modèles et les avons déjouées par des mesures sur les comptes, des contrôles techniques et une coordination avec nos partenaires.
Notre cadre de signalement des défauts d’alignement des modèles — Notre processus de suivi, d’enquête et de divulgation des comportements préoccupants, y compris lorsque leurs causes ou leur portée restent incertaines.
Rapports et avis sur les défauts d’alignement(ouverture dans une nouvelle fenêtre) — Notre recueil d’incidents et d’avis publiés montre comment les défauts d’alignement surviennent et où les garde-fous réussissent ou échouent.
Progrès de la recherche et applications
Accélérer la recherche : une perspective interne à OpenAI — Premiers constats sur la transformation de la recherche chez OpenAI par les agents de programmation : usage croissant, tâches plus complexes et effets sur l’expérimentation.
Sur le problème du prix du millénaire de Navier–Stokes — Une preuve mathématique produite par un système d’IA interne, avec une formalisation Lean, illustre les capacités des déploiements de recherche à grande échelle.
Daybreak — Notre programme de cybersécurité fournit à des défenseurs agréés des capacités d’IA avancées, des outils de sécurité et un accompagnement pour repérer les vulnérabilités et renforcer les défenses.
Présentation de GPT‑Rosalind pour la recherche en sciences de la vie — Un modèle spécialisé en biologie, découverte de médicaments et médecine translationnelle, accessible aux organisations éligibles via un programme d’accès de confiance.






