Risques de l’IA de pointe : de l’entraînement au déploiement
18 novembre 2026 · Sûreté
Les capacités des modèles de pointe progressent rapidement. Notre aptitude à les comprendre, à les aligner et à les sécuriser doit garder une longueur d’avance. Nous ajustons le rythme de développement et de diffusion de nos modèles, allant jusqu’à suspendre l’entraînement interne(s'ouvre dans une nouvelle fenêtre) ou à retarder la sortie de modèles comme GPT‑6.1 Astra si nos normes de sûreté exigent plus de temps. Nous avons instauré des processus comme les dossiers de sûreté et exigeons des preuves plus solides de comportement aligné tout au long de l’entraînement. Ces exigences ralentissent la sortie des modèles, mais renforcent notre confiance pour avancer en toute sûreté.
Depuis l’incident Hugging Face en juillet, nous avons renforcé les protections et les exigences d’alignement pour l’entraînement, les tests et le déploiement des modèles. Cet article explique comment nous évaluons et gérons les risques à chaque étape, des environnements d’entraînement très isolés en bac à sable au déploiement de Codex sur votre ordinateur. Nous évaluons modèles et protections à chaque étape, avec un examen de sûreté obligatoire avant de passer à la suivante.
Notre défense en profondeur comporte plusieurs couches de protection qui réduisent la dépendance à une seule mesure. Si une couche échoue, les autres aident à prévenir les préjudices, à limiter les conséquences ou à nous alerter pour que nous intervenions.
Nos protections s’articulent autour de quatre couches :
Une surveillance efficace dépend de la surveillabilité du modèle : la fiabilité avec laquelle les systèmes de surveillance détectent les erreurs ou comportements dangereux à partir de son raisonnement et de ses actions. Par exemple, un modèle qui exprime son intention de tricher dans son raisonnement détaillé (« chain-of-thought ») (CoT) est plus facile à surveiller qu’un modèle qui omet cette information. Nous évaluons la surveillabilité pendant l’entraînement et avant le déploiement, améliorons les méthodes pour la mesurer(s'ouvre dans une nouvelle fenêtre) et étudions ce qui l’influence(s'ouvre dans une nouvelle fenêtre).
L’incident Hugging Face a montré pourquoi le bac à sable seul ne suffit pas à confiner des modèles très performants. Nous surveillons désormais les modèles de pointe dans la plupart des déploiements internes et externes, dont tous les déploiements internes utilisant des outils.
Le rôle de chaque couche évolue au fil de trois étapes de développement et de déploiement :
Recherche : nous entraînons, testons et utilisons les modèles en bac à sable.
Déploiement interne : le personnel d’OpenAI utilise les modèles pour des tâches concrètes.
Déploiement externe : les modèles deviennent accessibles à un public et à des organisations plus larges.
Nous nous appuyons sur différentes couches selon l’étape. Pendant l’entraînement, lorsque l’alignement est moins certain, nous comptons davantage sur le bac à sable et la surveillance. À mesure que les accès des modèles s’élargissent lors du déploiement, l’alignement et les contrôles au niveau du système deviennent plus importants. À chaque étape, nous évaluons si les protections combinées suffisent au regard des capacités et des accès du modèle. Nos conclusions peuvent être examinées avec notre groupe consultatif sur la sûreté, sous la supervision du comité de sûreté et de sécurité du conseil d’administration d’OpenAI Foundation.
Durant la recherche, nous évaluons les modèles pour renforcer notre confiance dans leurs propriétés d’alignement. Comme l’alignement ne suffit pas encore à prévenir les préjudices, nous comptons beaucoup sur la sécurité et le bac à sable pour limiter leurs accès et leurs actions.
Vu l’état actuel de la recherche sur l’alignement, des systèmes de surveillance et de la sécurité d’Internet, nous estimons responsable d’entraîner les modèles de pointe sans accès direct à Internet. Après l’incident Hugging Face, nous avons profondément restructuré nos systèmes de recherche internes pour confiner les modèles au moyen de :
bacs à sable qui limitent les privilèges du modèle
machines virtuelles qui isolent davantage la charge de travail de l’ordinateur sous-jacent
périmètres réseau et infonuagiques qui coupent toute la grappe d’Internet
Nous testons continuellement ce système en équipe rouge : des équipes de nos modèles les plus puissants tentent d’accéder à Internet, de franchir les limites de sécurité ou de communiquer avec des agents dont ils doivent être isolés. Cela nous aide à vérifier si le confinement résiste aux capacités des modèles qu’il doit contraindre.
Comme défense supplémentaire, nous surveillons toutes les inférences des modèles de pointe pour détecter tout contournement de nos invariants de sécurité. Si la surveillance détecte que le modèle a accédé à Internet, nous alertons nos équipes de sécurité et suspendons automatiquement la charge de travail.
La surveillance constitue un filet de sécurité essentiel en cas d’échec du confinement. Dans un récent rapport sur un défaut d’alignement, nous avons indiqué que la surveillance avait détecté un modèle de recherche interne exploitant une mauvaise configuration DNS(s'ouvre dans une nouvelle fenêtre) pour obtenir un accès limité à Internet. Nous avons suspendu l’entraînement et l’évaluation de nos modèles les plus performants du 20 septembre au 1er octobre pour enquêter et corriger la faille de sécurité.
Pour intervenir vite et de façon fiable, nous avons créé Control Room, un système central qui suit les charges de recherche et arrête la génération du modèle dans les 35 secondes suivant une consigne d’arrêt. Ces contrôles s’appliquent directement dans l’infrastructure d’inférence, sans exiger de mécanisme d’arrêt propre à chaque charge de recherche. Pour les charges de recherche sur les modèles de pointe, ils arrêtent aussi la génération si Control Room devient indisponible.
Les tests en équipe rouge et la surveillance se complètent. Nous ne pouvons garantir qu’un bac à sable est impénétrable, mais les tests en équipe rouge nous aident à évaluer l’effort qu’un modèle devrait fournir pour en sortir. Plus cet effort est grand, plus la surveillance a de chances de le détecter et de l’arrêter.
Nous imposons des contrôles rigoureux de sécurité et de surveillance dès la recherche pour plusieurs raisons :
Les modèles sont encore en cours d’évaluation. Certains n’ont pas encore terminé l’entraînement à la sûreté, les audits d’alignement et les examens requis avant leur diffusion publique.
Les contextes de recherche de pointe peuvent amplifier les risques. Certaines tâches de recherche exigent des configurations plus ambitieuses, rendant le modèle plus persévérant ou performant que lors d’un déploiement externe typique (par exemple, une équipe de 10 000 agents a été nécessaire pour résoudre le problème de Navier–Stokes).
L’entraînement se déroule à grande échelle, avec moins de supervision humaine directe. Contrairement à une session Codex typique, nos charges d’entraînement impliquent un grand nombre d’actions des modèles, sans qu’une personne suive chaque interaction.
Avant la diffusion à grande échelle, le personnel passe de la recherche en bac à sable avec des modèles de pointe à leur utilisation interne hors bac à sable, par exemple en accédant au modèle dans ChatGPT. Cela nous aide à mieux comprendre comment les modèles se comportent en situation réelle(s'ouvre dans une nouvelle fenêtre) et éclaire nos décisions de déploiement.
Durant cette phase, nous donnons au modèle accès à Internet au sens large, à notre Slack, à notre base de code et à notre infrastructure interne. Le risque change considérablement, car les actions du modèle ont désormais un effet direct sur les systèmes qui servent à développer et à faire fonctionner OpenAI. Lors du déploiement interne, nous devons compter davantage sur l’alignement du modèle, les protections du système et la surveillance que sur les contrôles de sécurité.
Avant de déployer un modèle de pointe hors du bac à sable, il faut tester son alignement et sa surveillabilité(s'ouvre dans une nouvelle fenêtre). Notre série d’évaluations d’alignement teste des modes de défaillance précis (comme le contournement des restrictions de sûreté et de sécurité) et mesure les tendances générales (par exemple, en rééchantillonnant les trajectoires internes de Codex pour y détecter des défauts d’alignement). Pour en savoir plus sur nos évaluations d’alignement et de surveillabilité, consultez la dernière fiche système de GPT‑6 Astra(s'ouvre dans une nouvelle fenêtre).
Comme en production, nous ajoutons une couche de défense grâce à des classificateurs au niveau du système, conçus pour prévenir les préjudices liés aux modèles de pointe, comme les cyberabus et la création d’armes biologiques. Nous exigeons aussi généralement que le personnel utilisant Codex active Auto-Review(s'ouvre dans une nouvelle fenêtre), qui évalue les actions potentiellement risquées et les soumet à l’utilisateur.
Enfin, lors du déploiement interne, nous surveillons chaque inférence des modèles de pointe pour détecter les comportements mal alignés. Le modèle ayant désormais des privilèges étendus et accès aux informations et aux systèmes internes, il devient crucial de détecter des risques comme l’exfiltration de données ou l’envoi de données sensibles à une destination non autorisée. La surveillance nous aide aussi à enquêter sur de nouvelles formes de défauts d’alignement(s'ouvre dans une nouvelle fenêtre).
Le déploiement public expose les modèles à bien plus d’utilisateurs, de tâches et d’environnements, ce qui accroît l’ampleur et la diversité des risques. À ce stade, nous devons aussi nous protéger contre les acteurs potentiellement malveillants qui demandent délibérément au modèle de causer du tort.
Avant leur diffusion publique, les modèles et les protections du système doivent satisfaire à nos exigences de sûreté pour le déploiement externe. Nous les évaluons ainsi :
Réaliser une série élargie d’évaluations d’alignement et de sûreté. Pour nos modèles de pointe, cela comprend de nouvelles séries de tests adaptatifs menés par notre équipe rouge automatisée interne pour mettre leur robustesse à l’épreuve. Nous publions les résultats de nos évaluations des capacités et de la sûreté dans nos fiches système(s'ouvre dans une nouvelle fenêtre).
Pour nos modèles les plus performants, nous menons aussi des tests avec des tiers afin de mettre à l’épreuve nos protections contre les usages abusifs et l’alignement sous-jacent des modèles.
Examiner les alertes de surveillance du déploiement interne pour suivre tout changement de l’alignement sous-jacent du modèle de base.
Outre nos protections «synchrones» (comme l’entraînement à la sûreté et les classificateurs du système), nous utilisons aussi des mesures d’application des règles et d’enquête hors ligne pour les déploiements externes. Ces équipes combinent des agents enquêteurs à grande échelle et un examen humain pour détecter les menaces potentielles et en identifier l’origine, qu’il s’agisse de cyberabus, de création d’armes biologiques, de distillation ou de défauts d’alignement du modèle lui-même. L’application des règles hors ligne aide particulièrement à recueillir des informations sur plusieurs comptes pour obtenir une vue plus complète d’une menace potentielle.
Les programmes d’accès de confiance, comme Daybreak et Rosalind, ajoutent une couche de sécurité et accélèrent le travail des défenseurs et des chercheurs légitimes tout en restreignant l’accès des attaquants potentiels.
Quand nous constatons une défaillance dans l’une de nos couches de sûreté, qu’un préjudice ait eu lieu ou non, nous voulons enquêter rapidement, en évaluer la priorité et, si possible et approprié, la divulguer à l’externe. Notre politique de signalement des défauts d’alignement permet à tout membre du personnel de signaler un incident en vue d’une divulgation publique. Ces signalements font l’objet d’une enquête. En cas de désaccord sur leur divulgation externe, la décision est soumise à notre groupe consultatif sur la sûreté (SAG). En plus des signalements du personnel, nous cherchons activement les incidents liés à des défauts d’alignement pour les corriger et partager nos conclusions.
Consultez nos rapports sur les défauts d’alignement ici(s'ouvre dans une nouvelle fenêtre).
Ce travail repose sur les progrès de la recherche et la rigueur opérationnelle : bien configurer les contrôles, tester leurs interactions et réagir résolument en cas de défaillance. Un service réseau mal configuré ou un arrêt automatique défaillant peut compromettre des protections autrement solides.
À mesure que les modèles acquièrent de nouvelles capacités, nous devrons remettre en question les hypothèses derrière nos protections et les améliorer au besoin. Les leçons de la recherche, de l’usage interne et du déploiement public doivent guider l’entraînement, l’évaluation et le déploiement des prochains modèles.
Nous continuerons à publier nos conclusions dans les fiches système, les rapports d’incident, les rapports de risque(s'ouvre dans une nouvelle fenêtre) des déploiements internes et les évaluations externes, afin que d’autres puissent examiner notre approche et ses limites. Si ces preuves ne satisfont pas à nos exigences de sûreté, nous suspendrons de nouveau l’entraînement ou reporterons la diffusion jusqu’à ce qu’elles soient respectées.
Établir les normes de sûreté
Rythmer le développement des modèles à l’ère des capacités cybercritiques — Comment nous avons ralenti l’entraînement des modèles de pointe, renforcé le confinement, élargi la surveillance et exigé des preuves d’alignement plus solides.
Vers des dossiers de sûreté pour l’entraînement de l’IA de pointe — Premières lignes directrices pour des arguments de sûreté fondés sur des preuves : protections techniques, pratiques opérationnelles et enquêtes sur les défauts d’alignement.
Priorités et principes pour des évaluations efficaces par des tiers — Notre approche proposée pour l’examen indépendant des dossiers de sûreté, des protections, des évaluations et du comportement des modèles.
Résumé périodique des évaluations des risques catastrophiques liés à l’usage interne(s'ouvre dans une nouvelle fenêtre) — Notre rapport public de juin à septembre 2026 décrit les déploiements internes de modèles de pointe, leurs risques évalués et les changements aux protections et à la gouvernance.
Définir et évaluer un comportement aligné
Une spécification du modèle actualisée pour une IA plus performante et bénéfique — Comment cinq valeurs fondamentales guident désormais le jugement, le comportement et le respect de la supervision humaine dans la spécification du modèle.
Sûreté des agents : écarts entre évaluation et production et rôle de la conscience d’être évalué(s'ouvre dans une nouvelle fenêtre) — Étude des écarts entre résultats d’évaluation de sûreté et comportement en production, et de l’effet de l’interprétation des objectifs d’évaluation sur la performance.
Au-delà de g-mean² : mesures complémentaires de surveillabilité(s'ouvre dans une nouvelle fenêtre) — Nouvelles mesures pour comparer la surveillabilité et estimer le risque résiduel dans des systèmes simulés où la surveillance rejette les sorties du modèle.
Fiche système de GPT‑6 Astra(s'ouvre dans une nouvelle fenêtre) — Évaluations détaillées des capacités, de la sûreté, de l’alignement et de la surveillabilité d’Astra, avec ses protections de déploiement et ses limites.
Confiner les modèles et améliorer les protections
Sécuriser notre environnement d’entraînement des modèles de pointe — Comment nous avons renforcé l’isolement, créé des environnements de recherche hors ligne et testé le confinement avec nos modèles les plus puissants.
Entraîner des classificateurs d’activation pour la sûreté et l’alignement(s'ouvre dans une nouvelle fenêtre) — Comment les classificateurs utilisent les activations internes des modèles pour détecter les comportements potentiellement nuisibles et interrompre les réponses ou appels d’outils.
Examen automatique des actions des agents sans supervision humaine synchrone(s'ouvre dans une nouvelle fenêtre) — Un agent distinct examine les actions franchissant les limites du bac à sable, favorisant l’autonomie des agents de programmation tout en bloquant les actions potentiellement nuisibles ou non autorisées.
GPT‑Red : exploiter l’autoamélioration pour renforcer la robustesse — Comment nous entraînons des agents automatisés d’équipe rouge par autojeu pour découvrir des vulnérabilités et renforcer les modèles contre les injections d’invites.
Control Room — Comment nous suivons les charges de notre infrastructure de recherche et arrêtons rapidement la génération des modèles lorsque la sûreté ou la sécurité exige une intervention.
Réponse aux incidents et divulgation
Comment nous détectons les défauts d’alignement des modèles de pointe — Notre surveillance combine sondes d’activation, examen par des modèles, enquête automatisée et intervention humaine pour détecter et analyser les comportements préoccupants.
L’incident Hugging Face et la suite — Nos conclusions sur cet incident et les changements qu’il a entraînés en matière de sécurité, de surveillance et d’alignement.
Un agent a utilisé le DNS pour joindre un robot conversationnel externe(s'ouvre dans une nouvelle fenêtre) — Comment un modèle de recherche a contourné les restrictions Internet grâce à un filtrage DNS insuffisant, comment la surveillance a détecté ce contournement et quels contrôles ont été ajoutés.
Déjouer une campagne coordonnée de distillation de modèles — Notre enquête sur des tentatives d’extraction de raisonnement protégé et leur interruption par des mesures sur les comptes, des contrôles techniques et la coordination avec nos partenaires.
Notre cadre de signalement des défauts d’alignement des modèles — Notre processus de suivi, d’enquête et de divulgation des comportements préoccupants, y compris ceux dont les causes ou l’importance restent incertaines.
Rapports et avis sur les défauts d’alignement(s'ouvre dans une nouvelle fenêtre) — Notre recueil d’incidents divulgués et d’avis illustre l’apparition des défauts d’alignement et les réussites ou échecs des protections.
Progrès de la recherche et applications
Accélération de la recherche : le point de vue interne d’OpenAI — Premiers constats sur l’effet des agents de programmation sur la recherche chez OpenAI : usage croissant, tâches plus complexes et effets sur l’expérimentation.
Sur le problème du prix du millénaire de Navier–Stokes — Une preuve mathématique produite par un système d’IA interne, avec une formalisation Lean, illustre les capacités des déploiements de recherche à grande échelle.
Daybreak — Notre programme de cybersécurité offre aux défenseurs approuvés des capacités d’IA avancées, des outils de sécurité et du soutien pour trouver les vulnérabilités et renforcer les défenses.
Présentation de GPT‑Rosalind pour la recherche en sciences de la vie — Un modèle spécialisé en biologie, découverte de médicaments et médecine translationnelle, offert aux organisations admissibles par un programme d’accès de confiance.






