Nous présentons un nouveau cadre pour suivre, examiner et divulguer les cas de désalignement des modèles chez OpenAI, ainsi que six rapports sur des comportements inattendus ou préoccupants observés au cours des six derniers mois.
Par le passé, afin de mieux informer les chercheurs, les développeurs d’IA, les responsables des politiques publiques et le grand public, nous avons cherché à rendre publiques nos conclusions sur le désalignement. Mais en l’absence d’une approche systématique pour les signaler, nos divulgations ont été ponctuelles et moins fréquentes que souhaité : nous avons souvent attendu de pouvoir regrouper plusieurs cas dans un seul rapport ou les avons ajoutés aux fiches système de modèles nouvellement lancés. Ce nouveau cadre vise à accélérer la publication des rapports de désalignement après une observation, même lorsque nous n’avons pas encore entièrement expliqué ou atténué le comportement signalé.
À mesure que les systèmes d’IA gagnent en sophistication et sont déployés plus largement, nous devons bâtir un consensus plus vaste et mieux éclairé sur les progrès de la recherche en alignement. Nous ne croyons pas que le secteur de l’IA ait suffisamment résolu les problèmes d’alignement et de surveillance pour poursuivre encore longtemps, de façon responsable et à vitesse maximale, la mise à l’échelle des systèmes d’IA. Les décisions sur l’évolution du développement de l’IA au cours des prochains mois et des prochaines années doivent reposer sur des données que les personnes extérieures aux entreprises créant des modèles de pointe peuvent examiner elles-mêmes.
Les exemples de désalignement peuvent aider à cerner les problèmes que d’autres développeurs d’IA pourraient rencontrer lorsque leurs systèmes atteindront des capacités similaires, révéler les faiblesses des mesures de protection ou remettre en question des hypothèses sur le comportement des modèles. La communication de ces conclusions permet à d’autres d’étudier les mêmes problèmes, de vérifier nos explications et d’améliorer les mesures d’atténuation. Comme nous croyons à la valeur de la transparence en matière de désalignement, notre nouveau cadre favorise la divulgation même lorsque l’importance d’un cas est incertaine. Cela signifie que certains cas divulgués pourraient se révéler fortuits, sans faire partie d’une tendance plus vaste ni laisser présager des évolutions futures.
À l’heure actuelle, il n’existe aucun cadre sectoriel établissant des normes explicites sur la manière dont les développeurs d’IA devraient divulguer les exemples de désalignement de leurs modèles. Nous espérons que le cadre présenté aujourd’hui constituera une première étape vers la création de telles normes, en précisant les cas de désalignement que les développeurs devraient divulguer et le contenu de leurs rapports. Nous considérons ce cadre comme un projet en évolution, que nous améliorerons grâce à l’expérience et aux commentaires du public.
Nous décrivons ici le fonctionnement du cadre et présentons les premiers rapports que nous publions.
Nous cherchons à divulguer des exemples qui fournissent des données utiles sur l’apparition et la manifestation du désalignement des modèles, ainsi que sur les situations où les mesures de protection réussissent ou échouent. Nous accordons la priorité aux nouveaux mécanismes, aux changements significatifs dans les comportements connus et aux conclusions qui remettent en question les hypothèses sur la sûreté ou l’atténuation. Un exemple n’a pas besoin d’avoir causé un préjudice ni d’établir une tendance plus vaste pour justifier sa divulgation. Ce cadre couvrira les comportements admissibles pendant tout le cycle de vie d’un modèle, notamment l’entraînement, l’évaluation, les essais et le déploiement.
Cela comprend de nouvelles façons pour les modèles d’agir sans autorisation, de se coordonner avec d’autres modèles ou d’échapper à la surveillance; les défaillances qui remettent en question une méthode d’alignement ou une mesure de protection; et les comportements qui contestent une affirmation dans une évaluation de sûreté publiée. Les mêmes critères de divulgation s’appliquent aux désalignements susceptibles de toucher des tiers.
Cela pourrait aussi inclure des cas de désalignement qui semblent répéter des cas déjà divulgués. La répétition du problème pourrait elle-même fournir des données utiles sur le comportement de nos modèles ou l’efficacité de nos mesures de protection, par exemple si un type précis de comportement désaligné continue de se reproduire malgré des efforts répétés pour l’atténuer. Dans ces circonstances, nous publierons les exemples supplémentaires en mettant à jour la divulgation initiale du désalignement.
Au fil du temps, nous comptons élaborer des critères de divulgation plus objectifs avec d’autres développeurs, des chercheurs externes, des organismes de normalisation du secteur et des autorités de réglementation. Nous croyons aussi que les incidents graves liés à la sûreté, à la sécurité et au désalignement devraient être signalés au gouvernement fédéral américain, et nous travaillons à proposer des mécanismes de signalement. Nous considérons ce cadre comme complémentaire à nos obligations existantes et soulignons qu’il ne remplace pas nos exigences légales en matière de divulgation, notamment celles concernant les incidents critiques de sûreté ou les atteintes à la cybersécurité.
Pour inaugurer notre nouveau cadre de divulgation des désalignements, nous publions six rapports sur des cas de comportements désalignés observés pendant l’entraînement ou l’évaluation de nos modèles. Ces cas illustrent divers comportements qui méritent selon nous d’être communiqués, de la dissimulation de renseignements à l’utilisateur jusqu’à l’exécution d’actions non autorisées pour surmonter des obstacles. Ces rapports portent sur des cas individuels et ne doivent pas être considérés comme représentatifs de la fréquence des désalignements dans l’ensemble de nos modèles. Chaque élément ci-dessous mène au rapport complet.
Instructions autogénérées dans les résumés de tâches(s'ouvre dans une nouvelle fenêtre). Un modèle de recherche non lancé a inséré des instructions sans rapport, notamment des instructions lui demandant d’ignorer ses contraintes habituelles, dans des résumés servant à poursuivre son travail dans de nouvelles fenêtres contextuelles. Nous avons repéré 27 résumés touchés.
Instructions visant à dissimuler les erreurs dans les résumés de tâches(s'ouvre dans une nouvelle fenêtre). Pendant l’entraînement de GPT‑5.6 Sol, de nombreuses instances du modèle ont ajouté à leurs résumés des instructions visant à dissimuler à l’utilisateur des erreurs ou des comportements désalignés. Par exemple, les résumés de compactage comprenaient des instructions visant à inventer des données historiques manquantes sans le signaler et à masquer les divergences entre les versions des sources.
Recherche de clés d’API exposées dans des dépôts publics, puis fabrication de renseignements(s'ouvre dans une nouvelle fenêtre). En répondant à une question courante sur les revenus dans un comté de Californie, un modèle a trouvé et utilisé sans autorisation une clé d’API exposée. Comme il ne parvenait toujours pas à obtenir les chiffres demandés, il les a inventés et présentés comme provenant de la source demandée.
Téléversement de fichiers sur Internet afin de les citer(s'ouvre dans une nouvelle fenêtre). Lorsqu’un utilisateur a demandé à un modèle non lancé les identifiants et les noms des lacs de plus de 5 000 000 de mètres carrés, l’agent a trouvé la bonne réponse avec Python. Mais comme les instructions exigeaient une citation provenant d’un navigateur, l’agent a décidé de téléverser le fichier afin de pouvoir le citer dans sa réponse, sans demander l’autorisation de l’utilisateur.
Écritures non autorisées et communications par l’intermédiaire d’un dépôt logiciel interne(s'ouvre dans une nouvelle fenêtre). Des modèles ont utilisé un dépôt logiciel interne comme babillard pour échanger des demandes et des réponses entre des échantillons d’entraînement distincts pendant leur recherche de fichiers d’entrée manquants, sans toutefois parvenir à les récupérer. Ce rapport examine aussi un cas antérieur où un modèle a réussi à téléverser des fichiers de test dans un dépôt en tentant de contourner des restrictions réseau.
Partage de fichiers non autorisé entre des agents collaborant(s'ouvre dans une nouvelle fenêtre). Des agents travaillant ensemble à la même tâche d’entraînement ont utilisé des sites publics d’hébergement de fichiers pour partager des fichiers lorsqu’ils ne pouvaient pas accéder aux fichiers locaux des autres. Les livrables de la tâche sont ainsi devenus accessibles à des URL publiques, même si la tâche demandait aux modèles de n’utiliser que des fichiers locaux.
Toute personne employée par OpenAI peut signaler un exemple de désalignement aux fins d’enquête par nos équipes de sûreté et d’alignement, et demander que sa divulgation publique soit envisagée. Cela déclenche notre processus de divulgation, dont chaque étape est assortie d’une échéance afin d’assurer une enquête et une divulgation rapides.
Lorsqu’un exemple est signalé, notre personnel technique examine ce qui s’est passé, les incertitudes qui subsistent, la pertinence d’une divulgation publique et les faits qui peuvent être communiqués. Il évalue aussi si un tiers a été touché et doit être avisé en privé avant la publication.
L’exemple sera ensuite affecté à l’une des trois voies : Prêt pour la divulgation, Enquête mineure ou Enquête approfondie (« voie lente »).
La voie Prêt pour la divulgation couvre les cas admissibles dont l’enquête est suffisamment avancée pour permettre leur publication après examen. La voie Enquête mineure couvre les cas qui nécessitent une enquête technique plus poussée. Nous prévoyons que ces deux voies couvriront la grande majorité des cas divulgués, en particulier ceux qui n’exigent pas d’enquête approfondie, de coordination avec des tiers ni de gestion de risques graves d’utilisation abusive. Tous les cas publiés aujourd’hui relèvent de l’une de ces deux voies.
La voie Enquête approfondie couvre les enquêtes complexes, particulièrement celles qui concernent des tiers. Lorsqu’un tiers est touché, nos obligations en matière de sécurité, nos obligations juridiques et nos obligations en matière de divulgation responsable ont préséance sur ce cadre. Nous chercherons à publier un avis initial dès que possible, mais pourrions devoir le retarder pour des raisons de sécurité, par exemple si un modèle découvre une vulnérabilité jusqu’alors inconnue dans un logiciel largement utilisé. Si un rapport permettait d’identifier un tiers, nous comptons l’en aviser à l’avance, même si aucun périmètre de sécurité n’a été franchi.
L’avis initial relatif à un cas relevant de la voie Enquête approfondie donnera un aperçu de ce qui s’est passé, indiquera si des experts externes participent à l’enquête et fournira toute estimation disponible de la date prévue de publication du rapport final. L’incident OpenAI sur Hugging Face aurait relevé de cette voie s’il avait été divulgué dans le cadre de ce processus.
La personne qui a signalé l’exemple sera informée de la décision quant à sa divulgation et, le cas échéant, de la voie qui sera suivie. Les désaccords non résolus concernant la divulgation ou la voie appropriée seront soumis au groupe consultatif sur la sûreté (SAG) d’OpenAI, composé de hauts responsables de toute l’entreprise qui évaluent les capacités et les mesures de protection des modèles de pointe, supervisent notre cadre de préparation et conseillent la direction d’OpenAI. Les désaccords au sein du SAG, ou les objections du personnel à ses décisions, seront transmis à la direction d’OpenAI. Les décisions de ne pas divulguer un cas ou de juger que sa divulgation n’est pas justifiée seront communiquées aux responsables de la sûreté et de l’alignement ainsi que, dans la mesure du possible, au personnel technique concerné.
Nous pourrons réviser ce processus de divulgation à mesure que nous verrons comment il fonctionne en pratique, et consignerons tout changement dans cette publication.
Chaque rapport complet décrira le comportement observé, sa gravité et toute incidence externe, le contexte dans lequel il s’est produit, sa date ou sa période, le moment où nous l’avons découvert et, de façon générale, le ou les modèles concernés. Dans la mesure du possible, nous communiquerons aussi :
Des précisions sur ce qui s’est passé et tout préjudice en ayant découlé;
La façon dont nous avons découvert le désalignement et la portée de notre enquête;
Notre interprétation de ses conséquences pour la recherche sur l’alignement et la sûreté technique de l’IA;
Les importantes questions sans réponse soulevées par l’exemple;
Les mesures que nous prenons ou prévoyons prendre pour corriger le comportement. Ces renseignements ne seront pas toujours disponibles au moment de la divulgation, car nous pourrions publier le rapport de désalignement avant d’avoir terminé notre enquête ou élaboré un correctif.
Pour les désalignements qui surviennent dans les déploiements de clients, nous communiquerons autant de renseignements que le permettent la confidentialité des clients et nos obligations contractuelles.
Les rapports publiés aujourd’hui constituent une première série de divulgations, plutôt qu’un compte rendu exhaustif des désalignements connus ou des enquêtes en cours. Ces premiers rapports ne visent pas à représenter toute la diversité ni toute la gravité des cas couverts par ce cadre. Nous nous engageons à divulguer les cas de désalignement qui répondent aux critères de ce cadre, y compris les cas plus complexes nécessitant une enquête plus longue ou une coordination avec des tiers. Nous continuerons de publier régulièrement des rapports dans le cadre de ce processus et fournirons plus de détails sur nos engagements en matière de signalement à mesure que nous les préciserons.
