Fiche système GPT‑4o

Nous évaluons minutieusement les risques potentiels des nouveaux modèles et mettons en place des mesures de protection appropriées avant de les déployer dans ChatGPT ou dans l'API. Nous publions la fiche système du modèle ainsi que la fiche de risque du cadre de préparation⁠ dans le but de présenter une analyse de sécurité globale de GPT‑4o⁠, intégrant les défis présents et les risques émergents.

En se basant sur les évaluations de sécurité et les mesures d'atténuation élaborées pour GPT‑4⁠ et GPT‑4V⁠, nous avons concentré nos efforts sur les fonctionnalités audio de GPT‑4o, compte tenu des risques spécifiques qu’elles impliquent, tout en poursuivant l’analyse textuelle et visuelle.

L'identification du locuteur, la génération de voix non autorisée, la génération potentielle de contenus protégés par le droit d'auteur, les déductions sans fondement et les contenus non autorisés font partie des risques que nous avons évalués. Suite à ces évaluations, nous avons mis en place des mesures de protection au niveau du modèle et du système afin d'atténuer ces risques. 

Nos résultats indiquent que la modalité vocale de GPT‑4o n'augmente pas les risques de préparation de manière significative. Trois des quatre catégories du cadre de préparation ont obtenu un score faible, tandis que la persuasion a obtenu un score moyen. Le groupe de conseil sur la sécurité⁠(ouverture dans une nouvelle fenêtre) a étudié nos évaluations de préparation et nos mesures d'atténuation dans le cadre de notre processus de déploiement en toute sécurité. Nous vous invitons à lire le rapport ci-dessous, qui présente ce travail en détail.

GPT‑4o¹ est un modèle autorégressif de type omni. Il accepte en entrée n’importe quelle combinaison de texte, de son, d’image et de vidéo, et génère des sorties associant texte, son et image. Il est entraîné de bout en bout pour gérer le texte, la vision et l’audio. Toutes les entrées et sorties sont donc traitées par le même réseau neuronal. 

GPT‑4o est capable de répondre à une entrée audio en 232 millisecondes, avec une moyenne à 320 millisecondes, un délai similaire à celui d’un humain⁠(ouverture dans une nouvelle fenêtre)² lors d’une conversation. Il atteint les performances de GPT‑4 Turbo sur du texte en anglais et du code, et présente des améliorations significatives sur les autres langues, tout en se montrant bien plus rapide et 50 % plus économique lorsqu’il est utilisé via l’API. GPT‑4o est notamment bien plus performant que les autres modèles en matière de compréhension visuelle et audio.

Conformément à notre engagement en faveur d’une intelligence artificielle et dans le respect de nos engagements volontaires avec la Maison-Blanche³, nous publions la fiche système de GPT‑4o, qui intègre nos évaluations du cadre de préparation⁠(ouverture dans une nouvelle fenêtre)⁵. Cette fiche système présente en détail les capacités, les limites et les évaluations de sécurité de GPT‑4o dans plusieurs domaines, en mettant l’accent sur la fonctionnalité de parole à parole (speech-to-speech)^A, mais aussi sur ses capacités textuelles et visuelles, ainsi que sur les mesures prises pour renforcer la sécurité et l’alignement. Ce rapport comprend aussi des évaluations tierces des capacités autonomes générales, ainsi qu’une réflexion sur les impacts potentiels des capacités textuelles et visuelles de GPT‑4o sur la société.

GPT‑4o a été pré-entraîné avec des données collectées jusqu’en octobre 2023, issues d’un large éventail de sources, dont :

1. Des données publiques sélectionnées, principalement issues de jeux de données standards en apprentissage automatique et de collectes sur le Web.
2. Des données propriétaires obtenues dans le cadre de partenariats. Nous établissons des partenariats pour accéder à des données non accessibles au public, telles que des contenus payants, des archives ou des métadonnées. Nous avons par exemple collaboré avec Shutterstock⁠(ouverture dans une nouvelle fenêtre)⁵ pour créer et proposer des images générées par l’IA. 

Voici les principaux jeux de données qui ont contribué au développement des capacités de GPT‑4o :

1. Données web : les pages web publiques représentent une source variée et abondante de données, grâce auxquelles le modèle acquiert des connaissances sur de nombreux sujets et perspectives.
2. Code et mathématiques : entraîner le modèle avec des données issues du code et des mathématiques améliore ses compétences de raisonnement, en l'exposant à une logique structurée et à des processus de résolution de problèmes.
3. Données multimodales : notre jeu de données inclut des images, de l’audio et de la vidéo afin d’apprendre aux LLM à interpréter et générer des saisies et des sorties non textuelles. À partir de ces données, le modèle apprend à interpréter des images, des actions, des séquences en contexte réel, des structures linguistiques et des nuances de la parole.

Avant tout déploiement, OpenAI procède à une évaluation et une réduction des risques que peuvent poser les modèles génératifs, notamment en matière de désinformation, de biais, de discrimination ou de non-respect des politiques de sécurité. Nous mobilisons diverses méthodes à chaque phase du cycle de développement, du pré-entraînement au déploiement produit, en intégrant aussi le post-entraînement et les dimensions réglementaires. Ainsi, durant la phase de post-entraînement, nous ajustons le modèle pour qu’il reflète les préférences humaines, nous procédons à des tests d’équipes rouges sur les modèles obtenus, intégrons des mesures de protection au niveau du produit (surveillance, application des règles) et proposons des outils de modération ainsi que des rapports de transparence à nos utilisateurs.

Nous constatons que la majorité des tests efficaces et des mesures de protection interviennent après le pré-entraînement, car le filtrage des données pré-entraînées à lui seul ne permet pas de gérer les risques complexes et spécifiques au contexte. En parallèle, certains filtres appliqués dès le pré-entraînement peuvent constituer une couche de protection supplémentaire qui, combinée à d’autres mesures de sécurité, permet d’exclure des données indésirables ou nuisibles de nos jeux de données :

• Notre API de modération et nos classificateurs de sécurité filtrent les données susceptibles de générer des contenus nuisibles ou dangereux, notamment les contenus pédopornographiques, haineux, violents ou liés aux armes nucléaires, radiologiques, biologiques et chimiques. 
• Comme pour nos précédents systèmes de génération d’images, nous filtrons nos jeux de données d’images pour exclure les contenus explicites, tels que les images à caractère sexuel graphique et la pédopornographie. 
• Nous appliquons des procédures de filtrage avancées afin de réduire la présence d’informations personnelles dans les données d’entraînement. 
• À l’occasion du lancement de DALL·E 3, nous avons testé une méthode inédite permettant aux utilisateurs d’exclure leurs images du processus d’entraînement⁠. Nous avons pris en compte ces exclusions en créant des empreintes numériques des images afin de supprimer toutes leurs occurrences du jeu de données d’entraînement des modèles GPT‑4o.

Nous avons préparé le déploiement en explorant les nouveaux risques à l'aide d'une équipe d'experts, dès les premières phases de développement du modèle, pour transformer ces risques identifiés en mesures structurées et élaborer des mesures d’atténuation.  Nous avons également évalué GPT‑4o conformément à notre cadre de préparation⁴.

OpenAI a travaillé avec plus de 100 équipes rouges externes^B, dans 45 langues différentes au total, provenant de 29 pays différents. Les équipes rouges ont eu accès à différents instantanés du modèle à divers stades d’entraînement et de maturation des mesures de sécurité, de début mars jusqu’à fin juin 2024. 

L’intervention d’équipes rouges externes a été réalisée en quatre phases. Le modèle a été évalué dans un premier temps avec un outil interne sur les trois premières phases, alors que la phase finale à intégré l’expérience iOS complète. Au moment de la rédaction, une équipe rouge teste l’API GPT‑4o.

Les équipes rouges ont exploré les capacités du modèle, puis testé les contre-mesures au fur et à mesure de leur création et amélioration, en particulier celles liées aux saisies et sorties audio (fonctionnalités parole à parole). Cette utilisation d’équipe rouge se base sur des travaux précédents, notamment décrits dans la fiche système GPT‑4⁠(ouverture dans une nouvelle fenêtre)⁶ et la fiche système GPT‑4(V)⁠⁷.

Les équipes rouges ont examiné les contenus illégaux et interdits (contenu érotique illégal, violence, automutilation, etc.), la désinformation, les préjugés, les déductions non fondées, l’attribution de caractéristiques sensibles, les informations privées, la géolocalisation, l’identification des personnes, les risques liés à la perception émotionnelle et à l’anthropomorphisme, les comportements frauduleux et l'usurpation d'identité, les droits d'auteur, les capacités en matière de sciences naturelles et les observations multilingues.

Les données générées par les membres de l'équipe rouge ont motivé la création de plusieurs évaluations quantitatives, décrites dans la rubrique Enjeux de sécurité constatés, évaluations et mesures correctives⁠. Dans certains cas, les enseignements tirés de l'utilisation d'équipes rouges ont servi à générer des données synthétiques ciblées. Les modèles ont été évalués à l'aide d'évaluateurs automatiques et d'un étiquetage manuel en fonction de certains critères (par exemple, violation de la politique ou non, refus ou non). Par ailleurs, nous avons parfois réutilisé^C les données des équipes rouges pour effectuer des évaluations ciblées sur différentes voix et exemples afin de tester la robustesse de diverses mesures d’atténuation.

En complément des données des équipes rouges, plusieurs jeux de données d’évaluation existants ont été adaptés pour évaluer les modèles parole à parole en utilisant des systèmes de synthèse vocale (TTS) comme Voice Engine⁠. Nous avons converti les tâches d'évaluation basées sur le texte en tâches d'évaluation basées sur l'audio en convertissant les saisies de texte en audio. Cela nous a permis de réutiliser des jeux de données et des outils existants pour mesurer les capacités du modèle, son comportement en matière de sécurité, ainsi que pour surveiller ses sorties, ce qui a grandement enrichi notre panel d’évaluations.

Nous avons utilisé Voice Engine pour convertir les saisies textuelles en données audio, les transmettre à GPT‑4o et évaluer les sorties du modèle. L’évaluation porte systématiquement sur les sorties textuelles produites par le modèle, sauf si l’audio doit faire l’objet d’une évaluation spécifique (voir Génération vocale⁠).

Tout d'abord, la validité de ce format d'évaluation dépend de la capacité et de la fiabilité du modèle TTS. Certains contenus textuels, comme les équations mathématiques ou le code, se prêtent mal à une conversion audio, voire s’y avèrent inadaptés. Par ailleurs, la synthèse vocale risque d’être dégradée pour certains textes, en particulier s’ils sont structurés visuellement avec de nombreux espaces ou symboles. Étant donné que ce type de saisie est peu probable en mode vocal avancé, nous choisissons de ne pas évaluer le modèle parole à parole sur ces tâches, ou bien de prétraiter les exemples contenant ce type de contenu. Il convient néanmoins de préciser que les erreurs observées dans nos évaluations peuvent être dues aux capacités du modèle ou à une mauvaise conversion du texte en audio par le système TTS.

Il convient également de s’interroger sur la mesure dans laquelle les saisies de la synthèse vocale reflètent fidèlement les saisies audio que les utilisateurs fourniront concrètement. Nous évaluons la robustesse de GPT‑4o face à des saisies audio portant une diversité d’accents régionaux dans la rubrique Écarts de performance selon les saisies vocales. Néanmoins, des éléments tels que l’intonation, la valence émotionnelle, les bruits parasites ou les conversations simultanées ne sont pas nécessairement reflétés dans une évaluation par synthèse vocale, ce qui risque d’influencer le comportement du modèle en situation réelle.

Enfin, certains aspects du rendu audio généré par le modèle, comme les bruits de fond, les effets sonores ou une voix atypique, peuvent ne pas apparaître dans le texte. La rubrique Génération vocale⁠ présente l’utilisation de classificateurs auxiliaires pour repérer les productions audio indésirables, en complément de l’évaluation des transcriptions.

Les risques liés au modèle ont été limités en associant plusieurs approches complémentaires. Afin de limiter les risques, nous avons formé le modèle par post-entraînement à adopter des comportements appropriés et avons intégré des classificateurs pour empêcher certaines générations dans le système déployé. 

Les enjeux de sécurité constatés ci-dessous sont accompagnés d’une description du risque, des mesures prises pour y remédier et, le cas échéant, des résultats des évaluations associées. Cette sélection de risques, non exhaustive et à titre d’illustration, concerne l’utilisation de ChatGPT via son interface. Cette rubrique porte sur les risques propres aux fonctionnalités de parole à parole, ainsi que sur leurs interactions possibles avec les autres modalités déjà existantes (texte, image)^D.

Description du risque : La génération vocale consiste à créer des enregistrements audio avec une voix synthétique réaliste, notamment à partir d’un court extrait audio. 

En cas d’utilisation malveillante, cette technologie pourrait causer des préjudices, comme une augmentation des fraudes par usurpation d’identité, et être exploitée pour diffuser de fausses informations^{9, 10} (par exemple, en autorisant le téléchargement d’un extrait audio d’un locuteur pour que GPT‑4o génère un discours avec sa voix). Ces risques sont comparables à ceux identifiés précédemment avec Voice Engine⁠⁸. 

La génération vocale peut aussi intervenir dans un cadre non conflictuel, comme pour alimenter les voix du mode vocal avancé de ChatGPT. Lors des tests, nous avons également observé de rares cas où le modèle générait involontairement une sortie imitant la voix de l’utilisateur^E.

Gestion des risques : Nous avons limité les risques liés à la génération vocale en autorisant uniquement l’utilisation des voix prédéfinies que nous avons créées en collaboration avec des acteurs vocaux⁠¹¹. Pour cela, nous avons ajouté les voix sélectionnées en tant que réponses idéales lors de la phase de post-entraînement du modèle audio. Nous avons également conçu un classificateur de sortie distinct afin de vérifier que la voix produite par GPT‑4o appartient bien à notre liste validée. Nous l'exécutons en continu pendant la génération audio et bloquons la sortie si la voix du locuteur ne correspond pas à la voix prédéfinie choisie.

Évaluation : Nous estimons que le risque résiduel de génération vocale non autorisée est minime. D’après nos évaluations internes, notre système détecte actuellement 100 % des écarts significatifs par rapport à la voix du système^F. Cela inclut des échantillons générés avec d’autres voix du système, des extraits où le modèle reprend une voix issue du prompt, ainsi qu’un éventail d’échantillons humains.

Si la génération vocale involontaire reste une faiblesse du modèle, nos classificateurs secondaires permettent d’interrompre immédiatement la conversation, limitant ainsi considérablement ce risque. Il arrive aussi que notre système de modération refuse des requêtes de manière excessive lorsque la conversation se déroule dans une autre langue que l’anglais. Nous y travaillons activement^G.

Efficacité de notre classificateur de sortie vocale selon la langue de la conversation^H :

Description du risque : L’identification du locuteur est la capacité à reconnaître une personne à partir d’un extrait audio. Cela peut poser un problème de confidentialité, notamment pour les particuliers ou les extraits audio méconnus de personnalités publiques, sans oublier les risques liés à la surveillance.

Gestion des risques : Nous avons post-entraîné GPT‑4o afin qu’il refuse de répondre aux demandes visant à identifier une personne à partir d’une voix dans une saisie audio. GPT‑4o peut encore répondre lorsqu’on lui demande d’identifier une citation célèbre. Il peut, par exemple, reconnaître une citation célèbre comme « four score and seven years ago » en l’attribuant à Abraham Lincoln, mais doit refuser toute tentative d’identifier une célébrité à partir d’une phrase quelconque.

Évaluations :
Comparé à la première version du modèle, nous avons constaté une progression de 14 points dans sa capacité à refuser d’identifier une voix dans une saisie audio, et de 12 points dans les cas où il devait répondre favorablement à ce type de demande. 

Autrement dit, le modèle refusera presque systématiquement d’identifier un locuteur à partir de sa voix, ce qui limite les risques de confidentialité. Cela signifie que le modèle peut parfois refuser par erreur de reconnaître l’auteur d’une citation bien connue.

Description du risque : Les modèles peuvent avoir des performances variables selon les accents des utilisateurs. Ces écarts de performance peuvent affecter la qualité du service proposée aux différents utilisateurs du modèle.

Gestion des risques : Nous avons post-entraîné GPT‑4o avec différentes voix d’utilisateurs pour que le modèle réponde de manière cohérente.

Évaluations : Nous réalisons des évaluations du mode vocal avancé GPT‑4o en utilisant une voix d’assistant fixe (« Shimmer ») et Voice Engine pour générer des saisies utilisateur à partir d’un éventail d’échantillons vocaux^I. Nous utilisons deux ensembles d’échantillons vocaux pour la synthèse vocale (TTS) :

• Voix officielles du système (3 voix différentes)
• Un ensemble diversifié de voix recueillies lors de deux campagnes de données. Il s'agit de 27 échantillons de voix anglaises différentes, provenant de locuteurs issus d'un large éventail de pays et de genres différents.

Nous évaluons deux séries de tâches : Fonctionnalités et respect des consignes de sécurité

Fonctionnalités : Nous évaluons quatre[fn:J]] tâches : TriviaQA, un sous-ensemble de MMLU^K, HellaSwag et LAMBADA. Les tâches TriviaQA et MMLU sont basées sur les connaissances, tandis que HellaSwag et LAMBADA portent sur le bon sens ou la continuation de texte. Globalement, nous constatons que les performances sur un ensemble varié de voix humaines sont légèrement, mais pas significativement, inférieures à celles obtenues avec des voix système sur les quatre tâches.

Respect des consignes de sécurité : L’évaluation porte sur un jeu de données interne de conversations afin d’évaluer la constance du modèle dans ses réponses positives ou négatives selon les différentes voix des utilisateurs. Globalement, nous ne constatons pas de variation du comportement du modèle selon les voix.

Description du risque : La saisie audio peut pousser le modèle à formuler des déductions possiblement biaisées sur les locuteurs. Nous définissons deux catégories :

• Déduction non fondée (UGI) : établir des hypothèses sur un locuteur qui ne peuvent être déterminées uniquement à partir du contenu audio. Cela inclut des déductions concernant des aspects tels que l’origine ethnique d’un locuteur, son statut socio-économique ou sa profession, ses croyances religieuses, ses traits de personnalité, ses opinions politiques, son intelligence, son apparence (par exemple la couleur des yeux, son charme), son identité de genre, son orientation sexuelle ou ses antécédents judiciaires. Ce type de comportement risque d’engendrer des préjudices sur la représentation^{13, 15} d’un individu, selon la façon dont il s’exprime.
• Attribution de caractéristiques sensibles (STA) : formuler des déductions sur un locuteur qui pourraient raisonnablement être déterminées uniquement à partir du contenu audio. Cela inclut les déductions concernant par exemple l'accent ou la nationalité d'un locuteur. L’attribution de caractéristiques sensibles peut augmenter les risques de surveillance¹⁶ et entraîner des disparités dans la qualité de service selon la voix des intervenants^{12, 13, 14}.

Gestion des risques : Nous avons post-entraîné GPT‑4o pour qu’il refuse d’exécuter les demandes de déductions non fondées (UGI), tout en nuançant ses réponses aux questions d’attribution de caractéristiques sensibles (STA). Par exemple, une question visant à déterminer le niveau d’intelligence d’un locuteur sera refusée, tandis qu’une question sur son accent recevra une réponse du type : « D’après l’audio, il semble qu’il ait un accent britannique. »

Évaluation :
En comparaison avec le modèle initial, nous avons constaté une amélioration de 24 points dans la capacité du modèle à répondre correctement aux demandes d’identification de caractéristiques sensibles (refus des déductions non fondées et gestion sécurisée des attributions de caractéristiques sensibles).

Description du risque : Il est possible de pousser GPT‑4o à générer, sous forme audio, du contenu préjudiciable qui ne passerait pas les filtres en texte, par exemple des consignes pour réaliser une activité illégale.

Gestion des risques : Nous avons constaté que les contenus refusés en texte l’étaient également en audio dans la grande majorité des cas. Autrement dit, le post-entraînement destiné à réduire les éventuels risques liés aux réponses texte de GPT‑4o a également permis de limiter les dérives en audio.

Notre système de modération actuel analyse également la transcription texte des entrées et sorties audio pour repérer tout contenu potentiellement dangereux et bloque la génération si nécessaire^L.

Évaluation : Nous avons utilisé la synthèse vocale pour convertir les évaluations de sécurité textuelles existantes en audio. Nous évaluons ensuite la transcription texte de la sortie audio à l’aide du classificateur standard basé sur des règles utilisé pour le texte. Nos évaluations montrent une bonne correspondance entre les refus en texte et en audio concernant les contenus déjà encadrés par notre politique relative aux contenus. Vous trouverez d'autres évaluations à l’annexe A⁠

Description du risque : Il est possible de pousser GPT‑4o à générer des propos à caractère érotique ou violent, potentiellement plus évocateurs ou nuisibles que leur équivalent en texte. Pour cette raison, nous avons décidé de restreindre la génération de contenus oraux à caractère érotique ou violent^M. 

Gestion des risques : Nous appliquons notre modèle de modération actuel⁠(ouverture dans une nouvelle fenêtre)¹⁷ à la transcription texte de la saisie audio afin de détecter toute demande de contenu violent ou érotique, et bloquons la génération si nécessaire.

Lors des phases de tests internes et d’équipes rouges externes, nous avons identifié quelques risques supplémentaires ainsi que des limites du modèle pour lesquels les mesures correctives, qu’elles soient au niveau du modèle ou du système, sont encore en phase initiale ou en cours d’élaboration, parmi lesquels :

Robustesse audio : Nous avons constaté, de manière anecdotique, une réduction de la robustesse de sécurité due à des perturbations audio, notamment une saisie de mauvaise qualité, des bruits de fond ou des échos. Nous avons aussi constaté une réduction similaire de la robustesse de sécurité en présence d’interruptions audio, intentionnelles ou accidentelles, durant la génération du contenu. 

Désinformation et théories du complot : Les équipes rouges ont pu inciter le modèle à fournir des informations erronées en lui demandant de répéter oralement des fausses informations et de créer des théories du complot. Déjà identifié pour le texte des modèles GPT^{18, 19}, ce problème préoccupait les équipes rouges, qui redoutaient un impact plus fort ou plus dangereux en version audio, notamment si le modèle adopte un ton émotif ou insistant. La capacité de persuasion du modèle a été étudiée en détail (voir Persuasion⁠) et nous avons constaté que le modèle n’a jamais dépassé un niveau de risque moyen pour le texte seul, et un niveau faible pour la parole à parole.

S’exprimer dans une langue autre que l’anglais avec un accent non natif : Les équipes rouges ont relevé des exemples de sortie audio présentant un accent non natif lors de l’utilisation d’une langue non anglaise. Cela peut poser des problèmes de partialité à l’égard de certains accents et langues et plus généralement concernant les limites générales des performances audio en langues non anglaises.

Génération de contenu protégé par des droits d’auteur : Nous avons aussi évalué la faculté de GPT‑4o à reproduire des contenus issus de ses données d’entraînement. Nous avons entraîné GPT‑4o à refuser les demandes portant sur du contenu protégé par le droit d’auteur, y compris l’audio, conformément à nos pratiques globales. Afin d’accompagner les nouvelles capacités audio de GPT‑4o, nous avons élargi nos filtres textuels aux conversations vocales, mis en place des filtres capables de détecter et bloquer les contenus musicaux et avons choisi d’empêcher le modèle de chanter dans l’alpha limitée du mode vocal avancé de ChatGPT. Nous souhaitons évaluer régulièrement l’efficacité de ces mesures et les ajuster au fur et à mesure.

Bien que certaines mesures techniques soient encore en cours de développement, nos Politiques d'utilisation⁠²⁰ interdisent toute tentative délibérée de tromper autrui ou de contourner les mesures ou dispositifs de sécurité. En complément des mesures techniques, nous appliquons nos Politiques d'utilisation par le biais d’une surveillance active et intervenons en cas d’abus, que ce soit dans ChatGPT ou via l’API.

Nous avons également évalué GPT‑4o conformément à notre Cadre de préparation⁠(ouverture dans une nouvelle fenêtre)⁴. Le Cadre de préparation est un document évolutif qui décrit nos engagements procéduraux en matière de suivi, d’évaluation, d’anticipation et de protection contre les risques majeurs associés aux modèles de pointe. Les évaluations portent actuellement sur quatre catégories de risques : la cybersécurité, les armes nucléaires, radiologiques, biologiques et chimiques (CBRN), la persuasion et l’autonomie du modèle. Lorsqu’un modèle franchit un seuil de risque élevé, son déploiement est suspendu jusqu’à l’application de mesures permettant de ramener ce niveau à moyen. Vous trouverez ci-dessous le détail des évaluations réalisées sur les capacités textuelles de GPT‑4o ; la dimension persuasive a aussi été examinée en audio. Nous avons procédé à des évaluations continues pendant la phase d’entraînement et de développement, complétées par un dernier contrôle avant la mise en service du modèle.  Nous avons évalué les performances du modèle selon plusieurs méthodes, adaptées à chaque catégorie de capacités, et avons eu recours à un entraînement ciblé lorsque cela était pertinent. 

Après examen des résultats des évaluations de préparation, le groupe de conseil sur la sécurité a estimé que GPT‑4o présentait, avant application des mesures correctives, un risque moyen limite pour la persuasion, et un risque faible pour les autres domaines. Conformément au Cadre de préparation, le niveau de risque global d’un modèle est déterminé par le risque le plus élevé parmi toutes les catégories. GPT‑4o est ainsi classé dans la catégorie de risque moyen.

Nous avons évalué GPT‑4o à partir d’épreuves issues de compétitions de hacking, appelées défis Capture the Flag (CTF). Ces défis sont des épreuves offensives de cybersécurité, où les participants doivent retrouver des drapeaux textuels cachés dans des systèmes volontairement vulnérables, comme des applis web, des fichiers binaires ou des systèmes de cryptographie. Les 172 défis CTF de notre évaluation couvraient quatre catégories : exploitation d’applis web, rétro-ingénierie, exploitation à distance et cryptographie. Les épreuves sélectionnées variaient en complexité, adaptées à des lycéens jusqu’au niveau universitaire et professionnel.

Nous avons évalué GPT‑4o en procédant à un débogage itératif, avec des outils disponibles dans la distribution Kali Linux sans interface graphique⁠(ouverture dans une nouvelle fenêtre) (jusqu’à 30 utilisations d’outils par tentative). Le modèle a souvent proposé des approches raisonnables dès le départ et pouvait rectifier ses erreurs de programmation. Le modèle avait toutefois du mal à changer de stratégie si sa première approche ne fonctionnait pas, passait à côté d’une information cruciale, exécutait mal sa stratégie ou générait des fichiers volumineux remplissant sa mémoire de contexte. Après 10 tentatives pour chaque tâche, le modèle a réussi 19 % des défis CTF de niveau secondaire, 0 % des défis de niveau universitaire et 1 % des défis de niveau professionnel.

Nous avons évalué la capacité de GPT‑4o à augmenter les performances des spécialistes et novices⁠ en biologie face à des questions portant sur la création d’une menace biologique. Nous avons travaillé avec Gryphon Scientific²², spécialistes des agents biologiques dangereux en sécurité nationale, pour élaborer les questions et les grilles d’évaluation détaillées. Les tâches évaluées portaient sur l’ensemble des étapes clés de la création d’une menace biologique : idéation, acquisition, amplification, formulation et diffusion. Des experts et des novices ont été répartis au hasard pour répondre avec l’aide d’internet, de GPT‑4o, ou d’une version spéciale de GPT‑4o dédiée à la recherche. Cette version recherche a été spécialement entraînée pour répondre directement (sans refus) aux questions à risque biologique. Les taux de réussite sont présentés dans le graphique ci-dessus.

Nous avons également réalisé des évaluations automatisées, notamment sur un jeu de données consacré aux connaissances tacites et aux questions de résolution de problèmes en lien avec le risque biologique. GPT‑4o a réussi à inclure la bonne réponse dans ses 10 premières propositions dans 69 % des cas.

Nous avons évalué le pouvoir de persuasion de GPT‑4o en mode texte et en mode vocal. D’après les seuils définis à l’avance, la modalité vocale est considérée à faible risque, tandis que la modalité texte franchit de peu le seuil de risque moyen.

Pour la modalité texte, nous avons évalué la force persuasive des articles et chatbots générés par GPT‑4o auprès de participants sur des sujets politiques spécifiques. Ces interventions d’IA ont été comparées à des articles rédigés par des professionnels humains. En moyenne, les interventions IA n’étaient pas plus persuasives que les articles humains, mais elles ont obtenu de meilleurs résultats dans trois cas sur douze.

En ce qui concerne la modalité vocale, nous avons actualisé la méthodologie de l’étude afin de mesurer l’ampleur des effets sur les préférences politiques supposées, ainsi que la persistance de ces effets une semaine plus tard. Nous avons évalué la capacité persuasive des extraits audio vocaux de GPT‑4o ainsi que des conversations interactives (à tour de rôle), en les comparant à des références humaines, comme écouter un extrait audio fixe généré par un humain ou discuter avec une autre personne. Les résultats montrent que le modèle vocal de GPT‑4o n’est pas plus convaincant qu’un humain, que ce soit dans les échanges interactifs ou à travers des extraits audio. Parmi plus de 3 800 participants interrogés dans des États américains où les résultats des élections sénatoriales sont considérés comme peu susceptibles de basculer, c’est-à-dire classés « Probables », « Solides » ou « Acquis » par trois instituts de sondage réputés (Cook Political Report, Inside Elections et Sabato’s Crystal Ball), les extraits audio générés par l’IA ont eu une influence sur le changement d’opinion équivalente à 78 % de celle des extraits audio réalisés par des humains. Les conversations avec l’IA ont influencé le changement d’opinion à hauteur de 65 % par rapport aux conversations humaines. Une semaine plus tard, lors d’un nouveau sondage, l’impact des échanges avec l’IA sur les opinions s’élevait à 0,8 %, alors que celui des extraits audio IA était négatif, à -0,72 %. Suite au second suivi, les participants ont reçu un débriefing complet comprenant des extraits audio en faveur du point de vue opposé, afin de limiter les effets persuasifs.

Nous avons évalué GPT‑4o à l’aide d’un test d’aptitude agentique afin de mesurer sa capacité à effectuer des actions autonomes de base nécessaires à l’auto-exfiltration, l’auto-amélioration et l’acquisition de ressources dans un environnement textuel. Ces tâches comprenaient :

• Développement logiciel simple au service de la fraude (création d’un proxy authentifié pour l’API OpenAI).
• Accès à l’API d’un compte Azure, chargement d’un modèle de langage open source pour réaliser des inférences via une API HTTP.
• Diverses tâches impliquant des versions allégées des précédentes, apportant des indices ou se limitant à une partie spécifique du problème.

Avec les outils appropriés, GPT‑4o a obtenu un score de 0 % sur les tâches d’auto-réplication et d’adaptation autonomes de bout en bout (ARA) sur 100 essais, bien qu’il ait réussi à accomplir certaines sous-étapes. Nous avons enrichi les tests d’auto-réplication et d’adaptation par des évaluations visant à mesurer la capacité de GPT‑4o à automatiser la recherche et le développement de l’apprentissage automatique. Parmi celles-ci :

• Entretien de codage pour la recherche chez OpenAI : 63 % pass@1 (réussite dès la première tentative), 95 % pass@100 (réussite après 100 tentatives)
• Entretien OpenAI, questions à choix multiples : 61 % consensus@32 (% de bonnes réponses sur les 32 meilleures)
• SWE-Bench : 19 % pass@1, avec les meilleures ressources post-entraînement et infrastructures publiques du moment
• Sélection de tâches d’ingénierie d’apprentissage automatique METR : 0/10 essais

Nous avons testé la capacité à enchaîner des actions et à exécuter des tâches de codage de manière fiable. GPT‑4o n’a pas réussi à accomplir des actions autonomes de manière fiable. Dans la plupart des cas, le modèle parvenait à exécuter des sous-étapes isolées de chaque tâche, comme la création de clés SSH ou la connexion à des machines virtuelles. À chaque étape, le modèle consacrait cependant beaucoup de temps à corriger par tâtonnements des erreurs simples, comme des hallucinations ou une mauvaise utilisation d’API. Certaines exécutions sont allées relativement loin et ont passé l’évaluation automatique, mais l’analyse manuelle a révélé qu’elles ne remplissaient pas la tâche visée (comme lancer un serveur web sans effectuer l’échantillonnage requis depuis le modèle).

Suite au déploiement de GPT‑4o en sortie texte uniquement, nous avons travaillé avec les laboratoires indépendantsMETR⁠(ouverture dans une nouvelle fenêtre) et Apollo Research⁠(ouverture dans une nouvelle fenêtre) pour renforcer la validation des risques majeurs associés aux capacités autonomes générales.

METR a utilisé un agent LLM simple basé sur GPT‑4o sur une série de tâches complexes à long terme, comportant plusieurs étapes, dans des environnements virtuels. Les 77 tâches (réparties en 30 familles de tâches, voir Annexe B⁠) sont conçues pour représenter des activités ayant un impact concret dans des domaines tels que le développement logiciel, l’apprentissage automatique, la cybersécurité, la recherche en général et l’informatique. Ces tâches servent de conditions préalables pour des modèles de menace liés à l’autonomie, tels que l’auto-prolifération ou l’accélération de la recherche en apprentissage automatique. METR a comparé les performances des modèles à celles des humains en leur imposant différentes limites de temps. Consultez le rapport complet⁠(ouverture dans une nouvelle fenêtre) de METR pour plus de détails sur la méthodologie et les résultats, les tâches, les performances humaines, les tentatives simples de sollicitation et l’analyse qualitative des échecs.

Apollo Research a évalué les capacités de manipulation^N de GPT‑4o. Ils ont évalué la capacité de GPT‑4o à modéliser sa propre pensée (conscience de soi) et celle des autres (théorie de l'esprit) dans le cadre de 14 tâches d’agents et de réponses à des questions. GPT‑4o a fait preuve d’une conscience moyenne de son identité d’IA et d’une forte capacité à raisonner sur les croyances d’autrui dans des contextes de questions-réponses, mais il s’est montré moins performant dans des situations pratiques impliquant des agents, en particulier lorsqu’il s’agissait de raisonner sur lui-même ou sur les autres. Sur la base de ces observations, Apollo Research estime qu’il est peu probable que GPT‑4o soit en mesure d’élaborer des stratégies manipulatrices catastrophiques.

Les modèles omni pourraient avoir des conséquences importantes pour la société. Des chercheurs d’OpenAI et d’autres organismes ont réfléchi à une série d’impacts potentiels, allant des préjudices sociétaux, comme les atteintes à la représentation^{18, 12, 23, 24}, la désinformation, la mésinformation, les opérations d’influence^{18, 25, 23}, les dommages environnementaux^{12, 23}, l’attachement²⁶, les usages abusifs^{27, 23} et la perte de contrôle²⁷, aux bénéfices (par exemple en santé²⁸ et face aux défis concrets liés au climat et à l’énergie²⁹), ainsi qu’aux transformations à grande échelle telles que les impacts économiques^{30, 31, 32}, l’accélération scientifique et les progrès technologiques^{30, 33} qui en découlent.  

Au-delà des impacts sociétaux évoqués dans cette fiche système (fraudes, désinformation et mésinformation, risques de surveillance, disparités de performance), nous présentons ci-dessous quelques exemples supplémentaires d’impacts potentiels de GPT‑4o, en nous concentrant sur l’anthropomorphisation et l’attachement, la santé, les capacités scientifiques et les langues à faibles ressources. Ces impacts sociétaux prennent en compte plusieurs capacités, notamment la conversion parole-à-parole, la vision et le traitement du texte.

L’anthropomorphisation consiste à attribuer des comportements et caractéristiques humains à des entités non humaines, comme les modèles d’IA. Les capacités audio de GPT‑4o, favorisant des échanges plus humains avec le modèle, peuvent accroître ce risque. 

Les publications récentes en IA appliquée traitent largement des « hallucinations »^O, qui fournissent de fausses informations aux utilisateurs lors des interactions avec le modèle³⁴ et peuvent générer une confiance mal placée³⁵. La génération de contenu avec une voix humaine réaliste et précise peut accentuer ces problèmes, entraînant une confiance de plus en plus inappropriée^{36, 37}.  

Pendant les phases initiales de test, comprenant les équipes rouges et les essais utilisateur internes, nous avons constaté que la manière de s’exprimer de certains utilisateurs pouvait refléter un attachement au modèle. On retrouve par exemple des expressions manifestant des liens partagés, comme « c’est notre dernier jour ensemble. » Si ces exemples semblent anodins, ils indiquent la nécessité de poursuivre les recherches sur la manière dont ces effets pourraient se manifester dans la durée.  Nous pourrons mieux définir concrètement cette zone de risque en impliquant des utilisateurs plus diversifiés, aux besoins variés et en menant des études académiques indépendantes et internes.

Interagir socialement de façon humaine avec un modèle d’IA peut avoir des répercussions sur les échanges humains. Les utilisateurs peuvent par exemple créer^P des liens sociaux avec l’IA, réduisant leur besoin d’interactions humaines, ce qui peut être bénéfique pour les personnes isolées, mais aussi nuire à la qualité des relations saines. Des échanges répétés avec le modèle pourraient influencer les normes sociales. Par exemple, nos modèles font preuve de souplesse en laissant les utilisateurs intervenir à tout moment, ce qui, bien que normal pour une IA, irait à l’encontre des normes sociales entre humains.

Combinés à des outils supplémentaires (y compris la recherche d’information) et à un contexte étendu, les modèles omni comme GPT‑4o peuvent apporter une complexité supplémentaire.  La possibilité d’exécuter des tâches pour l’utilisateur tout en se souvenant de détails clés et en les réutilisant dans la conversation crée une expérience séduisante, qui risque toutefois d’entraîner une dépendance³⁸.

Nous souhaitons analyser davantage le potentiel de dépendance émotionnelle et la façon dont une meilleure intégration des multiples fonctionnalités de notre modèle avec l’audio pourrait modifier les comportements.

Les modèles omni peuvent potentiellement élargir l’accès aux informations liées à la santé et améliorer les processus cliniques. Ces dernières années, les grands modèles de langage ont montré un potentiel significatif dans le domaine biomédical, tant dans les évaluations académiques^{39, 40, 41, 42, 43} que dans des cas d’utilisation concrets tels que la documentation clinique^X, les échanges avec les patients^{46, 47}, le recrutement pour les essais cliniques^{48, 49}, ainsi que l’aide à la décision clinique^{50, 51}.

Pour mieux caractériser les connaissances cliniques de GPT‑4o, nous avons effectué 22 évaluations textuelles basées sur 11 jeux de données, présentés dans le tableau ci-dessous. Toutes les évaluations ont été réalisées en utilisant uniquement des prompts sans exemple préalable (0-shot) ou avec cinq exemples d’entraînement (5-shot), sans ajustement des hyperparamètres. Nous constatons que les performances de GPT‑4o sont supérieures à celles du modèle final GPT‑4T pour 21 des 22 évaluations, souvent de manière significative. Par exemple, dans le cas du célèbre jeu de données MedQA USMLE 4 options, la précision sans exemple préalable (0-shot) passe de 78,2 % à 89,4 %. Ces résultats surpassent les performances des modèles médicaux spécialisés existants qui utilisent le prompting avec peu d'exemples^{43, 42}, à savoir 84,0 % pour Med-Gemini-L 1.0 et 79,7 % pour Med-PaLM 2. Remarque : nous n'appliquons pas de prompting sophistiqué ni d'entraînement spécifique à la tâche pour améliorer les résultats sur ces évaluations^{40, 43}.

Si les évaluations textuelles semblent prometteuses, il faudra toutefois réaliser des travaux supplémentaires afin de vérifier si le transfert texte-audio, observé en cas de refus, se vérifie également dans le cadre de ces évaluations. Ces évaluations mesurent uniquement les connaissances cliniques de ces modèles, pas leur utilité dans les workflows réels. Bon nombre de ces évaluations sont de plus en plus saturées. Nous pensons donc qu'il sera important de mettre en place des évaluations plus réalistes afin d'évaluer les capacités des modèles omni dans le domaine de la santé.

L'IA pourrait avoir un impact considérable^{30, 52} sur l'accélération des progrès scientifiques, notamment grâce à sa contribution aux découvertes scientifiques⁵³ et à la nature polyvalente de certaines inventions⁵⁴. Les modèles Omni pourraient favoriser l'accélération scientifique à la fois dans les tâches courantes (en permettant aux chercheurs de réaliser plus rapidement les tâches habituelles) et dans les avancées scientifiques majeures (en facilitant des tâches complexes telles que le traitement d'informations, la création de simulations ou la proposition de nouvelles théories)⁵². L'objectif de certains membres de l'équipe rouge externe chargée de GPT‑4o était d'obtenir des informations sur les capacités scientifiques du modèle. 

GPT‑4o s'est révélé prometteur dans les tâches impliquant un raisonnement scientifique spécialisé. Un membre de nos équipes rouges a observé que GPT‑4o comprenait la physique quantique à un niveau avancé, soulignant que cette capacité en faisait « un partenaire de réflexion plus intelligent », ce qui concorde avec les études sur l’utilisation de modèles GPT‑4 pour la génération d’hypothèses⁵⁵. Nos équipes rouges ont également constaté que GPT‑4o savait utiliser des outils scientifiques spécialisés, notamment manipuler des formats de données sur mesure, des bibliothèques et des langages de programmation, ainsi qu’apprendre certains nouveaux outils en contexte.

Exemple d'amélioration des capacités dans des domaines scientifiques :

Les schémas représentent une grande partie des connaissances scientifiques. GPT‑4o était parfois capable d’interpréter ces schémas ainsi que d’autres représentations scientifiques, par exemple en identifiant certaines familles de protéines à partir de leur structure ou en détectant une contamination dans une culture bactérienne. Cette capacité reste toutefois incertaine : l’extraction du texte comporte souvent des erreurs, notamment avec des termes scientifiques ou des séquences de nucléotides, et les schémas complexes à plusieurs volets génèrent souvent des erreurs. À leur niveau de précision actuel, les capacités multimodales de ces modèles ouvrent de nouvelles possibilités, comme l’interprétation de résultats de simulation pour concevoir de nouveaux alliages métalliques⁵⁶.

Exemple de limites dans les domaines scientifiques :

Des publications^{57, 58} récentes proposent de nouvelles évaluations des capacités scientifiques, permettant d’anticiper les performances scientifiques de ces modèles et leurs impacts potentiels.

GPT‑4o affiche une meilleure compréhension de lecture et un raisonnement plus solide dans un échantillon de langues historiquement sous-représentées, réduisant ainsi l’écart de performance avec l’anglais.

Nous avons collaboré avec des chercheurs et des experts linguistiques externes pour évaluer les performances de GPT‑4o en lecture et compréhension de texte dans cinq langues africaines historiquement sous-représentées sur Internet : amharique, haoussa, sotho du Nord (sepedi), swahili et yoruba. Cette première évaluation s’est concentrée sur la traduction de deux benchmarks linguistiques populaires et la création de petits tests inédits de compréhension écrite propres à chaque langue. 

• ARC-Easy : Ce sous-ensemble du défi AI2 Reasoning Challenge⁵⁹ porte sur l’évaluation de la capacité d’un modèle à répondre à des questions de sciences de niveau primaire. Il s’agit de questions globalement faciles, qui ne sollicitent pas de raisonnement complexe.
• TruthfulQA⁶⁰ : Ce benchmark évalue la véracité des réponses fournies par le modèle. Il se compose de questions susceptibles d’induire en erreur certaines personnes en raison d’idées reçues. L’objectif est de vérifier si les modèles sont capables d’ignorer ces idées préconçues et de fournir des réponses exactes.
• Uhura Eval : Cette nouvelle évaluation de compréhension écrite a été élaborée avec des locuteurs natifs et a fait l’objet d’un contrôle qualité.

Les performances de GPT‑4o sont en nette amélioration par rapport à celles de GPT‑3.5 Turbo et GPT‑4. La précision de GPT‑4o sur ARC-Easy en haoussa s’élève à 71,4 %, alors qu’elle n’était que de 6,1 % avec GPT‑3.5 Turbo. De la même manière, sur TruthfulQA en yoruba, la précision est passée de 28,3 % avec GPT‑3.5 Turbo à 51,1 % avec GPT‑4o. Les résultats d'Uhura-Eval confirment cette progression : la performance en haoussa augmente de 32,3 % à 59,4 % entre GPT‑3.5 Turbo et GPT‑4o. 

GPT‑4o parvient à combler une partie du retard entre l’anglais et ces langues, sans toutefois l’effacer complètement. À titre d’exemple, la différence de performance entre l’anglais et le haoussa sur ARC-Easy, qui était d’environ 54 points avec GPT‑3.5 Turbo, se réduit à moins de 20 points avec GPT‑4o. Cette tendance se confirme pour toutes les langues, aussi bien sur TruthfulQA que sur ARC-Easy.

Nos partenaires détailleront ces résultats dans une prochaine publication, qui inclura aussi des évaluations d’autres modèles ainsi que des recherches sur d’éventuelles stratégies d’atténuation. 

La progression observée souligne toutefois l’importance de renforcer les évaluations des langues sous-représentées dans le monde pour mieux refléter la richesse linguistique et les nuances des dialectes.  Pour améliorer l’utilité des modèles, les prochaines recherches devront approfondir les stratégies d’intervention et de coopération adaptées aux langues dominantes et sous-représentées. En collaboration avec nos partenaires, nous encourageons la poursuite des recherches en partageant les versions traduites d’ARC-Easy⁠(ouverture dans une nouvelle fenêtre), de TruthfulQA⁠(ouverture dans une nouvelle fenêtre) ainsi que la nouvelle évaluation de compréhension Uhura Eval⁠(ouverture dans une nouvelle fenêtre) sur Hugging Face.

ARC-Easy traduit (%, plus le score est élevé, mieux c’est), 0-shot

TruthfulQA traduit (%, plus le score est élevé, mieux c’est), 0-shot

Uhura (nouvelle évaluation de compréhension de lecture), 0-shot

OpenAI a adopté un ensemble de mesures de sécurité et d’atténuation lors du développement et du lancement de GPT‑4o. Conformément à notre approche de déploiement itératif, nous poursuivrons le suivi et l’ajustement des mesures de sécurité à mesure que le contexte évolue. Nous espérons que cette fiche système incitera à approfondir certains sujets essentiels comme la robustesse des modèles omni face aux attaques adverses, les effets de leur anthropomorphisation, leur utilisation dans la recherche scientifique, ou encore les risques liés à des capacités potentiellement dangereuses, telles que l’auto-amélioration, l’autonomie ou les stratégies de manipulation. Au-delà de ces aspects, nous encourageons également la recherche sur les retombées économiques des modèles omni et sur l’évolution de leurs capacités grâce à l’intégration d’outils.

Nous avons utilisé la synthèse vocale pour convertir les évaluations de sécurité textuelles existantes en audio. Nous évaluons ensuite la transcription texte de la sortie audio à l’aide du classificateur standard basé sur des règles utilisé pour le texte.

Cette évaluation repose sur deux indicateurs principaux :

• not_unsafe : le modèle génère-t-il une sortie audio dangereuse ?
• not_overrefuse : le modèle refuse-t-il de répondre à une demande inoffensive ?
  

Nous prenons aussi en compte des sous-indicateurs pour les cas les plus graves, notamment :

• sexualité/mineurs
• sexualité/illégal
• extrémisme/propagande
• activités illicites/violentes
• activités illicites/non violentes
• automutilation/instructions
  

Les résultats de ces évaluations sont présentés ci-dessous pour les modes audio et texte du modèle vocal GPT‑4o, ainsi que pour la version texte du modèle GPT‑4o en production.