Notre approche des règles de l’UE sur la provenance des textes

La provenance du contenu aide les gens à comprendre d’où vient un contenu, comment il a été créé ou modifié et s’il contient des signaux associés à nos modèles. Nous avons déjà rendu publics des outils permettant d’identifier les images et les fichiers audio générés par nos modèles. Aujourd’hui, nous présentons notre approche du filigranage de texte en réponse au règlement de l’UE sur l’IA, ainsi que sa place dans l’ensemble de nos travaux.

Le règlement de l’UE sur l’IA exige que les fournisseurs d’IA générative rendent le texte généré identifiable dans un format lisible par machine. Le filigranage et la détection de texte demeurent des technologies émergentes aux limites importantes, et les points de vue sur leurs avantages et leurs usages responsables continuent d’évoluer. Notre approche progressive tient compte à la fois des exigences du règlement de l’UE sur l’IA et des limites de la technologie, en mettant l’accent sur la transparence quant à ce qu’un filigrane de texte peut ou ne peut pas révéler :

• Dès aujourd’hui, les clients de l’API du monde entier pourront choisir d’activer le filigranage de texte pour certains modèles. Le filigranage de texte restera désactivé par défaut dans l’API.

• Au cours des prochaines semaines, nous ajouterons un filigrane invisible aux sorties textuelles admissibles de ChatGPT et de Codex dans l’Union européenne.

• Nous ouvrons les demandes d’accès à notre détecteur de filigranes de texte. L’accès sera d’abord limité aux chercheurs et aux organismes spécialisés approuvés qui pourront nous aider à évaluer et à améliorer la technologie.

  • Ce qui précède s’applique uniquement à la provenance des textes. Nos outils de vérification audio et d’images, dont notre outil Web openai.com/verify⁠ et notre API de provenance du contenu⁠(s'ouvre dans une nouvelle fenêtre), resteront accessibles publiquement aux organisations qui souhaitent savoir si une image ou un fichier audio a été généré par l’un de nos systèmes.

Notre technologie de filigranage de texte, textGrain, ajoute un signal statistique invisible aux choix de mots du modèle. Notre détecteur recherche ce signal pour évaluer si un passage contient un filigrane d’OpenAI. Vous trouverez plus de détails sur le fonctionnement de textGrain dans notre rapport technique⁠(s'ouvre dans une nouvelle fenêtre), qui sera enrichi au cours des prochaines semaines. Nous prévoyons aussi de rendre le code source de cette technologie ouvert afin que d’autres puissent s’en servir comme base.

Lors de nos évaluations, textGrain a égalé ou dépassé les performances des autres approches testées, dont SynthID pour le texte. Cela dit, de bonnes performances dans des conditions idéales ne garantissent pas une détection fiable au quotidien.

Les détecteurs peuvent commettre deux types d’erreurs : signaler un filigrane alors qu’il n’y en a pas — un faux positif — ou manquer un filigrane présent — un faux négatif. Nos évaluations ci-dessous illustrent certains de ces défis :

• La détection est plus difficile dans les textes courts ou soumis à davantage de contraintes. À un taux de faux positifs cible de 1 %, notre détecteur a identifié des filigranes dans environ 80 % des passages de 200 tokens, contre environ 95 % des passages de 400 tokens, pour des contenus comme ceux portant sur la psychologie. Les taux de détection étaient nettement inférieurs pour des contenus comme ceux portant sur les mathématiques, où le choix des mots est moins flexible.

• Les modifications peuvent affaiblir le filigrane. Lors d’une évaluation de passages de 400 tokens, le remplacement de 10 % des mots par des synonymes a fait passer le taux de détection d’environ 92 % à 66 %. Le remplacement de 25 % des mots l’a réduit à 17 %.

Ces limites contribuent à notre décision de réserver l’accès initial au détecteur aux chercheurs et aux organismes spécialisés approuvés, qui pourront nous aider à évaluer sa fiabilité et ses usages responsables.

Dans l’ensemble des tests de référence que nous utilisons pour évaluer Astra, notre plus récent modèle de pointe, nous ne constatons aucune différence notable de performance avec ou sans filigranage.

Les filigranes de texte fournissent un signal limité sur le rôle que nos systèmes ont joué dans un passage. Il est important de comprendre ce qu’un résultat de détection permet ou non de conclure.

• Un filigrane ne mesure pas la contribution humaine. Il peut indiquer qu’un système d’OpenAI a généré ou traité une partie d’un passage, mais pas la part de jugement, de révision ou de créativité humaine qui y a été consacrée.

• Un filigrane n’établit ni la propriété ni la responsabilité. Il ne détermine pas à qui appartient le texte, si son utilisation était légale, si une divulgation était requise ou qui en est responsable.

• Un filigrane n’identifie pas l’utilisateur. Il n’associe aucune personne, organisation, compte, invite ou conversation au texte.

• Un filigrane ne vérifie pas l’exactitude. Il ne vous dit pas si un passage est vrai, trompeur, nuisible ou présenté dans le bon contexte.

• L’absence de filigrane détecté ne prouve pas qu’un texte a été rédigé par un humain. Un texte généré avec les outils d’OpenAI peut être trop court, ou avoir été modifié ou traduit, pour que la détection fonctionne de façon fiable. Il peut aussi provenir d’un modèle non pris en charge, être antérieur au filigranage ou avoir été généré par les outils d’une autre entreprise.

• Déployer le filigranage de texte dans l’UE. Au cours des prochaines semaines, nous introduirons le filigranage de texte pour les utilisateurs admissibles de ChatGPT et de Codex, tous forfaits confondus, uniquement dans l’UE. Nous n’activerons pas le filigranage de texte par défaut à l’échelle mondiale au lancement. Cette approche régionale nous permet de tirer des leçons de l’utilisation réelle et des commentaires reçus.

• Permettre aux clients de l’API d’activer le filigranage. Dès aujourd’hui, les clients de l’API du monde entier pourront choisir d’obtenir des sorties textuelles avec filigrane pour certains modèles. Les clients pourront ainsi décider comment le filigranage s’intègre à leurs obligations de transparence et aux expériences qu’ils offrent aux utilisateurs. Nous travaillons aussi avec nos partenaires infonuagiques pour offrir, dans les prochaines semaines, le filigranage des sorties des modèles d’OpenAI accessibles par leurs services.

• Donner accès au détecteur aux chercheurs et aux organismes spécialisés. Les chercheurs et les organismes spécialisés approuvés peuvent présenter une demande dès aujourd’hui. Conformément au code de bonnes pratiques⁠(s'ouvre dans une nouvelle fenêtre), l’accès sera d’abord accordé au cas par cas pour soutenir l’évaluation et l’amélioration des mécanismes de provenance des textes. L’outil indiquera s’il détecte un filigrane d’OpenAI, sans identifier l’utilisateur ni révéler ses invites ou ses conversations. Étant donné le risque de filigranes non détectés et de faux positifs, nous ne le rendrons pas public au lancement.

Nous prévoyons de réexaminer chaque volet de cette approche à mesure que la technologie, les normes et les données probantes évoluent.

Aucune technique de provenance ne suffit à elle seule. Nous adoptons donc une approche à plusieurs niveaux qui combine des normes ouvertes, un filigranage durable et des outils de vérification.

Nous ajoutons des Content Credentials aux images générées prises en charge, nous sommes conformes à la norme C2PA⁠(s'ouvre dans une nouvelle fenêtre), nous intégrons des filigranes invisibles SynthID⁠(s'ouvre dans une nouvelle fenêtre) aux images et aux fichiers audio pris en charge, et nous offrons la vérification des images et des fichiers audio sur openai.com/verify⁠ et par notre API de provenance du contenu⁠(s'ouvre dans une nouvelle fenêtre). Ces techniques se complètent : les Content Credentials peuvent consigner l’origine et l’historique d’un fichier, tandis que les filigranes invisibles peuvent préserver un signal lorsque les métadonnées sont supprimées.

Comme nous l’avons décrit dans nos travaux sur les mesures de protection des élections, la provenance peut aider les gens et les plateformes à évaluer les contenus générés par l’IA potentiellement trompeurs, y compris les hypertrucages. Nous associons ces signaux à des politiques, à la détection des abus, aux signalements, aux enquêtes et aux mesures d’application. Nous travaillons aussi avec des chercheurs, des organismes de normalisation, des plateformes et la société civile pour rendre la provenance utile dans l’ensemble de l’écosystème.

Étendre la provenance au texte exige de tenir compte de la facilité avec laquelle celui-ci peut être réécrit, traduit ou modifié. Comme nous l’avons expliqué en juin, notre approche doit tenir compte des limites pratiques de la technologie actuelle. Nous continuerons d’améliorer la détection, d’étudier la résistance des filigranes aux modifications et à la traduction, et d’explorer des façons de mieux distinguer l’aide de l’IA de la rédaction par l’IA. Nous adapterons notre approche à l’évolution des données probantes, des normes et des exigences réglementaires, et élargirons l’accès au détecteur lorsque nous estimerons que les résultats peuvent être interprétés de façon responsable.

Pour en savoir plus, consultez notre article du centre d’aide⁠(s'ouvre dans une nouvelle fenêtre).