Faire progresser la provenance du contenu pour un écosystème d’IA plus sûr et plus transparent

Les gens utilisent les outils d’OpenAI tous les jours pour créer et modifier des images et de l’audio de façons qui rendent la communication plus expressive, utile et accessible. À mesure que ces outils s’intègrent à la façon dont les gens créent, imaginent et partagent, il est important qu’ils puissent comprendre et vérifier d’où viennent les médias afin de les interpréter avec plus de confiance. Les signaux de provenance peuvent aider en donnant aux gens du contexte sur l’origine du contenu, la façon dont il a été créé ou modifié, et s’il correspond bien à ce qu’il prétend être.

Aujourd’hui, nous renforçons notre approche de la provenance du contenu avec un modèle multicouche, axé sur l’écosystème, pour bâtir la confiance en ligne. Nous faisons en sorte que nos signaux de provenance soient plus faciles à reconnaître par d’autres outils et plateformes grâce à la conformité C2PA, nous ajoutons le tatouage numérique durable et multiplateforme SynthID aux images grâce à un partenariat avec Google, et nous présentons un aperçu d’un outil que le public pourra utiliser pour vérifier si des images proviennent d’OpenAI.

Ensemble, ces mises à jour s’inscrivent dans la continuité de nos travaux antérieurs⁠ visant à promouvoir les normes ouvertes, à rendre le contenu généré par OpenAI plus facile à identifier et à favoriser la collaboration au sein du secteur afin de contribuer à un écosystème d’information plus fiable.

OpenAI participe au développement et à l’adoption de normes de provenance depuis 2024, lorsque nous avons commencé à ajouter des Content Credentials aux images générées par DALL·E 3⁠(s'ouvre dans une nouvelle fenêtre), puis à ImageGen⁠(s'ouvre dans une nouvelle fenêtre) et Sora⁠(s'ouvre dans une nouvelle fenêtre). Nous avons également rejoint le comité directeur de la Coalition for Content Provenance and Authenticity (C2PA), le groupe intersectoriel à l’origine de la norme technique ouverte sur la provenance des contenus. L’approche technique de C2PA utilise des métadonnées et des signatures cryptographiques pour permettre aux informations relatives à un média d’accompagner ce dernier en toute sécurité. Ces informations comprennent du contexte qui aide les journalistes à évaluer une source, les plateformes à prendre des décisions en matière d’intégrité et les utilisateurs et utilisatrices à comprendre ce qu’ils voient en ligne.

Nous avons récemment pris la décision de faire d’OpenAI un produit générateur conforme à la norme C2PA. ⁠(s'ouvre dans une nouvelle fenêtre). En nous conformant à la norme C2PA, nous offrons aux plateformes un moyen fiable de lire, de conserver et de transmettre les informations de provenance que nous joignons à notre contenu. C’est important, car la provenance ne fonctionne que si elle perdure au-delà de la première plateforme sur laquelle le contenu a été créé, et la conformité qui rend cela possible.

Les métadonnées C2PA constituent une base importante pour la provenance. Elles aident le contenu à transporter de l’information sur son origine, la façon dont il a été créé ou modifié, et sur la personne qui a signé cette information. Mais les métadonnées ne sont pas infaillibles. Elles peuvent être supprimées, perdues lors des téléversements et téléchargements, ou altérées par des transformations comme des changements de format de fichier, le redimensionnement ou des captures d’écran.

Afin de renforcer la résilience de la provenance, nous adoptons une approche multicouche et intégrons un système de filigrane via SynthID de Google DeepMind⁠(s'ouvre dans une nouvelle fenêtre), en commençant par les images générées avec ChatGPT⁠, Codex ou l’API OpenAI. SynthID intègre une couche de filigrane invisible qui vient compléter les approches basées sur les métadonnées C2PA.

Nous y travaillons depuis un certain temps déjà. Nous avons utilisé des filigranes visuels⁠ dans Sora et un filigrane audio⁠ dans Voice Engine, et nous avons continué à tester et à étudier leur précision et leur fiabilité au fil du temps. dans le cadre du déploiement.

Ces deux systèmes se renforcent mutuellement. La C2PA aide le contenu à transporter un contexte détaillé; SynthID aide à préserver un signal lorsque les métadonnées ne survivent pas. Le tatouage numérique peut être plus durable face à des transformations comme les captures d’écran, tandis que les métadonnées peuvent fournir plus d’information qu’un tatouage numérique seul. Ensemble, ils rendent la provenance plus résiliente que ne le ferait l’une ou l’autre couche à elle seule.

Des métadonnées fiables et des filigranes résistants à la plupart des modifications peuvent renforcer la durabilité des signaux de provenance. Mais il faut un moyen de détecter ces signaux. Nous présentons maintenant un aperçu d’un outil public de vérification⁠ qui permettra aux utilisateurs et aux utilisatrices de vérifier si une image téléversée a été générée par ChatGPT, l’API OpenAI ou Codex, en vérifiant si elle contient des signaux de provenance, comme des Content Credentials et un SynthID.

Nous pensons que la provenance devrait être plus facile à vérifier et à interpréter, et que notre outil peut aider les utilisateurs et utilisatrices à déterminer si un contenu a été généré par l’IA, grâce à l’intégration de plusieurs indicateurs. Cette initiative s’appuie sur les apprentissages tirés de l’aperçu de recherche initial de notre classificateur de détection d’images⁠ en 2024 et permet aux utilisateurs de déterminer de manière fiable si un filigrane SynthID provenant d’OpenAI est présent dans le média, ainsi que d’afficher les métadonnées C2PA lorsqu’elles sont détectées.

Aucune méthode de détection n’est infaillible, donc nous adoptons une approche prudente lorsque la détection échoue. Si aucune métadonnée ni aucun tatouage numérique n’est détecté, par exemple, l’outil ne tirera pas de conclusion définitive sur le fait que l’image a été générée avec les outils d’OpenAI, puisque les signaux de provenance peuvent dans certains cas être supprimés.

Au lancement, l’outil est limité au contenu généré par OpenAI. Au cours des prochains mois, nous visons à soutenir les efforts intersectoriels pour rendre la vérification possible sur l’ensemble des plateformes. Avec le temps, nous prévoyons aussi prendre en charge davantage de types de contenu que les gens peuvent rencontrer en ligne.

Aucune technique de provenance ne suffit à elle seule. Nous croyons qu’une approche solide combine des normes communes, des signaux de tatouage numérique durables et une vérification publique. En nous appuyant sur notre soutien de longue date aux Content Credentials, en devenant conformes à la C2PA, en adoptant SynthID et en présentant des outils publics de vérification, nous espérons contribuer à long terme à un écosystème de provenance plus interopérable.