Far progredire la provenienza dei contenuti per un ecosistema IA più sicuro e trasparente

Le persone usano ogni giorno gli strumenti di OpenAI per creare e modificare immagini e audio in modi che rendono la comunicazione più espressiva, utile e accessibile. Man mano che questi strumenti entrano a far parte del modo in cui le persone creano, immaginano e condividono, è importante che possano capire e verificare da dove provengono i contenuti multimediali, così da interpretarli con maggiore sicurezza. I segnali di provenienza possono aiutare fornendo alle persone un contesto su da dove proviene un contenuto, come è stato creato o modificato e se è davvero ciò che dichiara di essere.

Oggi stiamo rafforzando il nostro approccio alla provenienza dei contenuti con un modello multilivello, guidato dall’ecosistema, per costruire fiducia online. Stiamo rendendo i nostri segnali di provenienza più facili da riconoscere per altri strumenti e piattaforme tramite la conformità a C2PA, aggiungendo il watermarking durevole e multipiattaforma di SynthID alle immagini grazie a una partnership con Google e condividendo un’anteprima di uno strumento che il pubblico può usare per verificare se le immagini provengono da OpenAI.

Nel complesso, questi aggiornamenti si basano sul nostro lavoro precedente⁠ per supportare standard aperti, rendere più facile identificare i contenuti generati da OpenAI e collaborare con il settore per promuovere un ecosistema informativo più affidabile.

OpenAI partecipa allo sviluppo e all’adozione degli standard di provenienza dal 2024, quando abbiamo iniziato ad aggiungere Content Credentials alle immagini generate da DALL·E 3⁠(si apre in una nuova finestra) e successivamente a ImageGen⁠(si apre in una nuova finestra) e Sora⁠(si apre in una nuova finestra). Abbiamo anche aderito allo Steering Committee della Coalition for Content Provenance and Authenticity (C2PA), il gruppo intersettoriale alla base dello standard tecnico aperto per la provenienza dei contenuti. L’approccio tecnico di C2PA usa metadati e firme crittografiche per aiutare le informazioni su un contenuto multimediale a viaggiare in modo sicuro insieme al contenuto stesso. Queste informazioni includono un contesto che aiuta i giornalisti a valutare una fonte, le piattaforme a prendere decisioni sull’integrità e le persone a capire ciò che stanno vedendo online.

Di recente abbiamo compiuto il passo di rendere OpenAI un prodotto generatore conforme a C2PA⁠(si apre in una nuova finestra). Diventando conformi a C2PA, offriamo alle piattaforme un modo affidabile per leggere, preservare e trasmettere le informazioni di provenienza che associamo ai nostri contenuti. Questo è importante perché la provenienza funziona solo se sopravvive oltre la prima piattaforma su cui il contenuto viene creato, e la conformità lo rende possibile.

I metadati C2PA sono una base importante per la provenienza. Aiutano i contenuti a portare con sé informazioni su da dove provengono, come sono stati creati o modificati e chi ha firmato tali informazioni. Ma i metadati non sono infallibili. Possono essere rimossi, persi durante upload e download o compromessi da trasformazioni come cambi di formato file, ridimensionamenti o screenshot.

Per rendere la provenienza più resiliente, stiamo adottando un approccio multilivello e integrando il watermarking tramite SynthID di Google DeepMind⁠(si apre in una nuova finestra), a partire dalle immagini generate tramite ChatGPT⁠, Codex o l’API di OpenAI. SynthID incorpora un livello di watermarking invisibile che integra gli approcci basati sui metadati C2PA.

Stiamo lavorando verso questo obiettivo da tempo. Abbiamo usato watermark visibili⁠ in Sora e un watermark audio⁠ in Voice Engine, e abbiamo continuato a testarne e studiarne nel tempo accuratezza e affidabilità. attraverso la distribuzione.

Questi due sistemi si rafforzano a vicenda. C2PA aiuta i contenuti a portare con sé un contesto dettagliato; SynthID aiuta a preservare un segnale quando i metadati non sopravvivono. Il watermarking può essere più durevole attraverso trasformazioni come gli screenshot, mentre i metadati possono fornire più informazioni di un watermark da solo. Insieme, rendono la provenienza più resiliente di quanto ciascun livello sarebbe da solo.

Metadati affidabili e watermark resistenti alla maggior parte delle modifiche possono rendere i segnali di provenienza più durevoli. Ma le persone hanno bisogno di un modo per rilevare questi segnali. Stiamo ora presentando in anteprima un strumento pubblico di verifica⁠ che aiuterà le persone a verificare se un’immagine caricata è stata generata su ChatGPT, tramite l’API di OpenAI o con Codex, controllando se contiene segnali di provenienza, incluse Content Credentials e SynthID.

Crediamo che la provenienza debba essere più facile da verificare e interpretare per le persone e che il nostro strumento possa aiutarle a contribuire alla risposta alla domanda: "È stato generato con l’IA?", integrando più segnali. Questo si basa sugli insegnamenti tratti dall’anteprima iniziale di ricerca del nostro classificatore di rilevamento delle immagini⁠ nel 2024 e consente alle persone di rilevare in modo affidabile se nel contenuto multimediale è presente un watermark SynthID proveniente da OpenAI, oltre a mostrare i metadati C2PA quando vengono trovati.

Nessun metodo di rilevamento è infallibile, quindi adottiamo un approccio prudente nei casi in cui il rilevamento fallisce. Se, per esempio, non viene rilevato alcun metadato o watermark, lo strumento non trarrà una conclusione definitiva sul fatto che l’immagine sia stata generata con strumenti OpenAI, poiché in alcuni casi i segnali di provenienza possono essere rimossi.

Al lancio, lo strumento è limitato ai contenuti generati da OpenAI. Nei prossimi mesi puntiamo a sostenere gli sforzi intersettoriali per rendere possibile la verifica su più piattaforme. Nel tempo, prevediamo anche di supportare più tipi di contenuti che le persone possono incontrare online.

Nessuna singola tecnica di provenienza è sufficiente da sola. Crediamo che un approccio solido combini standard condivisi, segnali di watermarking durevoli e verifica pubblica. Basandoci sul nostro supporto di lunga data a Content Credentials, diventando conformi a C2PA, adottando SynthID e presentando in anteprima strumenti pubblici di verifica, speriamo di contribuire nel lungo periodo a un ecosistema di provenienza più interoperabile.