Il nostro approccio alle norme UE sulla provenienza dei testi

La provenienza dei contenuti aiuta le persone a capire da dove provengono i contenuti, come sono stati creati o modificati e se contengono segnali associati ai nostri modelli. Abbiamo già reso disponibili al pubblico strumenti per identificare immagini e contenuti audio generati dai nostri modelli. Oggi condividiamo il nostro approccio all’applicazione di filigrane testuali in risposta alla legge dell’UE sull’IA e spieghiamo come si inserisce nel complesso delle nostre attività.

La legge dell’UE sull’IA richiede ai fornitori di IA generativa di rendere il testo generato identificabile mediante segnali leggibili dalle macchine. L’applicazione e il rilevamento delle filigrane testuali sono tecnologie ancora agli inizi, con limiti significativi, e le valutazioni sui loro benefici e sugli usi responsabili sono tuttora in evoluzione. Il nostro approccio graduale tiene conto sia dei requisiti della legge dell’UE sull’IA sia dei limiti della tecnologia, ponendo l’accento sulla trasparenza riguardo a ciò che una filigrana testuale può e non può comunicare alle persone:

• A partire da oggi, i clienti API di tutto il mondo potranno scegliere di attivare la filigrana testuale per alcuni modelli. La filigrana testuale continuerà a essere disattivata per impostazione predefinita nell’API.

• Nelle prossime settimane aggiungeremo una filigrana invisibile agli output di testo idonei di ChatGPT e Codex nell’Unione europea.

• Apriamo le candidature per accedere al nostro rilevatore di filigrane testuali. Inizialmente, l’accesso sarà limitato a ricercatori autorizzati e organizzazioni specializzate che possano aiutarci a valutare e migliorare la tecnologia.

  • Quanto sopra si applica solo alla provenienza del testo: i nostri strumenti di verifica per audio e immagini, tra cui il nostro strumento web openai.com/verify⁠ e la nostra Content Provenance API⁠(si apre in una nuova finestra), continueranno a essere accessibili pubblicamente alle organizzazioni che desiderano capire se un’immagine o un file audio è stato generato da uno dei nostri sistemi.

La nostra tecnologia per l’applicazione di filigrane testuali, textGrain, aggiunge un segnale statistico invisibile alle scelte lessicali del modello. Il nostro rilevatore cerca questo segnale per valutare se un brano contiene una filigrana di OpenAI. Maggiori dettagli sul funzionamento di textGrain sono disponibili nel nostro rapporto tecnico⁠(si apre in una nuova finestra), che verrà aggiornato con ulteriori informazioni nelle prossime settimane. Prevediamo inoltre di rendere la tecnologia disponibile in modalità open source, affinché altri possano usarla come base per nuovi sviluppi.

Nelle nostre valutazioni, textGrain ha eguagliato o superato le prestazioni degli altri approcci che abbiamo testato, incluso SynthID per il testo. Tuttavia, prestazioni elevate in condizioni ideali non garantiscono un rilevamento affidabile nell’uso quotidiano.

I rilevatori possono commettere due tipi di errori: possono segnalare una filigrana quando non è presente, un falso positivo, oppure non rilevare una filigrana presente, un falso negativo. Le valutazioni riportate di seguito illustrano alcune delle difficoltà:

• Le filigrane sono più difficili da rilevare nei testi brevi o con maggiori vincoli lessicali. Con un tasso obiettivo di falsi positivi dell’1%, il nostro rilevatore ha identificato filigrane in circa l’80% dei brani da 200 token, rispetto a circa il 95% dei brani da 400 token, per contenuti come quelli di psicologia. I tassi di rilevamento erano notevolmente inferiori per contenuti come quelli di matematica, dove la scelta delle parole è meno flessibile.

• Le modifiche possono indebolire la filigrana. In una valutazione di brani da 400 token, sostituire il 10% delle parole con sinonimi ha ridotto il tasso di rilevamento da circa il 92% al 66%. Sostituire il 25% delle parole lo ha ridotto al 17%.

Questi limiti contribuiscono alla nostra decisione di offrire inizialmente l’accesso al rilevatore solo a ricercatori autorizzati e organizzazioni specializzate, che possono aiutarci a valutarne l’affidabilità e gli usi responsabili.

Nei benchmark che utilizziamo per valutare Astra, il nostro più recente modello di frontiera, non rileviamo differenze significative nelle prestazioni con e senza l’applicazione di filigrane.

Le filigrane testuali forniscono un’indicazione limitata del ruolo svolto dai nostri sistemi in un testo. È importante capire cosa si può e cosa non si può concludere da un risultato del rilevamento.

• Una filigrana non misura il contributo umano. Può indicare che un sistema OpenAI ha generato o elaborato parte di un brano, ma non in quale misura siano intervenuti il giudizio, la revisione o la creatività di una persona.

• Una filigrana non stabilisce la titolarità né la responsabilità. Non determina chi è titolare del testo, se il suo utilizzo sia stato lecito, se fosse necessario dichiarare l’uso dell’IA o chi ne è responsabile.

• Una filigrana non identifica l’utente. Non associa una persona, un’organizzazione, un account, un prompt o una conversazione al testo.

• Una filigrana non verifica l’accuratezza. Non ci dice se un passaggio è vero, fuorviante, dannoso o presentato nel contesto corretto.

• Il mancato rilevamento di una filigrana non dimostra che il testo sia stato scritto da una persona. Se il testo generato con gli strumenti OpenAI è troppo breve o è stato modificato o tradotto, il rilevamento potrebbe non essere affidabile. Il testo potrebbe anche provenire da un modello non supportato, essere precedente all’introduzione delle filigrane o essere stato generato con gli strumenti di un’altra azienda.

• Introduzione della filigrana testuale nell’UE. Nelle prossime settimane introdurremo la filigrana testuale per gli utenti idonei di ChatGPT e Codex con qualsiasi piano, esclusivamente nell’UE. Al lancio, non attiveremo la filigrana testuale per impostazione predefinita a livello globale. Questo approccio regionale ci permette di imparare dall’uso in contesti reali e dai feedback.

• Attivazione facoltativa della filigrana per i clienti API. A partire da oggi, i clienti API di tutto il mondo potranno scegliere di ricevere output di testo con filigrana per alcuni modelli. Questo consente ai clienti di decidere in che modo la filigrana si inserisce nei loro obblighi di trasparenza e nelle esperienze che offrono agli utenti. Stiamo inoltre collaborando con partner cloud per rendere disponibile nelle prossime settimane la filigrana per gli output dei modelli OpenAI a cui si accede tramite i loro servizi.

• Accesso al rilevatore per ricercatori e organizzazioni specializzate. I ricercatori e le organizzazioni specializzate che hanno ottenuto l’approvazione possono presentare domanda a partire da oggi. In conformità con il Codice di buone pratiche⁠(si apre in una nuova finestra), l’accesso sarà inizialmente concesso caso per caso per favorire la valutazione e il miglioramento delle tecnologie per la provenienza dei testi. Lo strumento indicherà se rileva una filigrana di OpenAI, senza identificare l’utente né rivelare i suoi prompt o le sue conversazioni. Considerato il rischio di filigrane non rilevate e di falsi positivi, al lancio non lo renderemo disponibile al pubblico.

Ci aspettiamo di riesaminare ogni parte di questo approccio man mano che evolvono la tecnologia, gli standard e le evidenze.

Nessuna singola tecnica per attestare la provenienza è sufficiente da sola, quindi adottiamo un approccio a più livelli che combina standard aperti, filigrane resistenti e strumenti di verifica.

Aggiungiamo le Content Credentials agli output di immagini supportati, siamo conformi a C2PA⁠(si apre in una nuova finestra), incorporiamo filigrane invisibili SynthID⁠(si apre in una nuova finestra) nelle immagini e nell’audio supportati e rendiamo disponibile la verifica di immagini e audio tramite openai.com/verify⁠ e la nostra Content Provenance API⁠(si apre in una nuova finestra). Queste tecniche si completano a vicenda: le Content Credentials possono registrare l’origine e la cronologia di un file, mentre le filigrane invisibili possono preservare un segnale anche quando i metadati vengono rimossi.

Come abbiamo descritto nel nostro lavoro sulle misure di tutela elettorale, la verifica della provenienza può aiutare persone e piattaforme a valutare contenuti potenzialmente fuorvianti generati dall’IA, inclusi i deepfake. Affianchiamo questi segnali a policy, rilevamento degli abusi, segnalazioni, indagini e misure per far rispettare le regole, e collaboriamo con ricercatori, organismi di standardizzazione, piattaforme e società civile per rendere la verifica della provenienza utile nell’intero ecosistema.

Estendere le tecniche per la provenienza ai testi richiede di tenere conto della facilità con cui questi possono essere riscritti, tradotti o modificati. Come abbiamo discusso a giugno, il nostro approccio deve riflettere i limiti pratici della tecnologia attuale. Continueremo a migliorare il rilevamento, a studiare la resistenza delle filigrane alle modifiche e alla traduzione e a esplorare modi per distinguere più efficacemente tra l’assistenza dell’IA e la creazione di contenuti da parte dell’IA. Adatteremo il nostro approccio con l’evolversi dei dati disponibili, degli standard e dei requisiti normativi e amplieremo l’accesso al rilevatore quando riterremo che i risultati possano essere interpretati in modo responsabile.

Per maggiori informazioni, consulta il nostro articolo del Centro assistenza⁠(si apre in una nuova finestra).