Vår tilnærming til EUs regler om tekstopprinnelse

Informasjon om innholdets opprinnelse hjelper folk med å forstå hvor innhold kommer fra, hvordan det ble opprettet eller redigert, og om det inneholder signaler knyttet til modellene våre. Vi har allerede gjort verktøy for å identifisere bilder og lyd generert av modellene våre offentlig tilgjengelige. I dag presenterer vi vår tilnærming til vannmerking av tekst for å oppfylle EUs KI-forordning, og hvordan dette inngår i det øvrige arbeidet vårt.

EUs KI-forordning krever at leverandører av generativ KI gjør generert tekst identifiserbar på en maskinlesbar måte. Vannmerking og deteksjon av tekst er fortsatt umodne teknologier med betydelige begrensninger, og synet på nytten og ansvarlig bruk av dem er fortsatt i utvikling. Vår trinnvise tilnærming tar hensyn til både kravene i EUs KI-forordning og teknologiens begrensninger. Vi legger vekt på åpenhet om hva et tekstvannmerke kan og ikke kan fortelle:

• Fra og med i dag kan API-kunder over hele verden velge å aktivere vannmerking av tekst for utvalgte modeller. Vannmerking av tekst vil fortsatt være slått av som standard i API-et.

• I løpet av de kommende ukene vil vi legge til et usynlig vannmerke i tekst fra ChatGPT og Codex som omfattes av ordningen i EU.

• Vi åpner for søknader om tilgang til detektoren vår for tekstvannmerker. Tilgangen vil i første omgang være begrenset til godkjente forskere og fagorganisasjoner som kan hjelpe oss med å evaluere og forbedre teknologien.

  • Dette gjelder bare informasjon om teksters opprinnelse. Verifiseringsverktøyene våre for lyd og bilder, inkludert nettverktøyet openai.com/verify⁠ og Content Provenance API⁠(åpnes i et nytt vindu), vil fortsatt være offentlig tilgjengelige for organisasjoner som ønsker å finne ut om en bilde- eller lydfil ble generert av et av systemene våre.

Teknologien vår for vannmerking av tekst, textGrain, legger til et usynlig statistisk signal i modellens ordvalg. Detektoren vår ser etter dette signalet for å vurdere om en tekst inneholder et OpenAI-vannmerke. Du finner mer informasjon om hvordan textGrain fungerer i vår tekniske rapport⁠(åpnes i et nytt vindu), som vil bli oppdatert med flere detaljer i løpet av de kommende ukene. Vi planlegger også å gjøre teknologien tilgjengelig med åpen kildekode, slik at andre kan bygge videre på den.

I evalueringene våre presterte textGrain like godt som eller bedre enn andre metoder vi testet, inkludert SynthID for tekst. Gode resultater under ideelle forhold garanterer likevel ikke pålitelig deteksjon i daglig bruk.

Detektorer kan gjøre to typer feil: De kan melde om et vannmerke der det ikke finnes – et falskt positivt resultat – eller overse et vannmerke som finnes – et falskt negativt resultat. Evalueringene nedenfor illustrerer noen av utfordringene:

• Vannmerker er vanskeligere å oppdage i kortere tekster eller tekster med mer begrenset ordvalg. Med en målsatt falsk positiv-rate på 1 % identifiserte detektoren vår vannmerker i omtrent 80 % av tekstene på 200 token, mot omtrent 95 % av tekstene på 400 token, for innhold om blant annet psykologi. Deteksjonsratene var betydelig lavere for innhold om blant annet matematikk, der det er mindre rom for variasjon i ordvalget.

• Redigering kan svekke vannmerket. I en evaluering av tekster på 400 token falt deteksjonsraten fra omtrent 92 % til 66 % når 10 % av ordene ble erstattet med synonymer. Når 25 % av ordene ble erstattet, falt den til 17 %.

Disse begrensningene er en del av grunnen til at vi i første omgang bare gir godkjente forskere og fagorganisasjoner tilgang til detektoren. De kan hjelpe oss med å evaluere påliteligheten og ansvarlige bruksområder.

På tvers av ytelsestestene vi bruker til å vurdere Astra, vår nyeste banebrytende modell, ser vi ingen vesentlige forskjeller i ytelse med og uten vannmerking.

Tekstvannmerker gir begrenset informasjon om hvilken rolle systemene våre har spilt i utformingen av en tekst. Det er viktig å forstå hva man kan og ikke kan konkludere med ut fra et deteksjonsresultat.

• Et vannmerke måler ikke det menneskelige bidraget. Det kan indikere at et OpenAI-system har generert eller bearbeidet en del av teksten, men ikke hvor mye menneskelig vurdering, redigering eller kreativitet som ligger bak.

• Et vannmerke fastslår ikke eierskap eller ansvar. Det avgjør ikke hvem som eier teksten, om bruken var lovlig, om det var påkrevd å opplyse om KI-bruken, eller hvem som er ansvarlig for teksten.

• Et vannmerke identifiserer ikke brukeren. Det knytter ikke en person, organisasjon, konto, prompt eller samtale til teksten.

• Et vannmerke bekrefter ikke at innholdet er korrekt. Det forteller deg ikke om en tekst er sann, villedende, skadelig eller presentert i riktig sammenheng.

• At et vannmerke ikke blir oppdaget, beviser ikke at teksten er skrevet av et menneske. Tekst generert med OpenAI-verktøy kan være for kort, eller ha blitt redigert eller oversatt, slik at deteksjonen ikke fungerer pålitelig. Den kan også komme fra en modell som ikke støttes, være fra før vannmerking ble innført, eller være generert med verktøy fra et annet selskap.

• Vi innfører vannmerking av tekst i EU. I løpet av de kommende ukene vil vi innføre vannmerking av tekst for ChatGPT- og Codex-brukere som omfattes av ordningen, på alle abonnementer, men bare i EU. Vannmerking av tekst blir ikke standard globalt ved lansering. Denne regionale tilnærmingen gir oss rom til å lære av praktisk bruk og tilbakemeldinger.

• Vi lar API-kunder velge vannmerking. Fra og med i dag kan API-kunder over hele verden velge å få vannmerket tekst fra utvalgte modeller. Dermed kan kundene selv avgjøre hvordan vannmerking passer inn i deres krav til åpenhet og i brukeropplevelsene de tilbyr. Vi samarbeider også med skypartnere for å gjøre vannmerking tilgjengelig i løpet av de kommende ukene for tekst som genereres av OpenAI-modeller via tjenestene deres.

• Vi gir forskere og fagorganisasjoner tilgang til detektoren. Godkjente forskere og fagorganisasjoner kan søke fra og med i dag. I tråd med retningslinjene for god praksis⁠(åpnes i et nytt vindu) vil tilgang i første omgang gis etter individuell vurdering, for å støtte evaluering og forbedring av informasjon om teksters opprinnelse. Verktøyet vil rapportere om det oppdager et OpenAI-vannmerke, uten å identifisere brukeren eller avsløre promptene eller samtalene deres. På grunn av risikoen for å overse vannmerker og få falske positive resultater gjør vi ikke verktøyet offentlig tilgjengelig ved lansering.

Vi forventer å revurdere hver del av denne tilnærmingen etter hvert som teknologien, standardene og kunnskapsgrunnlaget utvikler seg.

Ingen enkelt metode for å dokumentere opprinnelse er tilstrekkelig alene. Derfor bruker vi flere lag som kombinerer åpne standarder, robust vannmerking og verifiseringsverktøy.

Vi legger til Content Credentials i genererte bilder som støtter det, oppfyller C2PA-kravene⁠(åpnes i et nytt vindu), bygger inn usynlige SynthID⁠(åpnes i et nytt vindu)-vannmerker i bilder og lyd som støtter det, og tilbyr bilde- og lydverifisering gjennom openai.com/verify⁠ og vårt Content Provenance API⁠(åpnes i et nytt vindu). Disse metodene utfyller hverandre: Content Credentials kan registrere en fils opprinnelse og historikk, mens usynlige vannmerker kan bevare et signal når metadata fjernes.

Som vi beskrev i vårt arbeid med å beskytte valg, kan informasjon om opprinnelse hjelpe folk og plattformer med å vurdere potensielt villedende KI-generert innhold, inkludert deepfakes. Vi kombinerer disse signalene med retningslinjer, deteksjon av misbruk, rapportering, undersøkelser og håndheving. Vi samarbeider også med forskere, standardiseringsorganer, plattformer og sivilsamfunnet for å gjøre opprinnelsesinformasjon nyttig i hele økosystemet.

Når vi utvider opprinnelsesmerking til tekst, må vi ta hensyn til hvor lett tekst kan omskrives, oversettes eller redigeres. Som vi omtalte i juni, må tilnærmingen vår ta hensyn til de praktiske begrensningene ved dagens teknologi. Vi vil fortsette å forbedre deteksjonen, undersøke hvor godt vannmerker tåler redigering og oversettelse, og utforske måter å skille tydeligere mellom tekst skrevet med KI-hjelp og tekst skrevet av KI. Vi vil tilpasse tilnærmingen vår etter hvert som kunnskapsgrunnlaget, standardene og regelverket utvikler seg, og utvide tilgangen til detektoren når vi mener at resultatene kan tolkes på en ansvarlig måte.

Du finner mer informasjon i artikkelen vår i hjelpesenteret⁠(åpnes i et nytt vindu).