Naš pristop k pravilom EU o izvoru besedil
Spodbujanje preglednosti v okviru omejitev današnje tehnologije.
Podatki o izvoru vsebine ljudem pomagajo razumeti, od kod vsebina izvira, kako je bila ustvarjena ali urejena in ali vsebuje signale, povezane z našimi modeli. Orodja za prepoznavanje slik in zvočnih posnetkov, ustvarjenih z našimi modeli, smo že dali na voljo javnosti. Danes predstavljamo svoj pristop k označevanju besedil z vodnimi žigi v skladu z Aktom EU o umetni inteligenci in njegovo vlogo v našem širšem delu.
Akt EU o umetni inteligenci od ponudnikov generativne umetne inteligence zahteva, da omogočijo prepoznavanje ustvarjenega besedila na strojno berljiv način. Označevanje besedil z vodnimi žigi in njihovo zaznavanje sta še vedno tehnologiji v zgodnji fazi razvoja s precejšnjimi omejitvami, stališča o njunih koristih in odgovorni uporabi pa se še oblikujejo. Naš postopni pristop upošteva tako zahteve Akta EU o umetni inteligenci kot omejitve tehnologije. Pri tem poudarjamo preglednost glede tega, kaj lahko vodni žig v besedilu ljudem pove in česa ne:
Od danes lahko stranke, ki uporabljajo API, po vsem svetu za izbrane modele vklopijo označevanje besedil z vodnimi žigi. Označevanje besedil z vodnimi žigi bo v API-ju privzeto ostalo izklopljeno.
V prihodnjih tednih bomo v Evropski uniji ustreznim besedilnim izhodom storitev ChatGPT in Codex dodali neviden vodni žig.
Odpiramo prijave za dostop do našega detektorja vodnih žigov v besedilih. Dostop bo sprva omejen na odobrene raziskovalce in strokovne organizacije, ki nam lahko pomagajo ocenjevati in izboljševati tehnologijo.
Zgornje velja le za izvor besedil. Naša orodja za preverjanje zvoka in slik, vključno s spletnim orodjem openai.com/verify in našim API-jem za izvor vsebine(odpre se v novem oknu), bodo še naprej javno dostopna organizacijam, ki želijo ugotoviti, ali je sliko ali zvočno datoteko ustvaril kateri od naših sistemov.
Naša tehnologija za označevanje besedil z vodnimi žigi, textGrain, v modelovo izbiro besed vnaša neviden statistični signal. Naš detektor išče ta signal, da oceni, ali odlomek vsebuje vodni žig OpenAI. Več podrobnosti o delovanju tehnologije textGrain je na voljo v našem tehničnem poročilu(odpre se v novem oknu), ki ga bomo v prihodnjih tednih dopolnili z dodatnimi informacijami. Načrtujemo tudi odprtokodno objavo tehnologije, da jo bodo lahko drugi nadgrajevali.
V naših preizkusih je textGrain dosegel ali presegel uspešnost drugih preizkušenih pristopov, vključno s tehnologijo SynthID za besedila. Kljub temu dobri rezultati v idealnih razmerah ne zagotavljajo zanesljivega zaznavanja pri vsakdanji uporabi.
Detektorji lahko naredijo dve vrsti napak: zaznajo vodni žig, kjer ga ni, kar je lažno pozitiven rezultat, ali pa spregledajo prisoten vodni žig, kar je lažno negativen rezultat. Spodnji rezultati naših preizkusov ponazarjajo nekatere izzive:
V krajših besedilih ali besedilih z bolj omejeno izbiro besed je vodne žige težje zaznati. Pri ciljnem deležu lažno pozitivnih rezultatov 1 % je naš detektor pri vsebinah, kot je psihologija, zaznal vodne žige v približno 80 % odlomkov z 200 žetoni, v primerjavi s približno 95 % odlomkov s 400 žetoni. Stopnje zaznavanja so bile precej nižje pri vsebinah, kot je matematika, kjer je izbira besed manj prožna.
Urejanje lahko oslabi vodni žig. Pri preizkusu odlomkov s 400 žetoni je zamenjava 10 % besed s sopomenkami znižala stopnjo zaznavanja s približno 92 % na 66 %. Zamenjava 25 % besed jo je znižala na 17 %.
Te omejitve so eden od razlogov za našo odločitev, da dostop do detektorja sprva omogočimo le odobrenim raziskovalcem in strokovnim organizacijam, ki nam lahko pomagajo ocenjevati zanesljivost in možnosti odgovorne uporabe.
Graf prikazuje rezultate za odgovore z vodnimi žigi na vprašanja iz matematike in psihologije iz podatkovne zbirke ELI5(odpre se v novem oknu) pri ciljnem deležu lažno pozitivnih rezultatov 1 %. Zaznavanje se izboljšuje z dolžino besedila, vendar je na splošno precej slabše pri vsebinah, kjer je izbira besed manj prožna, na primer pri matematiki.
Urejanje lahko precej oslabi signal vodnega žiga. Graf prikazuje, kako zamenjava 10 % ali 25 % besed v odlomku vpliva na zaznavanje. Rezultati temeljijo na angleških odgovorih z vodnimi žigi na vprašanja iz zbirke ELI5(odpre se v novem oknu).
Pri primerjalnih preizkusih, s katerimi ocenjujemo Astro, naš najnovejši prelomni model, ne opažamo pomembnih razlik v uspešnosti z označevanjem z vodnimi žigi ali brez njega.
Primerjalni preizkus | Besedilo brez vodnega žiga (Astra, Najvišje) | Besedilo z vodnim žigom (Astra, Najvišje) |
|---|---|---|
Artificial Analysis Intelligence Index | 49,57 točke | 49,76 točke |
AutomationBench | 34,09 % | 34,86 % |
DeepSWE v1.1 | 72,80 % | 71,68 % |
Terminal-Bench 4.0 | 53,90 % | 56,06 % |
Terminal-Bench Science 0.1 | 56,90 % | 60,00 % |
BrowseComp | 87,92 % | 87,35 % |
HealthBench Professional | 64,27 % | 64,60 % |
GPQA Diamond | 94,44 % | 93,94 % |
Vodni žigi v besedilih dajejo le omejen signal o vlogi naših sistemov pri nastanku odlomka. Pomembno je razumeti, kaj je mogoče sklepati iz rezultata zaznavanja in česa ne.
Vodni žig ne meri človeškega prispevka. Lahko nakazuje, da je sistem OpenAI ustvaril ali obdelal del odlomka, ne pa tudi, koliko človeške presoje, urejanja ali ustvarjalnosti je bilo vloženega vanj.
Vodni žig ne določa lastništva ali odgovornosti. Ne določa, kdo je lastnik besedila, ali je bila njegova uporaba zakonita, ali je bilo razkritje obvezno in kdo je zanj odgovoren.
Vodni žig ne razkriva identitete uporabnika. Z besedilom ne povezuje osebe, organizacije, računa, poziva ali pogovora.
Vodni žig ne potrjuje točnosti. Ne pove vam, ali je odlomek resničen, zavajajoč, škodljiv ali predstavljen v ustreznem kontekstu.
Če vodni žig ni zaznan, to ne dokazuje človeškega avtorstva. Besedilo, ustvarjeno z orodji OpenAI, je lahko prekratko, urejeno ali prevedeno, zato zaznavanje morda ne deluje zanesljivo. Lahko tudi izvira iz nepodprtega modela, je nastalo pred uvedbo vodnih žigov ali pa je bilo ustvarjeno z orodji drugega podjetja.
Uvajanje označevanja besedil z vodnimi žigi v EU. V prihodnjih tednih bomo označevanje besedil z vodnimi žigi uvedli za uporabnike storitev ChatGPT in Codex, ki izpolnjujejo pogoje, v vseh paketih, vendar le v EU. Ob uvedbi označevanje besedil z vodnimi žigi ne bo privzeto vklopljeno po vsem svetu. Takšen regionalni pristop nam omogoča učenje iz dejanske uporabe in povratnih informacij.
Možnost prostovoljnega vklopa vodnih žigov za stranke, ki uporabljajo API. Od danes lahko stranke, ki uporabljajo API, po vsem svetu za izbrane modele vklopijo besedilne izhode z vodnimi žigi. Tako se lahko stranke same odločijo, kako označevanje z vodnimi žigi vključiti v izpolnjevanje svojih obveznosti glede preglednosti in v izkušnjo, ki jo ponujajo uporabnikom. Sodelujemo tudi s partnerji, ki ponujajo storitve v oblaku, da bi v prihodnjih tednih omogočili označevanje z vodnimi žigi za izhode modelov OpenAI, do katerih uporabniki dostopajo prek njihovih storitev.
Omogočanje dostopa do detektorja raziskovalcem in strokovnim organizacijam. Odobreni raziskovalci in strokovne organizacije se lahko od danes prijavijo. V skladu s Kodeksom ravnanja(odpre se v novem oknu) bomo dostop sprva odobravali za vsak primer posebej, da bi podprli ocenjevanje in izboljševanje ugotavljanja izvora besedil. Orodje bo sporočilo, ali je zaznalo vodni žig OpenAI, ne da bi razkrilo identiteto uporabnika ali njegove pozive oziroma pogovore. Zaradi tveganja, da spregleda vodne žige ali vrne lažno pozitivne rezultate, orodje ob uvedbi ne bo javno dostopno.
Pričakujemo, da bomo ob razvoju tehnologije, standardov in novih spoznanj znova preučili vsak del tega pristopa.
Nobena tehnika za ugotavljanje izvora sama po sebi ne zadostuje, zato uporabljamo večplasten pristop, ki združuje odprte standarde, obstojne vodne žige in orodja za preverjanje.
Podprtim slikovnim izhodom dodajamo poverilnice Content Credentials, smo skladni s standardom C2PA(odpre se v novem oknu), v podprte slike in zvočne posnetke vgrajujemo nevidne vodne žige SynthID(odpre se v novem oknu), preverjanje slik in zvoka pa omogočamo prek openai.com/verify in našega API-ja za izvor vsebine(odpre se v novem oknu). Te tehnike se medsebojno dopolnjujejo: poverilnice Content Credentials lahko beležijo izvor in zgodovino datoteke, nevidni vodni žigi pa lahko ohranijo signal tudi po odstranitvi metapodatkov.
Kot smo opisali pri svojem delu na zaščiti volitev, lahko podatki o izvoru ljudem in platformam pomagajo ocenjevati potencialno zavajajoče vsebine, ustvarjene z umetno inteligenco, vključno z globokimi ponaredki. Te signale dopolnjujemo s pravili, zaznavanjem zlorab, prijavljanjem, preiskavami in ukrepanjem. Z raziskovalci, organi za standardizacijo, platformami in civilno družbo sodelujemo, da bi bili podatki o izvoru uporabni v širšem ekosistemu.
Pri razširitvi ugotavljanja izvora na besedila moramo upoštevati, kako preprosto jih je preoblikovati, prevesti ali urediti. Kot smo pojasnili junija, mora naš pristop upoštevati praktične omejitve trenutne tehnologije. Še naprej bomo izboljševali zaznavanje, preučevali obstojnost vodnih žigov pri urejanju in prevajanju ter raziskovali načine za bolj smiselno razlikovanje med pomočjo umetne inteligence in njenim avtorstvom. Svoj pristop bomo prilagajali novim spoznanjem, standardom in regulativnim zahtevam, dostop do detektorja pa bomo razširili, ko bomo presodili, da je rezultate mogoče odgovorno razlagati.
Več informacij najdete v našem članku v centru za pomoč(odpre se v novem oknu).
