Naš pristup pravilima EU-a o podrijetlu teksta
Poticanje transparentnosti unutar ograničenja današnje tehnologije.
Podaci o podrijetlu sadržaja pomažu ljudima razumjeti odakle sadržaj potječe, kako je nastao ili uređen te sadrži li signale povezane s našim modelima. Već smo javno stavili na raspolaganje alate za prepoznavanje slika i zvučnih zapisa koje su generirali naši modeli. Danas predstavljamo svoj pristup označavanju teksta vodenim žigom u skladu s Aktom EU-a o umjetnoj inteligenciji te objašnjavamo kako se uklapa u naš širi rad.
Akt EU-a o umjetnoj inteligenciji zahtijeva od pružatelja generativne umjetne inteligencije da omoguće prepoznavanje generiranog teksta u strojno čitljivom obliku. Označavanje teksta vodenim žigom i njegovo otkrivanje i dalje su tehnologije u ranoj fazi razvoja sa znatnim ograničenjima, a stavovi o njihovim prednostima i odgovornoj primjeni još se oblikuju. Naš postupni pristup uzima u obzir i zahtjeve Akta EU-a o umjetnoj inteligenciji i ograničenja tehnologije, uz naglasak na transparentnosti o tome što vodeni žig u tekstu može, a što ne može otkriti:
Od danas će korisnici API-ja diljem svijeta moći uključiti označavanje teksta vodenim žigom za odabrane modele. Označavanje teksta vodenim žigom u API-ju će prema zadanim postavkama ostati isključeno.
Tijekom sljedećih tjedana počet ćemo dodavati nevidljivi vodeni žig u tekst koji generiraju ChatGPT i Codex u Europskoj uniji, ako ispunjava uvjete.
Otvaramo prijave za pristup našem detektoru vodenih žigova u tekstu. Pristup će u početku biti ograničen na odobrene istraživače i stručne organizacije koji nam mogu pomoći u procjeni i poboljšanju tehnologije.
Navedeno se odnosi samo na podrijetlo teksta. Naši alati za provjeru zvučnih zapisa i slika, uključujući web-alat openai.com/verify i naš API za podrijetlo sadržaja(otvara se u novom prozoru), i dalje će biti javno dostupni organizacijama koje žele saznati je li sliku ili zvučnu datoteku generirao neki od naših sustava.
Naša tehnologija označavanja teksta vodenim žigom, textGrain, dodaje nevidljivi statistički signal u način na koji model bira riječi. Naš detektor traži taj signal kako bi procijenio sadrži li odlomak vodeni žig tvrtke OpenAI. Više pojedinosti o tome kako textGrain funkcionira možete pronaći u našem tehničkom izvješću(otvara se u novom prozoru), koje ćemo u sljedećim tjednima dopuniti dodatnim pojedinostima. Planiramo objaviti i izvorni kod tehnologije kako bi je drugi mogli dalje razvijati.
U našim je evaluacijama textGrain postigao jednake ili bolje rezultate od drugih pristupa koje smo testirali, uključujući SynthID za tekst. Ipak, dobri rezultati u idealnim uvjetima ne jamče pouzdano otkrivanje u svakodnevnoj upotrebi.
Detektori mogu napraviti dvije vrste pogrešaka: prijaviti vodeni žig ondje gdje ga nema, što je lažno pozitivan rezultat, ili ne otkriti postojeći vodeni žig, što je lažno negativan rezultat. Naše evaluacije u nastavku pokazuju neke od izazova:
Vodeni žig teže je otkriti u kraćem tekstu ili tekstu s ograničenijim izborom riječi. Pri ciljanoj stopi lažno pozitivnih rezultata od 1 % naš je detektor prepoznao vodene žigove u oko 80 % odlomaka od 200 tokena, u usporedbi s oko 95 % odlomaka od 400 tokena, za sadržaje poput onih iz područja psihologije. Stope otkrivanja bile su znatno niže za sadržaje poput onih iz područja matematike, gdje je izbor riječi ograničeniji.
Uređivanje može oslabiti vodeni žig. U evaluaciji odlomaka od 400 tokena zamjena 10 % riječi sinonimima smanjila je stopu otkrivanja s oko 92 % na 66 %. Zamjena 25 % riječi smanjila ju je na 17 %.
Ta su ograničenja pridonijela našoj odluci da početni pristup detektoru omogućimo samo odobrenim istraživačima i stručnim organizacijama koji nam mogu pomoći u procjeni pouzdanosti i odgovorne primjene.
Ovaj grafikon prikazuje rezultate za odgovore s vodenim žigom na pitanja iz matematike i psihologije iz skupa podataka ELI5(otvara se u novom prozoru) pri ciljanoj stopi lažno pozitivnih rezultata od 1 %. Stopa otkrivanja raste s duljinom teksta, no ukupno je znatno niža za sadržaje s ograničenijim izborom riječi, poput onih iz područja matematike.
Uređivanje može znatno oslabiti signal vodenog žiga. Ovaj grafikon pokazuje kako zamjena 10 % ili 25 % riječi u odlomku utječe na otkrivanje. Rezultati se temelje na odgovorima na engleskom jeziku označenima vodenim žigom, na pitanja iz skupa ELI5(otvara se u novom prozoru).
U referentnim testovima kojima procjenjujemo naš najnoviji granični model Astra ne uočavamo značajne razlike u rezultatima s označavanjem vodenim žigom i bez njega.
Referentni test | Tekst bez vodenog žiga (Astra, Max) | Tekst s vodenim žigom (Astra, Max) |
|---|---|---|
Artificial Analysis Intelligence Index | 49,57 bodova | 49,76 bodova |
AutomationBench | 34,09 % | 34,86 % |
DeepSWE v1.1 | 72,80 % | 71,68 % |
Terminal-Bench 4.0 | 53,90 % | 56,06 % |
Terminal-Bench Science 0.1 | 56,90 % | 60,00 % |
BrowseComp | 87,92 % | 87,35 % |
HealthBench Professional | 64,27 % | 64,60 % |
GPQA Diamond | 94,44 % | 93,94 % |
Vodeni žigovi u tekstu pružaju ograničen signal o ulozi naših sustava u nastanku odlomka. Važno je razumjeti što se iz rezultata otkrivanja može, a što ne može zaključiti.
Vodeni žig ne mjeri ljudski doprinos. Može upućivati na to da je sustav tvrtke OpenAI generirao ili obradio dio odlomka, ali ne i koliko je ljudske prosudbe, uređivanja ili kreativnosti u njega uloženo.
Vodeni žig ne utvrđuje vlasništvo ni odgovornost. Ne određuje tko je vlasnik teksta, je li njegova upotreba bila zakonita, je li postojala obveza otkrivanja podataka o njegovu nastanku ni tko je za njega odgovoran.
Vodeni žig ne otkriva identitet korisnika. Ne povezuje osobu, organizaciju, račun, upit ni razgovor s tekstom.
Vodeni žig ne potvrđuje točnost. Ne govori vam je li odlomak istinit, obmanjujući, štetan ili prikazan u pravom kontekstu.
To što vodeni žig nije otkriven ne dokazuje da je autor čovjek. Tekst generiran alatima tvrtke OpenAI može biti prekratak, uređen ili preveden pa otkrivanje ne može biti pouzdano. Može i potjecati od nepodržanog modela, biti nastao prije uvođenja vodenih žigova ili biti generiran alatima druge tvrtke.
Uvođenje označavanja teksta vodenim žigom u EU-u. Tijekom sljedećih tjedana uvest ćemo označavanje teksta vodenim žigom za korisnike usluga ChatGPT i Codex koji ispunjavaju uvjete, na svim planovima, isključivo u EU-u. Pri uvođenju označavanje teksta vodenim žigom neće biti zadana postavka na globalnoj razini. Ovaj regionalni pristup daje nam prostor za učenje iz stvarne upotrebe i povratnih informacija.
Mogućnost uključivanja vodenih žigova za korisnike API-ja. Od danas će korisnici API-ja diljem svijeta moći uključiti označavanje generiranog teksta vodenim žigom za odabrane modele. Time korisnicima API-ja omogućujemo da odluče kako se označavanje vodenim žigom uklapa u njihove obveze transparentnosti i iskustva koja pružaju svojim korisnicima. Surađujemo i s partnerima koji pružaju usluge u oblaku kako bismo u sljedećim tjednima omogućili označavanje vodenim žigom sadržaja koji generiraju modeli tvrtke OpenAI dostupni putem njihovih usluga.
Omogućavanje pristupa detektoru istraživačima i stručnim organizacijama. Odobreni istraživači i stručne organizacije mogu se prijaviti od danas. U skladu s Kodeksom prakse(otvara se u novom prozoru), pristup će se u početku odobravati pojedinačno kako bi se podržala procjena i poboljšanje utvrđivanja podrijetla teksta. Alat će izvijestiti o tome otkriva li vodeni žig tvrtke OpenAI, bez otkrivanja identiteta korisnika, njegovih upita ili razgovora. S obzirom na rizik od neotkrivenih vodenih žigova i lažno pozitivnih rezultata, alat pri uvođenju neće biti javno dostupan.
Očekujemo da ćemo preispitivati svaki dio ovog pristupa kako se budu razvijali tehnologija, standardi i dostupni dokazi.
Nijedna tehnika utvrđivanja podrijetla nije dovoljna sama za sebe, pa primjenjujemo višeslojan pristup koji kombinira otvorene standarde, otporne vodene žigove i alate za provjeru.
Podržanim generiranim slikama dodajemo Content Credentials, usklađeni smo sa standardom C2PA(otvara se u novom prozoru), u podržane slike i zvučne zapise ugrađujemo nevidljive vodene žigove SynthID(otvara se u novom prozoru), a provjeru slika i zvučnih zapisa omogućujemo putem stranice openai.com/verify i našeg API-ja za podrijetlo sadržaja(otvara se u novom prozoru). Te se tehnike međusobno nadopunjuju: Content Credentials mogu zabilježiti podrijetlo i povijest datoteke, dok nevidljivi vodeni žigovi mogu sačuvati signal nakon uklanjanja metapodataka.
Kao što smo opisali u svojem radu na zaštiti izbora, podaci o podrijetlu mogu pomoći ljudima i platformama u procjeni potencijalno obmanjujućih sadržaja generiranih umjetnom inteligencijom, uključujući uvjerljive krivotvorine (deepfake). Te signale kombiniramo s pravilima, otkrivanjem zloupotrebe, prijavljivanjem, istragama i provedbom mjera te surađujemo s istraživačima, tijelima za standardizaciju, platformama i civilnim društvom kako bi podaci o podrijetlu bili korisni u širem ekosustavu.
Pri proširenju utvrđivanja podrijetla na tekst treba uzeti u obzir koliko ga je lako preoblikovati, prevesti ili urediti. Kao što smo naveli u lipnju, naš pristup mora uzeti u obzir praktična ograničenja trenutačne tehnologije. Nastavit ćemo poboljšavati otkrivanje, proučavati koliko su vodeni žigovi otporni na uređivanje i prevođenje te istraživati načine za smislenije razlikovanje pomoći umjetne inteligencije od njezina autorstva. Prilagođavat ćemo svoj pristup u skladu s novim dokazima, standardima i regulatornim zahtjevima te proširiti pristup detektoru kada procijenimo da se rezultati mogu odgovorno tumačiti.
Više informacija potražite u našem članku u centru za pomoć(otvara se u novom prozoru).
