Naš pristup pravilima EU-a o porijeklu teksta
Poticanje transparentnosti u granicama današnje tehnologije.
Podaci o porijeklu sadržaja pomažu ljudima da razumiju odakle sadržaj potječe, kako je nastao ili mijenjan te sadrži li signale povezane s našim modelima. Već smo javno objavili alate za prepoznavanje slika i zvuka koje su generirali naši modeli. Danas predstavljamo svoj pristup označavanju teksta vodenim žigom u skladu s Aktom EU-a o umjetnoj inteligenciji i objašnjavamo kako se on uklapa u naš širi rad.
Akt EU-a o umjetnoj inteligenciji zahtijeva od pružalaca generativne umjetne inteligencije da omoguće prepoznavanje generiranog teksta u mašinski čitljivom obliku. Označavanje teksta vodenim žigom i njegova detekcija još su u ranoj fazi razvoja, uz značajna ograničenja, a stavovi o njihovim koristima i odgovornoj upotrebi još se oblikuju. Naš postepeni pristup uvažava i zahtjeve Akta EU-a o umjetnoj inteligenciji i ograničenja tehnologije, uz naglasak na transparentnosti o tome šta vodeni žig u tekstu može, a šta ne može otkriti:
Od danas će korisnici API-ja širom svijeta moći uključiti označavanje teksta vodenim žigom za odabrane modele. Označavanje teksta vodenim žigom u API-ju ostat će isključeno prema zadanim postavkama.
U narednim sedmicama dodat ćemo nevidljivi vodeni žig tekstualnim izlazima alata ChatGPT i Codex koji ispunjavaju uslove u Evropskoj uniji.
Otvaramo prijave za pristup našem detektoru vodenih žigova u tekstu. Pristup će u početku biti ograničen na odobrene istraživače i stručne organizacije koje nam mogu pomoći u procjeni i unapređenju tehnologije.
Navedeno se odnosi samo na porijeklo teksta — naši alati za provjeru zvuka i slika, uključujući web-alat openai.com/verify i naš API za porijeklo sadržaja(otvara se u novom prozoru), ostat će javno dostupni organizacijama koje žele utvrditi je li sliku ili zvučnu datoteku generirao neki od naših sistema.
Naša tehnologija za označavanje teksta vodenim žigom, textGrain, dodaje nevidljivi statistički signal u način na koji model bira riječi. Naš detektor traži taj signal kako bi procijenio sadrži li odlomak vodeni žig kompanije OpenAI. Više detalja o tome kako textGrain funkcionira dostupno je u našem tehničkom izvještaju(otvara se u novom prozoru), koji ćemo u narednim sedmicama dopuniti dodatnim informacijama. Također planiramo objaviti izvorni kod ove tehnologije kako bi je i drugi mogli dalje razvijati.
U našim evaluacijama textGrain je postigao jednake ili bolje rezultate od drugih pristupa koje smo testirali, uključujući SynthID za tekst. Ipak, dobri rezultati u idealnim uslovima ne garantuju pouzdanu detekciju u svakodnevnoj upotrebi.
Detektori mogu napraviti dvije vrste grešaka: prijaviti vodeni žig tamo gdje ga nema — lažno pozitivan rezultat — ili propustiti postojeći vodeni žig — lažno negativan rezultat. Naše evaluacije u nastavku pokazuju neke od tih izazova:
Vodeni žig teže je detektirati u kraćem tekstu ili tekstu s ograničenijim izborom riječi. Pri ciljanoj stopi lažno pozitivnih rezultata od 1%, naš detektor prepoznao je vodene žigove u oko 80% odlomaka od 200 tokena, u poređenju s oko 95% odlomaka od 400 tokena, za sadržaj iz oblasti poput psihologije. Stope detekcije bile su znatno niže za sadržaj iz oblasti poput matematike, gdje je izbor riječi manje fleksibilan.
Izmjene mogu oslabiti vodeni žig. U evaluaciji odlomaka od 400 tokena, zamjena 10% riječi sinonimima smanjila je stopu detekcije s oko 92% na 66%. Zamjena 25% riječi smanjila ju je na 17%.
Ova ograničenja jedan su od razloga za našu odluku da početni pristup detektoru omogućimo samo odobrenim istraživačima i stručnim organizacijama, koji nam mogu pomoći u procjeni pouzdanosti i odgovornih načina upotrebe.
Ovaj grafikon prikazuje rezultate za odgovore s vodenim žigom na pitanja iz matematike i psihologije iz skupa podataka ELI5(otvara se u novom prozoru), pri ciljanoj stopi lažno pozitivnih rezultata od 1%. Stopa detekcije raste s dužinom teksta, ali je ukupno znatno niža za sadržaj s manje fleksibilnim izborom riječi, kao što je matematika.
Izmjene mogu znatno oslabiti signal vodenog žiga. Ovaj grafikon pokazuje kako zamjena 10% ili 25% riječi u odlomku utječe na detekciju. Rezultati se zasnivaju na odgovorima na engleskom jeziku s vodenim žigom na pitanja iz skupa ELI5(otvara se u novom prozoru).
Na referentnim testovima kojima ocjenjujemo Astru, naš najnoviji granični model, ne uočavamo značajne razlike u rezultatima sa i bez označavanja vodenim žigom.
Referentni test | Tekst bez vodenog žiga (Astra, Max) | Tekst s vodenim žigom (Astra, Max) |
|---|---|---|
Artificial Analysis Intelligence Index | 49,57 bodova | 49,76 bodova |
AutomationBench | 34,09% | 34,86% |
DeepSWE v1.1 | 72,80% | 71,68% |
Terminal-Bench 4.0 | 53,90% | 56,06% |
Terminal-Bench Science 0.1 | 56,90% | 60,00% |
BrowseComp | 87,92% | 87,35% |
HealthBench Professional | 64,27% | 64,60% |
GPQA Diamond | 94,44% | 93,94% |
Vodeni žigovi u tekstu pružaju ograničen signal o ulozi naših sistema u nastanku odlomka. Važno je razumjeti šta se iz rezultata detekcije može, a šta ne može zaključiti.
Vodeni žig ne mjeri ljudski doprinos. Može ukazati na to da je sistem kompanije OpenAI generirao ili obradio dio odlomka, ali ne i koliko je ljudske prosudbe, uređivanja ili kreativnosti uloženo u njega.
Vodeni žig ne utvrđuje vlasništvo ni odgovornost. Ne određuje ko je vlasnik teksta, je li njegova upotreba bila zakonita, je li postojala obaveza objave podataka o njegovom porijeklu niti ko je za njega odgovoran.
Vodeni žig ne otkriva identitet korisnika. Ne povezuje osobu, organizaciju, račun, upit ili razgovor s tekstom.
Vodeni žig ne potvrđuje tačnost. Ne govori je li odlomak istinit, obmanjujući, štetan ili predstavljen u odgovarajućem kontekstu.
To što vodeni žig nije detektiran ne dokazuje da je tekst napisao čovjek. Tekst generiran alatima kompanije OpenAI može biti prekratak, izmijenjen ili preveden, zbog čega detekcija možda neće biti pouzdana. Može također potjecati iz nepodržanog modela, biti nastao prije uvođenja vodenih žigova ili biti generiran alatima druge kompanije.
Uvođenje označavanja teksta vodenim žigom u EU-u. U narednim sedmicama uvest ćemo označavanje teksta vodenim žigom za korisnike alata ChatGPT i Codex koji ispunjavaju uslove, u okviru svih planova, isključivo u EU-u. Pri uvođenju označavanje teksta vodenim žigom neće biti globalno uključeno prema zadanim postavkama. Ovaj regionalni pristup daje nam prostor da učimo iz stvarne upotrebe i povratnih informacija.
Omogućavanje korisnicima API-ja da uključe označavanje vodenim žigom. Od danas će korisnici API-ja širom svijeta moći uključiti označavanje tekstualnih izlaza vodenim žigom za odabrane modele. Time korisnici mogu odlučiti kako se označavanje vodenim žigom uklapa u njihove obaveze transparentnosti i iskustva koja pružaju svojim korisnicima. Također sarađujemo s partnerima koji pružaju usluge u oblaku kako bismo u narednim sedmicama omogućili označavanje vodenim žigom izlaza modela kompanije OpenAI kojima se pristupa putem njihovih usluga.
Omogućavanje pristupa detektoru istraživačima i stručnim organizacijama. Odobreni istraživači i stručne organizacije mogu se prijaviti od danas. U skladu s Kodeksom prakse(otvara se u novom prozoru), pristup će se u početku odobravati pojedinačno kako bi se podržala procjena i unapređenje metoda utvrđivanja porijekla teksta. Alat će prijaviti detektira li vodeni žig kompanije OpenAI, bez otkrivanja identiteta korisnika, njegovih upita ili razgovora. Zbog rizika od propuštanja vodenih žigova i lažno pozitivnih rezultata, alat pri uvođenju neće biti javno dostupan.
Očekujemo da ćemo preispitivati svaki dio ovog pristupa kako se tehnologija i standardi budu razvijali i novi dokazi budu postajali dostupni.
Nijedna tehnika utvrđivanja porijekla nije dovoljna sama za sebe, pa koristimo višeslojni pristup koji objedinjuje otvorene standarde, otporne vodene žigove i alate za provjeru.
Podržanim generiranim slikama dodajemo Content Credentials, usklađeni smo sa standardom C2PA(otvara se u novom prozoru), ugrađujemo nevidljive vodene žigove SynthID(otvara se u novom prozoru) u podržane slike i zvuk te omogućavamo provjeru slika i zvuka putem stranice openai.com/verify i našeg API-ja za porijeklo sadržaja(otvara se u novom prozoru). Ove tehnike se međusobno dopunjuju: Content Credentials mogu zabilježiti porijeklo i historiju datoteke, dok nevidljivi vodeni žigovi mogu sačuvati signal kada se metapodaci uklone.
Kao što smo opisali u svom radu na zaštiti izbora, podaci o porijeklu mogu pomoći ljudima i platformama da procijene potencijalno obmanjujući sadržaj generiran umjetnom inteligencijom, uključujući uvjerljive krivotvorine (deepfake). Ove signale kombiniramo s pravilima, otkrivanjem zloupotreba, prijavljivanjem, istragama i provođenjem mjera te sarađujemo s istraživačima, tijelima za standardizaciju, platformama i civilnim društvom kako bi podaci o porijeklu bili korisni u širem ekosistemu.
Proširivanje metoda utvrđivanja porijekla na tekst zahtijeva da se uzme u obzir koliko ga je lako preformulirati, prevesti ili izmijeniti. Kao što smo naveli u junu, naš pristup mora uvažavati praktična ograničenja trenutne tehnologije. Nastavit ćemo unapređivati detekciju, proučavati otpornost vodenih žigova na izmjene i prevođenje te istraživati načine za smislenije razlikovanje pomoći umjetne inteligencije od njenog autorstva. Prilagođavat ćemo svoj pristup novim dokazima, standardima i regulatornim zahtjevima te širiti pristup detektoru kada budemo smatrali da se rezultati mogu odgovorno tumačiti.
Za više informacija pročitajte naš članak u centru za pomoć(otvara se u novom prozoru).
