Náš prístup k pravidlám EÚ na určovanie pôvodu textu

Pôvod obsahu pomáha ľuďom pochopiť, odkiaľ obsah pochádza, ako bol vytvorený alebo upravený, a či obsahuje signály spojené s našimi modelmi. Už sme verejne sprístupnili nástroje na identifikáciu obrázkov a zvuku generovaných našimi modelmi. Dnes predstavujeme náš prístup k vodoznakom pre text v reakcii na Akt EÚ o umelej inteligencii a vysvetľujeme, ako zapadá do našej širšej práce.

Akt EÚ o AI vyžaduje, aby poskytovatelia generatívnej AI umožnili identifikovať generovaný text strojovo čitateľným spôsobom. Vkladanie vodoznakov do textu a ich detekcia sú stále len v počiatočnom štádiu vývoja a majú značné obmedzenia. Názory na ich prínosy a zodpovedné používanie sa stále formujú. Náš postup po etapách zohľadňuje požiadavky aktu EÚ o AI aj obmedzenia tejto technológie a kladie dôraz na transparentnosť v tom, čo vodoznak v texte môže a nemôže ľuďom prezradiť:

• Od dnešného dňa si zákazníci API na celom svete budú môcť zapnúť vodoznaky v texte pre vybrané modely. Vodoznaky v texte zostanú v API predvolene vypnuté.

• V priebehu najbližších týždňov pridáme v Európskej únii neviditeľný vodoznak do textových výstupov ChatGPT a Codex, ktoré spĺňajú podmienky.

• Začíname prijímať žiadosti o prístup k nášmu detektoru textových vodoznakov. Prístup bude spočiatku obmedzený na schválených výskumníkov a odborné organizácie, ktoré nám môžu pomôcť vyhodnotiť a zlepšiť túto technológiu.

  • Uvedené sa vzťahuje len na pôvod textu. Naše nástroje na overovanie zvuku a obrázkov vrátane nášho webového nástroja openai.com/verify⁠ a nášho rozhrania Content Provenance API⁠(otvorí sa v novom okne) zostanú naďalej verejne dostupné organizáciám, ktoré chcú zistiť, či bol obrázok alebo zvukový súbor vygenerovaný jedným z našich systémov.

Naša technológia textového vodoznaku textGrain pridáva do výberu slov modelu neviditeľný štatistický signál. Náš detektor tento signál vyhľadáva, aby posúdil, či textový úryvok obsahuje vodoznak OpenAI. Viac podrobností o fungovaní technológie textGrain nájdeš v našej technickej správe⁠(otvorí sa v novom okne), ktorú v najbližších týždňoch doplníme o ďalšie informácie. Plánujeme tiež sprístupniť túto technológiu ako open source, aby na nej mohli stavať aj ostatní.

V našich hodnoteniach dosahoval textGrain rovnaký alebo vyšší výkon než ostatné prístupy, ktoré sme testovali, vrátane SynthID for text. Napriek tomu vysoký výkon v ideálnych podmienkach nezaručuje spoľahlivú detekciu pri bežnom používaní.

Detektory môžu robiť dva druhy chýb: môžu nahlásiť prítomnosť vodoznaku tam, kde žiadny nie je – falošne pozitívny výsledok – alebo prehliadnuť vodoznak, ktorý je prítomný – falošne negatívny výsledok. Naše hodnotenia nižšie ilustrujú niektoré z týchto výziev:

• Kratší text alebo text s väčšími obmedzeniami sa ťažšie deteguje. Pri cieľovej miere falošne pozitívnych výsledkov 1 % náš detektor identifikoval vodoznaky približne v 80 % pasáží s 200 tokenmi v porovnaní s približne 95 % pasáží so 400 tokenmi, a to pri obsahu z oblastí, ako je psychológia. Miera detekcie bola podstatne nižšia pri obsahu z oblastí, ako je matematika, kde je menšia voľnosť pri výbere slov.

• Úpravy môžu oslabiť vodoznak. Pri hodnotení pasáží s 400 tokenmi znížilo nahradenie 10 % slov synonymami mieru detekcie z približne 92 % na 66 %. Nahradenie 25 % slov ju znížilo na 17 %.

Tieto obmedzenia prispievajú k nášmu rozhodnutiu sprístupniť detektor spočiatku iba schváleným výskumníkom a odborným organizáciám, ktorí nám môžu pomôcť vyhodnotiť jeho spoľahlivosť a zodpovedné využitie.

V benchmarkoch, ktoré používame na hodnotenie nášho najnovšieho prelomového modelu Astra, nepozorujeme významné rozdiely vo výkone pri označovaní vodoznakom a bez neho.

Textové vodoznaky poskytujú obmedzený signál o tom, akú úlohu zohrali naše systémy pri vytvorení úryvku. Je dôležité pochopiť, čo možno a čo nemožno vyvodiť z výsledku detekcie.

• Vodoznak nemeria ľudský prínos. Môže naznačovať, že systém OpenAI vytvoril alebo spracoval časť textu, ale nie to, koľko ľudského úsudku, úprav alebo kreativity sa doň vložilo.

• Vodoznak nepreukazuje vlastníctvo ani zodpovednosť. Neurčuje, kto text vlastní, či bolo jeho použitie zákonné, či bolo potrebné zverejnenie ani kto zaň zodpovedá.

• Vodoznak neidentifikuje používateľa. Nepriraďuje osobu, organizáciu, účet, príkaz ani konverzáciu k textu.

• Vodoznak nepotvrdzuje presnosť. Nepovie ti, či je úryvok pravdivý, zavádzajúci, škodlivý alebo uvedený v správnom kontexte.

• Neprítomnosť zisteného vodoznaku nedokazuje, že autorom je človek. Text vytvorený pomocou nástrojov OpenAI môže byť príliš krátky, upravený alebo preložený na to, aby ho bolo možné spoľahlivo rozpoznať. Môže tiež pochádzať z nepodporovaného modelu, byť vytvorený ešte pred zavedením vodoznakov alebo pomocou nástrojov inej spoločnosti.

• Postupne zavádzame vodoznaky v texte v EÚ. Počas nasledujúcich týždňov sprístupníme vodoznaky v texte oprávneným používateľom ChatGPT a Codex vo všetkých plánoch, a to iba v EÚ. Pri spustení nebudú vodoznaky v texte predvolene dostupné globálne. Tento regionálny prístup nám dáva priestor poučiť sa z používania v praxi a spätnej väzby.

• Možnosť dobrovoľného zapnutia vodoznakov pre zákazníkov API. Od dnešného dňa si zákazníci API na celom svete budú môcť pri vybraných modeloch zapnúť označovanie textových výstupov vodoznakom. Zákazníci sa tak môžu rozhodnúť, ako vodoznaky začlenia do plnenia svojich povinností v oblasti transparentnosti a do používateľského zážitku, ktorý ponúkajú. Spolupracujeme aj s cloudovými partnermi, aby bolo v nasledujúcich týždňoch označovanie vodoznakom dostupné aj pre výstupy modelov OpenAI, ku ktorým zákazníci pristupujú prostredníctvom ich služieb.

• Poskytovanie prístupu k detektoru výskumníkom a odborným organizáciám. Schválení výskumníci a odborné organizácie môžu od dnešného dňa požiadať o prístup. V súlade s kódexom postupov⁠(otvorí sa v novom okne) sa bude prístup spočiatku udeľovať na základe individuálneho posúdenia s cieľom podporiť hodnotenie a zlepšovanie určovania pôvodu textu. Nástroj oznámi, či zistí vodoznak OpenAI, bez toho, aby identifikoval používateľa alebo odhalil jeho príkazy či konverzácie. Vzhľadom na riziko nezistených vodoznakov a falošne pozitívnych výsledkov nástroj pri spustení nesprístupníme verejnosti.

Očakávame, že každú časť tohto prístupu znovu prehodnotíme v závislosti od vývoja technológie, štandardov a dôkazov.

Žiadna jednotlivá technika pôvodu sama osebe nestačí, preto volíme viacvrstvový prístup, ktorý spája otvorené štandardy, odolné vodoznaky a nástroje na overovanie.

K podporovaným výstupom obrázkov pridávame Content Credentials, spĺňame požiadavky C2PA⁠(otvorí sa v novom okne), do podporovaných obrázkov a zvukových súborov vkladáme neviditeľné vodoznaky SynthID⁠(otvorí sa v novom okne) a sprístupňujeme overovanie obrázkov a zvukových súborov cez openai.com/verify⁠ a naše Content Provenance API⁠(otvorí sa v novom okne). Tieto techniky sa navzájom dopĺňajú: Content Credentials môžu zaznamenať pôvod a históriu súboru, zatiaľ čo neviditeľné vodoznaky môžu zachovať signál aj po odstránení metadát.

Ako sme opísali v našej práci na ochranných opatreniach v súvislosti s voľbami, určovanie pôvodu môže ľuďom a platformám pomôcť posúdiť potenciálne zavádzajúci obsah vytvorený AI vrátane deepfakov. Tieto indikátory kombinujeme so zásadami, odhaľovaním zneužívania, nahlasovaním, vyšetrovaním a presadzovaním pravidiel a spolupracujeme s výskumníkmi, normalizačnými orgánmi, platformami a občianskou spoločnosťou, aby bolo určovanie pôvodu užitočné v celom širšom ekosystéme.

Rozšírenie sledovania pôvodu aj na text si vyžaduje zohľadniť, ako ľahko ho možno prepísať, preložiť alebo upraviť. Ako sme diskutovali v júni, náš prístup musí zohľadňovať praktické limity súčasných technológií. Budeme naďalej zlepšovať detekciu, skúmať, ako vodoznaky odolávajú úpravám a prekladu, a hľadať zmysluplnejšie spôsoby rozlišovania medzi pomocou AI a autorstvom AI. Náš prístup budeme prispôsobovať vývoju dôkazov, štandardov a regulačných požiadaviek a rozšírime prístup k detektorom, keď budeme presvedčení, že výsledky možno zodpovedne interpretovať.

Viac informácií nájdeš v našom článku v centre pomoci⁠(otvorí sa v novom okne).