Mūsų požiūris į ES teksto kilmės taisykles
Skatiname skaidrumą atsižvelgdami į dabartinių technologijų ribotumus.
Turinio kilmės informacija padeda žmonėms suprasti, iš kur turinys atsirado, kaip jis buvo sukurtas ar redaguotas ir ar jame yra su mūsų modeliais susijusių signalų. Jau viešai pateikėme įrankius, skirtus mūsų modelių sugeneruotiems vaizdams ir garso įrašams atpažinti. Šiandien pristatome, kaip, atsižvelgdami į ES DI aktą, taikysime teksto žymėjimą vandens ženklais ir kaip tai dera su platesne mūsų veikla.
ES DI aktas reikalauja, kad generatyvinio DI teikėjai užtikrintų galimybę sugeneruotą tekstą atpažinti kompiuterio skaitomu būdu. Teksto žymėjimo vandens ženklais ir jų aptikimo technologijos dar tik vystomos ir turi didelių ribotumų, o požiūris į jų naudą ir atsakingą naudojimą vis dar formuojasi. Mūsų etapinis diegimas atspindi ir ES DI akto reikalavimus, ir technologijos ribotumus. Ypač svarbu skaidriai paaiškinti, ką teksto vandens ženklas gali ir ko negali atskleisti:
Nuo šiandien API klientai visame pasaulyje galės pasirinkti įjungti teksto žymėjimą vandens ženklais tam tikriems modeliams. Pagal numatytuosius nustatymus teksto žymėjimas vandens ženklais API liks išjungtas.
Per ateinančias savaites į nustatytus kriterijus atitinkančius „ChatGPT“ ir „Codex“ generuojamus tekstus Europos Sąjungoje įterpsime nematomą vandens ženklą.
Pradedame priimti paraiškas dėl prieigos prie mūsų teksto vandens ženklų aptikimo įrankio. Iš pradžių prieiga bus suteikiama tik patvirtintiems tyrėjams ir ekspertų organizacijoms, galintiems padėti mums įvertinti ir tobulinti šią technologiją.
Tai taikoma tik teksto kilmei. Mūsų garso įrašų ir vaizdų tikrinimo įrankiai, įskaitant internetinį įrankį openai.com/verify ir turinio kilmės API(atsidaro naujame lange), ir toliau bus viešai prieinami organizacijoms, norinčioms sužinoti, ar vaizdą arba garso failą sugeneravo viena iš mūsų sistemų.
Mūsų teksto žymėjimo vandens ženklais technologija „textGrain“ į modelio parenkamus žodžius įterpia nematomą statistinį signalą. Mūsų aptikimo įrankis ieško šio signalo ir įvertina, ar teksto ištraukoje yra „OpenAI“ vandens ženklas. Daugiau apie „textGrain“ veikimą galite sužinoti mūsų techninėje ataskaitoje(atsidaro naujame lange), kurią per ateinančias savaites papildysime išsamesne informacija. Taip pat planuojame atverti šios technologijos kodą, kad kiti galėtų ja remtis kurdami savo sprendimus.
Mūsų vertinimuose „textGrain“ rezultatai prilygo kitų išbandytų metodų, įskaitant tekstui skirtą „SynthID“, rezultatams arba juos pranoko. Vis dėlto geri rezultatai idealiomis sąlygomis negarantuoja patikimo aptikimo naudojant kasdien.
Aptikimo įrankiai gali klysti dvejopai: pranešti apie vandens ženklą ten, kur jo nėra (klaidingai teigiamas rezultatas), arba nepastebėti esamo vandens ženklo (klaidingai neigiamas rezultatas). Toliau pateikti mūsų vertinimai iliustruoja kai kuriuos iš šių sunkumų:
Trumpesniame tekste arba tekste, kuriame žodžių pasirinkimas labiau apribotas, vandens ženklus aptikti sunkiau. Kai tikslinis klaidingai teigiamų rezultatų rodiklis buvo 1 %, mūsų įrankis aptiko vandens ženklus maždaug 80 % ištraukų, kurių ilgis – 200 žetonų, ir maždaug 95 % ištraukų, kurių ilgis – 400 žetonų, tokiose srityse kaip psichologija. Aptikimo rodikliai buvo gerokai mažesni tokiose srityse kaip matematika, kur žodžių pasirinkimo laisvė mažesnė.
Redagavimas gali susilpninti vandens ženklą. Vertinant 400 žetonų ilgio ištraukas, 10 % žodžių pakeitus sinonimais, aptikimo rodiklis sumažėjo nuo maždaug 92 % iki 66 %. Pakeitus 25 % žodžių, jis sumažėjo iki 17 %.
Šie ribotumai yra viena iš priežasčių, kodėl nusprendėme iš pradžių suteikti prieigą prie aptikimo įrankio tik patvirtintiems tyrėjams ir ekspertų organizacijoms, galintiems padėti įvertinti jo patikimumą ir atsakingo naudojimo būdus.
Šioje diagramoje pateikti vandens ženklais pažymėtų atsakymų į matematikos ir psichologijos klausimus iš ELI5 duomenų rinkinio(atsidaro naujame lange) rezultatai, kai tikslinis klaidingai teigiamų rezultatų rodiklis – 1 %. Ilgėjant tekstui aptikimo rodiklis gerėja, tačiau apskritai jis gerokai mažesnis turinyje, kuriame žodžių pasirinkimo laisvė mažesnė, pavyzdžiui, matematikos tekstuose.
Redagavimas gali gerokai susilpninti vandens ženklo signalą. Šioje diagramoje parodyta, kaip 10 % arba 25 % ištraukos žodžių pakeitimas veikia aptikimą. Rezultatai pagrįsti vandens ženklais pažymėtais atsakymais anglų kalba į klausimus iš ELI5(atsidaro naujame lange).
Pagal lyginamuosius testus, kuriais vertiname naujausią savo priešakinį modelį „Astra“, reikšmingų rezultatų skirtumų su žymėjimu vandens ženklais ir be jo nepastebime.
Lyginamasis testas | Tekstas be vandens ženklo („Astra“, maksimalus) | Tekstas su vandens ženklu („Astra“, maksimalus) |
|---|---|---|
„Artificial Analysis“ intelekto indeksas | 49,57 taško | 49,76 taško |
AutomationBench | 34,09 % | 34,86 % |
DeepSWE v1.1 | 72,80 % | 71,68 % |
Terminal-Bench 4.0 | 53,90 % | 56,06 % |
Terminal-Bench Science 0.1 | 56,90 % | 60,00 % |
BrowseComp | 87,92 % | 87,35 % |
HealthBench Professional | 64,27 % | 64,60 % |
GPQA Diamond | 94,44 % | 93,94 % |
Teksto vandens ženklai suteikia tik ribotą informaciją apie tai, kokį vaidmenį mūsų sistemos atliko kuriant teksto ištrauką. Svarbu suprasti, kokias išvadas galima ir kokių negalima daryti iš aptikimo rezultato.
Vandens ženklas neįvertina žmogaus indėlio. Jis gali rodyti, kad „OpenAI“ sistema sugeneravo ar apdorojo dalį ištraukos, tačiau neatskleidžia, kiek žmogus prie jos prisidėjo savo sprendimais, redagavimu ar kūrybiškumu.
Vandens ženklas nenustato nuosavybės teisių ar atsakomybės. Jis nenustato, kam priklauso tekstas, ar jis buvo naudotas teisėtai, ar reikėjo atskleisti jo kilmę ir kas už jį atsakingas.
Vandens ženklas neatskleidžia naudotojo tapatybės. Jis nesusieja teksto su asmeniu, organizacija, paskyra, užklausa ar pokalbiu.
Vandens ženklas nepatvirtina tikslumo. Jis neatskleidžia, ar ištraukoje pateikta informacija yra teisinga, klaidinanti, žalinga ar pateikta tinkamame kontekste.
Neaptiktas vandens ženklas neįrodo, kad tekstą parašė žmogus. „OpenAI“ įrankiais sugeneruotas tekstas gali būti per trumpas, redaguotas ar išverstas, todėl aptikimas gali būti nepatikimas. Tekstą taip pat galėjo sugeneruoti modelis, kuriam žymėjimas netaikomas, jis galėjo būti sukurtas dar prieš įdiegiant žymėjimą vandens ženklais arba sugeneruotas kitos bendrovės įrankiais.
Teksto žymėjimo vandens ženklais diegimas ES. Per ateinančias savaites įdiegsime teksto žymėjimą vandens ženklais nustatytus kriterijus atitinkantiems „ChatGPT“ ir „Codex“ naudotojams, nepriklausomai nuo jų plano, tačiau tik ES. Pradėdami diegimą, teksto žymėjimo vandens ženklais neįjungsime pagal numatytuosius nustatymus visame pasaulyje. Toks regioninis diegimas suteikia mums galimybę mokytis iš realaus naudojimo patirties ir atsiliepimų.
Galimybė API klientams pasirinkti žymėjimą vandens ženklais. Nuo šiandien API klientai visame pasaulyje galės pasirinkti, kad tam tikri modeliai generuotų vandens ženklais pažymėtus tekstus. Taip klientai galės patys nuspręsti, kaip žymėjimą vandens ženklais suderinti su savo skaidrumo įsipareigojimais ir naudotojams teikiama patirtimi. Taip pat bendradarbiaujame su debesijos partneriais, kad per ateinančias savaites žymėjimas vandens ženklais taptų prieinamas ir „OpenAI“ modelių turiniui, generuojamam naudojantis jų paslaugomis.
Prieigos prie aptikimo įrankio suteikimas tyrėjams ir ekspertų organizacijoms. Patvirtinti tyrėjai ir ekspertų organizacijos gali teikti paraiškas nuo šiandien. Pagal Praktikos kodeksą(atsidaro naujame lange) prieiga iš pradžių bus suteikiama kiekvieną atvejį vertinant atskirai, siekiant padėti vertinti ir tobulinti teksto kilmės nustatymą. Įrankis praneš, ar aptiko „OpenAI“ vandens ženklą, neatskleisdamas naudotojo tapatybės, jo užklausų ar pokalbių. Atsižvelgdami į riziką neaptikti vandens ženklų arba gauti klaidingai teigiamų rezultatų, išleidimo metu jis nebus viešai prieinamas.
Tobulėjant technologijai, keičiantis standartams ir gausėjant įrodymų, ketiname peržiūrėti kiekvieną šio požiūrio dalį.
Vieno kilmės nustatymo metodo nepakanka, todėl taikome daugiasluoksnį sprendimą, derinantį atviruosius standartus, atsparų žymėjimą vandens ženklais ir tikrinimo įrankius.
Prie palaikomų generuojamų vaizdų pridedame „Content Credentials“ duomenis, atitinkame C2PA reikalavimus(atsidaro naujame lange), į palaikomus vaizdus ir garso įrašus įterpiame nematomus „SynthID“(atsidaro naujame lange) vandens ženklus ir suteikiame galimybę tikrinti vaizdus bei garso įrašus per openai.com/verify ir mūsų turinio kilmės API(atsidaro naujame lange). Šie metodai papildo vienas kitą: „Content Credentials“ duomenys gali užfiksuoti failo kilmę ir istoriją, o nematomi vandens ženklai gali išsaugoti signalą net pašalinus metaduomenis.
Kaip aprašėme pristatydami savo rinkimų apsaugos priemones, kilmės informacija gali padėti žmonėms ir platformoms įvertinti galimai klaidinantį DI sugeneruotą turinį, įskaitant vaizdo klastotes. Šiuos signalus deriname su taisyklėmis, piktnaudžiavimo aptikimu, pranešimais, tyrimais ir taisyklių vykdymo užtikrinimu. Bendradarbiaujame su tyrėjais, standartizacijos organizacijomis, platformomis ir pilietine visuomene, kad kilmės informacija būtų naudinga visoje platesnėje ekosistemoje.
Taikant kilmės nustatymą tekstui, būtina atsižvelgti į tai, kaip lengva jį perrašyti, išversti ar redaguoti. Kaip aptarėme birželį, mūsų požiūris turi atspindėti praktinius dabartinių technologijų ribotumus. Toliau tobulinsime aptikimą, tirsime vandens ženklų atsparumą redagavimui ir vertimui bei ieškosime būdų aiškiau atskirti DI pagalbą nuo DI autorystės. Gausėjant įrodymų, keičiantis standartams ir reguliavimo reikalavimams, atitinkamai koreguosime savo požiūrį, o prieigą prie aptikimo įrankio plėsime tuomet, kai manysime, kad rezultatus galima atsakingai interpretuoti.
Daugiau informacijos rasite mūsų pagalbos centro straipsnyje(atsidaro naujame lange).
