Mūsu pieeja ES noteikumiem par teksta izcelsmi

Satura izcelsmes informācija palīdz cilvēkiem saprast, no kurienes saturs nāk, kā tas izveidots vai rediģēts un vai tajā ir ar mūsu modeļiem saistītas pazīmes. Esam jau publiskojuši rīkus, ar kuriem var identificēt mūsu modeļu ģenerētus attēlus un audio. Šodien iepazīstinām ar mūsu pieeju teksta marķēšanai ar ūdenszīmēm atbilstoši ES Mākslīgā intelekta aktam un tās vietu mūsu plašākajā darbā.

ES Mākslīgā intelekta akts paredz, ka ģeneratīvā MI nodrošinātājiem ģenerētais teksts jāpadara identificējams mašīnlasāmā veidā. Teksta marķēšana ar ūdenszīmēm un to noteikšana joprojām ir agrīnas tehnoloģijas ar būtiskiem ierobežojumiem, un izpratne par to ieguvumiem un atbildīgu izmantošanu vēl veidojas. Mūsu pakāpeniskā pieeja ņem vērā gan ES Mākslīgā intelekta akta prasības, gan tehnoloģijas ierobežojumus, īpaši uzsverot atklātību par to, ko teksta ūdenszīme var un nevar atklāt:

• No šodienas API klienti visā pasaulē varēs izvēlēties ieslēgt teksta marķēšanu ar ūdenszīmēm atsevišķiem modeļiem. API teksta marķēšana ar ūdenszīmēm pēc noklusējuma paliks izslēgta.

• Tuvākajās nedēļās Eiropas Savienībā pievienosim neredzamu ūdenszīmi atbilstošajiem ChatGPT un Codex ģenerētajiem tekstiem.

• Sākam pieņemt pieteikumus piekļuvei mūsu teksta ūdenszīmju detektoram. Sākotnēji piekļuve būs tikai apstiprinātiem pētniekiem un ekspertu organizācijām, kas var palīdzēt mums izvērtēt un uzlabot šo tehnoloģiju.

  • Iepriekš minētais attiecas tikai uz teksta izcelsmi — mūsu audio un attēlu pārbaudes rīki, tostarp tīmekļa rīks openai.com/verify⁠ un mūsu satura izcelsmes API⁠(atveras jaunā logā), arī turpmāk būs publiski pieejami organizācijām, kuras vēlas noskaidrot, vai attēlu vai audio failu ir ģenerējusi kāda no mūsu sistēmām.

Mūsu teksta marķēšanas tehnoloģija textGrain modeļa vārdu izvēlē iestrādā neredzamu statistisku signālu. Mūsu detektors meklē šo signālu, lai novērtētu, vai teksta fragmentā ir OpenAI ūdenszīme. Vairāk par textGrain darbību var uzzināt mūsu tehniskajā pārskatā⁠(atveras jaunā logā), ko tuvākajās nedēļās papildināsim ar sīkāku informāciju. Plānojam arī publiskot tehnoloģijas pirmkodu, lai citi varētu uz tās pamata veidot savus risinājumus.

Mūsu novērtējumos textGrain rezultāti bija līdzvērtīgi citām pārbaudītajām pieejām, tostarp tekstam paredzētajam SynthID, vai labāki par tām. Tomēr labi rezultāti ideālos apstākļos negarantē uzticamu noteikšanu ikdienas lietošanā.

Detektori var pieļaut divu veidu kļūdas: norādīt uz ūdenszīmi tur, kur tās nav (kļūdaini pozitīvs rezultāts), vai nepamanīt esošu ūdenszīmi (kļūdaini negatīvs rezultāts). Tālāk sniegtie novērtējumi parāda dažus no šiem izaicinājumiem:

• Īsākā tekstā vai tekstā ar ierobežotāku vārdu izvēli ūdenszīmi noteikt ir grūtāk. Pie mērķa kļūdaini pozitīvo rezultātu īpatsvara 1% mūsu detektors tādās jomās kā psiholoģija identificēja ūdenszīmes aptuveni 80% fragmentu ar 200 tekstvienībām un aptuveni 95% fragmentu ar 400 tekstvienībām. Noteikšanas rādītāji bija ievērojami zemāki tādās jomās kā matemātika, kur vārdu izvēle ir ierobežotāka.

• Rediģēšana var vājināt ūdenszīmi. Novērtējot fragmentus ar 400 tekstvienībām, 10% vārdu aizstāšana ar sinonīmiem samazināja noteikšanas rādītāju no aptuveni 92% līdz 66%. Aizstājot 25% vārdu, tas samazinājās līdz 17%.

Šie ierobežojumi ir viens no iemesliem, kāpēc sākotnēji piekļuvi detektoram piešķiram tikai apstiprinātiem pētniekiem un ekspertu organizācijām, kas var palīdzēt mums izvērtēt uzticamību un atbildīgas izmantošanas iespējas.

Etalontestos, ar kuriem novērtējam Astra — mūsu jaunāko robežšķirtnes modeli —, nenovērojam būtiskas veiktspējas atšķirības ar un bez ūdenszīmēm.

Teksta ūdenszīmes sniedz ierobežotu informāciju par mūsu sistēmu lomu teksta tapšanā. Ir svarīgi saprast, ko no noteikšanas rezultāta var un ko nevar secināt.

• Ūdenszīme nemēra cilvēka ieguldījumu. Tā var norādīt, ka OpenAI sistēma ir ģenerējusi vai apstrādājusi daļu teksta, taču ne to, cik daudz cilvēks ieguldījis, pieņemot lēmumus, rediģējot vai radoši strādājot.

• Ūdenszīme nenosaka īpašumtiesības vai atbildību. Tā nenosaka, kam pieder teksts, vai tā izmantošana bijusi likumīga, vai bija jāatklāj informācija par tā izcelsmi un kurš par to ir atbildīgs.

• Ūdenszīme neidentificē lietotāju. Tā nesaista tekstu ar konkrētu personu, organizāciju, kontu, uzvedni vai sarunu.

• Ūdenszīme neapstiprina teksta pareizību. Tā neatklāj, vai teksts ir patiess, maldinošs, kaitīgs vai pasniegts atbilstošā kontekstā.

• Tas, ka ūdenszīme nav noteikta, nepierāda, ka tekstu rakstījis cilvēks. Ar OpenAI rīkiem ģenerēts teksts var būt pārāk īss, rediģēts vai tulkots, lai noteikšana darbotos uzticami. Tas var būt arī ģenerēts ar neatbalstītu modeli, pirms ūdenszīmju ieviešanas vai ar cita uzņēmuma rīkiem.

• Teksta ūdenszīmju ieviešana ES. Tuvākajās nedēļās ieviesīsim teksta marķēšanu ar ūdenszīmēm atbilstošajiem ChatGPT un Codex lietotājiem visos plānos tikai ES. Ieviešanas brīdī teksta marķēšana ar ūdenszīmēm netiks ieslēgta pēc noklusējuma visā pasaulē. Šī reģionālā pieeja ļauj mums mācīties no reālās lietošanas pieredzes un atsauksmēm.

• Iespēja API klientiem izvēlēties marķēšanu ar ūdenszīmēm. No šodienas API klienti visā pasaulē varēs izvēlēties ieslēgt ūdenszīmes atsevišķu modeļu ģenerētajiem tekstiem. Tas ļauj klientiem izlemt, kā ūdenszīmes izmantot atbilstoši saviem pārredzamības pienākumiem un lietotājiem sniegtajiem pakalpojumiem. Sadarbojamies arī ar mākoņpakalpojumu partneriem, lai tuvākajās nedēļās ūdenszīmes būtu pieejamas OpenAI modeļu ģenerētajam saturam, kas iegūts, izmantojot šo partneru pakalpojumus.

• Piekļuve detektoram pētniekiem un ekspertu organizācijām. Apstiprināti pētnieki un ekspertu organizācijas var pieteikties no šodienas. Saskaņā ar Prakses kodeksu⁠(atveras jaunā logā) piekļuve sākotnēji tiks piešķirta, izvērtējot katru gadījumu atsevišķi, lai atbalstītu teksta izcelsmes noteikšanas izvērtēšanu un uzlabošanu. Rīks ziņos, vai tas ir konstatējis OpenAI ūdenszīmi, neidentificējot lietotāju un neatklājot viņa uzvednes vai sarunas. Ņemot vērā nepamanītu ūdenszīmju un kļūdaini pozitīvu rezultātu risku, ieviešanas brīdī rīks nebūs publiski pieejams.

Attīstoties tehnoloģijai un standartiem un uzkrājoties pierādījumiem, plānojam pārskatīt katru šīs pieejas daļu.

Neviena izcelsmes noteikšanas metode pati par sevi nav pietiekama, tāpēc izmantojam daudzslāņainu pieeju, kas apvieno atvērtos standartus, noturīgas ūdenszīmes un pārbaudes rīkus.

Atbalstītajiem ģenerētajiem attēliem pievienojam Content Credentials, atbilstam C2PA prasībām⁠(atveras jaunā logā), atbalstītajos attēlos un audio iestrādājam neredzamas SynthID⁠(atveras jaunā logā) ūdenszīmes un nodrošinām attēlu un audio pārbaudi vietnē openai.com/verify⁠ un ar mūsu satura izcelsmes API⁠(atveras jaunā logā). Šīs metodes cita citu papildina: Content Credentials var fiksēt faila izcelsmi un vēsturi, savukārt neredzamās ūdenszīmes var saglabāt signālu arī pēc metadatu noņemšanas.

Kā aprakstījām mūsu darbā pie vēlēšanu aizsardzības pasākumiem, izcelsmes informācija var palīdzēt cilvēkiem un platformām izvērtēt potenciāli maldinošu MI ģenerētu saturu, tostarp dziļviltojumus. Šos signālus papildinām ar politikām, ļaunprātīgas izmantošanas atklāšanu, ziņošanu, izmeklēšanu un noteikumu izpildes pasākumiem. Sadarbojamies ar pētniekiem, standartizācijas iestādēm, platformām un pilsonisko sabiedrību, lai izcelsmes informācija būtu noderīga plašākā ekosistēmā.

Attiecinot izcelsmes noteikšanu uz tekstu, jāņem vērā, cik viegli to var pārrakstīt, tulkot vai rediģēt. Kā skaidrojām jūnijā, mūsu pieejai jāņem vērā pašreizējo tehnoloģiju praktiskie ierobežojumi. Turpināsim uzlabot noteikšanu, pētīt ūdenszīmju noturību pret rediģēšanu un tulkošanu un meklēt veidus, kā precīzāk atšķirt MI palīdzību no MI autorības. Pielāgosim savu pieeju, uzkrājoties pierādījumiem un mainoties standartiem un regulējuma prasībām, un paplašināsim piekļuvi detektoram, kad uzskatīsim, ka rezultātus var atbildīgi interpretēt.

Plašāku informāciju skatiet mūsu palīdzības centra rakstā⁠(atveras jaunā logā).