Ang aming pamamaraan sa mga panuntunan ng EU sa pinagmulan
Pagsulong sa transparency sa loob ng mga limitasyon ng teknolohiya ngayon.
Provenance ng content Nakakatulong ang provenance ng content sa mga tao na maunawaan kung saan nagmula ang content, kung paano ito ginawa o in-edit, at kung naglalaman ito ng mga senyales na nauugnay sa aming mga modelo. Ibinahagi na namin sa publiko ang mga tool para matukoy ang mga larawan at audio na binuo ng aming mga modelo. Ngayong araw, ibinabahagi namin ang aming pamamaraan sa paglalagay ng watermark sa teksto bilang tugon sa EU AI Act, at kung paano ito umaangkop sa mas malawak naming gawain.
Inaatasan ng EU AI Act ang mga provider ng generative AI na gawing makikilala sa paraang nababasa ng makina ang tekstong nabuo. Nasa maagang yugto pa ang mga teknolohiya ng paglalagay ng watermark sa tekst at pagtukoy, at makabuluhan ang mga limitasyon, at patuloy pang nabubuo ang mga pananaw tungkol sa mga benepisyo at responsableng paggamit ng mga ito. Isinasaalang-alang ng aming unti-unting pagpapatupad ang mga kahingian ng EU AI Act at ang mga limitasyon ng teknolohiya, na may diin sa transparency tungkol sa kung ano ang kaya at hindi kayang ipahiwatig ng watermark na teksto sa mga tao:
Simula ngayong araw, makakapili na ang mga customer ng API sa buong mundo na mag-opt in sa paglalagay ng watermark sa teksto para sa mga piling modelo. Mananatiling naka-off bilang default ang paglalagay ng watermark sa teksto sa API.
Sa mga darating na linggo, magdaragdag kami ng hindi nakikitang watermark sa mga kwalipikadong text output ng ChatGPT at Codex sa European Union.
Tumatanggap na kami ng mga aplikasyon para sa access sa aming pantukoy ng watermark sa teksto. Sa simula, lilimitahan ang access sa mga aprubadong mananaliksik at ekspertong organisasyon na makatutulong sa amin na suriin at pagbutihin ang teknolohiya.
Nalalapat lamang ang nabanggit sa pinagmulan ng teksto—mananatiling bukas sa publiko ang aming mga tool sa pagberipika para sa audio at mga larawan, kabilang ang aming web tool na openai.com/verify at ang aming Content Provenance API(magbubukas sa bagong window), para sa mga organisasyong gustong malaman kung binuo ng isa sa aming mga system ang isang file ng larawan o audio.
Ang aming teknolohiya sa paglalagay ng watermark sa teksto, ang textGrain, ay nagdaragdag ng hindi nakikitang estadistikal na senyales sa mga salitang pinipili ng modelo. Hinahanap ng aming pantukoy ang senyales na iyon upang masuri kung may watermark ng OpenAI ang isang bahagi ng teksto. Makikita ang higit pang detalye tungkol sa kung paano gumagana ang textGrain sa aming teknikal na ulat(magbubukas sa bagong window), na ia-update upang magdagdag ng mga detalye sa mga darating na linggo. Plano rin naming gawing available bilang open source ang teknolohiya upang magamit ito ng iba bilang batayan para sa karagdagang pagbuo.
Sa aming mga pagsusuri, kapantay o nahigitan ng textGrain ang pagganap ng iba pang mga paraang sinubukan namin, kabilang ang SynthID para sa teksto. Gayunpaman, hindi ginagarantiyahan ng mahusay na pagganap sa mga ideal na kondisyon ang maaasahang pagtukoy sa pang-araw-araw na paggamit.
Maaaring makagawa ang mga pantukoy ng dalawang uri ng pagkakamali: maaari silang mag-ulat na may watermark kahit wala naman nito—isang false positive—o hindi mapansin ang watermark kahit naroroon ito—isang false negative. Ipinakikita ng aming mga pagsusuri sa ibaba ang ilan sa mga hamon:
Mas mahirap matukoy ang mas maiikling teksto o tekstong mas maraming limitasyon. Sa target na natas ng false positive na 1%, natukoy ng aming pantukoy ang mga watermark sa humigit-kumulang 80% ng mga siping may 200 token, kumpara sa humigit-kumulang 95% ng mga siping may 400 token, para sa mga paksang gaya ng sikolohiya. Mas mababa nang malaki ang mga rate ng pagtukoy para sa mga paksang gaya ng matematika, kung saan mas kaunti ang kalayaan sa pagpili ng mga salita.
Maaaring pahinain ng pag-edit ang watermark. Sa pagsusuri ng mga siping may 400 token, ang pagpapalit sa 10% ng mga salitang may mga kasingkahulugan ay nagpababa sa antas ng pagtukoy mula sa humigit-kumulang 92% tungo sa 66%. Ang pagpapalit sa 25% ng mga salita ay nagpababa rito tungo sa 17%.
Nakatulong ang mga limitasyong ito sa aming pagpapasyang magbigay ng paunang access sa pantukoy lamang sa mga aprubadong mananaliksik at ekspertong organisasyon, na makatutulong sa amin na suriin ang pagiging maaasahan nito at ang mga responsableng paggamit dito.
Ipinapakita ng tsart na ito ang mga resulta para sa mga tugong may watermark sa mga tanong tungkol sa matematika at sikolohiya mula sa dataset na ELI5(magbubukas sa bagong window) sa target na antas ng false positive na 1%. Mas nagiging mahusay ang pagtukoy habang humahaba ang teksto, pero mas makabuluhan pa rin ang pagbaba ng pagtukoy sa kabuuan para sa content kung saan mas limitado ang pagpili ng mga salita, gaya ng matematika.
Maaaring lubhang mapahina ng pag-edit ang senyales ng watermark. Ipinapakita ng tsart na ito kung paano nakakaapekto sa pagtukoy ang pagpapalit sa 10% o 25% ng mga salita sa isang sipi. Batay ang mga resulta sa mga sagot na may watermark sa Ingles sa mga tanong mula sa ELI5(magbubukas sa bagong window).
Sa mga pamantayang ginagamit namin para tasahin si Astra, ang aming pinakabagong frontier na modelo, wala kaming nakikitang makabuluhang pagkakaiba sa pagganap nito kapag naglalagay ng watermark or wala.
Benchmark | Tekstong walang watermark (Astra, Max) | Tekstong may watermark (Astra, max) |
|---|---|---|
Indeks ng Katalinuhan ng Artipisyal na Pagsusuri | 49.57 puntos | 49.76 puntos |
AutomationBench | 34.09% | 34.86% |
DeepSWE v1.1 | 72.80% | 71.68% |
Terminal-Bench 4.0 | 53.90% | 56.06% |
Terminal-Bench Science 0.1 | 56.90% | 60.00% |
BrowseComp | 87.92% | 87.35% |
HealthBench Professional | 64.27% | 64.60% |
GPQA Diamond | 94.44% | 93.94% |
Nagbibigay ang mga watermark sa teksto ng limitadong indikasyon tungkol sa papel na ginampanan ng aming mga system sa isang sipi. Mahalagang maunawaan kung ano ang maaari at hindi maaaring mahinuha mula sa resulta ng pagtukoy.
Hindi nasusukat ng watermark ang ambag ng tao. Maipapakita nito na bumuo o nagproseso ang isang sistema ng OpenAI ng bahagi ng isang sipi, pero hindi nito ipinapakita kung gaano kalaki ang naging ambag ng pagpapasya, pag-edit, o pagkamalikhain ng tao.
Hindi nagpapatunay ng pagmamay-ari o pananagutan ang isang watermark. Hindi nito tinutukoy kung sino ang nagmamay-ari ng teksto, kung naaayon sa batas ang paggamit dito, kung kinakailangang isiwalat ito, o kung sino ang may pananagutan dito.
Hindi tinutukoy ng watermark ang user. Hindi nito iniuugnay ang isang tao, organisasyon, account, prompt, o pag-uusap sa teksto.
Hindi pinatutunayan ng watermark ang katumpakan. Hindi nito sinasabi sa inyo kung totoo, mapanlinlang, mapaminsala, o ipinakita sa tamang konteksto ang isang bahagi ng teksto.
Ang kawalan ng natukoy na watermark ay hindi patunay na tao ang may-akda. Maaaring masyadong maikli, na-edit, o naisalin ang tekstong binuo gamit ang mga tool ng OpenAI kaya hindi ito maaasahang matukoy. Maaari rin itong nagmula sa modelong hindi suportado, nalikha bago pa gumamit ng watermark, o binuo gamit ang mga tool ng ibang kumpanya.
Unti-unting inilulunsad ang watermark sa teksto sa EU. Sa mga susunod na linggo, ipakikilala namin ang watermark sa teksto para sa mga kwalipikadong user ng ChatGPT at Codex sa lahat ng plan, sa EU lamang. Hindi namin gagawing default sa buong mundo ang watermark sa teksto sa paglulunsad nito. Binibigyan kami ng panrehiyong paraang ito ng pagkakataong matuto mula sa aktuwal na paggamit at feedback.
Pagbibigay sa mga customer ng API ng opsyong gumamit ng watermark. Simula ngayon, maaaring piliin ng mga customer ng API sa buong mundo na makatanggap ng mga output na teksto na may watermark mula sa mga piling modelo. Nagbibigay ito sa mga customer ng kakayahang magpasya kung paano aangkop ang paggamit ng watermark sa kanilang mga obligasyon sa pagiging transparent at sa mga karanasang ibinibigay nila sa mga user. Nakikipagtulungan din kami sa mga katuwang sa cloud upang sa mga darating na linggo ay magamit na ang watermark para sa mga output ng modelo ng OpenAI na ina-access sa pamamagitan ng kanilang mga serbisyo.
Pagbibigay ng access sa pantukoy sa mga mananaliksik at ekspertong organisasyon. Maaaring mag-apply ang mga aprubadong mananaliksik at ekspertong organisasyon simula ngayong araw. Alinsunod sa Kodigo ng Pagsasagawa(magbubukas sa bagong window), paunang ipagkakaloob ang access batay sa pagsusuri ng bawat kaso upang suportahan ang pagsusuri at pagpapahusay sa pagtukoy sa pinagmulan ng teksto. Iuulat ng tool kung may natutukoy itong watermark ng OpenAI, nang hindi tinutukoy ang pagkakakilanlan ng user o isinisiwalat ang kanilang mga prompt o pag-uusap. Dahil sa panganib na hindi matukoy ang ilang watermark at magkaroon ng mga false positive na resulta, hindi namin ito gagawing available sa publiko sa paglulunsad.
Inaasahan naming muling susuriin ang bawat bahagi ng pamamaraang ito habang umuunlad ang teknolohiya, mga pamantayan, at ebidensya.
Walang iisang pamamaraang sapat sa pagtukoy sa pinagmulan ng content, kaya gumagamit kami ng magkakapatong diskarte na pinagsasama ang mga bukas na pamantayan, matitibay na paglalagay ng watermark, at mga tool sa beripikasyon.
Nagdaragdag kami ng Content Credentials sa mga sinusuportahang output ng larawan, sumusunod kami sa C2PA(magbubukas sa bagong window), nag-e-embed kami ng mga hindi nakikitang watermark ng SynthID(magbubukas sa bagong window) sa mga sinusuportahang larawan at audio, at nagbibigay-daan kami sa beripikasyon ng larawan at audio sa pamamagitan ng openai.com/verify at ng aming Content Provenance API(magbubukas sa bagong window). Nababagay ang mga paraang ito sa isa’t isa: Maaaring itala ng Content Credentials ang pinagmulan at kasaysayan ng isang file, habang napapanatili naman ng mga hindi nakikitang watermark ang signal kapag inalis ang metadata.
Gaya ng inilarawan namin sa aming mga hakbang para sa kaligtasan ng pagpili, makatutulong ang provenance sa mga tao at platform na tasahin ang content na ginawa ng AI na posibleng mapanlinlang, kabilang ang mga deepfake. Ipinapares namin ang mga senyales na ito sa mga patakaran, pagtukoy sa pang-aabuso, pag-uulat, mga imbestigasyon, at pagpapatupad, at nakikipagtulungan kami sa mga mananaliksik, organisasyong nagtatakda ng mga pamantayan, platform, at lipunang sibil upang maging kapaki-pakinabang ang pagtukoy sa pinagmulan sa mas malawak na ecosystem.
Ang pagpapalawak ng pagsubaybay sa pinagmulan upang masaklaw ang teksto ay nangangailangan ng pagsasaalang-alang sa kung gaano kadali itong maisulat muli, maisalin, o ma-edit. Gaya ng tinalakay namin noong Hunyo, dapat isaalang-alang ng aming pamamaraan ang mga praktikal na limitasyon ng kasalukuyang teknolohiya. Patuloy naming pagbubutihin ang pagtukoy, pag-aaralan kung paano nananatili ang mga watermark sa kabila ng pag-edit at pagsasalin, at tutuklasin ang mga paraan upang mas makabuluhang maipagkaiba ang tulong ng AI sa pag-akda ng AI. Iaangkop namin ang aming pamamaraan habang umuunlad ang ebidensya, mga pamantayan, at mga kinakailangang sa regulasyon, at palalawakin ang access sa pantukoy kapag naniniwala kaming maaaring bigyang-kahulugan ang mga resulta sa responsableng paraan.
Para sa karagdagang impormasyon, mangyaring bisitahin ang aming artikulo sa sentro ng tulong(magbubukas sa bagong window).
