L-approċċ tagħna għar-regoli tal-UE dwar il-provenjenza tat-test
Nippromwovu t-trasparenza fil-limiti tat-teknoloġija tal-lum.
Il-provenjenza tal-kontenut tgħin lin-nies jifhmu minn fejn ġie l-kontenut, kif inħoloq jew ġie editjat, u jekk fihx sinjali assoċjati mal-mudelli tagħna. Diġà għamilna disponibbli għall-pubbliku għodod biex jiġu identifikati immaġnijiet u awdjo ġġenerati mill-mudelli tagħna. Illum qed naqsmu l-approċċ tagħna għall-immarkar tat-test b’marki tal-ilma b’reazzjoni għall-Att tal-UE dwar l-IA, u kif dan jidħol fil-ħidma usa’ tagħna.
L-Att tal-UE dwar l-IA jirrikjedi li l-fornituri tal-IA ġenerattiva jagħmlu t-test iġġenerat identifikabbli b’mod li jinqara mill-magni. L-immarkar u d-detezzjoni tat-test b’marki tal-ilma għadhom teknoloġiji fi stadju bikri b’limitazzjonijiet sinifikanti, u l-fehmiet dwar il-benefiċċji u l-użi responsabbli tagħhom għadhom qed jiżviluppaw. L-approċċ gradwali tagħna jirrifletti kemm ir-rekwiżiti tal-Att tal-UE dwar l-IA kif ukoll il-limitazzjonijiet tat-teknoloġija, b’enfasi fuq it-trasparenza dwar x’tista’ u x’ma tistax tindika marka tal-ilma fit-test:
Mil-lum, il-klijenti tal-API madwar id-dinja se jkunu jistgħu jagħżlu li jattivaw l-immarkar tat-test b’marki tal-ilma għal mudelli magħżula. L-immarkar tat-test b’marki tal-ilma se jibqa’ diżattivat b’mod awtomatiku fl-API.
Fil-ġimgħat li ġejjin, se nżidu marka tal-ilma inviżibbli mat-test eliġibbli ġġenerat minn ChatGPT u Codex fl-Unjoni Ewropea.
Qed niftħu l-applikazzjonijiet għall-aċċess għad-ditekter tagħna tal-marki tal-ilma fit-test. Għall-ewwel, l-aċċess se jkun limitat għal riċerkaturi approvati u organizzazzjonijiet esperti li jistgħu jgħinuna nevalwaw u ntejbu t-teknoloġija.
Dan ta’ hawn fuq japplika biss għall-provenjenza tat-test—l-għodod tagħna għall-verifika tal-awdjo u l-immaġnijiet, inklużi l-għodda tal-web tagħna openai.com/verify u l-API tal-Provenjenza tal-Kontenut(jinfetaħ f’tieqa ġdida) tagħna, se jibqgħu aċċessibbli pubblikament għall-organizzazzjonijiet li jridu jifhmu jekk immaġni jew fajl tal-awdjo ġewx iġġenerati minn waħda mis-sistemi tagħna.
It-teknoloġija tagħna għall-immarkar tat-test b’marki tal-ilma, textGrain, iżżid sinjal statistiku inviżibbli fl-għażliet tal-kliem tal-mudell. Id-ditekter tagħna jfittex dak is-sinjal biex jevalwa jekk silta fihiex marka tal-ilma ta’ OpenAI. Aktar dettalji dwar kif jaħdem textGrain jinsabu fir-rapport tekniku(jinfetaħ f’tieqa ġdida) tagħna, li se jiġi aġġornat b’dettalji addizzjonali fil-ġimgħat li ġejjin. Qed nippjanaw ukoll li nagħmlu t-teknoloġija disponibbli b’sors miftuħ sabiex oħrajn ikunu jistgħu jibnu fuqha.
Fl-evalwazzjonijiet tagħna, textGrain laħaq jew qabeż il-prestazzjoni ta’ approċċi oħra li ttestjajna, inkluż SynthID għat-test. Minkejja dan, prestazzjoni tajba f’kundizzjonijiet ideali ma tiggarantix detezzjoni affidabbli fl-użu ta’ kuljum.
Id-ditekters jistgħu jagħmlu żewġ tipi ta’ żbalji: jistgħu jirrapportaw marka tal-ilma fejn ma jkun hemm l-ebda waħda—riżultat pożittiv falz—jew ma jindunawx b’marka tal-ilma li tkun preżenti—riżultat negattiv falz. L-evalwazzjonijiet tagħna hawn taħt juru xi wħud mill-isfidi:
Il-marki huma aktar diffiċli biex jinstabu f’test iqsar jew b’inqas libertà fl-għażla tal-kliem. B’rata fil-mira ta’ pożittivi foloz ta’ 1%, id-ditekter tagħna identifika marki tal-ilma f’madwar 80% tas-siltiet ta’ 200 token, meta mqabbel ma’ madwar 95% tas-siltiet ta’ 400 token, għal kontenut bħal dak dwar il-psikoloġija. Ir-rati ta’ detezzjoni kienu sostanzjalment aktar baxxi għal kontenut bħal dak dwar il-matematika, fejn hemm inqas flessibbiltà fl-għażla tal-kliem.
L-editjar jista’ jdgħajjef il-marka tal-ilma. F’evalwazzjoni ta’ siltiet ta’ 400 token, is-sostituzzjoni ta’ 10% tal-kliem b’sinonimi naqqset ir-rata ta’ detezzjoni minn madwar 92% għal 66%. Is-sostituzzjoni ta’ 25% tal-kliem naqqsitha għal 17%.
Dawn il-limitazzjonijiet jikkontribwixxu għad-deċiżjoni tagħna li għall-bidu nipprovdu aċċess għad-ditekter biss lil riċerkaturi approvati u organizzazzjonijiet esperti, li jistgħu jgħinuna nevalwaw l-affidabbiltà u l-użi responsabbli.
Din il-grafika turi r-riżultati għal tweġibiet b’marki tal-ilma għal mistoqsijiet dwar il-matematika u l-psikoloġija mis-sett tad-data ELI5(jinfetaħ f’tieqa ġdida), b’rata fil-mira ta’ pożittivi foloz ta’ 1%. Id-detezzjoni titjieb aktar ma t-test ikun twil, iżda b’mod ġenerali hija sostanzjalment aktar baxxa għal kontenut fejn hemm inqas flessibbiltà fl-għażla tal-kliem, bħal fil-matematika.
L-editjar jista’ jdgħajjef sostanzjalment is-sinjal tal-marka tal-ilma. Din il-grafika turi kif is-sostituzzjoni ta’ 10% jew 25% tal-kliem f’silta taffettwa d-detezzjoni. Ir-riżultati huma bbażati fuq tweġibiet bl-Ingliż b’marki tal-ilma għal mistoqsijiet minn ELI5(jinfetaħ f’tieqa ġdida).
Fit-testijiet ta’ referenza li nużaw biex nevalwaw Astra, l-aħħar mudell avvanzat tagħna, ma narawx differenzi sinifikanti fil-prestazzjoni bi jew mingħajr marki tal-ilma.
Test ta’ referenza | Test mingħajr marka tal-ilma (Astra, Max) | Test b’marka tal-ilma (Astra, Max) |
|---|---|---|
Artificial Analysis Intelligence Index | 49.57 punt | 49.76 punt |
AutomationBench | 34.09% | 34.86% |
DeepSWE v1.1 | 72.80% | 71.68% |
Terminal-Bench 4.0 | 53.90% | 56.06% |
Terminal-Bench Science 0.1 | 56.90% | 60.00% |
BrowseComp | 87.92% | 87.35% |
HealthBench Professional | 64.27% | 64.60% |
GPQA Diamond | 94.44% | 93.94% |
Il-marki tal-ilma fit-test jipprovdu sinjal limitat dwar ir-rwol li kellhom is-sistemi tagħna f’silta. Huwa importanti li wieħed jifhem x’jista’ u x’ma jistax jiġi konkluż minn riżultat ta’ detezzjoni.
Marka tal-ilma ma tkejjilx il-kontribut uman. Tista’ tindika li sistema ta’ OpenAI ġġenerat jew ipproċessat parti minn silta, iżda mhux kemm kien hemm ġudizzju, editjar jew kreattività umana fiha.
Marka tal-ilma ma tistabbilixxix sjieda jew responsabbiltà. Ma tiddeterminax min hu sid it-test, jekk l-użu tiegħu kienx legali, jekk kienx meħtieġ żvelar, jew min hu responsabbli għalih.
Marka tal-ilma ma tidentifikax lill-utent. Ma torbotx persuna, organizzazzjoni, kont, prompt jew konverżazzjoni mat-test.
Marka tal-ilma ma tivverifikax l-eżattezza. Ma tgħidlekx jekk silta hijiex vera, qarrieqa, ta’ ħsara jew ippreżentata fil-kuntest it-tajjeb.
Jekk ma tinstabx marka tal-ilma, dan ma jipprovax li t-test inkiteb minn bniedem. Test iġġenerat bl-għodod ta’ OpenAI jista’ jkun qasir wisq, editjat jew tradott, b’mod li d-detezzjoni ma taħdimx b’mod affidabbli. Jista’ wkoll ikun ġej minn mudell mhux appoġġjat, ikun inħoloq qabel l-introduzzjoni tal-marki tal-ilma, jew ikun ġie ġġenerat bl-għodod ta’ kumpanija oħra.
Nintroduċu l-marki tal-ilma fit-test fl-UE. Fil-ġimgħat li ġejjin, se nintroduċu l-immarkar tat-test b’marki tal-ilma għall-utenti eliġibbli ta’ ChatGPT u Codex fil-pjanijiet kollha fl-UE biss. Mat-tnedija, mhux se nattivaw l-immarkar tat-test b’marki tal-ilma b’mod awtomatiku madwar id-dinja. Dan l-approċċ reġjonali jagħtina spazju biex nitgħallmu mill-użu fil-prattika u mill-kummenti li nirċievu.
Nagħtu lill-klijenti tal-API l-għażla li jattivaw il-marki tal-ilma. Mil-lum, il-klijenti tal-API madwar id-dinja se jkunu jistgħu jagħżlu li jiksbu test iġġenerat b’marki tal-ilma għal mudelli magħżula. Dan jippermetti lill-klijenti jiddeċiedu kif l-immarkar b’marki tal-ilma jaqbel mal-obbligi tagħhom ta’ trasparenza u mal-esperjenzi li jipprovdu lill-utenti. Qed naħdmu wkoll ma’ sħab fil-qasam tal-cloud biex fil-ġimgħat li ġejjin nagħmlu l-marki tal-ilma disponibbli għall-kontenut iġġenerat mill-mudelli ta’ OpenAI aċċessati permezz tas-servizzi tagħhom.
Nipprovdu aċċess għad-ditekter lil riċerkaturi u organizzazzjonijiet esperti. Ir-riċerkaturi approvati u l-organizzazzjonijiet esperti jistgħu japplikaw mil-lum. Skont il-Kodiċi ta’ Prattika(jinfetaħ f’tieqa ġdida), għall-bidu l-aċċess se jingħata każ b’każ biex jappoġġja l-evalwazzjoni u t-titjib tal-provenjenza tat-test. L-għodda se tirrapporta jekk issibx marka tal-ilma ta’ OpenAI, mingħajr ma tidentifika lill-utent jew tiżvela l-prompts jew il-konverżazzjonijiet tiegħu. Minħabba r-riskju ta’ marki tal-ilma li ma jinstabux u ta’ pożittivi foloz, mhux se nagħmluha disponibbli għall-pubbliku mat-tnedija.
Nistennew li nirrevedu kull parti minn dan l-approċċ hekk kif jevolvu t-teknoloġija, l-istandards u l-evidenza.
Ebda teknika waħda ta’ provenjenza mhi biżżejjed waħedha, għalhekk nużaw approċċ b’diversi saffi li jgħaqqad standards miftuħa, marki tal-ilma reżistenti u għodod ta’ verifika.
Aħna nżidu Content Credentials mal-immaġnijiet iġġenerati appoġġjati, aħna konformi ma’ C2PA(jinfetaħ f’tieqa ġdida), ninkorporaw marki tal-ilma inviżibbli ta’ SynthID(jinfetaħ f’tieqa ġdida) fl-immaġnijiet u l-awdjo appoġġjati, u nagħmlu l-verifika tal-immaġnijiet u l-awdjo disponibbli permezz ta’ openai.com/verify u l-API tal-Provenjenza tal-Kontenut(jinfetaħ f’tieqa ġdida) tagħna. Dawn it-tekniki jikkumplimentaw lil xulxin: Content Credentials jistgħu jirreġistraw l-oriġini u l-istorja ta’ fajl, filwaqt li l-marki tal-ilma inviżibbli jistgħu jippreservaw sinjal meta titneħħa l-metadata.
Kif iddeskrivejna fil-ħidma tagħna fuq is-salvagwardji għall-elezzjonijiet, il-provenjenza tista’ tgħin lin-nies u lill-pjattaformi jevalwaw kontenut iġġenerat mill-IA li jista’ jkun qarrieqi, inklużi d-deepfakes. Ngħaqqdu dawn is-sinjali ma’ politiki, detezzjoni tal-abbuż, rappurtar, investigazzjonijiet u infurzar, u naħdmu ma’ riċerkaturi, korpi tal-istandards, pjattaformi u s-soċjetà ċivili biex il-provenjenza tkun utli fl-ekosistema usa’.
L-estensjoni tal-provenjenza għat-test tirrikjedi li nqisu kemm hu faċli li dan jinkiteb mill-ġdid, jiġi tradott jew editjat. Kif iddiskutejna f’Ġunju, l-approċċ tagħna jrid jirrifletti l-limiti prattiċi tat-teknoloġija attwali. Se nkomplu ntejbu d-detezzjoni, nistudjaw kif il-marki tal-ilma jifilħu għall-editjar u t-traduzzjoni, u nesploraw modi biex niddistingwu aħjar bejn l-assistenza tal-IA u l-kitba magħmula mill-IA. Se nadattaw l-approċċ tagħna hekk kif jevolvu l-evidenza, l-istandards u r-rekwiżiti regolatorji, u nwessgħu l-aċċess għad-ditekter meta nemmnu li r-riżultati jistgħu jiġu interpretati b’mod responsabbli.
Għal aktar informazzjoni, żur l-artiklu fiċ-ċentru tal-għajnuna(jinfetaħ f’tieqa ġdida) tagħna.
