Наш приступ правилима ЕУ о пореклу текста
Подстицање транспарентности у границама данашње технологије.
Подаци о пореклу садржаја помажу људима да разумеју одакле садржај потиче, како је настао или мењан и да ли садржи сигнале повезане с нашим моделима. Већ смо јавно ставили на располагање алате за препознавање слика и звука које генеришу наши модели. Данас представљамо свој приступ означавању текста воденим жигом у складу са Законом ЕУ о вештачкој интелигенцији и објашњавамо како се он уклапа у наш шири рад.
Закон ЕУ о вештачкој интелигенцији захтева од пружалаца генеративне вештачке интелигенције да омогуће препознавање генерисаног текста на машински читљив начин. Означавање текста воденим жигом и његово откривање и даље су технологије у раној фази развоја, са знатним ограничењима, а ставови о њиховим користима и одговорној употреби још се формирају. Наш фазни приступ узима у обзир и захтеве Закона ЕУ о вештачкој интелигенцији и ограничења технологије, уз нагласак на јасном објашњењу шта водени жиг у тексту може, а шта не може да покаже:
Од данас ће корисници API-ја широм света моћи да укључе означавање текста воденим жигом за одабране моделе. Означавање текста воденим жигом остаће подразумевано искључено у API-ју.
Током наредних недеља додаћемо невидљиви водени жиг у текст који генеришу ChatGPT и Codex у Европској унији, када су испуњени одговарајући услови.
Отварамо пријаве за приступ нашем детектору воденог жига у тексту. Приступ ће у почетку бити ограничен на одобрене истраживаче и стручне организације који могу да нам помогну да проценимо и унапредимо технологију.
Наведено се односи само на порекло текста — наши алати за проверу звука и слика, укључујући веб-алат openai.com/verify и наш API за порекло садржаја(отвара се у новом прозору), остаће јавно доступни организацијама које желе да утврде да ли је слику или аудио-датотеку генерисао неки од наших система.
Наша технологија за означавање текста воденим жигом, textGrain, додаје невидљиви статистички сигнал у избор речи модела. Наш детектор тражи тај сигнал како би проценио да ли одломак садржи водени жиг компаније OpenAI. Више детаља о томе како textGrain функционише можете пронаћи у нашем техничком извештају(отвара се у новом прозору), који ћемо допунити новим детаљима током наредних недеља. Такође планирамо да објавимо технологију с отвореним изворним кодом како би други могли да је даље развијају.
У нашим евалуацијама, textGrain је постигао једнаке или боље резултате од других приступа које смо тестирали, укључујући SynthID за текст. Ипак, добри резултати у идеалним условима не гарантују поуздано откривање у свакодневној употреби.
Детектори могу да направе две врсте грешака: да пријаве водени жиг тамо где га нема — лажно позитиван резултат — или да не открију постојећи водени жиг — лажно негативан резултат. Евалуације у наставку илуструју неке од тих изазова:
Водени жиг је теже открити у краћем тексту или тексту с ограниченијим избором речи. При циљаној стопи лажно позитивних резултата од 1%, наш детектор је открио водене жигове у око 80% одломака од 200 токена, у поређењу са око 95% одломака од 400 токена, за садржај из области попут психологије. Стопе откривања биле су знатно ниже за садржај из области попут математике, где је избор речи мање флексибилан.
Измене могу ослабити водени жиг. У евалуацији одломака од 400 токена, замена 10% речи синонимима смањила је стопу откривања са око 92% на 66%. Замена 25% речи смањила ју је на 17%.
Ова ограничења су један од разлога за нашу одлуку да почетни приступ детектору омогућимо само одобреним истраживачима и стручним организацијама, који могу да нам помогну да проценимо поузданост и одговорне начине употребе.
Овај графикон приказује резултате за одговоре са воденим жигом на питања из математике и психологије из скупа података ELI5(отвара се у новом прозору), при циљаној стопи лажно позитивних резултата од 1%. Откривање је успешније што је текст дужи, али је у целини знатно мање успешно за садржај у ком је избор речи мање флексибилан, као што је математика.
Измене могу знатно ослабити сигнал воденог жига. Овај графикон приказује како замена 10% или 25% речи у одломку утиче на откривање. Резултати су засновани на одговорима на енглеском језику са воденим жигом на питања из скупа ELI5(отвара се у новом прозору).
На референтним тестовима које користимо за процену модела Astra, нашег најновијег граничног модела, не уочавамо значајне разлике у резултатима са означавањем воденим жигом и без њега.
Референтни тест | Текст без воденог жига (Astra, Max) | Текст са воденим жигом (Astra, Max) |
|---|---|---|
Artificial Analysis Intelligence Index | 49,57 поена | 49,76 поена |
AutomationBench | 34,09% | 34,86% |
DeepSWE v1.1 | 72,80% | 71,68% |
Terminal-Bench 4.0 | 53,90% | 56,06% |
Terminal-Bench Science 0.1 | 56,90% | 60,00% |
BrowseComp | 87,92% | 87,35% |
HealthBench Professional | 64,27% | 64,60% |
GPQA Diamond | 94,44% | 93,94% |
Водени жигови у тексту пружају ограничен сигнал о улози наших система у настанку одломка. Важно је разумети шта се може, а шта не може закључити из резултата откривања.
Водени жиг не мери људски допринос. Он може да укаже на то да је систем компаније OpenAI генерисао или обрадио део одломка, али не и на то колико је људског расуђивања, уређивања или креативности у њега уложено.
Водени жиг не утврђује власништво ни одговорност. Он не одређује ко је власник текста, да ли је његова употреба била законита, да ли је било обавезно навести употребу вештачке интелигенције нити ко је за текст одговоран.
Водени жиг не открива идентитет корисника. Он не повезује текст са особом, организацијом, налогом, инструкцијом или разговором.
Водени жиг не потврђује тачност. Он не показује да ли је одломак истинит, обмањујући, штетан или представљен у одговарајућем контексту.
То што водени жиг није откривен не доказује да је текст написао човек. Текст генерисан алатима компаније OpenAI може бити прекратак, измењен или преведен, због чега откривање није поуздано. Такође може потицати од неподржаног модела, настати пре увођења водених жигова или бити генерисан алатима друге компаније.
Увођење означавања текста воденим жигом у ЕУ. Током наредних недеља увешћемо означавање текста воденим жигом за кориснике сервиса ChatGPT и Codex који испуњавају услове, на свим плановима, искључиво у ЕУ. При покретању, означавање текста воденим жигом неће бити подразумевано укључено широм света. Овај регионални приступ даје нам простора да учимо из стварне употребе и повратних информација.
Омогућавање корисницима API-ја да по избору укључе означавање воденим жигом. Од данас ће корисници API-ја широм света моћи да укључе означавање генерисаног текста воденим жигом за одабране моделе. То им омогућава да одлуче како се означавање воденим жигом уклапа у њихове обавезе у погледу транспарентности и искуства која пружају својим корисницима. Такође сарађујемо с партнерима који пружају услуге у облаку како бисмо у наредним недељама омогућили означавање воденим жигом одговора модела компаније OpenAI којима се приступа преко њихових услуга.
Омогућавање приступа детектору истраживачима и стручним организацијама. Одобрени истраживачи и стручне организације могу да се пријаве од данас. У складу са Кодексом праксе(отвара се у новом прозору), приступ ће се у почетку одобравати појединачно, ради подршке евалуацији и унапређењу утврђивања порекла текста. Алат ће пријавити да ли открива водени жиг компаније OpenAI, без откривања идентитета корисника, његових инструкција или разговора. Због ризика да водени жигови остану неоткривени и да се добију лажно позитивни резултати, алат при покретању неће бити јавно доступан.
Очекујемо да ћемо преиспитивати сваки део овог приступа како се буду развијали технологија и стандарди и прикупљали нови докази.
Ниједна техника за утврђивање порекла није довољна сама за себе, па користимо вишеслојни приступ који комбинује отворене стандарде, постојане водене жигове и алате за проверу.
Подржаним генерисаним сликама додајемо Content Credentials, усклађени смо са стандардом C2PA(отвара се у новом прозору), уграђујемо невидљиве SynthID(отвара се у новом прозору) водене жигове у подржане слике и звук и омогућавамо њихову проверу преко сајта openai.com/verify и нашег API-ја за порекло садржаја(отвара се у новом прозору). Ове технике се међусобно допуњују: Content Credentials могу да забележе порекло и историју датотеке, док невидљиви водени жигови могу да сачувају сигнал када се метаподаци уклоне.
Као што смо описали у свом раду на заштити избора, подаци о пореклу могу помоћи људима и платформама да процене потенцијално обмањујући садржај генерисан вештачком интелигенцијом, укључујући дипфејк садржај. Ове сигнале комбинујемо с правилима, откривањем злоупотреба, пријављивањем, истрагама и спровођењем мера. Сарађујемо са истраживачима, телима за стандардизацију, платформама и цивилним друштвом како би подаци о пореклу били корисни у ширем екосистему.
Примена техника за утврђивање порекла на текст захтева да се узме у обзир колико га је лако преформулисати, превести или изменити. Као што смо истакли у јуну, наш приступ мора да узме у обзир практична ограничења садашње технологије. Наставићемо да унапређујемо откривање, испитујемо колико су водени жигови отпорни на измене и превођење и истражујемо начине да јасније разликујемо помоћ вештачке интелигенције од њеног ауторства. Прилагођаваћемо свој приступ новим доказима, стандардима и регулаторним захтевима и проширивати приступ детектору када будемо сматрали да се резултати могу одговорно тумачити.
За више информација погледајте наш чланак у центру за помоћ(отвара се у новом прозору).
