Нашиот пристап кон правилата на ЕУ за потекло на текстот
Поттикнување транспарентност во рамките на ограничувањата на денешната технологија.
Податоците за потеклото на содржината им помагаат на луѓето да разберат од каде потекнува содржината, како е создадена или уредена и дали содржи сигнали поврзани со нашите модели. Веќе јавно ставивме на располагање алатки за препознавање слики и аудио генерирани од нашите модели. Денес го споделуваме нашиот пристап кон означувањето текст со воден жиг во согласност со Актот на ЕУ за вештачка интелигенција и објаснуваме како тој се вклопува во нашата поширока работа.
Актот на ЕУ за вештачка интелигенција бара од давателите на генеративна ВИ да овозможат препознавање на генерираниот текст на машински читлив начин. Означувањето текст со воден жиг и неговото откривање сè уште се технологии во рана фаза со значителни ограничувања, а ставовите за нивните придобивки и одговорна употреба сè уште се оформуваат. Нашиот постепен пристап ги зема предвид и барањата на Актот на ЕУ за вештачка интелигенција и ограничувањата на технологијата, со акцент на транспарентноста за тоа што може, а што не може да им открие на луѓето водениот жиг во текст:
Од денес, корисниците на API ширум светот ќе можат по сопствен избор да го вклучат означувањето текст со воден жиг за одредени модели. Означувањето текст со воден жиг ќе остане стандардно исклучено во API.
Во наредните недели ќе додадеме невидлив воден жиг во текстот генериран од ChatGPT и Codex во Европската Унија што ги исполнува условите за означување.
Отвораме пријавување за пристап до нашиот детектор на водени жигови во текст. Пристапот првично ќе биде ограничен на одобрени истражувачи и стручни организации што можат да ни помогнат да ја оцениме и подобриме технологијата.
Горенаведеното се однесува само на потеклото на текстот — нашите алатки за проверка на аудио и слики, вклучително и веб-алатката openai.com/verify и нашиот API за потекло на содржината(се отвора во нов прозорец), ќе останат јавно достапни за организациите што сакаат да утврдат дали некоја слика или аудиодатотека е генерирана од еден од нашите системи.
Нашата технологија за означување текст со воден жиг, textGrain, додава невидлив статистички сигнал во изборот на зборови на моделот. Нашиот детектор го бара тој сигнал за да процени дали некој текст содржи воден жиг на OpenAI. Повеќе детали за тоа како функционира textGrain можете да најдете во нашиот технички извештај(се отвора во нов прозорец), кој ќе биде дополнет со нови детали во наредните недели. Планираме и да ја објавиме технологијата со отворен код за да можат и други да ја надградуваат.
Во нашите евалуации, textGrain постигна еднакви или подобри резултати од другите пристапи што ги тестиравме, вклучително и SynthID за текст. Сепак, добрите резултати во идеални услови не гарантираат сигурно откривање при секојдневна употреба.
Детекторите можат да направат два вида грешки: да пријават воден жиг каде што го нема — лажно позитивен резултат — или да не откријат воден жиг што е присутен — лажно негативен резултат. Евалуациите подолу илустрираат дел од предизвиците:
Водениот жиг потешко се открива во пократок текст или во текст со поограничен избор на зборови. При целна стапка на лажно позитивни резултати од 1%, нашиот детектор откри водени жигови во околу 80% од текстовите со 200 токени, наспроти околу 95% од текстовите со 400 токени, за содржини од области како психологијата. Стапките на откривање беа значително пониски за содржини од области како математиката, каде што има помала слобода во изборот на зборови.
Уредувањето може да го ослаби водениот жиг. При евалуација на текстови со 400 токени, замената на 10% од зборовите со синоними ја намали стапката на откривање од околу 92% на 66%. Замената на 25% од зборовите ја намали на 17%.
Овие ограничувања придонесоа за нашата одлука првично да им овозможиме пристап до детекторот само на одобрени истражувачи и стручни организации, кои можат да ни помогнат да ја оцениме сигурноста и можностите за одговорна употреба.
Овој графикон ги прикажува резултатите за одговори означени со воден жиг на прашања од математиката и психологијата од податочното множество ELI5(се отвора во нов прозорец), при целна стапка на лажно позитивни резултати од 1%. Откривањето се подобрува со должината на текстот, но во целина е значително послабо кај содржини со помала слобода во изборот на зборови, како што е математиката.
Уредувањето може значително да го ослаби сигналот на водениот жиг. Овој графикон покажува како замената на 10% или 25% од зборовите во текстот влијае врз откривањето. Резултатите се засноваат на одговори на англиски јазик означени со воден жиг, на прашања од ELI5(се отвора во нов прозорец).
На тестовите што ги користиме за оценување на Astra, нашиот најнов граничен модел, не забележуваме значајни разлики во перформансите со и без означување со воден жиг.
Тест за мерење перформанси | Текст без воден жиг (Astra, Max) | Текст со воден жиг (Astra, Max) |
|---|---|---|
Artificial Analysis Intelligence Index | 49,57 поени | 49,76 поени |
AutomationBench | 34,09% | 34,86% |
DeepSWE v1.1 | 72,80% | 71,68% |
Terminal-Bench 4.0 | 53,90% | 56,06% |
Terminal-Bench Science 0.1 | 56,90% | 60,00% |
BrowseComp | 87,92% | 87,35% |
HealthBench Professional | 64,27% | 64,60% |
GPQA Diamond | 94,44% | 93,94% |
Водените жигови во текст даваат ограничен сигнал за улогата на нашите системи во создавањето на текстот. Важно е да се разбере што може, а што не може да се заклучи од резултатот на откривањето.
Водениот жиг не го мери човечкиот придонес. Тој може да укаже дека систем на OpenAI генерирал или обработил дел од текстот, но не и колку човечко расудување, уредување или креативност биле вложени во него.
Водениот жиг не утврдува сопственост или одговорност. Тој не утврдува кој е сопственик на текстот, дали неговата употреба била законска, дали било задолжително да се обелодени употребата на ВИ или кој е одговорен за него.
Водениот жиг не го идентификува корисникот. Тој не го поврзува текстот со лице, организација, сметка, промпт или разговор.
Водениот жиг не ја потврдува точноста. Тој не ви кажува дали текстот е вистинит, доведува во заблуда, е штетен или е претставен во соодветен контекст.
Ако не е откриен воден жиг, тоа не докажува дека авторот е човек. Текстот генериран со алатките на OpenAI може да биде прекраток, изменет или преведен, па откривањето да не биде сигурно. Тој може и да потекнува од модел што не е поддржан, да е создаден пред воведувањето водени жигови или да е генериран со алатки на друга компанија.
Воведување означување текст со воден жиг во ЕУ. Во наредните недели ќе воведеме означување текст со воден жиг за корисниците на ChatGPT и Codex што ги исполнуваат условите, во сите пакети, само во ЕУ. При воведувањето, означувањето текст со воден жиг нема да биде стандардно вклучено на глобално ниво. Овој регионален пристап ни дава простор да учиме од практичната употреба и од повратните информации.
Овозможување означување со воден жиг по избор на корисниците на API. Од денес, корисниците на API ширум светот ќе можат да изберат генерираниот текст од одредени модели да биде означен со воден жиг. Така, корисниците можат да одлучат како означувањето со воден жиг се вклопува во нивните обврски за транспарентност и во искуствата што им ги нудат на своите корисници. Соработуваме и со партнерите за услуги во облак за во наредните недели да овозможиме означување со воден жиг на содржината генерирана од моделите на OpenAI до кои се пристапува преку нивните услуги.
Овозможување пристап до детекторот за истражувачи и стручни организации. Одобрените истражувачи и стручни организации можат да се пријават почнувајќи од денес. Во согласност со Кодексот на практики(се отвора во нов прозорец), пристапот првично ќе се одобрува поединечно, за да се поддржат оценувањето и подобрувањето на утврдувањето на потеклото на текстот. Алатката ќе пријавува дали открива воден жиг на OpenAI, без да го идентификува корисникот или да ги открива неговите промптови или разговори. Поради ризикот од неоткриени водени жигови и лажно позитивни резултати, алатката нема да биде јавно достапна при воведувањето.
Очекуваме повторно да го разгледуваме секој дел од овој пристап со развојот на технологијата, стандардите и доказите.
Ниту една техника за утврдување потекло не е доволна сама по себе, па затоа применуваме повеќеслоен пристап што комбинира отворени стандарди, трајни водени жигови и алатки за проверка.
Додаваме Content Credentials на поддржаните генерирани слики, усогласени сме со C2PA(се отвора во нов прозорец), вградуваме невидливи водени жигови SynthID(се отвора во нов прозорец) во поддржаните слики и аудио и овозможуваме проверка на слики и аудио преку openai.com/verify и нашиот API за потекло на содржината(се отвора во нов прозорец). Овие техники меѓусебно се надополнуваат: Content Credentials може да ги евидентира потеклото и историјата на датотеката, додека невидливите водени жигови можат да го зачуваат сигналот кога метаподатоците ќе бидат отстранети.
Како што опишавме во нашата работа на заштитни мерки за изборите, податоците за потеклото можат да им помогнат на луѓето и платформите да проценат содржини генерирани со ВИ што би можеле да доведат во заблуда, вклучително и дипфејкови. Овие сигнали ги комбинираме со политики, откривање злоупотреби, пријавување, истраги и спроведување мерки, а соработуваме и со истражувачи, тела за стандардизација, платформи и граѓанското општество за податоците за потеклото да бидат корисни во поширокиот екосистем.
За да се прошири утврдувањето на потеклото и на текстот, мора да се земе предвид колку лесно тој може да се преформулира, преведе или уреди. Како што објаснивме во јуни, нашиот пристап мора да ги земе предвид практичните ограничувања на сегашната технологија. Ќе продолжиме да го подобруваме откривањето, да проучуваме колку водените жигови се отпорни на уредување и преведување и да истражуваме начини за посуштинско разграничување меѓу помошта од ВИ и авторството на ВИ. Ќе го приспособуваме нашиот пристап според развојот на доказите, стандардите и регулаторните барања, а пристапот до детекторот ќе го прошириме кога ќе сметаме дека резултатите можат одговорно да се толкуваат.
За повеќе информации, посетете ја нашата статија во центарот за помош(се отвора во нов прозорец).


