ЕО-ның мәтіннің шығу тегіне қатысты ережелеріне көзқарасымыз
Қазіргі технология мүмкіндіктері аясында ашықтықты арттыру.
Контенттің шығу тегі туралы мәлімет адамдарға контенттің қайдан алынғанын, қалай жасалғанын не өңделгенін және онда біздің модельдерге тән белгілердің бар-жоғын түсінуге көмектеседі. Модельдеріміз жасаған кескіндер мен аудионы анықтайтын құралдарды бұған дейін көпшілікке ұсынғанбыз. Бүгін ЕО-ның ЖИ туралы заңы аясында мәтінге сутаңба енгізу тәсілімізді және оның жалпы жұмысымызбен байланысын таныстырамыз.
ЕО-ның ЖИ туралы заңы генеративті ЖИ жеткізушілерінен жасалған мәтінді машина оқи алатын тәсілмен анықтау мүмкіндігін қамтамасыз етуді талап етеді. Мәтінге сутаңба енгізу және оны анықтау технологиялары әлі бастапқы даму кезеңінде, әрі олардың елеулі шектеулері бар. Олардың пайдасы мен жауапкершілікпен қолданылуы туралы көзқарастар да әлі қалыптасып жатыр. Кезеңдік тәсіліміз ЕО-ның ЖИ туралы заңының талаптарын да, технологияның шектеулерін де ескереді. Басты назар мәтін сутаңбасының нені білдіретінін және нені білдірмейтінін ашық түсіндіруге аударылады:
Бүгіннен бастап бүкіл әлемдегі API клиенттері жекелеген модельдер үшін мәтінге сутаңба енгізуді өз қалауымен қоса алады. API-де мәтінге сутаңба енгізу әдепкіде өшірулі күйінде қалады.
Алдағы апталарда Еуропалық одақта ChatGPT пен Codex жасайтын, тиісті шарттарға сай мәтіндерге көзге көрінбейтін сутаңба енгіземіз.
Мәтін сутаңбасын анықтау құралымызға қол жеткізуге өтінім қабылдауды бастаймыз. Бастапқыда оған технологияны бағалап, жетілдіруге көмектесе алатын, мақұлданған зерттеушілер мен сарапшы ұйымдар ғана қол жеткізеді.
Жоғарыда айтылғандар тек мәтіннің шығу тегіне қатысты. Аудио мен кескіндерді тексеру құралдарымыз, соның ішінде openai.com/verify веб-құралы және Content Provenance AP(жаңа терезеде ашылады)I, кескін не аудиофайлды біздің жүйелеріміздің бірі жасағанын білгісі келетін ұйымдарға бұрынғыдай ашық болады.
Мәтінге сутаңба енгізетін textGrain технологиямыз модельдің сөз таңдауына көзге көрінбейтін статистикалық белгі қосады. Анықтау құралымыз мәтін үзіндісінде OpenAI сутаңбасының бар-жоғын бағалау үшін сол белгіні іздейді. textGrain қалай жұмыс істейтіні туралы толығырақ техникалық есебімізден(жаңа терезеде ашылады) оқи аласыз. Алдағы апталарда оған қосымша мәлімет енгізіледі. Басқалар да осы технология негізінде өз шешімдерін әзірлей алуы үшін оның бастапқы кодын ашуды жоспарлап отырмыз.
Бағалауларымызда textGrain біз сынаған басқа тәсілдермен, соның ішінде мәтінге арналған SynthID-мен тең немесе одан жоғары нәтиже көрсетті. Дегенмен мінсіз жағдайдағы жоғары нәтиже күнделікті қолданыста сенімді анықтауға кепіл болмайды.
Анықтау құралдары екі түрлі қате жіберуі мүмкін: жоқ сутаңбаны бар деп көрсетуі — жалған оң нәтиже, немесе бар сутаңбаны байқамауы — жалған теріс нәтиже. Төмендегі бағалау нәтижелері осы қиындықтардың кейбірін көрсетеді:
Қысқа немесе сөз таңдау мүмкіндігі шектеулі мәтіндегі сутаңбаны анықтау қиынырақ. Жалған оң нәтижелердің мақсатты жиілігі 1% болғанда, психология сияқты тақырыптардағы 200 токендік үзінділердің шамамен 80%-ынан, ал 400 токендік үзінділердің шамамен 95%-ынан құралымыз сутаңбаны анықтады. Математика сияқты сөз таңдау еркіндігі аз тақырыптарда анықтау жиілігі едәуір төмен болды.
Мәтінді өңдеу сутаңба белгісін әлсіретуі мүмкін. 400 токендік үзінділерді бағалау кезінде сөздердің 10%-ын синонимдермен ауыстыру анықтау жиілігін шамамен 92%-дан 66%-ға дейін төмендетті. Сөздердің 25%-ын ауыстыру бұл көрсеткішті 17%-ға дейін түсірді.
Осы шектеулерді ескере отырып, бастапқыда анықтау құралына тек мақұлданған зерттеушілер мен сарапшы ұйымдарға қол жеткізу мүмкіндігін беруді ұйғардық. Олар оның сенімділігі мен жауапкершілікпен қолданылуын бағалауға көмектесе алады.
Бұл диаграммада ELI5 деректер жиынтығындағы(жаңа терезеде ашылады) математика және психология сұрақтарына берілген сутаңбалы жауаптардың нәтижелері көрсетілген. Жалған оң нәтижелердің мақсатты жиілігі — 1%. Мәтін ұзарған сайын анықтау жиілігі артады, бірақ математика сияқты сөз таңдау еркіндігі аз тақырыптарда жалпы көрсеткіш едәуір төмен.
Мәтінді өңдеу сутаңба белгісін едәуір әлсіретуі мүмкін. Бұл диаграмма мәтін үзіндісіндегі сөздердің 10%-ын немесе 25%-ын ауыстыру анықтауға қалай әсер ететінін көрсетеді. Нәтижелер ELI5(жаңа терезеде ашылады) сұрақтарына ағылшын тілінде берілген сутаңбалы жауаптарға негізделген.
Ең жаңа озық моделіміз Astra-ны бағалау үшін қолданатын сынақтарда сутаңба енгізілген және енгізілмеген нұсқалар арасында елеулі айырмашылық байқамадық.
Бағалау сынағы | Сутаңбасыз мәтін (Astra, max) | Сутаңбасы бар мәтін (Astra, max) |
|---|---|---|
Artificial Analysis интеллект индексі | 49,57 ұпай | 49,76 ұпай |
AutomationBench | 34,09% | 34,86% |
DeepSWE v1.1 | 72,80% | 71,68% |
Terminal-Bench 4.0 | 53,90% | 56,06% |
Terminal-Bench Science 0.1 | 56,90% | 60,00% |
BrowseComp | 87,92% | 87,35% |
HealthBench Professional | 64,27% | 64,60% |
GPQA Diamond | 94,44% | 93,94% |
Мәтін сутаңбалары үзіндіні жасауға жүйелеріміздің қатысқаны туралы шектеулі ғана мәлімет береді. Анықтау нәтижесінен қандай қорытынды жасауға болатынын және болмайтынын түсіну маңызды.
Сутаңба адамның қосқан үлесін өлшемейді. Ол үзіндінің бір бөлігін OpenAI жүйесі жасағанын не өңдегенін көрсетуі мүмкін, бірақ оған адамның пайымы, өңдеуі немесе шығармашылығы қаншалықты ықпал еткенін көрсетпейді.
Сутаңба меншік құқығын немесе жауапкершілікті белгілемейді. Ол мәтіннің кімге тиесілі екенін, оны қолдану заңды болғанын, ЖИ қолданылғанын жариялау қажет болғанын немесе мәтінге кім жауапты екенін анықтамайды.
Сутаңба пайдаланушының кім екенін анықтамайды. Ол мәтінді белгілі бір адаммен, ұйыммен, аккаунтпен, көмексөзбен немесе әңгімемен байланыстырмайды.
Сутаңба ақпараттың дұрыстығын растамайды. Ол үзіндідегі ақпараттың шынайы, жаңылыстыратын не зиянды екенін немесе дұрыс контексте берілгенін көрсетпейді.
Сутаңбаның анықталмауы мәтінді адам жазғанын дәлелдемейді. OpenAI құралдарымен жасалған мәтін тым қысқа, өңделген не аударылған болуы мүмкін, сондықтан ондағы сутаңбаны сенімді анықтау қиын. Сондай-ақ мәтін сутаңбаны қолдамайтын модельмен, сутаңба енгізілгенге дейін немесе басқа компанияның құралдарымен жасалған болуы мүмкін.
ЕО-да мәтінге сутаңба енгізуді іске қосу. Алдағы апталарда тек ЕО аумағында барлық жоспардағы тиісті шарттарға сай ChatGPT пен Codex пайдаланушылары үшін мәтінге сутаңба енгізуді іске қосамыз. Іске қосылғанда мәтінге сутаңба енгізу бүкіл әлемде әдепкіде қосылмайды. Бұл аймақтық тәсіл нақты қолданыс пен кері байланыс негізінде тәжірибе жинауға мүмкіндік береді.
API клиенттеріне сутаңбаны өз қалауымен қосу мүмкіндігін беру. Бүгіннен бастап бүкіл әлемдегі API клиенттері жекелеген модельдер жасайтын мәтіндерге сутаңба енгізуді өз қалауымен қоса алады. Осылайша клиенттер сутаңба енгізудің ашықтық жөніндегі міндеттемелеріне және пайдаланушыларға ұсынатын қызметіне қалай сәйкес келетінін өздері шеше алады. Сондай-ақ алдағы апталарда бұлттық серіктестеріміздің сервистері арқылы алынатын OpenAI модельдерінің жауаптарына да сутаңба енгізу мүмкіндігін беру үшін олармен бірлесіп жұмыс істеп жатырмыз.
Зерттеушілер мен сарапшы ұйымдарға анықтау құралын пайдалану мүмкіндігін беру. Мақұлданған зерттеушілер мен сарапшы ұйымдар бүгіннен бастап өтінім бере алады. Практика кодексіне(жаңа терезеде ашылады) сәйкес, мәтіннің шығу тегін анықтау тәсілдерін бағалау мен жетілдіруге қолдау көрсету үшін бастапқыда әр өтінім жеке қаралып, қолжетімділік беріледі. Құрал пайдаланушыны анықтамай, оның көмексөздері мен әңгімелерін ашпай, OpenAI сутаңбасының анықталғанын не анықталмағанын хабарлайды. Сутаңбаны байқамай қалу және жалған оң нәтиже беру қаупін ескеріп, құралды іске қосылған сәттен бастап көпшілікке ашпаймыз.
Технология мен стандарттар дамып, жаңа деректер жиналған сайын осы тәсілдің әр бөлігін қайта қарауды жоспарлап отырмыз.
Шығу тегін анықтаудың ешбір әдісі жеке өзі жеткіліксіз. Сондықтан ашық стандарттарды, тұрақты сутаңбаларды және тексеру құралдарын біріктіретін көпдеңгейлі тәсілді қолданамыз.
Қолдау көрсетілетін кескіндерге Content Credentials деректерін қосамыз, C2PA талаптарына саймыз(жаңа терезеде ашылады), қолдау көрсетілетін кескіндер мен аудиоға көзге көрінбейтін SynthID(жаңа терезеде ашылады) сутаңбаларын енгіземіз. Сондай-ақ openai.com/verify және Content Provenance API(жаңа терезеде ашылады) арқылы кескін мен аудионы тексеру мүмкіндігін ұсынамыз. Бұл әдістер бірін-бірі толықтырады: Content Credentials файлдың шығу тегі мен тарихын тіркей алады, ал көзге көрінбейтін сутаңбалар метадеректер жойылғанда да белгіні сақтай алады.
Сайлауды қорғау жөніндегі жұмысымызда сипаттағанымыздай, шығу тегі туралы мәлімет адамдар мен платформаларға ЖИ жасаған, жаңылыстыруы мүмкін контентті, соның ішінде дипфейктерді бағалауға көмектеседі. Біз бұл белгілерді саясаттармен, теріс пайдалануды анықтау, шағым қабылдау, тексеру жүргізу және ережелерді орындату шараларымен ұштастырамыз. Шығу тегі туралы мәлімет бүкіл экожүйеде пайдалы болуы үшін зерттеушілермен, стандарттау ұйымдарымен, платформалармен және азаматтық қоғаммен жұмыс істейміз.
Шығу тегін анықтау тәсілдерін мәтінге қолданғанда, оны қайта жазу, аудару немесе өңдеу қаншалықты оңай екенін ескеру қажет. Маусымда айтқанымыздай, тәсіліміз қазіргі технологияның іс жүзіндегі шектеулерін ескеруі керек. Анықтауды жетілдіруді, сутаңбалардың өңдеу мен аударуға төзімділігін зерттеуді және ЖИ көмегімен жазылған мәтінді ЖИ толық жазған мәтіннен дәлірек ажырату жолдарын іздеуді жалғастырамыз. Жаңа деректер жиналып, стандарттар мен реттеуші талаптар өзгерген сайын тәсілімізді бейімдейміз. Нәтижелерді жауапкершілікпен түсіндіруге болатынына көз жеткізгенде, анықтау құралына қолжетімділікті кеңейтеміз.
Толығырақ білу үшін Көмек көрсету орталығындағы мақаланы оқыңыз(жаңа терезеде ашылады).
