Մեր մոտեցումը տեքստի ծագման վերաբերյալ ԵՄ կանոններին
Խթանում ենք թափանցիկությունը՝ այսօրվա տեխնոլոգիայի հնարավորությունների սահմաններում։
Բովանդակության ծագման տվյալները օգնում են մարդկանց հասկանալ, թե որտեղից է բովանդակությունը, ինչպես է այն ստեղծվել կամ խմբագրվել, և արդյոք պարունակում է մեր մոդելների հետ կապված ազդանշաններ։ Մենք արդեն հանրայնացրել ենք մեր մոդելներով ստեղծված պատկերներն ու ձայնանյութերը ճանաչելու գործիքներ։ Այսօր ներկայացնում ենք տեքստում ջրանիշեր տեղադրելու մեր մոտեցումը՝ ի պատասխան ԱԲ-ի մասին ԵՄ ակտի, և բացատրում, թե ինչպես է այն տեղավորվում մեր ավելի լայն աշխատանքում։
ԱԲ-ի մասին ԵՄ ակտը պահանջում է, որ գեներատիվ ԱԲ տրամադրողները ստեղծված տեքստը դարձնեն մեքենայաընթեռնելի եղանակով ճանաչելի։ Տեքստում ջրանիշավորումն ու ջրանիշների հայտնաբերումը դեռ զարգացման վաղ փուլում գտնվող տեխնոլոգիաներ են՝ զգալի սահմանափակումներով, և դրանց օգուտների ու պատասխանատու կիրառման մասին պատկերացումները դեռ ձևավորվում են։ Մեր փուլային մոտեցումը հաշվի է առնում և՛ ԱԲ-ի մասին ԵՄ ակտի պահանջները, և՛ տեխնոլոգիայի սահմանափակումները՝ ընդգծելով հստակ ներկայացնելու կարևորությունը, թե տեքստային ջրանիշն ինչ տեղեկություն կարող է և ինչ տեղեկություն չի կարող տալ մարդկանց․
Այսօրվանից ամբողջ աշխարհում API-ի հաճախորդները կկարողանան ընտրված մոդելների համար միացնել տեքստային ջրանշումը։ API-ում տեքստային ջրանշումը կանխադրված անջատված կմնա։
Առաջիկա շաբաթներին Եվրամիությունում անտեսանելի ջրանիշ կավելացնենք ChatGPT‑ի և Codex-ի այն տեքստային արդյունքներին, որոնց վրա տարածվում է այս գործառույթը։
Մենք սկսում ենք ընդունել մեր տեքստային ջրանիշերի հայտնաբերման գործիքից օգտվելու հայտեր։ Սկզբում հասանելիություն կունենան միայն հաստատված հետազոտողներն ու փորձագիտական կազմակերպությունները, որոնք կարող են օգնել մեզ գնահատել և բարելավել տեխնոլոգիան։
Վերոնշյալը վերաբերում է միայն տեքստի ծագմանը․ ձայնանյութերի ու պատկերների ստուգման մեր գործիքները, այդ թվում՝ openai.com/verify վեբ գործիքը և բովանդակության ծագման API-ն(բացվում է նոր պատուհանում), կմնան հանրամատչելի այն կազմակերպությունների համար, որոնք ցանկանում են պարզել՝ արդյոք պատկերը կամ ձայնային ֆայլը ստեղծվել է մեր համակարգերից մեկով։
Տեքստի ջրանիշավորման մեր տեխնոլոգիան՝ textGrain-ը, մոդելի բառերի ընտրության մեջ անտեսանելի վիճակագրական ազդանշան է ներդնում։ Մեր հայտնաբերման գործիքը փնտրում է այդ ազդանշանը՝ գնահատելու համար, թե արդյոք տեքստի հատվածը պարունակում է OpenAI-ի ջրանիշ։ textGrain-ի աշխատանքի մասին մանրամասներ կարելի է գտնել մեր տեխնիկական զեկույցում(բացվում է նոր պատուհանում), որն առաջիկա շաբաթներին կթարմացվի լրացուցիչ տեղեկություններով։ Մենք նաև նախատեսում ենք տեխնոլոգիան հասանելի դարձնել բաց ելակոդով, որպեսզի ուրիշները կարողանան դրա հիման վրա նոր լուծումներ ստեղծել։
Մեր գնահատումներում textGrain-ը հավասար կամ ավելի լավ արդյունքներ է ցույց տվել, քան մեր փորձարկած մյուս մոտեցումները, այդ թվում՝ տեքստի համար նախատեսված SynthID-ը։ Այնուամենայնիվ, իդեալական պայմաններում լավ արդյունքները չեն երաշխավորում հուսալի հայտնաբերում առօրյա օգտագործման ժամանակ։
Հայտնաբերման գործիքները կարող են երկու տեսակի սխալ թույլ տալ՝ հայտնել ջրանիշի առկայության մասին, երբ այն չկա (կեղծ դրական արդյունք), կամ բաց թողնել առկա ջրանիշը (կեղծ բացասական արդյունք)։ Ստորև ներկայացված մեր գնահատումները ցույց են տալիս որոշ դժվարություններ․
Ավելի կարճ կամ ձևակերպումների ավելի սահմանափակ ընտրությամբ տեքստերում ջրանիշն ավելի դժվար է հայտնաբերել։ Կեղծ դրական արդյունքների 1% թիրախային մակարդակի դեպքում, օրինակ՝ հոգեբանության թեմայով բովանդակությունում, մեր գործիքը ջրանիշեր է հայտնաբերել 200 թոքենանոց հատվածների մոտ 80%-ում՝ 400 թոքենանոց հատվածների մոտ 95%-ի համեմատ։ Հայտնաբերման մակարդակը զգալիորեն ավելի ցածր էր, օրինակ, մաթեմատիկայի թեմայով բովանդակության դեպքում, որտեղ բառերի ընտրությունն ավելի սահմանափակ է
Խմբագրումը կարող է թուլացնել ջրանիշը։ 400 թոքենանոց հատվածների գնահատման ժամանակ բառերի 10%-ը հոմանիշներով փոխարինելը հայտնաբերման մակարդակը մոտ 92%-ից նվազեցրեց մինչև 66%։ Բառերի 25%-ը փոխարինելիս այն նվազեց մինչև 17%։
Այս սահմանափակումները մասամբ պայմանավորում են մեր որոշումը՝ սկզբում հայտնաբերման գործիքը հասանելի դարձնել միայն հաստատված հետազոտողներին ու փորձագիտական կազմակերպություններին, որոնք կարող են օգնել մեզ գնահատել դրա հուսալիությունն ու պատասխանատու կիրառման հնարավորությունները։
Այս գծապատկերը ցույց է տալիս ELI5 տվյալաշարի(բացվում է նոր պատուհանում) մաթեմատիկայի և հոգեբանության հարցերին տրված՝ ջրանիշով պատասխանների արդյունքները՝ կեղծ դրական արդյունքների 1% թիրախային մակարդակի դեպքում։ Տեքստի երկարության աճին զուգընթաց ջրանիշերի հայտնաբերման մակարդակը բարձրանում է, բայց ընդհանուր առմամբ զգալիորեն ավելի ցածր է այնպիսի բովանդակության դեպքում, որտեղ բառերի ընտրությունն ավելի սահմանափակ է, օրինակ՝ մաթեմատիկայի թեմայով բովանդակությունում։
Խմբագրումը կարող է զգալիորեն թուլացնել ջրանիշի ազդանշանը։ Այս գծապատկերը ցույց է տալիս, թե տեքստի հատվածում բառերի 10%-ի կամ 25%-ի փոխարինումն ինչպես է ազդում հայտնաբերման վրա։ Արդյունքները հիմնված են ELI5(բացվում է նոր պատուհանում)-ի հարցերի՝ ջրանիշով անգլերեն պատասխանների վրա։
Մեր նորագույն առաջադեմ մոդելը՝ Astra-ն, գնահատելու համար օգտագործվող հենանիշային թեստերում մենք էական տարբերություններ չենք տեսնում ջրանիշավորմամբ և առանց դրա ստացված արդյունքների միջև։
Հենանիշային թեստ | Տեքստ՝ առանց ջրանիշի (Astra, Max) | Տեքստ՝ ջրանիշով (Astra, Max) |
|---|---|---|
Artificial Analysis-ի բանականության ցուցիչ | 49,57 միավոր | 49,76 միավոր |
AutomationBench | 34,09% | 34,86% |
DeepSWE v1.1 | 72,80% | 71,68% |
Terminal-Bench 4.0 | 53,90% | 56,06% |
Terminal-Bench Science 0.1 | 56,90% | 60,00% |
BrowseComp | 87,92% | 87,35% |
HealthBench Professional | 64,27% | 64,60% |
GPQA Diamond | 94,44% | 93,94% |
Տեքստային ջրանիշերը սահմանափակ տեղեկություն են տալիս այն մասին, թե մեր համակարգերն ինչ դեր են ունեցել տեքստի տվյալ հատվածի ստեղծման կամ մշակման մեջ։ Կարևոր է հասկանալ, թե հայտնաբերման արդյունքից ինչ եզրակացություններ կարելի է անել, և ինչ եզրակացություններ անել չի կարելի։
Ջրանիշը չի չափում մարդու ներդրումը։ Այն կարող է ցույց տալ, որ OpenAI-ի համակարգը ստեղծել կամ մշակել է տեքստի հատվածի մի մասը, բայց չի ցույց տալիս, թե որքան մեծ է եղել մարդու դատողության, խմբագրման կամ ստեղծարարության դերը։
Ջրանիշը չի հաստատում սեփականության իրավունքը կամ պատասխանատվությունը։ Այն չի որոշում, թե ում է պատկանում տեքստը, արդյոք դրա օգտագործումն օրինական էր, արդյոք պահանջվում էր տեղեկություն բացահայտել, կամ ով է պատասխանատու դրա համար։
Ջրանիշը չի բացահայտում օգտատիրոջ ինքնությունը։ Այն տեքստը չի կապում որևէ անձի, կազմակերպության, հաշվի, հարցման կամ զրույցի հետ։
Ջրանիշը չի հաստատում ճշգրտությունը։ Այն տեղեկություն չի տալիս այն մասին, թե արդյոք տեքստի հատվածը ճշմարիտ է, մոլորեցնող, վնասակար կամ ներկայացված ճիշտ համատեքստում։
Ջրանիշ չհայտնաբերելը չի ապացուցում, որ տեքստի հեղինակը մարդ է։ OpenAI-ի գործիքներով ստեղծված տեքստը կարող է չափազանց կարճ, խմբագրված կամ թարգմանված լինել, ինչի պատճառով ջրանիշի հայտնաբերումը կարող է հուսալի չլինել։ Այն կարող է նաև ստեղծված լինել չաջակցվող մոդելով, ջրանիշավորման ներդրումից առաջ կամ մեկ այլ ընկերության գործիքներով։
Տեքստի ջրանիշավորման ներդրում ԵՄ-ում։ Առաջիկա շաբաթներին միայն ԵՄ-ում կներդնենք տեքստի ջրանիշավորումը՝ ChatGPT‑ի և Codex-ի բոլոր պլանների այն օգտատերերի համար, որոնց վրա տարածվում է այս գործառույթը։ Գործարկման պահին մենք տեքստի ջրանիշավորումը լռելյայն չենք միացնում ամբողջ աշխարհում։ Տարածաշրջանային այս մոտեցումը մեզ հնարավորություն է տալիս սովորել իրական օգտագործման փորձից և արձագանքներից։
API-ի հաճախորդների համար ջրանիշավորումն ընտրությամբ միացնելու հնարավորություն։ Այսօրվանից API-ի հաճախորդներն ամբողջ աշխարհում կկարողանան ընտրել ջրանիշով տեքստային արդյունքներ ստանալու տարբերակը որոշ մոդելների համար։ Սա հաճախորդներին թույլ է տալիս որոշել, թե ինչպես ջրանիշավորումը համատեղել թափանցիկության իրենց պարտավորությունների և օգտատերերին տրամադրվող փորձառության հետ։ Մենք նաև աշխատում ենք ամպային ծառայություններ տրամադրող գործընկերների հետ, որպեսզի առաջիկա շաբաթներին ջրանիշավորումը հասանելի լինի նրանց ծառայությունների միջոցով ստացվող՝ OpenAI-ի մոդելների արդյունքների համար։
Հետազոտողներին և փորձագիտական կազմակերպություններին հայտնաբերման գործիքի հասանելիության տրամադրում։ Հաստատված հետազոտողներն ու փորձագիտական կազմակերպությունները կարող են հայտ ներկայացնել այսօրվանից։ Գործելակերպի կանոնագրքի(բացվում է նոր պատուհանում) համաձայն՝ սկզբում հասանելիությունը կտրամադրվի յուրաքանչյուր դեպքի առանձին դիտարկմամբ՝ նպաստելու տեքստի ծագման որոշման գնահատմանն ու բարելավմանը։ Գործիքը կհայտնի՝ արդյոք հայտնաբերել է OpenAI-ի ջրանիշ՝ առանց բացահայտելու օգտատիրոջ ինքնությունը, նրա հարցումները կամ զրույցները։ Հաշվի առնելով ջրանիշերը բաց թողնելու և կեղծ դրական արդյունքների վտանգը՝ գործարկման պահին այն հանրամատչելի չենք դարձնում։
Ակնկալում ենք վերանայել այս մոտեցման յուրաքանչյուր մասը՝ տեխնոլոգիայի, ստանդարտների և փաստական տվյալների զարգացմանը զուգընթաց։
Ծագումը որոշելու ոչ մի մեթոդ ինքնին բավարար չէ, ուստի մենք կիրառում ենք բազմաշերտ մոտեցում, որը համատեղում է բաց ստանդարտները, կայուն ջրանիշավորումը և ստուգման գործիքները։
Աջակցվող պատկերային արդյունքներին մենք ավելացնում ենք բովանդակության հավաստագրեր (Content Credentials), համապատասխանում ենք C2PA-ի պահանջներին(բացվում է նոր պատուհանում), աջակցվող պատկերներում ու ձայնանյութերում ներդնում ենք SynthID(բացվում է նոր պատուհանում)-ի անտեսանելի ջրանիշեր և պատկերների ու ձայնանյութերի ստուգումը հասանելի դարձնում openai.com/verify-ի և մեր բովանդակության ծագման API-ի(բացվում է նոր պատուհանում) միջոցով։ Այս մեթոդները լրացնում են միմյանց․ Content Credentials-ը կարող է գրանցել ֆայլի ծագումն ու պատմությունը, իսկ անտեսանելի ջրանիշերը՝ պահպանել ազդանշանը, երբ մետատվյալները հեռացվում են։
Ինչպես նկարագրել ենք ընտրությունների պաշտպանությանն ուղղված մեր աշխատանքում, ծագման տվյալները կարող են օգնել մարդկանց և հարթակներին գնահատել ԱԲ-ով ստեղծված՝ հնարավոր մոլորեցնող բովանդակությունը, այդ թվում՝ դիփֆեյքերը։ Այս ազդանշանները մենք համատեղում ենք քաղաքականությունների, չարաշահումների հայտնաբերման, հաղորդումների, հետաքննությունների և կանոնների կիրարկման հետ։ Մենք նաև աշխատում ենք հետազոտողների, ստանդարտացման մարմինների, հարթակների և քաղաքացիական հասարակության հետ՝ ծագման տվյալներն ավելի լայն էկոհամակարգում օգտակար դարձնելու համար։
Տեքստի վրա ծագման որոշման մեթոդները տարածելիս անհրաժեշտ է հաշվի առնել, թե որքան հեշտ է այն վերաշարադրել, թարգմանել կամ խմբագրել։ Ինչպես քննարկել ենք հունիսին, մեր մոտեցումը պետք է հաշվի առնի ներկայիս տեխնոլոգիայի գործնական սահմանափակումները։ Մենք կշարունակենք բարելավել հայտնաբերումը, ուսումնասիրել, թե ջրանիշերն ինչպես են դիմանում խմբագրմանն ու թարգմանությանը, և փնտրել եղանակներ՝ ավելի հստակ տարբերակելու ԱԲ-ի աջակցությամբ ստեղծված տեքստը ԱԲ-ի հեղինակած տեքստից։ Մենք կհարմարեցնենք մեր մոտեցումը՝ նոր փաստական տվյալների ի հայտ գալուն, ստանդարտների զարգացմանն ու կարգավորող պահանջների փոփոխությանը զուգընթաց, և կընդլայնենք հայտնաբերման գործիքի հասանելիությունը, երբ համարենք, որ արդյունքները հնարավոր է պատասխանատու կերպով մեկնաբանել։
Լրացուցիչ տեղեկությունների համար ծանոթացեք մեր օգնության կենտրոնի հոդվածին(բացվում է նոր պատուհանում):
