Ներկայացնում ենք OpenAI Գաղտնիության ֆիլտրը
Տեքստում անձնական ճանաչելի տեղեկատվությունը (PII) քողարկելու համար մեր ամենաառաջադեմ մոդելը
Այսօր մենք թողարկում ենք OpenAI Գաղտնիության ֆիլտրը՝ բաց քաշի մոդելներ, որը նախատեսված է տեքստում անձնական ճանաչելի տեղեկատվությունը (PII) հայտնաբերելու և խմբագրելու համար։ Այս թողարկումը մեր ավելի լայն ջանքերի մի մասն է՝ աջակցելու ավելի դիմակայուն ծրագրային էկոհամակարգին՝ ծրագրավորողներին ԱԲ-ի միջոցով անվտանգ կառուցելու համար գործնական ենթակառուցվածք տրամադրելով, ներառյալ գործիքներ և մոդելներ, որոնք հեշտացնում են գաղտնիության և անվտանգության հուսալի պաշտպանական միջոցների ներդրումը հենց սկզբից։
Գաղտնիության ֆիլտրը փոքր մոդել է՝ անձնական տվյալների հայտնաբերման առաջադեմ կարողությամբ։ Այն նախատեսված է բարձր թողունակությամբ գաղտնիության աշխատանքային հոսքերի համար և կարող է կատարել PII-ի համատեքստին տեղյակ հայտնաբերում ոչ կառուցվածքային տեքստում։ Այն կարող է գործել տեղական միջավայրում, ինչը նշանակում է, որ PII-ն կարող է քողարկվել կամ խմբագրվել՝ առանց ձեր համակարգչից դուրս գալու։ Երկար մուտքային տվյալները արդյունավետորեն մշակում է՝ խմբագրման վերաբերյալ որոշումներ կայացնելով մեկ արագ անցումով։
OpenAI-ում մենք օգտագործում ենք Գաղտնիության ֆիլտրի ճշգրտված տարբերակը մեր սեփական գաղտնիությունը պահպանող աշխատանքային հոսքերում։ Մենք մշակեցինք Գաղտնիության ֆիլտրը, քանի որ հավատում ենք, որ ԱԲ-ի նորագույն հնարավորությունների շնորհիվ կարող ենք գաղտնիության չափանիշը բարձրացնել շուկայում արդեն առկա մակարդակից վեր։ Գաղտնիության ֆիլտրի այն տարբերակը, որն այսօր թողարկում ենք, PII-Masking-300k չափորոշչում ցուցադրում է գերժամանակակից կատարողականություն՝ հաշվի առնելով գնահատման ընթացքում մեր հայտնաբերած նշագրման խնդիրների պատճառով անհրաժեշտ շտկումները։
Այս թողարկմամբ ծրագրավորողները կարող են գործարկել Գաղտնիության ֆիլտրը իրենց սեփական միջավայրերում, ճշգրտել այն իրենց սեփական օգտագործման դեպքերի համար և ներկառուցել գաղտնիության ավելի ուժեղ պաշտպանություն ուսուցման, ինդեքսավորման, մատյանագրման և վերանայման գործընթացներում։
Ժամանակակից ԱԲ համակարգերում գաղտնիության պաշտպանությունը կախված է ոչ միայն նախշերի համընկնումից։ Ավանդական PII-ի հայտնաբերման գործիքները հաճախ հիմնվում են դետերմինիստական կանոնների վրա՝ այնպիսի ձևաչափերի համար, ինչպիսիք են հեռախոսահամարներն ու էլեկտրոնային փոստի հասցեները։ Դրանք կարող են լավ աշխատել սահմանափակ դեպքերի համար, բայց հաճախ բաց են թողնում ավելի նուրբ անձնական տեղեկություններ և դժվարանում են հասկանալ համատեքստը։
Գաղտնիության ֆիլտրը կառուցված է լեզվի և համատեքստի ավելի խորը ընկալմամբ՝ ավելի նրբերանգված արդյունավետության համար։ Լեզվի խորքային ըմբռնումը գաղտնիությանը հատուկ պիտակավորման համակարգի հետ համադրելով՝ այն կարող է չկառուցված տեքստում հայտնաբերել PII-ի ավելի լայն շրջանակ, ներառյալ այն դեպքերը, երբ ճիշտ որոշումը կախված է համատեքստից։ Այն կարող է ավելի լավ տարբերակել այն տեղեկատվությունը, որը պետք է պահպանվի, քանի որ այն հանրային է, և այն տեղեկատվությունը, որը պետք է քողարկվի կամ խմբագրվի, քանի որ վերաբերում է մասնավոր անձի։
Արդյունքում ստացվում է մի մոդել, որը բավականաչափ հզոր է՝ ապահովելու առաջադեմ մակարդակի գաղտնիության զտման կատարողականություն։ Միևնույն ժամանակ, մոդելը բավականաչափ փոքր է, որպեսզի տեղական գործարկվի, այսինքն դեռևս չզտված տվյալները կարող են մնալ սարքի վրա՝ արտահոսքի ավելի փոքր ռիսկով՝ փոխանակ ապանույնականացման համար սերվեր ուղարկվելու անհրաժեշտության։
Գաղտնիության ֆիլտրը երկուղղանի թոքենների դասակարգման մոդել է՝ սպանի ապակոդավորմամբ։ Այն սկսվում է ավտոռեգրեսիվ նախապես ուսուցանված ստուգակետից և այնուհետև հարմարեցվում է որպես թոքենների դասակարգիչ՝ գաղտնիության պիտակների ֆիքսված դասակարգման վրա։ Տեքստը թոքեն առ թոքեն գեներացնելու փոխարեն՝ այն մեկ անցումով պիտակավորում է մուտքային հաջորդականությունը, ապա սահմանափակված Վիտերբիի ընթացակարգով ապակոդավորում է համահունչ հատվածները։
Այս ճարտարապետությունը Գաղտնիության ֆիլտրին տալիս է մի քանի օգտակար հատկություններ արտադրական օգտագործման համար՝
- Արագ և արդյունավետ․ բոլոր թոքենները պիտակավորվում են մեկ առաջանցմամբ։
- Համատեքստին տեղյակ․ նախորդ լեզուն հնարավորություն է տալիս հայտնաբերել PII հատվածները՝ շրջապատող համատեքստի հիման վրա։
- Երկար համատեքստ․ թողարկված մոդելն աջակցում է մինչև 128,000 թոքեն համատեքստի։
- Կարգավորվող. Ծրագրավորողները կարող են հարմարեցնել աշխատանքային կետերը հետկանչի և ճշգրտության միջև փոխզիջում կատարելու համար՝ կախված իրենց աշխատանքային հոսքից։
Թողարկված մոդելն ունի 1.5 միլիարդ ընդհանուր պարամետր և 50 միլիոն ակտիվ պարամետր։
Գաղտնիության ֆիլտրը կանխատեսում է հատվածներ ութ կատեգորիաների շրջանակում՝
մասնավոր_անձմասնավոր_հասցեանձնական_էլ.փոստանձնական_հեռախոսprivate_urlprivate_dateհաշվի_համարգաղտնիք
հաշվի_համար կատեգորիան օգնում է քողարկել հաշվի համարների լայն շրջանակ, ներառյալ բանկային տվյալները, օրինակ՝ վարկային քարտերի համարները և բանկային հաշիվների համարները, մինչդեռ գաղտնի կատեգորիան օգնում է քողարկել այնպիսի տվյալներ, ինչպիսիք են գաղտնաբառերը և API բանալիները։
Այս պիտակներն ապակոդավորվում են BIOES span պիտակների միջոցով, ինչը նպաստում է ավելի մաքուր և համահունչ քողարկման սահմանների ձևավորմանը։
Մուտքային տեքստի օրինակ
Թեմա․ 2-րդ եռամսյակի պլանավորում․ հետագա քայլեր
Բարև, Ջորդան,
Կրկին շնորհակալություն այսօր ավելի վաղ հանդիպելու համար։ Ես ցանկանում էի կրկին անդրադառնալ 2-րդ եռամսյակի ներդրման վերանայված ժամանակացույցին և հաստատել, որ արտադրանքի գործարկումը նախատեսված է 2026 թվականի սեպտեմբերի 18-ին։ Տեղեկության համար՝ նախագծի ֆայլը նշված է 4829-1037-5581 համարի տակ։ Եթե ձեր կողմից որևէ բան փոխվի, կարող եք ազատ պատասխանել այստեղ՝ maya.chen@example.com հասցեով կամ զանգահարել ինձ՝ +1 (415) 555-0124 համարով։
Լավագույն մաղթանքներով,
Մայա Չեն
Տեքստ՝ անձնական նույնացուցիչների քողարկումից հետո
Թեմա․ 2-րդ եռամսյակի պլանավորում․ հետագա քայլեր
Բարև [PRIVATE_PERSON],
Կրկին շնորհակալություն այսօր ավելի վաղ հանդիպելու համար։ Ես ցանկանում էի հետևել 2-րդ եռամսյակի թողարկման վերանայված ժամանակացույցին և հաստատել, որ արտադրանքի գործարկումը նախատեսված է [PRIVATE_DATE]-ին։ Տեղեկության համար՝ նախագծի ֆայլը նշված է [ACCOUNT_NUMBER] ներքո։ Եթե ձեր կողմից որևէ փոփոխություն լինի, ազատ պատասխանեք այստեղ՝ [PRIVATE_EMAIL] հասցեով կամ զանգահարեք ինձ՝ [PRIVATE_PHONE] հեռախոսահամարով։
Լավագույն մաղթանքներով,
[PRIVATE_PERSON]
Մենք մշակեցինք Գաղտնիության ֆիլտրը մի քանի փուլերով։
Նախ, մենք մշակեցինք գաղտնիության դասակարգում, որը սահմանում է այն հատվածների տեսակները, որոնք մոդելը պետք է հայտնաբերի։ Սա ներառում է անձնական նույնացուցիչներ, կոնտակտային տվյալներ, հասցեներ, անձնական ամսաթվեր, հաշվի համարների բազմաթիվ տեսակներ, օրինակ՝ կրեդիտ քարտերի և բանկային տվյալներ, ինչպես նաև գաղտնիքներ, ինչպիսիք են API բանալիները և գաղտնաբառերը։
Երկրորդ, մենք նախապես ուսուցանված լեզվի մոդելը վերածեցինք երկուղղված թոքեն դասակարգչի՝ լեզվի մոդելավորման գլխիկը փոխարինելով թոքեն դասակարգման գլխիկով և այն հետագայում ուսուցանելով վերահսկվող դասակարգման նպատակային ֆունկցիայով։
Երրորդ՝ մենք վարժեցվել ենք հրապարակայնորեն հասանելի և սինթետիկ տվյալների խառնուրդի հիման վրա, որը նախատեսված էր արտացոլելու ինչպես իրատեսական տեքստը, այնպես էլ գաղտնիության բարդ օրինաչափությունները։ Հանրային տվյալների այն հատվածներում, որտեղ պիտակները թերի էին, մենք օգտագործել ենք մոդելի աջակցությամբ անոտացիա և վերանայում՝ ծածկույթը բարելավելու համար։ Մենք նաև գեներացրինք արհեստական օրինակներ՝ ձևաչափերի, համատեքստերի և գաղտնիության ենթատեսակների միջև բազմազանությունը մեծացնելու համար։
Եզրակացության փուլում մոդելի թոքենի մակարդակի կանխատեսումները ապակոդավորվում են կապակցված հատվածների՝ սահմանափակումներով հաջորդական ապակոդավորման միջոցով։ Այս մոտեցումը պահպանում է նախապես վարժեցված մոդելի լեզվի լայն ըմբռնումը՝ միաժամանակ այն մասնագիտացնելով գաղտնիության հայտնաբերման համար։
Մենք գնահատեցինք Գաղտնիության ֆիլտրը ստանդարտ հենանիշների վրա և լրացուցիչ սինթետիկ ու զրույցի ոճի գնահատումների վրա, որոնք նախատեսված են ավելի բարդ, համատեքստի նկատմամբ ավելի զգայուն դեպքերը ստուգելու համար։
PII-Masking-300k(բացվում է նոր պատուհանում) չափորոշիչում Գաղտնիության ֆիլտրը գրանցում է 96% F1 միավոր (94.04% ճշգրտություն և 98.04% ամբողջականություն)։ Վերանայման ընթացքում հայտնաբերված տվյալաշարի նշագրման խնդիրները հաշվի առնող չափանիշի շտկված տարբերակում F1 միավորը 97.43% է (96.79% ճշտություն և 98.08% ամբողջականություն)։
Մենք նաև պարզեցինք, որ մոդելը կարելի է արդյունավետորեն հարմարեցնել։ Նույնիսկ փոքր ծավալի տվյալների վրա նուրբ կարգավորումը արագորեն բարելավում է ճշգրտությունը տիրույթին հատուկ առաջադրանքներում՝ F1 միավորը 54%-ից հասցնելով 96%-ի, և մոտենում է հագեցման մեր գնահատած տիրույթի հարմարեցման հենանիշում։
Հենանիշային կատարողականությունից զատ, Գաղտնիության ֆիլտրը նախագծված է աղմկոտ, իրական աշխարհի տեքստում գործնական գաղտնիության զտման համար։ Դա ներառում է երկար փաստաթղթեր, երկիմաստ հղումներ, խառը ձևաչափով տողեր և ծրագրային ապահովման հետ կապված գաղտնիքներ։ մոդելի քարտը (բացվում է նոր պատուհանում)նաև ներկայացնում է նպատակային գնահատման մասին տեղեկություն՝ կոդային բազաներում գաղտնիքների հայտնաբերման վերաբերյալ, ինչպես նաև սթրես-թեստերի մասին՝ բազմալեզու, հակառակորդային և համատեքստից կախված օրինակներում։
Գաղտնիության ֆիլտրը անանունացման գործիք, համապատասխանության հավաստագրում կամ բարձր ռիսկային միջավայրերում քաղաքականությունների վերանայման փոխարինող չէ։ Այն գաղտնիության՝ նախագծմամբ ապահովման ավելի լայն համակարգի մի բաղադրիչն է։
Դրա վարքագիծն արտացոլում է պիտակների դասակարգումը և որոշումների սահմանները, որի վրա այն ուսուցանվել է։ Տարբեր կազմակերպություններ կարող են ցանկանալ տարբեր հայտնաբերման կամ քողարկման քաղաքականություններ, և այդ քաղաքականությունները կարող են պահանջել տվյալ տիրույթում գնահատում կամ հետագա մանր ճշգրտում։ Կատարողականությունը կարող է նաև տարբերվել լեզուներից, գրերից, անվան պայմանականություններից և տիրույթներից կախված, որոնք տարբերվում են ուսուցման բաշխումից։
Ինչպես բոլոր մոդելները, Գաղտնիության ֆիլտրը կարող է սխալներ թույլ տալ։ Այն կարող է բաց թողնել ոչ տարածված նույնացուցիչները կամ երկիմաստ մասնավոր հղումները և կարող է չափազանց շատ կամ անբավարար չափով քողարկել տվյալները, երբ համատեքստը սահմանափակ է, հատկապես կարճ հաջորդականությունների ժամանակ։ Իրավական, բժշկական և ֆինանսական աշխատանքային հոսքերի նման բարձր զգայունություն ունեցող ոլորտներում մարդկային վերանայումը և ոլորտին հատուկ գնահատումն ու ճշգրիտ կարգավորումը շարունակում են կարևոր դերակատարում ունենալ։
Մենք թողարկում ենք OpenAI Գաղտնիության ֆիլտրը՝ ամբողջ էկոհամակարգում գաղտնիության ավելի ուժեղ պաշտպանությունն ապահովելու համար։
Մոդելն այսօրվանից հասանելի է Hugging Face(բացվում է նոր պատուհանում) -ում և Github(բացվում է նոր պատուհանում)-ում՝ Apache 2.0 լիցենզիայի ներքո։ Այն նախատեսված է փորձարկման, հարմարեցման և առևտրային ներդրման համար, և այն կարող է ճշգրտվել տվյալների տարբեր բաշխումների և գաղտնիության քաղաքականությունների համար։
Մոդելի հետ մեկտեղ մենք նաև տրամադրում ենք փաստաթղթեր, որոնք ներառում են մոդելի ճարտարապետությունը, պիտակների դասակարգումը, ապակոդավորման վերահսկման միջոցները, նախատեսված օգտագործման դեպքերը, գնահատման կարգավորումը և հայտնի սահմանափակումները, որպեսզի թիմերը կարողանան հասկանալ, թե մոդելն ինչում է լավ գործում և թե որտեղ այն պետք է զգուշությամբ օգտագործվի։
ԱԲ-ի համակարգերում գաղտնիության պաշտպանությունը շարունակական ջանք է՝ հետազոտության, պրոդուկտի նախագծման, գնահատման և ներդրման ոլորտներում։
Գաղտնիության ֆիլտրը արտացոլում է մեկ ուղղություն, որը մենք կարևոր ենք համարում. փոքր, արդյունավետ մոդելներ՝ առաջնային հնարավորություններով սահմանափակ առաջադրանքներում, որոնք կարևոր են իրական աշխարհի ԱԲ-ի համակարգերի համար։ Մենք այն հրապարակում ենք, քանի որ կարծում ենք, որ գաղտնիությունը պահպանող ենթակառուցվածքը պետք է ավելի հեշտ լինի ուսումնասիրել, գործարկել, հարմարեցնել և բարելավել։
Մեր նպատակն է, որ մոդելները սովորեն աշխարհի, ոչ թե մասնավոր անձանց մասին։ Գաղտնիության ֆիլտրը օգնում է դա հնարավոր դարձնել։
Մենք թողարկում ենք Գաղտնիության ֆիլտրի այս նախադիտումը՝ հետազոտական և գաղտնիության համայնքից հետադարձ կապ ստանալու և մոդելի արդյունավետության հետագա կատարելագործման համար։
