გაიცანით OpenAI Privacy Filter

დღეს გამოვცემთ OpenAI Privacy Filter-ს, ღია წონების მქონე მოდელს ტექსტში პერსონალურად იდენტიფიცირებადი ინფორმაციის (PII) აღმოსაჩენად და რედაქტირებისთვის. ეს გამოშვება ჩვენი უფრო ფართო ძალისხმევის ნაწილია, რომელიც უფრო მდგრადი პროგრამული ეკოსისტემის მხარდაჭერას ისახავს მიზნად, დეველოპერებისთვის AI-ს უსაფრთხოდ გამოყენებისთვის პრაქტიკული ინფრასტრუქტურის მიწოდებით, მათ შორის ინსტრუმენტებით⁠ და მოდელებით⁠, რომლებიც ძლიერი კონფიდენციალურობისა და უსაფრთხოების დაცვის დანერგვას თავიდანვე ამარტივებს.

Privacy Filter არის მცირე მოდელი, რომელსაც პერსონალური მონაცემების აღმოჩენის მოწინავე შესაძლებლობა აქვს. ის შექმნილია მაღალი მწარმოებლურობის მქონე კონფიდენციალურობის სამუშაო პროცესებისთვის და შეუძლია კონტექსტზე მორგებული PII-ის აღმოჩენა არასტრუქტურირებულ ტექსტში. მას ლოკალურად გაშვება შეუძლია, რაც ნიშნავს, რომ PII შეიძლება დაიფაროს ან დარედაქტირდეს თქვენი მოწყობილობიდან გაუსვლელად. ის ეფექტიანად ამუშავებს გრძელ შეყვანებს და რედაქტირების გადაწყვეტილებებს სწრაფ, ერთ გავლაში იღებს.

OpenAI-ში ჩვენ Privacy Filter-ის დახვეწილ ვერსიას ჩვენსავე კონფიდენციალურობის დამცავ სამუშაო პროცესებში ვიყენებთ. Privacy Filter იმიტომ შევქმენით, რომ გვჯეროდა, AI-ის უახლესი შესაძლებლობებით კონფიდენციალურობის სტანდარტის აწევა უკვე ბაზარზე არსებულ დონეზე მაღლა შეგვეძლო. Privacy Filter-ის ვერსია, რომელსაც დღეს ვაქვეყნებთ, PII-Masking-300k ბენჩმარკზე უახლეს დონეზე არსებულ შედეგს აღწევს, როცა შეფასებისას აღმოჩენილი ანოტაციის პრობლემების კორექტირებას გავითვალისწინებთ.

ამ გამოშვებით დეველოპერებს შეუძლიათ Privacy Filter საკუთარ გარემოებში გაუშვან, საკუთარ გამოყენების შემთხვევებს მოარგონ და უფრო ძლიერი კონფიდენციალურობის დაცვა ააშენონ სწავლების, ინდექსაციის, ლოგირების და გადახედვის მილსადენებში.

თანამედროვე AI სისტემებში კონფიდენციალურობის დაცვა მხოლოდ შაბლონების დამთხვევაზე მეტს მოითხოვს. ტრადიციული PII-ის აღმოჩენის ინსტრუმენტები ხშირად ეყრდნობა დეტერმინისტულ წესებს ისეთი ფორმატებისთვის, როგორიცაა ტელეფონის ნომრები და ელფოსტის მისამართები. ვიწრო შემთხვევებში მათ შეიძლება კარგად იმუშაონ, მაგრამ ხშირად უფრო ფაქიზ პერსონალურ ინფორმაციას გამოტოვებენ და კონტექსტთან მუშაობა უჭირთ.

Privacy Filter აგებულია ენისა და კონტექსტის უფრო ღრმა გააზრებით, რაც უფრო ნიუანსურ შედეგებს იძლევა. ძლიერი ენობრივი გაგებისა და კონფიდენციალურობაზე მორგებული მარკირების სისტემის გაერთიანებით, მას შეუძლია PII-ის უფრო ფართო სპექტრის აღმოჩენა არასტრუქტურირებულ ტექსტში, მათ შორის ისეთ შემთხვევებში, სადაც სწორი გადაწყვეტილება კონტექსტზეა დამოკიდებული. მას უკეთ შეუძლია ერთმანეთისგან გაარჩიოს ინფორმაცია, რომელიც საჯაროა და ამიტომ უნდა შენარჩუნდეს, და ინფორმაცია, რომელიც კერძო პირს უკავშირდება და ამიტომ უნდა დაიფაროს ან დარედაქტირდეს.

შედეგად ვიღებთ მოდელს, რომელიც საკმარისად ძლიერია იმისთვის, რომ კონფიდენციალურობის ფილტრაციის მოწინავე დონის შედეგები მოგვცეს. ამავე დროს, მოდელი საკმარისად მცირეა ლოკალურად გასაშვებად — რაც ნიშნავს, რომ მონაცემები, რომლებსაც ჯერ კიდევ არ გაუვლიათ ფილტრაცია, შეიძლება მოწყობილობაზევე დარჩეს, ექსპოზიციის ნაკლები რისკით, ნაცვლად იმისა, რომ დეიდენტიფიკაციისთვის სერვერზე გაიგზავნოს. 

Privacy Filter არის ორმხრივი token-კლასიფიკაციის მოდელი span დეკოდირებით. ის იწყება ავტორეგრესიული წინასწარ გაწვრთნილი checkpoint-იდან და შემდეგ გარდაიქმნება token კლასიფიკატორად კონფიდენციალურობის ჭდეების ფიქსირებულ ტაქსონომიაზე. ტექსტის token-ით token გენერირების ნაცვლად, ის შეყვანის მიმდევრობას ერთ გავლაში ანიჭებს ჭდეებს და შემდეგ შეზღუდული Viterbi პროცედურით თანმიმდევრულ span-ებს დეკოდირებს.

ეს არქიტექტურა Privacy Filter-ს წარმოებაში გამოყენებისთვის რამდენიმე სასარგებლო თვისებას აძლევს:

• სწრაფი და ეფექტიანი: ყველა token ერთ forward pass-ში ინიშნება.
• კონტექსტზე მორგებული: ენობრივი პრიორი საშუალებას აძლევს PII span-ები გარემომცველი კონტექსტის საფუძველზე აღმოაჩინოს.
• გრძელი კონტექსტი: გამოშვებული მოდელი მხარს უჭერს კონტექსტის 128,000 token-მდე მოცულობას.
• კონფიგურირებადი: დეველოპერებს შეუძლიათ სამუშაო პროცესის მიხედვით recall-სა და precision-ს შორის ბალანსისთვის ოპერაციული წერტილები მოარგონ.

გამოშვებულ მოდელს სულ 1.5B პარამეტრი აქვს, აქედან 50M აქტიურია.

Privacy Filter span-ებს რვა კატეგორიაში პროგნოზირებს:

• private_person
• private_address
• private_email
• private_phone
• private_url
• private_date
• account_number
• secret

account_number კატეგორია ანგარიშის ნომრების მრავალფეროვანი ტიპების დაფარვას ეხმარება, მათ შორის საბანკო ინფორმაციას, როგორიცაა საკრედიტო ბარათის ნომრები და საბანკო ანგარიშის ნომრები, ხოლო secret ეხმარება ისეთი ნივთების დაფარვაში, როგორიცაა პაროლები და API გასაღებები.

ეს ჭდეები BIOES span tag-ებით დეკოდირდება, რაც დაფარვის საზღვრების უფრო სუფთა და თანმიმდევრული ფორმირებას უწყობს ხელს.

Privacy Filter რამდენიმე ეტაპად შევიმუშავეთ.

პირველ რიგში, შევქმენით კონფიდენციალურობის ტაქსონომია, რომელიც განსაზღვრავს span-ების ტიპებს, რომლებიც მოდელმა უნდა აღმოაჩინოს. ეს მოიცავს პირად იდენტიფიკატორებს, საკონტაქტო დეტალებს, მისამართებს, პირად თარიღებს, ანგარიშის ნომრების მრავალ სხვადასხვა სახეობას, როგორიცაა საკრედიტო და საბანკო ინფორმაცია, და საიდუმლოებებს, როგორიცაა API გასაღებები და პაროლები.

მეორე, წინასწარ გაწვრთნილი ენობრივი მოდელი ორმხრივ token კლასიფიკატორად ვაქციეთ, ენობრივი მოდელის head-ის token-classification head-ით ჩანაცვლებით და შემდეგ ზედამხედველობითი კლასიფიკაციის მიზნით დამატებითი გაწვრთნით. 

მესამე, ვივარჯიშეთ საჯაროდ ხელმისაწვდომი და სინთეზური მონაცემების ნარევზე, რომელიც ისე იყო შექმნილი, რომ რეალისტური ტექსტიც მოეცვა და რთული კონფიდენციალურობის შაბლონებიც. საჯარო მონაცემების იმ ნაწილებში, სადაც ჭდეები არასრული იყო, დაფარვის გასაუმჯობესებლად გამოვიყენეთ მოდელის დახმარებით ანოტაცია და გადახედვა. ასევე შევქმენით სინთეზური მაგალითები, რათა მრავალფეროვნება გაგვეზარდა ფორმატებში, კონტექსტებსა და კონფიდენციალურობის ქვეტიპებში.

ინფერენციის დროს მოდელის token-დონეზე პროგნოზები შეზღუდული მიმდევრობის დეკოდირებით თანმიმდევრულ span-ებად გარდაიქმნება. ეს მიდგომა წინასწარ გაწვრთნილი მოდელის ფართო ენობრივ გაგებას ინარჩუნებს და ამავდროულად კონფიდენციალურობის აღმოჩენაზე სპეციალიზებს.

Privacy Filter შევაფასეთ სტანდარტულ ბენჩმარკებზე და დამატებით სინთეზურ და ჩატის სტილის შეფასებებზე, რომლებიც უფრო რთული და კონტექსტზე უფრო მგრძნობიარე შემთხვევების შესამოწმებლად იყო შექმნილი.

PII-Masking-300k⁠(იხსნება ახალ ფანჯარაში) ბენჩმარკზე Privacy Filter აღწევს 96%-იან F1 ქულას (94.04% precision და 98.04% recall). ბენჩმარკის შესწორებულ ვერსიაზე, რომელიც გადახედვისას აღმოჩენილ მონაცემთა ნაკრების ანოტაციის პრობლემებს ითვალისწინებს, F1 ქულა 97.43%-ია (96.79% precision და 98.08% recall).

ასევე აღმოვაჩინეთ, რომ მოდელი ეფექტიანად ადაპტირდება. მცირე მოცულობის მონაცემებზე დახვეწაც კი სწრაფად აუმჯობესებს სიზუსტეს დომენზე სპეციფიკურ ამოცანებში, F1 ქულას 54%-დან 96%-მდე ზრდის და ჩვენს მიერ შეფასებულ დომენის ადაპტაციის ბენჩმარკზე გაჯერებას უახლოვდება.

ბენჩმარკზე შედეგების მიღმა, Privacy Filter შექმნილია ხმაურიან, რეალურ ტექსტში პრაქტიკული კონფიდენციალურობის ფილტრაციისთვის. ეს მოიცავს გრძელ დოკუმენტებს, ორაზროვან მიმართებებს, შერეული ფორმატის სტრიქონებს და პროგრამულ უზრუნველყოფასთან დაკავშირებულ საიდუმლოებებს. მოდელის ბარათი ⁠(იხსნება ახალ ფანჯარაში)ასევე აღწერს მიზნობრივ შეფასებას კოდების ბაზებში საიდუმლოებების აღმოჩენაზე და სტრეს-ტესტებს მრავალენოვან, მოწინააღმდეგისეულ და კონტექსტზე დამოკიდებულ მაგალითებზე.

Privacy Filter არ არის ანონიმიზაციის ინსტრუმენტი, შესაბამისობის სერტიფიკაცია ან პოლიტიკის გადახედვის შემცვლელი მაღალი რისკის გარემოებებში. ის უფრო ფართო privacy-by-design სისტემის ერთ-ერთი კომპონენტია.

მისი ქცევა ასახავს ჭდეების ტაქსონომიას და გადაწყვეტილების საზღვრებს, რომლებზეც გაწვრთნილია. სხვადასხვა ორგანიზაციას შეიძლება განსხვავებული აღმოჩენის ან დაფარვის პოლიტიკა სურდეს, და ამ პოლიტიკებს შეიძლება დომენის შიდა შეფასება ან დამატებითი დახვეწა დასჭირდეს. შედეგები ასევე შეიძლება იცვლებოდეს ენების, დამწერლობების, სახელდების კონვენციებისა და იმ დომენების მიხედვით, რომლებიც სასწავლო განაწილებისგან განსხვავდება.

როგორც ყველა მოდელი, Privacy Filter-საც შეუძლია შეცდომების დაშვება. მან შეიძლება გამოტოვოს იშვიათი იდენტიფიკატორები ან ორაზროვანი პირადი მიმართებები და შეიძლება ერთეულები ზედმეტად ან არასაკმარისად დარედაქტიროს, როცა კონტექსტი შეზღუდულია, განსაკუთრებით მოკლე მიმდევრობებში. მაღალი მგრძნობელობის დომენებში, როგორიცაა იურიდიული, სამედიცინო და ფინანსური სამუშაო პროცესები, ადამიანური გადახედვა, დომენზე სპეციფიკური შეფასება და დახვეწა კვლავ მნიშვნელოვანია.

ჩვენ ვაქვეყნებთ OpenAI Privacy Filter-ს, რათა ეკოსისტემის მასშტაბით უფრო ძლიერი კონფიდენციალურობის დაცვა დავუჭიროთ მხარი.

მოდელი უკვე ხელმისაწვდომია Apache 2.0 ლიცენზიით Hugging Face⁠(იხსნება ახალ ფანჯარაში)-სა და Github⁠(იხსნება ახალ ფანჯარაში)-ზე. ის განკუთვნილია ექსპერიმენტებისთვის, მორგებისა და კომერციული დანერგვისთვის, და შესაძლებელია მისი დახვეწა მონაცემთა სხვადასხვა განაწილებისა და კონფიდენციალურობის პოლიტიკებისთვის.

მოდელთან ერთად ვაზიარებთ დოკუმენტაციას, რომელიც მოიცავს მოდელის არქიტექტურას, ჭდეების ტაქსონომიას, დეკოდირების კონტროლებს, განზრახულ გამოყენების შემთხვევებს, შეფასების კონფიგურაციასა და ცნობილ შეზღუდვებს, რათა გუნდებმა გაიგონ როგორც ის, რას აკეთებს მოდელი კარგად, ისე ისიც, სად უნდა იქნას ის ფრთხილად გამოყენებული.

AI სისტემებისთვის კონფიდენციალურობის დაცვა უწყვეტი ძალისხმევაა, რომელიც მოიცავს კვლევას, პროდუქტის დიზაინს, შეფასებას და დანერგვას.

Privacy Filter ასახავს ერთ მიმართულებას, რომელიც ჩვენ მნიშვნელოვნად მიგვაჩნია: მცირე, ეფექტიანი მოდელები ვიწროდ განსაზღვრულ ამოცანებში მოწინავე შესაძლებლობებით, რომლებიც რეალური AI სისტემებისთვის მნიშვნელოვანია. მას ვაქვეყნებთ, რადგან გვგონია, რომ კონფიდენციალურობის დამცავი ინფრასტრუქტურა უფრო მარტივად შესამოწმებელი, გასაშვები, მოსარგები და გასაუმჯობესებელი უნდა იყოს.

ჩვენი მიზანია, მოდელებმა ისწავლონ სამყაროს შესახებ და არა კერძო პირების შესახებ. Privacy Filter ამის შესაძლებელს გახდომაში გვეხმარება.

Privacy Filter-ის ამ preview-ს ვაქვეყნებთ, რათა კვლევითი და კონფიდენციალურობის საზოგადოებისგან უკუკავშირი მივიღოთ და მოდელის მუშაობა კიდევ უფრო გავაუმჯობესოთ.