Pristatome „OpenAI Privacy Filter“

Šiandien išleidžiame „OpenAI Privacy Filter“ – atvirųjų svorių modelį, skirtą asmenį identifikuojančiai informacijai tekste aptikti ir užmaskuoti. Šis pristatymas yra platesnių mūsų pastangų sukurti atsparesnę programinės įrangos ekosistemą dalis, suteikiant kūrėjams praktišką infrastruktūrą saugiam DI kūrimui. Tai apima įrankius⁠ ir modelius⁠, kurie leidžia nuo pat pradžių lengviau įdiegti tvirtą privatumo ir saugumo apsaugą.

„Privacy Filter“ – tai nedidelis modelis, pasižymintis pažangiausiomis asmens duomenų aptikimo galimybėmis. Jis sukurtas didelio našumo privatumo darbo procesams ir geba atlikti kontekstinį asmenį identifikuojančios informacijos aptikimą nesusistemintame tekste. Jį galima paleisti vietoje – tai reiškia, kad asmenį identifikuojanti informacija gali būti paslėpta ar užmaskuota duomenims nepaliekant jūsų įrenginio. Jis veiksmingai apdoroja ilgus tekstus, priimdamas sprendimus dėl maskavimo greitai, vienu nuskaitymu.

„OpenAI“ savo privatumą užtikrinančiuose darbo procesuose naudoja papildomai pritaikytą „Privacy Filter“ versiją. Sukūrėme „Privacy Filter“, nes tikime, kad naudodami naujausias DI galimybes galime pakelti privatumo standartą aukščiau to, kas iki šiol buvo rinkoje. Šiandien pristatoma „Privacy Filter“ versija pasiekia geriausius rezultatus „PII-Masking-300k“ lyginamajame teste, pašalinus žymėjimo problemas, kurias nustatėme vertinimo metu.

Dabar kūrėjai gali paleisti „Privacy Filter“ savo aplinkose, papildomai jį pritaikyti savo poreikiams ir įdiegti tvirtesnę privatumo apsaugą mokymo, indeksavimo, registravimo ir peržiūros procesuose.

Privatumo apsauga moderniose DI sistemose priklauso ne tik nuo modelių derinimo. Tradiciniai asmenį identifikuojančios informacijos aptikimo įrankiai dažnai remiasi deterministinėmis taisyklėmis tokiems formatams kaip telefonų numeriai ar el. pašto adresai. Jie gali gerai veikti siaurais atvejais, tačiau dažnai nepastebi subtilesnės asmeninės informacijos ir sunkiai prisitaiko prie konteksto.

„Privacy Filter“ sukurtas taip, kad geriau suprastų kalbą ir kontekstą – tai užtikrina subtilesnį veikimą. Derindamas puikų kalbos supratimą su privatumui pritaikyta žymėjimo sistema, jis gali aptikti įvairesnius asmenį identifikuojančios informacijos elementus nesusistemintame tekste, įskaitant atvejus, kai teisingas sprendimas priklauso nuo konteksto. Jis gali geriau atskirti informaciją, kurią reikėtų išsaugoti, nes ji yra vieša, nuo tos, kurią reikėtų paslėpti arba užmaskuoti, nes ji susijusi su privačiu asmeniu.

Rezultatas – modelis, kuris yra pakankamai galingas, kad užtikrintų aukščiausio lygio privatumo filtravimo našumą. Kartu modelis yra pakankamai mažas, kad jį būtų galima paleisti vietoje – tai reiškia, kad dar neišfiltruoti duomenys gali likti įrenginyje (taip sumažinama nutekėjimo rizika), užuot siuntus juos į serverį nuasmeninti.

„Privacy Filter“ yra dvikryptis žetonų klasifikavimo modelis su segmentų dekodavimu. Jis prasideda nuo autoregresinio iš anksto apmokyto bazinio modelio ir tada pritaikomas kaip žetonų klasifikatorius fiksuotoje privatumo žymų taksonomijoje. Užuot generavęs tekstą žetonas po žetono, jis vienu nuskaitymu pažymi įvesties seką, o paskui, naudodamas ribotą Viterbi procedūrą, dekoduoja nuoseklius segmentus.

Dėl šios architektūros „Privacy Filter“ įgauna keletą naudingų savybių, pritaikytų naudoti realiomis sąlygomis:

• Greitas ir našus: visi žetonai pažymimi vienu tiesioginiu nuskaitymu.
• Atpažįsta kontekstą: išankstinis kalbos apdorojimas leidžia aptikti asmenį identifikuojančios informacijos segmentus remiantis supančiu kontekstu.
• Ilgas kontekstas: išleistas modelis palaiko iki 128 tūkst. konteksto žetonų.
• Konfigūruojamas: kūrėjai gali reguliuoti veikimo parametrus ir pasirinkti tinkamiausią aprėpties ir tikslumo santykį, atsižvelgdami į savo darbo procesus.

Šis modelis turi iš viso 1,5 mlrd. parametrų, iš kurių 50 mln. yra aktyvūs.

„Privacy Filter“ prognozuoja segmentus aštuoniose kategorijose:

• private_person
• private_address
• private_email
• private_phone
• private_url
• private_date
• account_number
• secret

Kategorija account_number padeda paslėpti įvairius paskyrų numerius, įskaitant banko informaciją, pavyzdžiui, kredito kortelių ir banko sąskaitų numerius, o secret padeda paslėpti tokią informaciją kaip slaptažodžiai ir API raktai.

Šios žymos dekoduojamos naudojant BIOES segmentų žymes, kurios padeda sukurti aiškesnes ir nuoseklesnes maskavimo ribas.

„Privacy Filter“ kūrėme keliais etapais.

Pirmiausia sukūrėme privatumo taksonomiją, kurioje apibrėžiami segmentų, kuriuos modelis turėtų aptikti, tipai. Tai apima asmens identifikatorius, kontaktinius duomenis, adresus, privačias datas, daugybę įvairių paskyrų numerių, pavyzdžiui, kredito ir banko informaciją, bei slaptus duomenis, tokius kaip API raktai ir slaptažodžiai.

Antra, iš anksto apmokytą kalbos modelį pavertėme dvikrypčiu žetonų klasifikatoriumi – tam kalbos modeliavimo galvutę pakeitėme žetonų klasifikavimo galvute ir atlikome papildomą derinimą naudodami prižiūrimo klasifikavimo tikslą.

Trečia, modelį mokėme naudodami viešai prieinamų ir sintetinių duomenų mišinį, sukurtą taip, kad apimtų tiek realistinį tekstą, tiek sudėtingus privatumo šablonus. Tose viešųjų duomenų dalyse, kur žymos buvo neišsamios, aprėpčiai pagerinti naudojome modelio padedamą žymėjimą ir peržiūrą. Taip pat sugeneravome sintetinių pavyzdžių, kad padidintume formatų, kontekstų ir privatumo potipių įvairovę.

Modelio vykdymo metu žetonų lygio prognozės dekoduojamos į nuoseklius segmentus naudojant ribotą sekų dekodavimą. Šis metodas išsaugo platų iš anksto apmokyto modelio kalbos supratimą ir kartu pritaiko jį privatumui aptikti.

Įvertinome „Privacy Filter“ pagal standartinius lyginamuosius testus ir papildomus sintetinius bei pokalbių stiliaus vertinimus, skirtus sudėtingesniems, nuo konteksto priklausantiems atvejams išbandyti.

Atliekant PII-Masking-300k⁠(atsidaro naujame lange) lyginamąjį testą, „Privacy Filter“ pasiekia 96 proc. F1 balą (94,04 proc. tikslumas ir 98,04 proc. aprėptis). Ištaisytoje testo versijoje, kurioje atsižvelgiama į peržiūros metu nustatytas duomenų rinkinio žymėjimo problemas, F1 balas yra 97,43 proc. (96,79 proc. tikslumas ir 98,08 proc. aprėptis).

Taip pat nustatėme, kad modelį galima veiksmingai pritaikyti. Papildomas derinimas net ir naudojant nedidelį kiekį duomenų greitai pagerina tikslumą atliekant konkrečios srities užduotis, padidindamas F1 balą nuo 54 proc. iki 96 proc. ir priartėdamas prie prisotinimo lygio vertintame srities pritaikymo teste.

Be rezultatų lyginamuosiuose testuose, „Privacy Filter“ sukurtas praktiškam privatumo filtravimui triukšmingame, realaus pasaulio tekste. Tai apima ilgus dokumentus, dviprasmiškas nuorodas, mišraus formato eilutes ir su programine įranga susijusius slaptus duomenis. Modelio kortelėje⁠(atsidaro naujame lange) taip pat pateikiamas tikslinis slaptų duomenų aptikimo kodo bazėse įvertinimas ir testavimas ekstremaliomis sąlygomis su daugiakalbiais, priešiškais ir nuo konteksto priklausančiais pavyzdžiais.

„Privacy Filter“ nėra anonimizavimo priemonė, atitikties sertifikatas ar politikos peržiūros pakaitalas didelės rizikos aplinkose. Tai vienas iš platesnės privatumo pritaikymo sistemos komponentų.

Jo veikimas atspindi žymų taksonomiją ir sprendimų ribas, remiantis kuriomis jis buvo apmokytas. Skirtingos organizacijos gali pageidauti skirtingų aptikimo ar maskavimo politikų, o joms gali prireikti vidaus vertinimo arba papildomo derinimo. Našumas taip pat gali skirtis priklausomai nuo kalbų, raštų, pavadinimų sudarymo taisyklių ir sričių, kurios skiriasi nuo mokymo duomenų.

Kaip ir visi modeliai, „Privacy Filter“ gali daryti klaidų. Jis gali praleisti retus identifikatorius ar dviprasmiškas privačias nuorodas, taip pat gali per daug arba per mažai užmaskuoti subjektus, kai kontekstas ribotas, ypač trumpose sekose. Itin jautriose srityse, apimančiose teisinius, medicininius ir finansinius darbo procesus, žmogaus atliekama peržiūra ir konkrečiai sričiai pritaikytas vertinimas bei derinimas išlieka svarbūs.

Išleidžiame „OpenAI Privacy Filter“, kad palaikytume stipresnę privatumo apsaugą visoje ekosistemoje.

Modelį jau šiandien galima rasti su „Apache 2.0“ licencija platformose „Hugging Face“⁠(atsidaro naujame lange) ir „Github“⁠(atsidaro naujame lange). Jis skirtas eksperimentams, tinkinimui ir komerciniam diegimui, jį galima papildomai derinti su įvairiais duomenų rinkiniais ir privatumo politikomis.

Kartu su modeliu dalijamės dokumentacija, apimančia modelio architektūrą, žymų taksonomiją, dekodavimo valdiklius, numatomus naudojimo atvejus, vertinimo sąranką ir žinomus apribojimus, kad komandos suprastų, ką modelis daro gerai ir kur jį reikėtų naudoti atsargiai.

DI sistemų privatumo apsauga yra nuolatinis procesas tyrimų, produkto kūrimo, vertinimo ir diegimo srityse.

„Privacy Filter“ atspindi vieną kryptį, kurią laikome svarbia: maži, našūs modeliai, pasižymintys pažangiausiomis galimybėmis siaurai apibrėžtose užduotyse, kurios yra svarbios realaus pasaulio DI sistemoms. Išleidžiame jį, nes manome, kad privatumą užtikrinančią infrastruktūrą turėtų būti lengviau patikrinti, paleisti, pritaikyti ir tobulinti.

Mūsų tikslas – kad modeliai mokytųsi apie pasaulį, o ne apie privačius asmenis. „Privacy Filter“ padeda tai įgyvendinti.

Išleidžiame šią bandomąją „Privacy Filter“ versiją siekdami sulaukti mokslinių tyrimų bei privatumo srities bendruomenės grįžtamojo ryšio ir toliau tobulinti modelio našumą.