Iepazīstinām ar OpenAI Privātuma Filtru

Šodien mēs izlaižam OpenAI Privacy Filter — atvērtā svara modeli, kas paredzēts personu identificējošas informācijas (PII) noteikšanai un rediģēšanai tekstā. Šis laidiens ir daļa no mūsu plašākiem centieniem atbalstīt noturīgāku programmatūras ekosistēmu, nodrošinot izstrādātājiem praktisku infrastruktūru drošai izstrādei ar MI, tostarp rīkus⁠ un modeļus⁠, kas jau no paša sākuma atvieglo stingru privātuma un drošības aizsardzības pasākumu ieviešanu.

Privacy Filter ir neliels modelis ar robežšķirtnes personas datu noteikšanas spēju. Tas ir izstrādāts augstas caurlaidspējas privātuma darbplūsmām un spēj veikt kontekstu apzinošu PII noteikšanu nestrukturētā tekstā. Tas var darboties lokāli, kas nozīmē, ka PII var tikt maskēti vai rediģēti, neatstājot tavu ierīci. Tas efektīvi apstrādā garas ievades, vienā ātrā ciklā pieņemot lēmumus par sensitīvās informācijas aizklāšanu.

OpenAI mēs savās privātumu aizsargājošajās darbplūsmās izmantojam precīzi pielāgotu Privacy Filter versiju. Mēs izstrādājām Privacy Filter, jo uzskatījām, ka, izmantojot jaunākās MI iespējas, varētu paaugstināt privātuma standartu, pārsniedzot to, kas jau bija pieejams tirgū. Privacy Filter versija, ko mēs izlaižam šodien, sasniedz visaugstāko veiktspēju PII-Masking-300k etalonā, ja ņem vērā novērtēšanas laikā identificētās anotāciju problēmas.

Līdz ar šo laidienu izstrādātāji var darbināt Privacy Filter savā vidē, precīzi pielāgot to saviem lietošanas gadījumiem un ieviest stingrākus privātuma aizsardzības pasākumus apmācības, indeksēšanas, reģistrēšanas un pārskatīšanas procesos.

Privātuma aizsardzība mūsdienu MI sistēmās ir atkarīga ne tikai no šablonu atbilstības noteikšanas. Tradicionālie PII noteikšanas rīki bieži paļaujas uz deterministiskiem noteikumiem tādiem formātiem kā tālruņa numuri un e‑pasta adreses. Tie var labi darboties šauros gadījumos, taču bieži vien nepamana smalkāku personisko informāciju, un tiem ir grūti ņemt vērā kontekstu.

Privātuma filtrs ir veidots ar padziļinātu valodas un konteksta izpratni, lai nodrošinātu niansētāku veiktspēju. Apvienojot padziļinātu valodas izpratni ar privātumam specifisku marķēšanas sistēmu, tas var noteikt plašāku PII klāstu nestrukturētā tekstā, tostarp gadījumus, kad pareizais lēmums ir atkarīgs no konteksta. Tas var labāk atšķirt informāciju, kas būtu jāsaglabā, jo tā ir publiska, no informācijas, kas būtu jāmaskē vai jārediģē, jo tā attiecas uz privātpersonu.

Rezultāts ir modelis, kas ir pietiekami jaudīgs, lai nodrošinātu robežšķirtnes privātuma filtrēšanas veiktspēju. Vienlaikus modelis ir pietiekami mazs, lai to varētu darbināt lokāli, kas nozīmē, ka dati, kas vēl nav filtrēti, var palikt ierīcē, samazinot izpaušanas risku, nevis tos nosūtīt uz serveri deidentificēšanai. 

Privacy Filter ir divvirzienu tekstvienību klasifikācijas modelis ar segmentu dekodēšanu. Tas sākas no autoregresīvi pirmapmācīta kontrolpunkta un pēc tam tiek pielāgots par tekstvienību klasifikatoru fiksētā privātuma kategoriju taksonomijā. Tā vietā, lai ģenerētu tekstu pa tekstvienībai, tas vienā piegājienā marķē ievades virkni un pēc tam dekodē saskanīgus segmentus, izmantojot ierobežotu Viterbi procedūru.

Šī arhitektūra piešķir Privacy Filter dažas noderīgas īpašības izmantošanai ražošanas vidē:

• Ātri un efektīvi: visas tekstvienības tiek marķētas vienā tiešajā izpildē.
• Kontekstuāli apzināts: iepriekšējā valoda ļauj noteikt PII fragmentus, pamatojoties uz apkārtējo kontekstu.
• Garš konteksts: izlaistais modelis atbalsta līdz 128 000 tekstvienību kontekstā.
• Konfigurējams: izstrādātāji var pielāgot darbības punktus, lai līdzsvarotu atsaukšanu un precizitāti atbilstoši savai darbplūsmai.

Izlaistajam modelim ir 1,5 miljardi kopējo parametru, no kuriem 50 miljoni ir aktīvie parametri.

Privacy Filter prognozē fragmentus astoņās kategorijās:

• private_person
• privāta_adrese
• privāts_e-pasts
• privāts_tālrunis
• private_url
• private_date
• konta numurs
• noslēpums

Kategorija account_number palīdz maskēt dažādus kontu numuru veidus, tostarp bankas informāciju, piemēram, kredītkaršu numurus un bankas kontu numurus, savukārt secret palīdz maskēt tādas lietas kā paroles un API atslēgas.

Šīs etiķetes tiek dekodētas ar BIOES span tagiem, kas palīdz iegūt tīrākas un saskaņotākas maskēšanas robežas.

Mēs izstrādājām Privātuma Filtru vairākos posmos.

Vispirms mēs izveidojām privātuma taksonomiju, kas definē teksta fragmentu tipus, kurus modelim būtu jāatpazīst. Tas ietver personu identificējošu informāciju, kontaktinformāciju, adreses, privātus datumus, dažādu veidu kontu numurus, piemēram, kredītkaršu un bankas kontu informāciju, kā arī slepeno informāciju, piemēram, API atslēgas un paroles.

Otrkārt, mēs pārveidojām iepriekš apmācītu valodas modeli par divvirzienu tekstvienību klasifikatoru, aizstājot valodas modelēšanas slāni ar tekstvienību klasifikācijas slāni un pēc tam to papildus apmācot ar uzraudzītu klasifikācijas mērķi. 

Treškārt, mēs apmācījām, izmantojot publiski pieejamu un sintētisku datu kombināciju, kas paredzēta, lai aptvertu gan reālistisku tekstu, gan sarežģītus privātuma modeļus. Tajās publisko datu daļās, kur iezīmes bija nepilnīgas, mēs izmantojām ar modeļa palīdzību veiktu anotēšanu un pārskatīšanu, lai uzlabotu pārklājumu. Mēs arī ģenerējām sintētiskus piemērus, lai palielinātu daudzveidību dažādos formātos, kontekstos un privātuma apakštipos.

Inferences laikā modeļa tekstvienību līmeņa prognozes tiek dekodētas saskaņotos fragmentos, izmantojot ierobežotu virknes dekodēšanu. Šī pieeja saglabā iepriekš apmācītā modeļa plašo valodas izpratni, vienlaikus specializējot to privātuma noteikšanai.

Mēs novērtējām Privacy Filter standarta etalonos un papildu sintētiskajos un tērzēšanas stila novērtējumos, kas paredzēti sarežģītāku, pret kontekstu jutīgāku gadījumu testēšanai.

PII-Masking-300k⁠(atveras jaunā logā) etalonā Privacy Filter sasniedz F1 rezultātu 96% apmērā (94,04% precizitāte un 98,04% aptvere). Labotā etalona versijā, kurā ir ņemtas vērā datu kopas anotēšanas problēmas, kas tika identificētas pārskatīšanas laikā, F1 rādītājs ir 97,43% (96,79% precizitāte un 98,08% aptvere).

Mēs arī atklājām, ka modelis var efektīvi pielāgoties. Precīza pielāgošana, izmantojot pat nelielu datu apjomu, ātri uzlabo precizitāti konkrētās jomas uzdevumos, palielinot F1 rādītāju no 54 % līdz 96 %, un gandrīz sasniedz piesātinājumu mūsu novērtētajā jomas pielāgošanas etalonā.

Papildus etalonu sniegumam Privacy Filter ir izstrādāts praktiskai privātuma filtrēšanai trokšņainā reālās pasaules tekstā. Tas ietver garus dokumentus, neskaidras atsauces, jaukta formāta virknes un ar programmatūru saistītus noslēpumus. Modeļa kartē ⁠(atveras jaunā logā)ir sniegts arī ziņojums par mērķtiecīgu novērtējumu attiecībā uz noslēpumu noteikšanu koda bāzēs un stresa testiem daudzvalodu, pretinieciskiem un no konteksta atkarīgiem piemēriem.

Privacy Filter nav anonimizācijas rīks, atbilstības sertifikācija vai politiku pārskatīšanas aizstājējs augsta riska situācijās. Tas ir viens no elementiem plašākā sistēmā, kas balstīta uz konfidencialitātes principiem.

Tā uzvedība atspoguļo atzīmju taksonomiju un lēmumu robežlīnijas, uz kurām tā tika apmācīta. Dažādas organizācijas var vēlēties atšķirīgas noteikšanas vai maskēšanas politikas, un šīm politikām var būt nepieciešama novērtēšana konkrētajā jomā vai papildu pielāgošana. Veiktspēja var arī atšķirties dažādās valodās, rakstības sistēmās, nosaukumu konvencijās un jomās, kas atšķiras no apmācības sadalījuma.

Privacy Filter var pieļaut kļūdas tāpat kā visi modeļi. Tas var neuztvert retāk sastopamus identifikatorus vai neskaidras privātas atsauces un var pārmērīgi vai nepietiekami rediģēt entītijas, ja konteksts ir ierobežots, īpaši īsās secībās. Augstas sensitivitātes jomās, piemēram, juridiskās, medicīniskās un finanšu darbplūsmās, cilvēka veikta pārskatīšana un konkrētajai jomai pielāgota novērtēšana un precīza pielāgošana joprojām ir svarīgas.

Mēs izlaižam OpenAI privātuma filtru, lai veicinātu stingrāku privātuma aizsardzību visā ekosistēmā.

Modelis ir pieejams šodien saskaņā ar Apache 2.0 licenci vietnē Hugging Face⁠(atveras jaunā logā) un Github⁠(atveras jaunā logā). Tas ir paredzēts eksperimentēšanai, pielāgošanai un komerciālai ieviešanai, un to var pielāgot dažādiem datu sadalījumiem un privātuma politikām.

Līdztekus modelim mēs piedāvājam dokumentāciju par modeļa arhitektūru, etiķešu taksonomiju, dekodēšanas vadīklām, paredzētajiem lietošanas gadījumiem, novērtēšanas iestatījumiem un zināmajiem ierobežojumiem, lai komandas varētu saprast gan to, ko modelis dara labi, gan to, kur tas jāizmanto piesardzīgi.

Privātuma aizsardzība mākslīgā intelekta sistēmām ir nepārtraukts darbs pētniecības, produktu izstrādes, novērtēšanas un izvietošanas jomās.

Privacy Filter atspoguļo vienu virzienu, kas, mūsuprāt, ir svarīgs: mazi, efektīvi modeļi ar robežšķirtnes līmeņa spējām šauri definētos uzdevumos, kas ir svarīgi reālās pasaules MI sistēmām. Mēs to publicējam, jo uzskatām, ka privātumu aizsargājošai infrastruktūrai vajadzētu būt vieglāk pārbaudāmai, darbināmai, pielāgojamai un uzlabojamai.

Mūsu mērķis ir panākt, lai modeļi apgūtu zināšanas par pasauli, nevis par privātpersonām. Privātuma filtrs palīdz to nodrošināt.

Mēs izlaižam šo Privātuma Filtra priekšskatījumu, lai saņemtu atsauksmes no pētniecības un privātuma kopienas un turpinātu pilnveidot modeļa veiktspēju.