Predstavljamo OpenAI-jev filter zasebnosti

Danes predstavljamo OpenAI-jev filter zasebnosti, model z odprtimi utežmi za zaznavanje in odstranjevanje podatkov, ki omogočajo identifikacijo osebe v besedilu. Ta izdaja je del naših širših prizadevanj za podporo bolj odpornemu ekosistemu programske opreme z zagotavljanjem praktične infrastrukture razvijalcem za varno delo z umetno inteligenco, vključno z orodji⁠ in modeli⁠, ki že od samega začetka pomagajo pri uvajanju močnih zaščit zasebnosti in varnosti.

Filter zasebnosti je manjši model z zmožnostjo naprednega zaznavanja osebnih podatkov. Zasnovan je za delovne tokove z visoko prepustnostjo na področju zasebnosti in omogoča zaznavanje podatkov, ki omogočajo identifikacijo osebe v nestrukturiranem besedilu ob upoštevanju konteksta. Deluje lahko lokalno, kar pomeni, da je mogoče podatke, ki omogočajo identifikacijo osebe, maskirati ali odstraniti, ne da bi pri tem podatki zapustili vaš računalnik. Učinkovito obdeluje dolge vnose ter sprejema odločitve o odstranjevanje med enim samim hitrim pregledom.

Pri OpenAI uporabljamo natančno prilagojeno različico filtra zasebnosti v naših potekih dela za varovanje zasebnosti. Filter zasebnosti smo razvili, ker verjamemo, da lahko z najnovejšimi zmogljivostmi umetne inteligence dvignemo standard zasebnosti nad to, kar je že na trgu. Različica filtra zasebnosti ki jo danes izdajamo, dosega najsodobnejšo zmogljivost na merilu PII-Masking-300k, ob upoštevanju popravkov težav z anotacijami, ki smo jih prepoznali med evalvacijo.

S to izdajo lahko razvijalci zaženejo Privacy Filter v svojih okoljih, ga prilagodijo po meri svojim primerom uporabe ter vgradijo močnejše zaščite zasebnosti v procese učenja, indeksiranja, beleženja in pregleda.

Zaščita zasebnosti v sodobnih sistemih umetne inteligence je odvisna od več kot zgolj ujemanja vzorcev. Tradicionalna orodja za zaznavanje podatkov, ki omogočajo identifikacijo osebe, se pogosto zanašajo na deterministična pravila za oblike, kot so telefonske številke in e-poštni naslovi. Dobro delujejo pri ozkih primerih, vendar pogosto spregledajo subtilnejše osebne podatke in se težko spopadajo s kontekstom.

Orodje Privacy Filter je zasnovano s poglobljenim razumevanjem jezika in konteksta za bolj prefinjeno delovanje. Z združevanjem naprednega razumevanja jezika in sistema označevanja, prilagojenega varovanju zasebnosti, lahko zazna širši spekter podatkov, ki omogočajo identifikacijo osebe, v nestrukturiranem besedilu, tudi v primerih, kjer je pravilna odločitev odvisna od konteksta. Lahko bolje razlikuje med informacijami, ki jih je treba ohraniti, ker so javne, in informacijami, ki jih je treba prikriti ali odstraniti, ker se nanašajo na zasebnika.

Rezultat je model, ki je dovolj zmogljiv za zagotavljanje prelomne zmogljivosti filtriranja zasebnosti. Hkrati je model dovolj majhen, da ga je mogoče poganjati lokalno, kar pomeni, da lahko nefiltrirani podatki ostanejo v napravi z manjšim tveganjem izpostavljenosti, namesto da bi jih bilo treba poslati na strežnik za anonimizacijo. 

Privacy Filter je dvosmerni model za klasifikacijo žetonov z dekodiranjem razponov. Začne se iz predhodno usposobljene avtoregresivne kontrolne točke in se nato prilagodi v klasifikator žetonov nad fiksno taksonomijo oznak zasebnosti. Namesto ustvarjanja besedila žeton za žetonom v enem prehodu označi vhodno zaporedje, nato pa z omejenim postopkom Viterbi dekodira koherentne razpone.

Ta arhitektura daje filtru zasebnosti nekaj uporabnih lastnosti za uporabo v produkciji:

• Hitro in učinkovito: vsi žetoni so označeni v enem samem prehodu.
• Upošteva kontekst: predhodni jezikovni model omogoča zaznavanje podatkov, ki omogočajo identifikacijo osebe na podlagi okoliškega konteksta.
• Dolg kontekst: izdani model podpira do 128 000 žetonov konteksta.
• Prilagodljivo: razvijalci lahko prilagodijo delovne točke, da uravnotežijo priklic in natančnost glede na svoj potek dela.

Objavljeni model ima skupaj 1,5 milijarde parametrov, od tega je 50 milijonov aktivnih.

Filter zasebnosti napoveduje obsege v osmih kategorijah:

• private_person
• private_address
• private_email
• private_phone
• private_url
• private_date
• account_number
• secret

Kategorija account_number pomaga prikriti širok nabor številk računov, vključno z bančnimi podatki, kot so številke kreditnih kartic in številke bančnih računov, medtem ko secret pomaga prikriti stvari, kot so gesla in ključi API.

Te oznake so dekodirane z oznakami razponov BIOES, kar pomaga ustvariti čistejše in bolj koherentne meje za maskiranje.

Filter zasebnosti smo razvili v več fazah.

Najprej smo ustvarili taksonomijo zasebnosti, ki določa vrste razponov, ki jih mora model zaznati. To vključuje osebne identifikatorje, kontaktne podatke, naslove, zasebne datume, številne različne vrste številk računov, kot so podatki o kreditnih karticah in bančni podatki, ter skrivnosti, kot so ključi API in gesla.

Drugič, predhodno naučen jezikovni model smo pretvorili v dvosmerni klasifikator žetonov, tako da smo glavo za jezikovno modeliranje zamenjali z glavo za klasifikacijo žetonov in ga nato dodatno učili z nadzorovanim klasifikacijskim ciljem. 

Tretjič, usposabljali smo na mešanici javno dostopnih in sintetičnih podatkov, zasnovanih tako, da zajamejo tako realistično besedilo kot zahtevne vzorce zasebnosti. V delih javnih podatkov, kjer oznake niso bile popolne, smo za izboljšanje pokritosti uporabili označevanje in pregled s pomočjo modela. Ustvarili smo tudi sintetične primere, da bi povečali raznolikost med formati, konteksti in podvrstami zasebnosti.

Med izvajanjem inferenc se napovedi modela na ravni žetonov pretvorijo v smiselne razpone z uporabo omejenega dekodiranja zaporedij. Ta pristop ohranja široko razumevanje jezika pri predhodno naučenem modelu, hkrati pa ga prilagaja za zaznavanje zasebnosti.

Filter zasebnosti smo ocenili na standardnih merilih ter na dodatnih sintetičnih ocenah in ocenah v slogu klepeta, zasnovanih za preizkušanje zahtevnejših primerov, bolj občutljivih na kontekst.

Na merilu PII-Masking-300k⁠(odpre se v novem oknu) filter zasebnosti doseže F1 rezultat 96 % (94,04 % natančnost in 98,04 % priklic). Pri popravljeni različici primerjalnega merila, ki upošteva težave pri označevanju podatkovne zbirke, ugotovljene med pregledom, je rezultat F1 97,43 % (96,79 % natančnost in 98,08 % priklic).

Ugotovili smo tudi, da je model mogoče učinkovito prilagoditi. Fina nastavitev že na majhni količini podatkov hitro izboljša natančnost pri nalogah, specifičnih za določeno področje, pri čemer se rezultat F1 poveča s 54 % na 96 % in se približa nasičenju na primerjalnem preizkusu prilagajanja področju, ki smo ga ovrednotili.

Poleg zmogljivosti na primerjalnih testih je filter zasebnosti zasnovan za praktično filtriranje zasebnosti v hrupnem besedilu iz resničnega sveta. To vključuje dolge dokumente, dvoumne sklice, nize v mešani obliki in skrivnosti, povezane s programsko opremo. Sistemski dokument modela ⁠(odpre se v novem oknu)vsebuje tudi ciljno ocenjevanje odkrivanja skrivnosti v kodnih bazah ter stresne teste na večjezičnih, kontradiktornih in od konteksta odvisnih primerih.

Filter zasebnosti ni orodje za psevdonimizacijo, potrdilo o skladnosti niti nadomestilo za pregled pravilnikov v okoljih z visokim tveganjem. Je eden od sestavnih delov širšega sistema zasebnosti pri načrtovanju.

Njegovo vedenje odraža taksonomijo oznak in meje odločanja, ki so bile uporabljene pri njegovem usposabljanju. Različne organizacije lahko želijo različne politike zaznavanja ali prikrivanja, ki lahko zahtevajo vsebinsko specifično vrednotenje ali dodatno prilagajanje. Zmogljivost se lahko razlikuje med jeziki, pisavami, poimenovalnimi konvencijami in domenami, ki se razlikujejo od porazdelitve učnih podatkov.

Tako kot vsi modeli se filter zasebnosti lahko tudi zmoti. Lahko spregleda neobičajne identifikatorje ali dvoumne zasebne reference ter podatke preveč ali premalo prikrije, kadar je sobesedilo omejeno, zlasti v kratkih zaporedjih. Na zelo občutljivih področjih, kot so pravni, medicinski in finančni delovni tokovi, ostajajo človeški pregled ter evalvacija, specifična za domeno, in natančno prilagajanje pomembni.

Predstavljamo OpenAI-jev filter zasebnosti za okrepitev zaščite zasebnosti v celotnem ekosistemu.

Model je od danes na voljo pod licenco Apache 2.0 na Hugging Face⁠(odpre se v novem oknu) in Github⁠(odpre se v novem oknu). Namenjen je eksperimentiranju, prilagajanju in komercialni uvedbi, prilagoditi pa ga je mogoče različnim porazdelitvam podatkov in pravilnikom o zasebnosti.

Skupaj z modelom delimo tudi dokumentacijo, ki zajema arhitekturo modela, taksonomijo oznak, kontrolnike dekodiranja, predvidene primere uporabe, postavitev vrednotenja in znane omejitve, da lahko ekipe razumejo tako, v čem je model dober, kot tudi, kje ga je treba uporabljati previdno.

Varovanje zasebnosti sistemov umetne inteligence je stalno prizadevanje na področju raziskav, oblikovanja produktov, evalvacije in uvajanja.

Filter zasebnosti odraža eno od smeri, za katere verjamemo, da so pomembne: majhni, učinkoviti modeli s prelomnimi zmogljivostmi pri ozko opredeljenih nalogah, ki so pomembne za resnične sisteme umetne inteligence. Objavljamo ga, ker menimo, da bi morala biti infrastruktura, ki varuje zasebnost, lažja za pregledovanje, izvajanje, prilagajanje in izboljševanje.

Naš cilj je, da se modeli učijo o svetu, ne pa o zasebnih posameznikih. Filter zasebnosti pomaga to omogočiti.

To predogledno različico filtra zasebnosti izdajamo, da pridobimo povratne informacije skupine, ki je odgovorna za raziskovanje in zasebnost, ter nadalje izboljšamo zmogljivost modela.