Predstavljamo OpenAI-jev Filtar privatnosti

Danas predstavljamo OpenAI Filtar privatnosti, model s otvorenim težinama za otkrivanje i uklanjanje osobnih podataka (PII) u tekstu. To izdanje dio je našeg šireg nastojanja da podržimo otporniji softverski ekosustav pružanjem razvojnim programerima praktične infrastrukture za sigurnu izgradnju s pomoću umjetne inteligencije, uključujući alate⁠ i modele⁠ koji omogućuju lakšu implementaciju snažne zaštite privatnosti i sigurnosti od samog početka.

Filtar privatnosti mali je model s graničnom mogućnošću otkrivanja osobnih podataka. Dizajniran je za radne tokove za zaštitu privatnosti visoke propusnosti te može provoditi otkrivanje PII-ja u nestrukturiranom tekstu svjesno konteksta. Može raditi lokalno, što znači da se PII može maskirati ili redigirati bez da napuštate vaše računalo. Učinkovito obrađuje duge unose i donosi odluke o redigiranju u jednom brzom prolazu.

U OpenAI-ju upotrebljavamo precizno podešenu verziju alata Filtar privatnosti u vlastitim radnim tokovima koji štite privatnost. Razvili smo Filtar privatnosti jer vjerujemo da smo uz najnovije mogućnosti umjetne inteligencije mogli podići standard privatnosti iznad onoga što već postoji na tržištu. Verzija alata Filtar privatnosti koju danas objavljujemo postiže vrhunske rezultate na referentnom testu PII-Masking-300k, kad se isprave problemi s anotacijama koje smo utvrdili tijekom evaluacije.

S tim izdanjem razvojni inženjeri mogu pokretati Filtar privatnosti u vlastitim okruženjima, prilagoditi ga svojim slučajevima upotrebe i ugraditi snažniju zaštitu privatnosti u procese obuke, indeksiranja, zapisivanja i pregleda.

Zaštita privatnosti u modernim AI sustavima ovisi o više od pukog podudaranja obrazaca. Tradicionalni alati za otkrivanje PII često se oslanjaju na deterministička pravila za formate kao što su brojevi telefona i adrese e-pošte. Mogu dobro funkcionirati u malim brojevima slučajeva, ali često propuste suptilnije osobne informacije i imaju poteškoća s kontekstom.

Filtar privatnosti izrađen je s dubljim razumijevanjem jezika i konteksta za nijansiranije performanse. Kombiniranjem dobrog razumijevanja jezika sa sustavom označavanja specifičnim za privatnost može otkriti širi raspon PII-ja u nestrukturiranom tekstu, uključujući slučajeve u kojima ispravna odluka ovisi o kontekstu. Može bolje razlikovati informacije koje treba očuvati jer su javne i informacije koje treba maskirati ili redigirati jer se odnose na privatnu osobu.

Rezultat je model koji je dovoljno snažan da osigura granične razine performansi filtriranja privatnosti. Istodobno, model je dovoljno malen da se može pokretati lokalno, što znači da podaci koji još nisu filtrirani mogu ostati na uređaju, uz manji rizik od izloženosti, umjesto da se šalju na poslužitelj radi deidentifikacije. 

Filtar privatnosti dvosmjerni je model za klasifikaciju tokena s dekodiranjem raspona. Počinje od autoregresivno predobučene kontrolne točke, a zatim se prilagođava u klasifikator tokena za fiksnu taksonomiju oznaka privatnosti. Umjesto generiranja teksta token po token, označava ulazni niz u jednom prolazu i zatim dekodira koherentne raspone ograničenim postupkom Viterbi.

Ta arhitektura daje Filtru privatnosti nekoliko korisnih svojstava za produkcijsku upotrebu:

• Brzo i učinkovito: Svi tokeni označavaju se u jednom prolazu.
• Svjestan konteksta: Jezični model omogućuje otkrivanje raspona PII na temelju okolnog konteksta.
• Dugi kontekst: Objavljeni model podržava do 128 000 tokena konteksta.
• Prilagodljivo: Razvojni inženjeri mogu podesiti radne točke kako bi postigli kompromis između odziva i preciznosti, ovisno o svojem radnom tijeku.

Objavljeni model ima ukupno 1,5 milijardi parametara, od kojih je 50 milijuna aktivnih.

Filtar privatnosti predviđa segmente u osam kategorija:

• privatna_osoba
• privatna adresa
• privatna_e-pošta
• privatni telefon
• privatni_url
• privatni_datum
• broj_računa
• tajna

Kategorija broj_računa pomaže prikriti širok spektar brojeva računa, uključujući bankovne podatke poput brojeva kreditnih kartica i brojeva bankovnih računa, dok tajna pomaže prikriti podatke poput lozinki i ključeva za API.

Te se oznake dekodiraju pomoću BIOES oznaka raspona, što pomaže u stvaranju čišćih i koherentnijih granica maskiranja.

Razvili smo Filtar privatnosti u nekoliko faza.

Prvo smo izradili taksonomiju privatnosti koja određuje vrste raspona koje model treba prepoznati. To uključuje osobne identifikatore, podatke za kontakt, adrese, privatne datume, razne vrste brojeva računa, poput podataka o kreditnim karticama i bankovnim računima, te povjerljive informacije poput API ključeva i lozinki.

Drugo, prethodno trenirani jezični model pretvorili smo u dvosmjerni klasifikator tokena zamjenom izlaznog sloja za jezično modeliranje slojem za klasifikaciju tokena, a zatim smo ga dodatno trenirali s nadziranim klasifikacijskim ciljem. 

Treće, obučavali smo se na mješavini javno dostupnih i sintetičkih podataka osmišljenih kako bi obuhvatili realističan tekst i složene obrasce privatnosti. U dijelovima javnih podataka gdje su oznake bile nepotpune, koristili smo se modelom potpomognute anotacije i pregleda kako bismo poboljšali pokrivenost. Uz to smo generirali sintetičke primjere kako bismo povećali raznolikost formata, konteksta i podvrsta privatnosti.

Tijekom izvođenja zaključivanja, predviđanja modela na razini tokena dekodiraju se u koherentne segmente upotrebom ograničenog dekodiranja sekvenci. Takav pristup čuva široko jezično razumijevanje prethodno treniranog modela, dok ga istodobno prilagođava za prepoznavanje privatnosti.

Evaluirali smo Filtar privatnosti na standardnim mjerilima te na dodatnim sintetičkim evaluacijama i evaluacijama u stilu čavrljanja, osmišljenima za testiranje težih slučajeva osjetljivijih na kontekst.

Na PII-Masking-300k⁠(otvara se u novom prozoru) referentnom testu, Filtar privatnosti ostvaruje rezultat F1 od 96 % (94,04 % preciznosti i 98,04 % odziva). Na ispravljenoj verziji referentnog testa koja uzima u obzir probleme s anotacijama skupa podataka utvrđene tijekom provjere, rezultat F1 iznosi 97.43 % (96.79 % preciznosti i 98.08 % odziva).

Osim toga otkrili smo da se model može učinkovito prilagoditi. Fino podešavanje čak i na maloj količini podataka brzo poboljšava točnost na zadacima specifičnima za domenu, povećava F1 rezultat s 54 % na 96 % i približava se zasićenju na referentnom testu prilagodbe domeni koji smo procijenili.

Osim rezultata na referentnim testovima, Filtar privatnosti osmišljen je za praktično filtriranje privatnosti u bučnom tekstu iz stvarnog svijeta. To uključuje duge dokumente, nejasne reference, nizove mješovitih formata i tajne povezane sa softverom. Kartica modela ⁠(otvara se u novom prozoru)isto tako izvještava o ciljanoj procjeni otkrivanja tajni u bazama koda i testovima stresa na višejezičnim, adversarialnim i o kontekstu ovisnim primjerima.

Filtar privatnosti nije alat za anonimizaciju, certifikat usklađenosti ni zamjena za pregled politika u visokorizičnim okruženjima. To je jedna komponenta u širem sustavu privatnosti prema dizajnu.

Njegovo ponašanje odražava taksonomiju oznaka i granice odlučivanja na kojima je treniran. Različite organizacije mogu imati različita pravila za otkrivanje ili maskiranje, a ta pravila mogu zahtijevati evaluaciju unutar domene ili dodatno fino podešavanje. Performanse se također mogu razlikovati ovisno o jezicima, pismima, konvencijama imenovanja i domenama koje se razlikuju od distribucije podataka za treniranje.

Kao i svi modeli, Filtar privatnosti može činiti pogreške. Može propustiti neuobičajene identifikatore ili dvosmislene privatne reference te može pretjerano ili nedovoljno redigirati entitete kada je kontekst ograničen, osobito u kratkim nizovima. U vrlo osjetljivim domenama kao što su pravni, medicinski i financijski radni procesi, ljudska provjera te evaluacija specifična za domenu i precizno podešavanje i dalje su od važnosti.

Objavljujemo OpenAI Filtar privatnosti kako bismo podržali snažniju zaštitu privatnosti u cijelom ekosustavu.

Model je danas dostupan pod licencom Apache 2.0 na platformama Hugging Face⁠(otvara se u novom prozoru) i Github⁠(otvara se u novom prozoru). Namijenjen je za eksperimentiranje, prilagodbu i komercijalnu implementaciju te se može fino podesiti za različite distribucije podataka i pravilnike o zaštiti privatnosti.

Uz model dijelimo dokumentaciju koja obuhvaća arhitekturu modela, taksonomiju oznaka, kontrole dekodiranja, predviđene slučajeve upotrebe, postavke evaluacije i poznata ograničenja, kako bi timovi mogli razumjeti u čemu je model uspješan i gdje ga je potrebno upotrebljavati s oprezom.

Zaštita privatnosti sustava umjetne inteligencije kontinuirani je proces u istraživanju, dizajnu proizvoda, evaluaciji i implementaciji.

Filtar privatnosti odražava smjer koji smatramo važnim: mali, učinkoviti modeli s graničnim mogućnostima u usko definiranim zadacima važnim za AI sustave iz stvarnog svijeta. Objavljujemo taj model zato što smatramo da bi infrastruktura koja štiti privatnost trebala biti lakša za pregledavanje, pokretanje, prilagođavanje i poboljšavanje.

Naš je cilj da modeli uče o svijetu, a ne o privatnim osobama. Filtar privatnosti pomaže to ostvariti.

Objavljujemo ovaj pretprikaz Filtra privatnosti kako bismo prikupili povratne informacije od istraživačke zajednice i zajednice za zaštitu privatnosti te dodatno unaprijedili performanse modela.