Predstavujeme filter ochrany súkromia OpenAI

Dnes uvádzame na trh filter ochrany súkromia OpenAI (OpenAI Privacy Filter) – open-weight model na detekciu a maskovanie osobne identifikovateľných údajov (PII) v texte. Toto vydanie je súčasťou nášho širšieho úsilia podporiť odolnejší softvérový ekosystém poskytovaním praktickej infraštruktúry vývojárom na bezpečné vytváranie riešení s využitím umelej inteligencie vrátane nástrojov⁠ a modelov⁠, ktoré uľahčujú zavedenie dôslednej ochrany súkromia a bezpečnosti od samého začiatku.

Privacy Filter je malý model s prelomovou schopnosťou detekcie osobných údajov. Je navrhnutý pre pracovné postupy ochrany súkromia s vysokou priepustnosťou a dokáže vykonávať kontextovo orientovanú detekciu PII v neštruktúrovanom texte. Môže bežať lokálne, čo znamená, že osobne identifikovateľné údaje môžu byť maskované alebo zneprístupnené bez toho, aby opustili vaše zariadenie. Efektívne spracúva dlhé vstupy a prijíma rozhodnutia o maskovaní v jednom rýchlom priechode.

V OpenAI používame doladenú verziu nástroja Privacy Filter vo vlastných pracovných postupoch zameraných na ochranu súkromia. Privacy Filter sme vyvinuli, pretože veríme, že najnovšie možnosti umelej inteligencie môžu posunúť štandard ochrany súkromia nad rámec toho, čo už je na trhu. Verzia Privacy Filtra, ktorú dnes uvádzame, dosahuje špičkový výkon na benchmarku PII-Masking-300k po zohľadnení problémov s anotáciami identifikovanými počas hodnotenia.

S touto verziou môžu vývojári spúšťať Privacy Filter vo vlastných prostrediach, doladiť ho pre svoje prípady použitia a zaviesť silnejšiu ochranu súkromia do procesov trénovania, indexovania, zaznamenávania a kontroly.

Ochrana súkromia v moderných systémoch umelej inteligencie nezávisí len od porovnávania vzorov. Tradičné nástroje na detekciu osobne identifikovateľných údajov sa často spoliehajú na deterministické pravidlá pre formáty, ako sú telefónne čísla a e-mailové adresy. Môžu dobre fungovať pri úzko vymedzených prípadoch, ale často prehliadajú jemnejšie osobné informácie a majú problémy s kontextom.

Privacy Filter je navrhnutý s hlbším porozumením jazyka a kontextu pre jemnejší výkon. Kombináciou pokročilého porozumenia jazyka so systémom označovania špecifickým pre ochranu súkromia dokáže rozpoznať širší rozsah osobne identifikovateľných údajov v neštruktúrovanom texte vrátane prípadov, kde správne rozhodnutie závisí od kontextu. Dokáže lepšie rozlišovať medzi informáciami, ktoré by sa mali zachovať, pretože sú verejné, a tými, ktoré by sa mali maskovať alebo redigovať, pretože sa týkajú súkromnej osoby.

Výsledkom je model, ktorý má dostatočnú kapacitu na dosiahnutie prelomového výkonu pri filtrovaní ochrany súkromia. Zároveň je model dostatočne malý na to, aby sa dal spúšťať lokálne – čo znamená, že údaje, ktoré ešte neboli filtrované, môžu zostať na zariadení s nižším rizikom odhalenia namiesto toho, aby sa museli odosielať na server na odosobnenie. 

Privacy Filter je obojsmerný model na klasifikáciu tokenov s dekódovaním rozsahov. Začína sa z autoregresívneho predtrénovaného checkpointu a následne sa adaptuje na klasifikátor tokenov nad pevne stanovenou taxonómiou štítkov ochrany súkromia. Namiesto generovania textu tokenu po tokene označí vstupnú sekvenciu v jednom kroku a potom dekóduje súvislé úseky pomocou obmedzeného postupu Viterbiho algoritmu.

Táto architektúra dáva filtru ochrany súkromia niekoľko užitočných vlastností na použitie v produkcii:

• Rýchle a efektívne: všetky token sú označené jedným prechodom vpred.
• Kontextovo orientované: predchádzajúci jazykový vstup umožňuje detegovať úseky osobne identifikovateľných údajov na základe súvisiaceho kontextu.
• Dlhý kontext: vydaný model podporuje až 128 000 tokenov kontextu.
• Konfigurovateľné: vývojári môžu upraviť prevádzkové body a nastaviť kompromis medzi mierou vybavenia a presnosťou v závislosti od svojho pracovného postupu.

Zverejnený model má celkovo 1,5 miliardy parametrov, z toho 50 miliónov sú aktívne parametre.

Privacy Filter predpovedá úseky v ôsmich kategóriách:

• súkromná_osoba
• súkromná_adresa
• súkromný_e-mail
• súkromný_telefón
• súkromná_url
• súkromný_dátum
• číslo_účtu
• tajné

Kategória číslo_účtu pomáha maskovať širokú škálu čísel účtov vrátane bankových údajov, ako sú čísla kreditných kariet a čísla bankových účtov, zatiaľ čo tajné pomáha maskovať napríklad heslá a kľúče API.

Tieto štítky sa dekódujú pomocou značiek rozsahu BIOES, čo pomáha vytvárať čistejšie a zrozumiteľnejšie hranice maskovania.

Privacy Filter sme vyvíjali v niekoľkých fázach.

Najprv sme vytvorili taxonómiu ochrany súkromia, ktorá definuje typy úsekov, ktoré by mal model rozpoznávať. Patria sem osobné identifikačné údaje, kontaktné údaje, adresy, súkromné dátumy, mnoho rôznych druhov čísel účtov, ako sú údaje o kreditných kartách a bankové informácie, a tajné údaje, ako sú kľúče API a heslá.

Po druhé, predtrénovaný jazykový model sme upravili na obojsmerný klasifikátor tokenov tým, že sme nahradili hlavu jazykového modelovania hlavou na klasifikáciu tokenov a následne ho dotrénovali s cieľom klasifikácie s dohľadom. 

Po tretie, trénovali sme na zmesi verejne dostupných a syntetických údajov navrhnutých tak, aby zachytávali realistický text aj náročné vzory súvisiace so súkromím. V častiach verejných údajov, kde označenia neboli úplné, sme na zlepšenie pokrytia použili anotáciu a kontrolu s podporou modelu. Vytvorili sme aj syntetické príklady na zvýšenie rozmanitosti v rôznych formátoch, kontextoch a podtypoch ochrany údajov.

Počas inferencie sa predikcie modelu na úrovni tokenov dekódujú do koherentných úsekov pomocou obmedzeného sekvenčného dekódovania. Tento prístup zachováva široké jazykové porozumenie vopred natrénovaného modelu a zároveň ho špecializuje na detekciu súkromia.

Hodnotili sme Privacy Filter na štandardných benchmarkoch, ako aj na dodatočných syntetických a chatových hodnoteniach, ktoré boli navrhnuté na testovanie náročnejších prípadov citlivých na kontext.

V benchmarku PII-Masking-300k⁠(otvorí sa v novom okne) dosahuje Privacy Filter skóre F1 96 % (presnosť 94,04 % a úplnosť 98,04 %). V opravenej verzii benchmarku, ktorá zohľadňuje problémy s anotáciami dátovej množiny identifikované počas kontroly, je skóre F1 97,43 % (presnosť 96,79 % a úplnosť 98,08 %).

Takisto sme zistili, že model sa dá efektívne prispôsobiť. Jemné ladenie aj na malom množstve dát rýchlo zlepšuje presnosť pri úlohách špecifických pre danú doménu, zvyšuje skóre F1 z 54 % na 96 % a približuje sa k saturácii na benchmarku adaptácie na doménu, ktorý sme vyhodnocovali.

Okrem benchmarkovej výkonnosti je Privacy Filter navrhnutý na praktické filtrovanie súkromných údajov v zašumenom texte z reálneho sveta. Patria sem dlhé dokumenty, nejednoznačné odkazy, reťazce so zmiešaným formátom a tajné údaje týkajúce sa softvéru. Karta modelu ⁠(otvorí sa v novom okne)obsahuje aj cielené hodnotenie detekcie tajných údajov v kódových základniach a záťažové testy s viacjazyčnými, nepriateľskými a od kontextu závislými príkladmi.

Privacy Filter nie je nástroj na anonymizáciu, certifikáciu súladu ani náhradu za preskúmanie zásad v prostrediach s vysokým rizikom. Je jednou zo súčastí širšieho systému založeného na princípe ochrany súkromia už v návrhu.

Jeho správanie odráža taxonómiu označení a rozhodovacie hranice, na ktorých bolo trénované. Rôzne organizácie môžu chcieť rôzne zásady detekcie alebo maskovania a tieto zásady môžu vyžadovať vyhodnotenie v danej doméne alebo ďalšie doladenie. Výkon sa môže líšiť aj v závislosti od jazykov, písiem, konvencií pomenovania a domén, ktoré sa líšia od tréningového rozdelenia.

Ako všetky modely, Privacy Filter môže robiť chyby. Môže prehliadnuť nezvyčajné identifikátory alebo nejednoznačné súkromné referencie a pri obmedzenom kontexte môže entity nadmerne alebo nedostatočne redigovať, najmä v krátkych sekvenciách. Vo vysoko citlivých oblastiach, ako sú právne, medicínske a finančné pracovné postupy, zostávajú ľudská kontrola a hodnotenie špecifické pre danú oblasť, ako aj jemné doladenie, dôležité.

Predstavujeme OpenAI Privacy Filter na podporu silnejšej ochrany súkromia v celom ekosystéme.

Model je od dnešného dňa k dispozícii pod licenciou Apache 2.0 na Hugging Face⁠(otvorí sa v novom okne) a Github⁠(otvorí sa v novom okne). Je určený na experimentovanie, prispôsobenie a komerčné nasadenie a možno ho doladiť pre rôzne distribúcie údajov a zásady ochrany osobných údajov.

Spolu s modelom zdieľame dokumentáciu, ktorá sa venuje architektúre modelu, taxonómii štítkov, ovládacím prvkom dekódovania, zamýšľaným prípadom použitia, nastaveniu hodnotenia a známym obmedzeniam, aby tímy rozumeli tomu, čo model robí dobre, aj tomu, kde by sa mal používať opatrne.

Ochrana súkromia v AI systémoch je neustálym úsilím v oblasti výskumu, návrhu produktov, hodnotenia a nasadenia.

Privacy Filter predstavuje jeden smer, ktorý považujeme za dôležitý: malé a efektívne modely s prelomovými schopnosťami v úzko definovaných úlohách, ktoré sú dôležité pre reálne systémy umelej inteligencie. Vydávame to, pretože si myslíme, že infraštruktúra na ochranu súkromia by mala byť jednoduchšia na kontrolu, prevádzku, prispôsobenie a zlepšenie.

Naším cieľom je, aby sa modely učili o svete, nie o súkromných osobách. Privacy Filter to pomáha umožniť.

Túto ukážku funkcie Privacy Filter vydávame, aby sme získali spätnú väzbu od výskumnej komunity a komunity zameranej na ochranu súkromia a aby sme ďalej zlepšovali výkon modelu.