Prezantimi i filtrit të privatësisë të OpenAI

Sot po prezantojmë filtrin e privatësisë së OpenAI, një model me ponderim të hapur për zbulimin dhe redaktimin e informacionit personalisht të identifikueshëm (PII) në tekst. Ky publikim është pjesë e përpjekjes sonë më të gjerë për të mbështetur një ekosistem softuerik më të qëndrueshëm duke u ofruar zhvilluesve infrastrukturë praktike për të krijuar me AI në mënyrë të sigurt, duke përfshirë mjete⁠ dhe modele⁠ që e bëjnë më të lehtë zbatimin e mbrojtjeve të forta të privatësisë dhe sigurisë që në fillim.

Filtri i privatësisë është një model i vogël me aftësi avangardë për zbulimin e të dhënave personale. Është projektuar për flukse pune të privatësisë me kapacitet përpunimi të lartë dhe mund të kryejë zbulim të PII delikat ndaj kontekstit në tekst të pastrukturuar. Mund të ekzekutohet lokalisht, që do të thotë se PII mund të maskohet ose redaktohet pa dalë nga pajisja jote. Përpunon hyrje të gjata në mënyrë efikase, duke marrë vendime për redaktim me një kalim të vetëm.

Në OpenAI, ne përdorim një version të përshtatur hollësisht të filtrit të privatësisë në flukset tona të punës që ruajnë privatësinë. Ne zhvilluam filtrin e privatësisë sepse besojmë se me aftësitë më të fundit të AI-së, mund ta rrisim standardin për privatësinë përtej asaj që ishte tashmë në treg. Versioni i filtrit të privatësisë që po publikojmë sot arrin performancë të nivelit më të lartë në standardin PII-Masking-300k, kur korrigjohet për problemet e shënimeve që identifikuam gjatë vlerësimit.

Me këtë version, zhvilluesit mund të ekzekutojnë filtrin e privatësisë në mjediset e tyre, ta rregullojnë për rastet e tyre të përdorimit dhe të krijojnë mbrojtje më të forta të privatësisë në proceset e trajnimit, indeksimit, regjistrimit dhe shqyrtimit.

Mbrojtja e privatësisë në sistemet moderne të AI varet nga më shumë sesa përputhja e modeleve. Mjetet e zakonshme të zbulimit të PII shpesh mbështeten në rregulla të përcaktuara për formate si numrat e telefonit dhe adresat e emailit. Ato mund të funksionojnë mirë për raste të ngushta, por shpesh nuk arrijnë të dallojnë informacion personal delikat dhe kanë vështirësi me kontekstin.

Filtri i privatësisë është krijuar me një ndërgjegjësim më të thellë për gjuhën dhe kontekstin për performancë më të nuancuar. Duke kombinuar kuptimin e thellë të gjuhës me një sistem etiketimi specifik për privatësinë, ai mund të zbulojë një gamë më të gjerë të PII në tekst të pastrukturuar, duke përfshirë rastet kur vendimi i duhur varet nga konteksti. Mund të bëjë dallimin më të mirë midis informacionit që duhet të ruhet sepse është publik dhe informacionit që duhet të maskohet ose redaktohet sepse lidhet me një individ privat.

Rezultati është një model mjaft i fuqishëm për të ofruar performancë të filtrimit të privatësisë në nivel avangardë. Në të njëjtën kohë, modeli është mjaft i vogël për t'u ekzekutuar lokalisht, që do të thotë se të dhënat ende të pafiltruara mund të mbeten në pajisje, duke ulur rrezikun e ekspozimit, në vend që të dërgohen në një server për çidentifikim. 

Filtri i privatësisë është një model i klasifikimit të tokenit dydrejtimësh me dekodim të segmenteve. Ai fillon nga një pikë kontrolli i paratrajnuar autoregresiv dhe më pas përshtatet në një klasifikues tokeni mbi një taksonomi fikse etiketash privatësie. Në vend të gjenerimit të tekstit token pas tokeni, ai etiketon një sekuencë hyrëse në një kalim të vetëm dhe më pas dekodon segmente koherente me një procedurë Viterbi të kufizuar.

Kjo arkitekturë i jep filtrit të privatësisë disa veti të dobishme për përdorim në prodhim:

• Të shpejtë dhe efikas: të gjithë tokenët etiketohen në një hap të vetëm.
• I ndërgjegjshëm për kontekstin: gjuha paraprake mundëson që segmentet PII të identifikohen bazuar në kontekstin përreth.
• Kontekst i gjatë: modeli i publikuar mbështet deri në 128 000 tokenë kontekst.
• I konfigurueshëm: zhvilluesit mund të rregullojnë pikat e funksionimit për të bërë kompromis midis rikujtimit dhe saktësisë, në varësi të fluksit së tyre të punës.

Modeli i publikuar ka gjithsej 1,5 miliardë parametra, nga të cilët 50 milionë janë aktivë.

Filtri i privatësisë parashikon segmente në tetë kategori:

• private_person
• private_address
• private_email
• private_phone
• private_url
• private_date
• account_number
• sekret

Kategoria account_number ndihmon në maskimin e një game të gjerë numrash llogarie, duke përfshirë informacion bankar, si numrat e kartave të kreditit dhe numrat e llogarive bankare, ndërsa secret ndihmon në maskimin e gjërave si fjalëkalime dhe çelësa API.

Këto etiketa dekodohen me etiketa segmentimi BIOES, të cilat ndihmojnë në krijimin e kufijve më të pastër dhe më koherentë të maskimit.

Ne e zhvilluam filtrin e privatësisë në disa faza.

Së pari, krijuam një taksonomi të privatësisë që përcakton llojet e segmenteve që modeli duhet të zbulojë. Kjo përfshin identifikues personalë, detaje kontakti, adresa, data private, shumë lloje të ndryshme numrash llogarie, siç janë informacionet e kartave të kreditit dhe ato bankare, si edhe sekrete të tilla si çelësa API dhe fjalëkalime.

Së dyti, ne e shndërruam një model gjuhe të paratrajnuar në një klasifikues dydrejtimësh të tokenëve duke zëvendësuar shtresën e modelimit të gjuhës me një shtresë klasifikimi të tokenëve dhe duke e trajnuar më pas me një objektiv të mbikëqyrur të klasifikimit. 

Së treti, ne u trajnuam për një përzierje të dhënash të disponueshme publikisht dhe sintetike, të projektuara për të përfshirë si tekst realist ashtu edhe modele të ndërlikuara të privatësisë. Në pjesët e të dhënave publike ku etiketat ishin të paplota, ne përdorëm shënim të asistuar nga modeli dhe shqyrtim për të përmirësuar mbulimin. Ne gjithashtu krijuam shembuj sintetikë për të rritur larmishmërinë në formatet, kontekstet dhe nënllojet e privatësisë.

Në kohën e inferencës, parashikimet në nivel tokeni të modelit dekodohen në segmente koherente duke përdorur dekodimin e kufizuar të sekuencave. Ky akses ruan kuptimin e gjerë gjuhësor të modelit të paratrajnuar, ndërsa e specializon për zbulimin e privatësisë.

Ne e vlerësuam filtrin e privatësisë në standarde të zakonshme dhe në vlerësime shtesë sintetike dhe të stilit bisedor, të krijuara për të testuar raste më të vështira dhe më të ndjeshme ndaj kontekstit.

Në testin referues PII-Masking-300k⁠(hapet në një dritare të re), filtri i privatësisë arrin një rezultat F1 prej 96% (94,04% saktësi dhe 98,04% rikujtim). Në një version të korrigjuar të testit referues që merr parasysh problemet e shënimeve të të dhënave të identifikuara gjatë shqyrtimit, rezultati F1 është 97,43% (saktësi 96,79% dhe kujtesë 98,08%).

Ne gjithashtu zbuluam se modeli mund të përshtatet në mënyrë efikase. Përshtatja e hollësishme edhe mbi një sasi të vogël të dhënash përmirëson shpejt saktësinë në detyrat specifike për domenin, duke e rritur rezultatin F1 nga 54% në 96% dhe i afrohet ngopjes në standardin krahasues të përshtatjes ndaj domenit që vlerësuam.

Përtej performancës në test referues, filtri i privatësisë është krijuar për të ofruar filtrim praktik të privatësisë në tekste të zhurmshme dhe të botës reale. Kjo përfshin dokumente të gjata, referenca të paqarta, vargje me formate të përziera dhe sekrete të lidhura me softuerin. Karta e modelit ⁠(hapet në një dritare të re)raporton gjithashtu një vlerësim të synuar për zbulimin e sekreteve në baza kodi dhe teste stresi në shembuj shumëgjuhësh, kundërshtarë dhe të varur nga konteksti.

Filtri i privatësisë nuk është mjet anonimizimi, certifikim pajtueshmërie ose zëvendësues për shqyrtimin e politikave në mjedise me rrezik të lartë. Është një komponent në një sistem më të gjerë privatësie që në fazën e projektimit.

Sjellja e tij pasqyron taksonominë e etiketave dhe kufijtë e vendimmarrjes mbi të cilët është trajnuar. Organizata të ndryshme mund të duan politika të ndryshme zbulimi ose maskimi, dhe këto politika mund të kërkojnë vlerësim brenda domenit ose përshtatje të mëtejshme të hollësishme. Performanca mund të ndryshojë gjithashtu në gjuhë, shkrime, konventa emërtimi dhe fusha që ndryshojnë nga shpërndarja e trajnimit.

Si të gjitha modelet, filtri i privatësisë mund të bëjë gabime. Mund të mos dallojë identifikues të pazakontë ose referenca private të paqarta, dhe mund të redaktojë tepër ose pamjaftueshëm entitete kur konteksti është i kufizuar, sidomos në sekuenca të shkurtra. Në fusha me ndjeshmëri të lartë, si flukset e punës ligjore, mjekësore dhe financiare, rishikimi njerëzor dhe vlerësimi dhe përshtatja e hollësishme për domenin mbeten të rëndësishme.

Po prezantojmë filtrin e privatësisë së OpenAI për të mbështetur mbrojtje më të forta të privatësisë në të gjithë ekosistemin.

Modeli është i disponueshëm sot nën licencën Apache 2.0 në Hugging Face⁠(hapet në një dritare të re) dhe Github⁠(hapet në një dritare të re). Është menduar për eksperimentim, personalizim dhe zbatim komercial, dhe mund të përshtatet hollësisht për shpërndarje të ndryshme të të dhënave dhe politika të privatësisë.

Së bashku me modelin, po ndajmë dokumentacion që mbulon arkitekturën e modelit, taksonominë e etiketave, kontrollet e dekodimit, rastet e synuara të përdorimit, konfigurimin e vlerësimit dhe kufizimet e njohura, në mënyrë që ekipet të mund të kuptojnë si çfarë bën mirë modeli, ashtu edhe se ku duhet përdorur me kujdes.

Mbrojtja e privatësisë për sistemet e AI është një përpjekje e vazhdueshme në kërkim, dizajn produkti, vlerësim dhe zbatim.

Filtri i privatësisë pasqyron një drejtim që ne besojmë se është i rëndësishëm: modele të vegjël dhe efikasë me aftësi avangardë në detyra të përcaktuara ngushtë që kanë rëndësi për sistemet reale të inteligjencës artificiale. Po e publikojmë sepse mendojmë se infrastruktura që ruan privatësinë duhet të jetë më e lehtë për t’u inspektuar, ekzekutuar, përshtatur dhe përmirësuar.

Qëllimi ynë është që modelet të mësojnë rreth botës, jo rreth individëve privatë. Filtri i privatësisë ndihmon që kjo të bëhet e mundur.

Po e publikojmë këtë pamje paraprake të filtrit të privatësisë për të marrë komente nga komuniteti i kërkimit dhe i privatësisë dhe për të përsëritur më tej performancën e modelit.