Tutvustame OpenAI privaatsusfiltrit

Täna avaldame OpenAI privaatsusfiltri, avatud kaaluga mudeli, mis tuvastab ja redigeerib tekstis isikut tuvastavat teavet (PII). See väljalase on osa meie laiemast püüdlusest toetada vastupidavamat tarkvaraökosüsteemi, pakkudes arendajatele praktilist taristut TI-ga turvaliseks loomiseks, sealhulgas tööriistu⁠ ja mudeleid⁠, mis lihtsustavad tugevate privaatsus- ja turvakaitsemeetmete rakendamist juba algusest peale.

Privaatsusfilter on väike mudel, millel on tipptasemel isikuandmete tuvastamise võimekus. See on loodud suure läbilaskega privaatsuse töövoogude jaoks ning suudab teha PII kontekstitundlikku tuvastamist struktureerimata tekstis. See võib töötada kohapeal, mis tähendab, et PII-d saab maskeerida või redigeerida ilma sinu masinast lahkumata. Töötleb pikki sisendeid tõhusalt, tehes redaktsiooniotsuseid ühe kiire ülevaatusega.

OpenAI-s kasutame oma privaatsust säilitavates töövoogudes privaatsusfiltri peenhäälestatud versiooni. Me arendasime privaatsusfiltri, sest usume, et TI uusimate võimaluste abil saaksime tõsta privaatsuse standardit kõrgemale sellest, mida turg juba pakkus. Privaatsusfiltri versioon, mille me täna välja anname, saavutab PII-Masking-300k võrdlusalusel tipptasemel jõudluse, kui võtta arvesse hindamise käigus tuvastatud annotatsiooniprobleemide parandused.

Selle väljalaskega saavad arendajad käitada privaatsusfiltrit oma keskkonnas, peenhäälestada seda oma kasutusjuhtude jaoks ning rakendada tugevamaid privaatsuskaitsemeetmeid treenimise, indekseerimise, logimise ja ülevaatuse töövoogudes.

Privaatsuse kaitse tänapäevastes TI-süsteemides ei sõltu ainult mustrite sobitamisest. Traditsioonilised PII tuvastamise tööriistad tuginevad sageli deterministlikele reeglitele selliste vormingute puhul nagu telefoninumbrid ja e-posti aadressid. Need võivad kitsaste juhtumite puhul hästi toimida, kuid nad jätavad sageli märkamata peenemat laadi isikuandmeid ja jäävad konteksti mõistmisel hätta.

Privaatsusfilter on loodud sügavama keele- ja kontekstiteadlikkusega, et tagada nüansirikkam jõudlus. Kombineerides tugeva keeletaju privaatsusele suunatud märgendussüsteemiga, suudab see tuvastada struktureerimata tekstis laiema hulga PII-d, sealhulgas juhtudel, kus õige otsus sõltub kontekstist. See suudab paremini eristada teavet, mida tuleks säilitada, kuna see on avalik, ja teavet, mida tuleks varjata või peita, kuna see puudutab eraisikut.

Tulemuseks on mudel, mis on piisavalt võimas, et tagada tipptasemel privaatsusfiltreerimise jõudlus. Samal ajal on mudel piisavalt väike, et seda saaks kohapeal käitada – see tähendab, et filtreerimata andmed võivad jääda seadmesse, vähendades avalikuks tuleku riski, selle asemel et need tuleks deidentifitseerimiseks serverisse saata. 

Privaatsusfilter on kahesuunaline tokenite klassifitseerimise mudel, mis kasutab ulatuste dekodeerimist. See algab autoregressiivsest eeltreenitud mudeli seisust ja kohandatakse seejärel tokeni klassifikaatoriks fikseeritud privaatsussiltide taksonoomia alusel. Teksti tokeni kaupa genereerimise asemel märgistab see sisendjada ühe läbimisega ja dekodeerib seejärel sidusad lõigud piiratud Viterbi protseduuri abil.

See arhitektuur annab privaatsusfiltrile mõned kasulikud omadused tootmises kasutuseks:

• Kiire ja tõhus: kõik tokenid märgistatakse ühe edasipääsuga.
• Kontekstiteadlik: eelnev keel võimaldab ümbritseva konteksti põhjal tuvastada PII-vahemikke.
• Pikk kontekst: väljalastud mudel toetab kuni 128 000 tokeni pikkust konteksti.
• Konfigureeritav: arendajad saavad tööpunkte häälestada, et teha oma töövoost olenevalt kompromisse saagise ja täpsuse vahel.

Avaldatud mudelil on kokku 1,5 miljardit parameetrit, millest 50 miljonit on aktiivsed.

Privaatsusfilter ennustab lõike kaheksas kategoorias:

• private_person
• private_address
• private_email
• private_phone
• private_url
• private_date
• account_number
• secret

Kategooria account_number aitab varjata väga erinevaid kontonumbreid, sealhulgas pangandusandmeid, nagu krediitkaardinumbrid ja pangakontonumbrid, samas kui secret aitab varjata näiteks paroole ja API võtmeid.

Need sildid dekodeeritakse BIOES-i span-siltide abil, mis aitab luua selgemaid ja sidusamaid maskeerimispiire.

Arendasime privaatsusfiltrit mitmes etapis.

Esiteks koostasime privaatsuse taksonoomia, mis määratleb tekstiosade tüübid, mida mudel peaks tuvastama. See hõlmab isikut tuvastavaid andmeid, kontaktandmeid, aadresse, isiklikke kuupäevi, paljusid eri liiki kontonumbreid, näiteks krediidi- ja pangandusandmeid, ning saladusi, nagu API võtmed ja paroolid.

Teiseks teisendasime eeltreenitud keelemudeli kahesuunaliseks tokeni klassifikaatoriks, asendades keelemudelite loomise päise tokeni klassifitseerimise päisega ja järeltreenides seda juhendatud klassifitseerimise eesmärgiga. 

Kolmandaks koolitasime mudelit, kasutades avalikult kättesaadavate ja sünteetiliste andmete kombinatsiooni, mis on loodud hõlmama nii realistlikku teksti kui ka keerukaid privaatsusmustreid. Avalike andmete osades, kus märgendid olid puudulikud, kasutasime mudeli abil tehtud märgendamist ja ülevaatust, et parandada kaetust. Me lõime ka sünteetilisi näiteid, et suurendada mitmekesisust erinevate vormingute, kontekstide ja privaatsuse alamtüüpide osas.

Järeldamise ajal dekodeeritakse mudeli tokeni taseme ennustused sidusateks lõikudeks piirangutega jadadekodeerimise abil. See lähenemine säilitab eelkoolitatud mudeli laiapõhjalise keelelise arusaama, kohandades seda privaatsuse tuvastamiseks.

Me hindasime privaatsusfiltrit standardsete võrdlusaluste ning täiendavate sünteetiliste ja vestluslaadsete hindamiste põhjal, mis on loodud raskemate ja kontekstitundlikumate juhtumite testimiseks.

PII-Masking-300k⁠(avaneb uues aknas) võrdlustestil saavutab privaatsusfilter F1-skoori 96% (94,04% täpsus ja 98,04% saagis). Võrdlusaluse parandatud versioonil, mis võtab arvesse ülevaatuse käigus tuvastatud andmestiku annoteerimisprobleeme, on F1-skoor 97.43% (täpsus 96.79% ja saagis 98.08%).

Samuti leidsime, et mudelit saab tõhusalt kohandada. Peenhäälestamine isegi väikese andmemahu peal parandab kiiresti täpsust valdkonnaspetsiifilistes ülesannetes, suurendades F1-skoori 54%-lt 96%-ni, ning läheneb küllastumisele meie hinnatud domeenikohandamise võrdlusülesandes.

Lisaks võrdlustestide jõudlusele on privaatsusfilter loodud praktiliseks privaatsuse filtreerimiseks mürarikkas reaalmaailma tekstis. See hõlmab pikki dokumente, ebaselgeid viiteid, segavormingus sõnesid ja tarkvaraga seotud saladusi. Mudeli kaart⁠(avaneb uues aknas) kajastab samuti sihtotstarbelist hindamist saladuste tuvastamise kohta koodibaasides ning stressitestide kohta mitmekeelsete, vastandlike ja kontekstist sõltuvate näidete lõikes.

Privaatsusfilter ei ole anonüümimise tööriist, vastavussertifikaat ega põhimõtete ülevaatuse asendaja kõrge riskiga olukordades. See on üks osa laiemas privaatsuskeskses süsteemis.

Selle käitumine kajastab siltide taksonoomiat ja otsustuspiire, mille põhjal seda treeniti. Erinevad organisatsioonid võivad soovida erinevaid tuvastus- või maskeerimispõhimõtteid ning need põhimõtted võivad nõuda valdkonnasisest hindamist või täiendavat täpsustamist. Toimivus võib samuti varieeruda keelte, kirjasüsteemide, nimetamistavade ja valdkondade lõikes, mis erinevad treeningjaotusest.

Nagu kõik mudelid, võib ka privaatsusfilter teha vigu. See võib jätta märkamata ebatavalised identifikaatorid või mitmetähenduslikud privaatsed viited ning võib üksusi liiga palju või liiga vähe redigeerida, kui kontekst on piiratud, eriti lühikeste jadade puhul. Väga tundlikes valdkondades, näiteks õigus-, meditsiini- ja finantsvaldkonna töövoogudes, on inimülevaatus ning valdkonnapõhine hindamine ja peenhäälestamine jätkuvalt olulised.

Me avaldame OpenAI privaatsusfiltri, et tugevdada privaatsuskaitset kogu ökosüsteemis.

Mudel on alates tänasest Apache 2.0 litsentsi alusel saadaval Hugging Face⁠(avaneb uues aknas)'is ja Github⁠(avaneb uues aknas)'is. See on mõeldud eksperimenteerimiseks, kohandamiseks ja äriliseks kasutuselevõtuks ning seda saab peenhäälestada erinevate andmejaotuste ja privaatsuspõhimõtete jaoks.

Koos mudeliga jagame ka dokumentatsiooni, mis käsitleb mudeli arhitektuuri, siltide taksonoomiat, dekodeerimise juhtseadeid, ettenähtud kasutusjuhte, hindamisseadistust ja teadaolevaid piiranguid, et meeskonnad saaksid aru nii sellest, mida mudel hästi teeb, kui ka sellest, kus selle kasutamisel tuleks olla ettevaatlik.

Privaatsuse kaitsmine TI-süsteemides on pidev töö teadustöös, tootedisainis, hindamises ja kasutuselevõtus.

Privaatsusfilter peegeldab üht suunda, mida peame oluliseks: väikesed ja tõhusad tipptasemel võimekusega mudelid kitsalt määratletud ülesannetes, mis on reaalmaailma TI-süsteemide jaoks olulised. Avaldame selle, sest meie arvates peaks privaatsust säilitavat taristut olema lihtsam kontrollida, käitada, kohandada ja täiustada.

Meie eesmärk on, et mudelid õpiksid maailma, mitte eraisikute kohta. Privaatsusfilter aitab selle võimalikuks teha.

Me avaldame selle privaatsusfiltri eelvaate, et saada tagasisidet teadus- ja privaatsuskogukonnalt ning mudeli jõudlust edasi täiustada.