Esittelyssä OpenAI-tietosuojasuodatin

Julkaisemme tänään OpenAI Privacy Filterin, avoimen painokertoimen mallin, joka havaitsee ja poistaa tekstistä henkilötietoja (PII). Tämä julkaisu on osa laajempaa pyrkimystämme tukea kestävämpää ohjelmistoekosysteemiä tarjoamalla kehittäjille käytännöllistä infrastruktuuria tekoälyn turvalliseen hyödyntämiseen, mukaan lukien työkalut⁠ ja mallit⁠, jotka helpottavat vahvojen tietosuoja- ja tietoturvakäytäntöjen toteuttamista alusta alkaen.

Privacy Filter on pieni malli, jossa on edistynyt henkilötietojen tunnistusominaisuus. Se on suunniteltu korkean suoritustehon tietosuojatyönkulkuja varten ja pystyy tunnistamaan kontekstitietoisesti henkilötietoja jäsentämättömässä tekstissä. Se voi toimia paikallisesti, mikä tarkoittaa, että henkilötiedot voidaan peittää tai poistaa poistumatta koneeltasi. Se käsittelee pitkiä syötteitä tehokkaasti ja tekee henkilötietojen sensurointipäätökset nopeasti yhdellä kerralla.

OpenAI käyttää omissa yksityisyyttä suojaavissa työnkuluissaan hienosäädettyä versiota Privacy Filteristä. Kehitimme Privacy Filterin, koska uskomme, että uusimpien tekoälyominaisuuksien avulla voimme nostaa yksityisyydensuojan tasoa markkinoilla jo olevan tason yläpuolelle. Tänään julkaisemamme Privacy Filter -versio saavuttaa huippuluokan suorituskyvyn PII-Masking-300k-vertailutestissä, kun tulokset on korjattu arvioinnin aikana havaitsemiemme merkintäongelmien perusteella.

Tämän julkaisun myötä kehittäjät voivat käyttää Privacy Filteriä omissa ympäristöissään, hienosäätää sitä omiin käyttötapauksiinsa ja rakentaa vahvempia yksityisyydensuojan mekanismeja koulutus-, indeksointi-, lokitietojen keräämis- ja tarkistusprosesseihin.

Tietosuojan varmistaminen nykyaikaisissa tekoälyjärjestelmissä ei riipu pelkästään kuvioiden tunnistamisesta. Perinteiset henkilötietojen tunnistustyökalut perustuvat usein deterministisiin sääntöihin, kun kyseessä ovat esimerkiksi puhelinnumerot ja sähköpostiosoitteet. Ne voivat toimia hyvin rajatuissa tapauksissa, mutta ne eivät useinkaan tunnista hienovaraisempia henkilötietoja ja niillä on vaikeuksia ymmärtää asiayhteyttä.

Privacy Filter on suunniteltu syvällisemmän kieli- ja kontekstitietoisuuden avulla tarjoamaan vivahteikkaampaa suorituskykyä. Yhdistämällä vahvan kieliymmärryksen ja yksityisyydensuojaan suunnitellun luokittelujärjestelmän se voi havaita jäsentelemättömästä tekstistä laajemman kirjon henkilötietoja (PII), myös tilanteissa, joissa oikean päätöksen tekeminen riippuu asiayhteydestä. Se pystyy erottamaan paremmin tiedot, jotka tulisi säilyttää julkisina, ja tiedot, jotka tulisi peittää tai poistaa, koska ne liittyvät yksityishenkilöön.

Tuloksena on malli, joka on riittävän tehokas tarjoamaan huipputason tietosuojasuodatusta. Samalla malli on riittävän pieni, jotta sitä voidaan suorittaa paikallisesti. Tämä tarkoittaa, että suodattamaton data voi pysyä laitteella pienemmällä paljastumisriskillä sen sijaan, että se lähetettäisiin palvelimelle tunnistettavuuden poistamista varten. 

Tietosuojasuodatin on kaksisuuntainen tokeneiden luokittelumalli, jossa käytetään span-dekoodausta. Se alkaa esikoulutetusta autoregressiivisesta tarkistuspisteestä ja mukautetaan sitten merkkiluokittelijaksi tietosuojamerkintöjen kiinteän taksonomian pohjalta. Sen sijaan, että se tuottaisi tekstiä token kerrallaan, se merkitsee syötesekvenssin yhdellä kertaa ja dekoodaa yhtenäiset jaksot rajoitetun Viterbi-menettelyn avulla.

Tämä arkkitehtuuri antaa tietosuojasuodattimelle muutamia hyödyllisiä ominaisuuksia tuotantokäyttöä varten:

• Nopea ja tehokas: kaikki tokenit merkitään yhdellä kerralla.
• Kontekstisidonnainen: kieliprioriteetin avulla henkilötiedot voidaan tunnistaa ympäröivän kontekstin perusteella.
• Pitkä konteksti: julkaistu malli tukee jopa 128 000 tokenin kontekstia.
• Määritettävissä: kehittäjät voivat säätää toimintapisteitä tasapainottaakseen palautusasteen ja tarkkuuden työnkulun mukaan.

Julkaistussa mallissa on 1,5 miljardia parametria yhteensä, joista 50 miljoonaa on aktiivisia parametreja.

Tietosuojasuodatin ennustaa tekstijaksoja kahdeksassa luokassa:

• yksityinen_henkilö
• yksityinen_osoite
• yksityinen_sähköposti
• yksityinen_puhelin
• yksityinen_url
• yksityinen_päivämäärä
• tilinumero
• salaisuus

Tilinumero-luokka auttaa peittämään monenlaisia tilinumeroita, mukaan lukien pankkitiedot, kuten luottokorttinumerot ja pankkitilinumerot, kun taas salaisuus auttaa peittämään esimerkiksi salasanoja ja API-avaimia.

Nämä tunnisteet puretaan BIOES-jännetunnisteilla, mikä auttaa tuottamaan selkeämpiä ja johdonmukaisempia maskausrajoja.

Kehitimme tietosuojasuodattimen useassa vaiheessa.

Ensin loimme tietosuojaluokituksen, joka määrittelee, minkä tyyppisiä tekstijaksoja mallin tulisi tunnistaa. Tähän sisältyvät henkilökohtaiset tunnistetiedot, yhteystiedot, osoitteet, yksityiset päivämäärät, monenlaiset tilinumerot, kuten luotto- ja pankkitiedot, sekä salaisuudet, kuten API-avaimet ja salasanat.

Toiseksi muunsimme esikoulutetun kielimallin kaksisuuntaiseksi token-luokittelijaksi korvaamalla kielen mallintamisen token-luokitteluosalla ja kouluttamalla sitä uudelleen valvotun luokittelutavoitteen avulla.

Kolmanneksi mallia koulutettiin julkisesti saatavilla olevan ja synteettisen datan yhdistelmällä, joka on suunniteltu kattamaan sekä realistista tekstiä että haastavia tietosuojakuvioita. Niissä osissa julkista aineistoa, joissa merkinnät olivat puutteellisia, käytimme mallipohjaista merkintää ja tarkistusta kattavuuden parantamiseksi. Laadimme myös keinotekoisia esimerkkejä, jotta saimme lisättyä monimuotoisuutta eri formaattien, kontekstien ja tietosuojatyyppien välillä.

Päättelyvaiheessa mallin token-tason ennusteet dekoodataan yhtenäisiksi jaksoiksi rajoitetun sekvenssidekoodauksen avulla. Tämä lähestymistapa säilyttää esiopetetun mallin laajan kieliymmärryksen ja samalla erikoistaa sen tietosuojan havaitsemiseen.

Arvioimme tietosuojasuodatinta vakiomuotoisilla vertailuarvoilla sekä synteettisillä ja keskustelutyylisillä arvioinneilla, jotka on suunniteltu testaamaan vaikeampia ja kontekstille herkempiä tapauksia.

PII-Masking-300k⁠(avautuu uudessa ikkunassa) -vertailuarvossa tietosuojasuodatin saavuttaa F1-pistemäärän 96 % (94,04 % tarkkuus ja 98,04 % kattavuus). Vertailuarvon korjatussa versiossa, jossa otetaan huomioon arvioinnin aikana havaitut tietojoukon annotointiongelmat, F1-pistemäärä on 97,43 % (96,79 % tarkkuus ja 98,08 % kattavuus).

Havaitsimme myös, että mallia voidaan mukauttaa tehokkaasti. Hienosäätö parantaa nopeasti tarkkuutta toimialakohtaisissa tehtävissä jo pienelläkin datamäärällä: F1-arvo nousee 54 %:sta 96 %:iin ja lähestyy kyllästymispistettä arvioimassamme toimialle mukautumisen vertailutestissä.

Vertailuarvosuorituskyvyn lisäksi tietosuojasuodatin on suunniteltu käytännölliseen tietosuodatukseen häiriöllisessä, todellisen maailman tekstissä. Se sisältää pitkiä asiakirjoja, moniselitteisiä viittauksia, sekamuotoisia merkkijonoja ja ohjelmistoihin liittyviä salaisuuksia. Mallikortissa ⁠(avautuu uudessa ikkunassa)kerrotaan myös salaisuuksien havaitsemista koodipohjissa koskevasta kohdennetusta arvioinnista sekä stressitesteistä monikielisissä, vastakkainasettelevissa ja kontekstisidonnaisissa esimerkeissä.

Tietosuojasuodatin ei ole anonymisointityökalu, vaatimustenmukaisuuden sertifikaatti eikä käytäntöjen arvioinnin korvike korkean riskin tilanteissa. Se on yksi osa laajempaa sisäänrakennetun tietosuojan järjestelmää.

Sen toiminta heijastaa luokittelutaksonomiaa ja päätösrajoja, joiden perusteella se on koulutettu. Eri organisaatioilla voi olla erilaiset tunnistamis- tai peittokäytännöt, ja nämä käytännöt saattavat edellyttää arviointia omalla toimialueella tai lisämuokkauksia. Suorituskyky voi vaihdella myös kielien, kirjoitusjärjestelmien, nimeämiskäytäntöjen ja verkkotunnusten välillä, jotka poikkeavat koulutuksen jakelusta.

Kuten kaikki mallit, tietosuojasuodatin voi tehdä virheitä. Se voi jättää huomaamatta epätavallisia tunnisteita tai moniselitteisiä yksityisiä viittauksia, ja se voi peittää kohteita liikaa tai liian vähän, kun konteksti on rajallinen – etenkin lyhyissä jaksoissa. Erittäin herkissä toimialoissa, kuten oikeudellisissa, lääketieteellisissä ja taloudellisissa työnkuluissa, ihmisen suorittama arviointi sekä toimialakohtainen arviointi ja hienosäätö ovat edelleen tärkeitä.

Julkaisemme OpenAI:n tietosuojasuodattimen vahvistaaksemme yksityisyydensuojaa koko ekosysteemissä.

Malli on saatavilla tänään Apache 2.0 -lisenssillä palveluissa Hugging Face⁠(avautuu uudessa ikkunassa) ja Github⁠(avautuu uudessa ikkunassa). Se on tarkoitettu kokeiluun, mukauttamiseen ja kaupalliseen käyttöönottoon, ja sitä voidaan hienosäätää eri datajakaumien ja tietosuojakäytäntöjen mukaan.

Mallin ohella jaamme dokumentaatiota, joka kattaa mallin arkkitehtuurin, luokittelujärjestelmän, tulkintaparametrit, suunnitellut käyttötapaukset, arviointijärjestelyn sekä tunnetut rajoitukset, jotta tiimit voivat ymmärtää sekä mallin vahvuudet että tilanteet, joissa sitä tulisi käyttää varovaisesti.

Tekoälyjärjestelmien tietosuojan varmistaminen on jatkuva prosessi, joka kattaa tutkimuksen, tuotesuunnittelun, arvioinnin ja käyttöönoton.

Tietosuojasuodatin kuvastaa yhtä tärkeää suuntaa: pieniä ja tehokkaita malleja, joilla on edistyneen suorituskyvyn kyky tarkasti määritellyissä tehtävissä, jotka ovat merkityksellisiä todellisen maailman tekoälyjärjestelmille. Julkaisemme sen, koska uskomme, että yksityisyyttä suojaavan infrastruktuurin tulisi olla helpompi tarkastella, käyttää, mukauttaa ja parantaa.

Tavoitteemme on, että mallit oppivat maailmasta, eivät yksityishenkilöistä. Tietosuojasuodatin auttaa tekemään sen mahdolliseksi.

Julkaisemme tämän tietosuojasuodattimen esikatseluversion saadaksemme palautetta tutkimus- ja tietosuojayhteisöltä ja kehittääksemme edelleen mallin suorituskykyä.