Bemutatkozik az OpenAI Privacy Filter modell

Ma bemutatjuk az OpenAI Privacy Filter modellt, egy nyílt súlyú modellt a szövegben található személyazonosításra alkalmas információk (PII) felismerésére és kitakarására. Ez a kiadás része annak az átfogóbb törekvésünknek, hogy egy ellenállóbb szoftveres ökoszisztémát támogassunk azzal, hogy a fejlesztők számára gyakorlati infrastruktúrát biztosítunk az MI biztonságos használatával történő fejlesztéshez, beleértve az olyan eszközöket⁠ és modelleket⁠, amelyek megkönnyítik az erős adatvédelmi és biztonsági védelmi intézkedések már a kezdetektől fogva történő bevezetését.

A Privacy Filter egy kis modell, amely élvonalbeli képességekkel rendelkezik a személyes adatok észlelésében. Nagy adatátviteli kapacitású adatvédelmi munkafolyamatokhoz készült, és képes a PII kontextusérzékeny észlelésére strukturálatlan szövegben. Helyben futtatható, ami azt jelenti, hogy a PII maszkolható vagy szerkeszthető ki anélkül, hogy elhagyná a gépét. Hatékonyan feldolgozza a hosszú bemeneteket, és gyorsan, egyetlen lépésben hozza meg a szerkesztési döntéseket.

Az OpenAI-nál a Privacy Filter finomhangolt változatát használjuk saját adatvédelmi munkafolyamatainkban. Azért fejlesztettük ki a Privacy Filter modellt, mert úgy gondoltuk, hogy a legújabb AI-képességek segítségével az adatvédelem színvonalát a piacon elérhető megoldások fölé emelhetjük. A ma kiadott Privacy Filter verzió a PII-Masking-300k benchmarkon a legkorszerűbb teljesítményt nyújtja, figyelembe véve az értékelés során azonosított annotációs problémák korrekcióit.

Ezzel a kiadással a fejlesztők saját környezetükben futtathatják a Privacy Filter modellt, saját felhasználási eseteikhez igazíthatják, és erősebb adatvédelmet építhetnek be a képzési, indexelési, naplózási és felülvizsgálati folyamatokba.

A magánélet védelme a modern AI-rendszerekben nem csupán a mintázatillesztéstől függ. A hagyományos PII-észlelőeszközök gyakran determinisztikus szabályokra támaszkodnak olyan formátumok esetében, mint a telefonszámok és az e-mail-címek. Szűk körű esetekben jól működhetnek, de gyakran nem veszik észre a személyes információk finomabb formáit, és nehezen kezelik a kontextust.

A Privacy Filter mélyebb nyelvi és kontextusérzékenységgel készült az árnyaltabb teljesítmény érdekében. A fejlett nyelvi megértés és a kifejezetten adatvédelemre szabott címkézési rendszer kombinálásával a strukturálatlan szövegben a PII szélesebb körét képes felismerni, beleértve azokat az eseteket is, amikor a helyes döntés a kontextustól függ. Jobban meg tudja különböztetni azokat az információkat, amelyeket meg kell őrizni, mert nyilvánosak, és azokat, amelyeket el kell rejteni vagy szerkeszteni, mert magánszemélyekre vonatkoznak.

Az eredmény egy olyan modell, amely elég erős ahhoz, hogy élvonalbeli adatvédelmi szűrési teljesítményt nyújtson. Ugyanakkor a modell elég kicsi ahhoz, hogy helyben is futtatható legyen – vagyis a még nem szűrt adatok az eszközön maradhatnak, kisebb kockázattal, mintha azonosításra alkalmatlan formára alakítás céljából egy szerverre kellene őket elküldeni. 

A Privacy Filter egy kétirányú token osztályozó modell, amely span dekódolást használ. Egy autoregresszív módon előtanított ellenőrzőpontból indul ki, majd az adatvédelmi címkék rögzített taxonómiája szerint token osztályozóvá alakítják. Ahelyett, hogy token generálna szöveget, egyetlen lépésben címkéz egy bemeneti szekvenciát, majd egy korlátozott Viterbi-eljárással koherens szakaszokat dekódol.

Ez az architektúra néhány hasznos tulajdonságot biztosít a Privacy Filter számára az éles használathoz:

• Gyors és hatékony: az összes token címkézése egyetlen előrecsatolási lépésben történik.
• Kontextusérzékeny: a nyelvi előzmény lehetővé teszi, hogy a PII-szakaszok a környező kontextus alapján észlelhetők legyenek.
• Hosszú kontextus: a kiadott modell akár 128 000 tokennyi kontextust támogat.
• Konfigurálható: a fejlesztők a munkafolyamatuknak megfelelően beállíthatják a működési pontokat, hogy egyensúlyt teremtsenek a visszahívás és a pontosság között.

A kiadott modell összesen 1,5 milliárd paraméterrel rendelkezik, ebből 50 millió aktív paraméter.

A Privacy Filter nyolc kategóriában azonosít adatokat:

• private_person
• private_address
• private_email
• private_phone
• private_url
• private_date
• account_number
• secret

Az account_number kategória segít elfedni a számlaszámok széles körét, beleértve az olyan banki adatokat, mint a hitelkártyaszámok és a bankszámlaszámok, míg a secret segít elfedni az olyan dolgokat, mint a jelszavak és az API-kulcsok.

Ezeket a címkéket BIOES span címkékkel dekódoljuk, amelyek tisztább és koherensebb maszkolási határokat eredményeznek.

A Privacy Filter modellt több szakaszban fejlesztettük ki.

Először kidolgoztunk egy adatvédelmi taxonómiát, amely meghatározza, hogy a modellnek milyen típusú szövegrészeket kell észlelnie. Ide tartoznak a személyazonosító adatok, az elérhetőségi adatok, a címek, a személyes dátumok, számos különféle számlaszám és fiókazonosító, például hitelkártya- és banki adatok, valamint titkos adatok, például API-kulcsok és jelszavak.

Másodszor, egy előtanított nyelvi modellt kétirányú tokenosztályozóvá alakítottunk, a nyelvi modellezési fejet egy tokenosztályozó fejre cserélve, majd felügyelt osztályozási célfüggvénnyel utótanítottuk. 

Harmadszor, nyilvánosan elérhető és szintetikus adatok keverékén tanultunk, amelyeket úgy választottunk ki, hogy lefedjék mind a valósághű szövegeket, mind a bonyolult adatvédelmi mintázatokat. A nyilvános adatok azon részein, ahol a címkék hiányosak voltak, a lefedettség javítása érdekében modell által támogatott annotálást és felülvizsgálatot használtunk. Létrehoztunk szintetikus példákat is a formátumok, kontextusok és adatvédelmi altípusok közötti sokféleség növelése érdekében.

Következtetési időben a modell token szintű predikcióit korlátozott szekvenciadekódolással koherens szakaszokká dekódoljuk. Ez a megközelítés megőrzi az előtanított modell átfogó nyelvi megértését, miközben az adatvédelmi észlelésre specializálja.

A Privacy Filter modellt szabványos benchmarkokon, valamint további szintetikus és chatjellegű értékeléseken is teszteltük, amelyeket összetettebb, kontextusérzékenyebb esetek vizsgálatára terveztünk.

A PII-Masking-300k⁠(új ablakban nyílik meg) benchmarkon a Privacy Filter 96%-os F1-pontszámot ér el (94,04%-os precizitás és 98,04%-os visszahívás). A benchmark javított változatán, amely figyelembe veszi a felülvizsgálat során azonosított adathalmaz-annotációs problémákat, az F1-pontszám 97,43% (96,79%-os precizitás és 98,08%-os visszahívás).

Azt is megállapítottuk, hogy a modell hatékonyan adaptálható. Már kis mennyiségű adaton végzett finomhangolás is gyorsan javítja a pontosságot az adott területhez kapcsolódó feladatokon: az F1-mutatót 54%-ról 96%-ra növeli, és megközelíti a telítődést az általunk értékelt doménadaptációs benchmarkon.

A benchmarkokon nyújtott teljesítményen túl a Privacy Filter modellt arra tervezték, hogy gyakorlati adatvédelmi szűrést biztosítson zajos, valós szövegekben. Ide tartoznak a hosszú dokumentumok, a kétértelmű hivatkozások, a vegyes formátumú karakterláncok és a szoftverrel kapcsolatos titkos adatok. A modellkártya ⁠(új ablakban nyílik meg)célzott értékelésről is beszámol a titkos elemek kódbázisokban való észleléséről, valamint többnyelvű, ellenséges és kontextusfüggő példákon végzett stressztesztekről.

A Privacy Filter nem anonimizálási eszköz, nem megfelelőségi tanúsítvány, és nem helyettesíti a szabályzat felülvizsgálatát nagy kockázatú helyzetekben. Ez egy szélesebb körű, beépített adatvédelemre épülő rendszer egyik összetevője.

A viselkedése azt a címketaxonómiát és azokat a döntési határokat tükrözi, amelyeken betanították. A különböző szervezetek eltérő észlelési vagy maszkolási szabályzatokat alkalmazhatnak, és ezek a szabályzatok adott tartományon belüli kiértékelést vagy további finomhangolást igényelhetnek. A teljesítmény szintén eltérhet a tanítási eloszlástól különböző nyelvek, írásrendszerek, névadási konvenciók és szakterületek esetében.

Mint minden modell, a Privacy Filter is hibázhat. Előfordulhat, hogy nem ismeri fel a nem gyakori azonosítókat vagy a kétértelmű személyes hivatkozásokat, és korlátozott kontextus esetén túl sok vagy túl kevés entitást takar ki, különösen rövid szekvenciákban. A jogi, orvosi és pénzügyi folyamatokhoz hasonló, nagy érzékenységű területeken továbbra is fontos marad az emberi felülvizsgálat, valamint a szakterület-specifikus értékelés és finomhangolás.

Bevezetjük az OpenAI Privacy Filter modellt, hogy az egész ökoszisztémában támogassa az erősebb adatvédelmet.

A modell mától az Apache 2.0 licenc alatt érhető el a Hugging Face⁠(új ablakban nyílik meg) -en és a Github⁠(új ablakban nyílik meg)-on. Kísérletezésre, testreszabásra és kereskedelmi bevezetésre szolgál, és eltérő adateloszlásokhoz, valamint adatvédelmi irányelvekhez is finomhangolható.

A modell mellett olyan dokumentációt is megosztunk, amely bemutatja a modell architektúráját, a címketaxonómiát, a dekódolási vezérlőket, a tervezett felhasználási eseteket, az értékelési beállításokat és az ismert korlátokat, hogy a csapatok megérthessék, miben teljesít jól a modell, és milyen esetekben kell körültekintően használni.

Az AI-rendszerek adatvédelmének biztosítása folyamatos erőfeszítést igényel a kutatás, a terméktervezés, az értékelés és a bevezetés során.

A Privacy Filter egy olyan irányt képvisel, amelyet fontosnak tartunk: kisméretű, hatékony, élvonalbeli képességekkel rendelkező modell szűken meghatározott, a valós AI-rendszerek szempontjából fontos feladatokhoz. Azért tesszük közzé, mert úgy gondoljuk, hogy az adatvédelmet megőrző infrastruktúrát könnyebben megvizsgálhatóvá, futtathatóvá, adaptálhatóvá és továbbfejleszthetővé kellene tenni.

Az a célunk, hogy a modellek a világról tanuljanak, ne pedig magánszemélyekről. A Privacy Filter segít ezt lehetővé tenni.

A Privacy Filter ezen előnézetét azért tesszük közzé, hogy visszajelzéseket kapjunk a kutatói és adatvédelmi közösségtől, és tovább javítsuk a modell teljesítményét.