Memperkenalkan OpenAI Privacy Filter

Hari ini kami melancarkan OpenAI Privacy Filter, model berat terbuka untuk mengesan dan menyunting keluar maklumat peribadi yang boleh dikenal pasti (PII) dalam teks. Pelancaran ini adalah sebahagian daripada usaha kami yang lebih luas untuk menyokong ekosistem perisian yang lebih berdaya tahan dengan menyediakan infrastruktur praktikal kepada pembangun untuk membina dengan AI secara selamat, termasuk alat⁠ dan model⁠ yang menjadikan perlindungan privasi dan keselamatan yang kukuh lebih mudah dilaksanakan sejak awal.

Privacy Filter ialah model kecil dengan keupayaan pengesanan data peribadi perbatasan. Ia direka untuk aliran kerja privasi berdaya pemprosesan tinggi, dan mampu melaksanakan pengesanan PII yang peka konteks dalam teks tidak berstruktur. Ia boleh berjalan secara setempat, yang bermaksud PII boleh disamarkan atau disunting keluar tanpa meninggalkan mesin anda. Ia memproses input yang panjang dengan cekap, membuat keputusan penyuntingan dalam satu laluan yang pantas.

Di OpenAI, kami menggunakan versi Privacy Filter yang dilaras halus dalam aliran kerja kami sendiri yang memelihara privasi. Kami membangunkan Privacy Filter kerana kami percaya bahawa dengan keupayaan AI terkini, kami boleh meningkatkan piawaian privasi melangkaui apa yang sudah ada di pasaran. Versi Privacy Filter yang kami keluarkan hari ini mencapai prestasi terkini pada penanda aras PII-Masking-300k, apabila diperbetulkan bagi isu anotasi yang kami kenal pasti semasa penilaian.

Dengan keluaran ini, pembangun boleh menjalankan Privacy Filter dalam persekitaran mereka sendiri, melaras halus mengikut kes penggunaan mereka sendiri, dan membina perlindungan privasi yang lebih kukuh dalam saluran latihan, pengindeksan, pengelogan dan semakan.

Perlindungan privasi dalam sistem AI moden bergantung pada lebih daripada sekadar padanan corak. Alat pengesanan PII tradisional sering bergantung pada peraturan ketentuan untuk format seperti nombor telefon dan alamat e-mel. Ia boleh berfungsi dengan baik untuk kes yang terhad, tetapi ia sering terlepas maklumat peribadi yang lebih halus dan menghadapi kesukaran dengan konteks.

Privacy Filter dibina dengan pemahaman bahasa dan konteks yang lebih mendalam untuk prestasi yang lebih bernuansa. Dengan menggabungkan pemahaman bahasa yang kukuh dengan sistem pelabelan khusus privasi, ia dapat mengesan julat PII yang lebih luas dalam teks tidak berstruktur, termasuk kes apabila keputusan yang tepat bergantung pada konteks. Ia dapat membezakan dengan lebih baik antara maklumat yang perlu dikekalkan kerana ia bersifat awam, dan maklumat yang perlu disamarkan atau disunting keluar kerana ia berkaitan dengan individu persendirian.

Hasilnya ialah sebuah model yang cukup kukuh untuk memberikan prestasi penapisan privasi tahap perbatasan. Pada masa yang sama, model itu cukup kecil untuk dijalankan secara tempatan — yang bermaksud data yang belum ditapis boleh kekal pada peranti, dengan risiko pendedahan yang lebih rendah, dan bukannya perlu dihantar ke pelayan untuk nyahpengenalan. 

Privacy Filter ialah model pengelasan token dwihala dengan penyahkodan rentang. Ia bermula daripada checkpoint pralatih autoregresif dan kemudian disesuaikan menjadi pengelas token berdasarkan taksonomi tetap bagi label privasi. Daripada menjana teks token demi token, ia melabel jujukan input dalam satu laluan dan kemudian menyahkod rentang yang koheren dengan prosedur Viterbi terkekang.

Seni bina ini memberikan Privacy Filter beberapa ciri berguna untuk kegunaan pengeluaran:

• Pantas dan cekap: semua token dilabelkan dalam satu laluan ke hadapan.
• Peka konteks: bahasa terdahulu membolehkan rentang PII dikesan berdasarkan konteks sekeliling.
• Konteks panjang: model yang telah dikeluarkan menyokong sehingga 128,000 token untuk konteks.
• Boleh dikonfigurasi: pembangun boleh melaraskan titik operasi untuk mengimbangi antara pemanggilan semula dan ketepatan bergantung pada aliran kerja mereka.

Model yang dikeluarkan mempunyai 1.5 bilion jumlah parameter dengan 50 juta parameter aktif.

Privacy Filter meramalkan rentang merentas lapan kategori:

• private_person
• private_address
• private_email
• private_phone
• private_url
• private_date
• account_number
• rahsia

Kategori account_number membantu menyamarkan pelbagai jenis nombor akaun, termasuk maklumat perbankan seperti nombor kad kredit dan nombor akaun bank, manakala rahsia membantu menyamarkan perkara seperti kata laluan dan kunci API.

Label-label ini dinyahkod dengan tag rentang BIOES, yang membantu menghasilkan sempadan penyamaran yang lebih bersih dan lebih koheren.

Kami membangunkan Privacy Filter dalam beberapa peringkat.

Pertama, kami membina satu taksonomi privasi yang mentakrifkan jenis rentang yang patut dikesan oleh model. Ini termasuk pengecam peribadi, butiran hubungan, alamat, tarikh peribadi, pelbagai jenis nombor akaun seperti maklumat kredit dan perbankan, serta rahsia seperti kunci API dan kata laluan.

Kedua, kami menukarkan model bahasa pralatih kepada pengelas token dwihala dengan menggantikan kepala pemodelan bahasa dengan kepala pengelasan token dan kemudian melatihnya selepas pralatihan dengan objektif pengelasan terselia. 

Ketiga, kami dilatih menggunakan gabungan data yang tersedia secara umum dan data sintetik yang direka untuk merangkumi teks realistik serta corak privasi yang kompleks. Dalam bahagian data awam yang labelnya tidak lengkap, kami menggunakan anotasi dan semakan berbantukan model untuk memperbaiki liputan. Kami juga menjana contoh sintetik untuk meningkatkan kepelbagaian merentas format, konteks, dan subjenis privasi.

Pada masa inferens, ramalan peringkat token model dinyahkod menjadi rentang yang koheren menggunakan penyahkodan jujukan terkekang. Pendekatan ini mengekalkan pemahaman bahasa yang luas bagi model pralatih sambil mengkhususkannya untuk pengesanan privasi.

Kami menilai Privacy Filter pada penanda aras standard dan pada penilaian sintetik tambahan serta penilaian gaya sembang yang direka untuk menguji kes yang lebih sukar dan lebih sensitif terhadap konteks.

Pada penanda aras PII-Masking-300k⁠(dibuka dalam tetingkap baru), Privacy Filter mencapai skor F1 sebanyak 96% (94.04% ketepatan dan 98.04% ingatan semula). Pada versi diperbetulkan bagi penanda aras yang mengambil kira isu anotasi set data yang dikenal pasti semasa semakan, skor F1 ialah 97.43% (96.79% ketepatan dan 98.08% ingatan semula).

Kami juga mendapati bahawa model boleh disesuaikan dengan cekap. Pelarasan halus pada walaupun sejumlah kecil data dengan cepat meningkatkan ketepatan bagi tugas khusus domain, menaikkan skor F1 daripada 54% kepada 96% dan menghampiri tahap tepu pada penanda aras penyesuaian domain yang kami nilai.

Selain prestasi penanda aras, Privacy Filter direka untuk penapisan privasi yang praktikal dalam teks dunia sebenar yang bising. Ini termasuk dokumen panjang, rujukan yang samar, rentetan berformat campuran dan rahsia berkaitan perisian. Kad model ⁠(dibuka dalam tetingkap baru)juga melaporkan penilaian yang disasarkan untuk pengesanan rahsia dalam pangkalan kod serta ujian tekanan merentas contoh berbilang bahasa, adversarial dan bergantung pada konteks.

Privacy Filter bukan alat penganoniman, pensijilan pematuhan, atau pengganti kepada semakan dasar dalam situasi berisiko tinggi. Ia merupakan satu komponen dalam sistem privasi secara reka bentuk yang lebih luas.

Tingkah lakunya mencerminkan taksonomi label dan sempadan keputusan yang digunakan untuk melatihnya. Organisasi yang berbeza mungkin mahu dasar pengesanan atau penyamaran yang berbeza, dan dasar tersebut mungkin memerlukan penilaian dalam domain atau penyempurnaan lanjut. Prestasi juga mungkin berbeza merentasi bahasa, sistem tulisan, konvensyen penamaan, dan domain yang berbeza daripada taburan latihan.

Seperti semua model, Privacy Filter boleh membuat kesilapan. Ia boleh terlepas pengecam yang jarang digunakan atau rujukan peribadi yang samar, dan ia boleh menyunting entiti secara berlebihan atau tidak mencukupi apabila konteks adalah terhad, terutamanya dalam jujukan pendek. Dalam domain berkepekaan tinggi seperti aliran kerja undang-undang, perubatan dan kewangan, semakan manusia serta penilaian dan pelarasan halus khusus domain tetap penting.

Kami melancarkan Penapis Privasi OpenAI untuk menyokong perlindungan privasi yang lebih kukuh di seluruh ekosistem.

Model ini tersedia mulai hari ini di bawah lesen Apache 2.0 pada Hugging Face⁠(dibuka dalam tetingkap baru) dan Github⁠(dibuka dalam tetingkap baru). Ia bertujuan untuk eksperimen, penyesuaian dan penggunaan komersial, dan ia boleh dilaras halus untuk taburan data dan dasar privasi yang berbeza.

Bersama-sama dengan model ini, kami menyediakan dokumentasi yang merangkumi seni bina model, taksonomi label, kawalan penyahkodan, kes penggunaan yang dimaksudkan, persediaan penilaian, dan batasan yang diketahui, supaya pasukan dapat memahami kedua-dua perkara yang model lakukan dengan baik dan bahagian yang memerlukan penggunaan secara berhati-hati.

Perlindungan privasi untuk sistem AI merupakan usaha berterusan merentas penyelidikan, reka bentuk produk, penilaian, dan penyebaran.

Privacy Filter mencerminkan satu hala tuju yang kami percaya penting: model kecil dan cekap dengan keupayaan perbatasan dalam tugasan yang ditakrifkan secara khusus yang penting untuk sistem AI dunia sebenar. Kami mengeluarkannya kerana kami fikir infrastruktur yang memelihara privasi sepatutnya lebih mudah untuk diteliti, dijalankan, disesuaikan, dan ditambah baik.

Matlamat kami adalah agar model mempelajari tentang dunia, bukan tentang individu peribadi. Privacy Filter membantu menjadikannya mungkin.

Kami melancarkan pratonton ini bagi Privacy Filter untuk menerima maklum balas daripada komuniti penyelidikan dan privasi serta terus menambah baik prestasi model.