OpenAI प्रायव्हसी फिल्टर सादर करत आहे

आज आम्ही OpenAI Privacy Filter रिलीज करत आहोत, जे मजकुरातील वैयक्तिकरित्या ओळख पटवू शकणारी माहिती (PII) शोधण्यासाठी आणि रिडॅक्ट करण्यासाठीचे एक ओपन वेट मॉडेल्स आहे. हे प्रकाशन अधिक लवचिक सॉफ्टवेअर परिसंस्थेला समर्थन देण्यासाठी आमच्या व्यापक प्रयत्नांचा भाग आहे. यासाठी आम्ही डेव्हलपरना AI सह सुरक्षितपणे तयार करण्यासाठी व्यावहारिक पायाभूत सुविधा प्रदान करत आहोत, ज्यामध्ये साधने⁠ आणि मॉडेल⁠ समाविष्ट आहेत, ज्यामुळे सुरुवातीपासूनच मजबूत गोपनीयता आणि सुरक्षा संरक्षणांची अंमलबजावणी करणे अधिक सोपे होते.

Privacy Filter हे अत्याधुनिक वैयक्तिक डेटा-शोध क्षमतेसह एक लहान मॉडेल आहे. हे उच्च-थ्रुपुट गोपनीयता वर्कफ्लोसाठी तयार केलेले आहे आणि असंरचित मजकूरात संदर्भानुसार PII चे शोध घेऊ शकते. ते स्थानिक पातळीवर चालू शकते, म्हणजेच PII तुमच्या मशीनच्या बाहेर न जाता mask किंवा redact करता येते. ते लांब इनपुट कार्यक्षमतेने प्रक्रिया करते आणि एका जलद, एकाच पासमध्ये रिडॅक्शनचे निर्णय घेते.

OpenAI मध्ये, आम्ही आमच्या गोपनीयता जपणाऱ्या वर्कफ्लोमध्ये Privacy Filter ची सुधारित आवृत्ती वापरतो. आम्ही Privacy Filter विकसित केले कारण आम्हाला विश्वास आहे की नवीनतम AI क्षमतांच्या मदतीने आम्ही बाजारात उपलब्ध असलेल्या मानकांपेक्षा अधिक उच्च गोपनीयता मानक प्रस्थापित करू शकतो. आम्ही आज रिलीज करत असलेल्या Privacy Filter च्या आवृत्तीने, मूल्यांकनादरम्यान आम्ही ओळखलेल्या annotation समस्यांचे निराकरण केल्यानंतर, PII-Masking-300k बेंचमार्कवर अत्याधुनिक कामगिरी साध्य केली आहे.

या प्रकाशनासह, विकसक त्यांच्या स्वतःच्या वातावरणात प्रायव्हसी फिल्टर चालवू शकतात, त्यांच्या विशिष्ट गरजांसाठी त्याला फाइन-ट्यून करू शकतात आणि प्रशिक्षण, इंडेक्सिंग, लॉगिंग आणि पुनरावलोकन पाइपलाइनमध्ये अधिक मजबूत गोपनीयता संरक्षण समाविष्ट करू शकतात.

आधुनिक AI प्रणालींमध्ये गोपनीयतेचे संरक्षण केवळ पॅटर्न मॅचिंगवर अवलंबून नसते. पारंपरिक PII शोध साधने अनेकदा फोन नंबर आणि ईमेल पत्ते यांसारख्या स्वरूपांसाठी निश्चित नियमांवर अवलंबून असतात. ते मर्यादित प्रकरणांसाठी चांगले कार्य करू शकतात, परंतु अनेकदा अधिक सूक्ष्म वैयक्तिक माहिती गमावतात आणि संदर्भ समजण्यात अडचण येते.

Privacy Filter अधिक सूक्ष्मपणे काम करण्यासाठी भाषा आणि संदर्भाचे सखोल आकलन ठेवून तयार केले आहे. भाषेचे सखोल आकलन आणि गोपनीयता-विशिष्ट लेबलिंग प्रणाली एकत्र केल्यामुळे, ते असंरचित मजकुरात वैयक्तिक ओळख पटवणारी माहिती (PII) चे अधिक प्रकार ओळखू शकते—संदर्भावर योग्य निर्णय अवलंबून असतो अशी प्रकरणेही यात येतात. सार्वजनिक असल्यामुळे जशीच्या तशी ठेवावी अशी माहिती आणि खाजगी व्यक्तीशी संबंधित असल्यामुळे मास्क करावी किंवा रेडॅक्ट (कापून/लपवून) करावी अशी माहिती—यांत ते अधिक अचूकपणे फरक करू शकते.

परिणाम म्हणजे असे मॉडेल जे अत्याधुनिक स्तरावरील गोपनीयता फिल्टरिंग कार्यक्षमता प्रदान करण्यासाठी पुरेसे सक्षम आहे. त्याच वेळी, मॉडेल इतके छोटे आहे की ते स्थानिक पातळीवर चालवता येईल—म्हणजे अजून फिल्टर न केलेला डेटा डिव्हाइसवरच राहू शकतो, त्यामुळे ओळख काढून टाकण्यासाठी तो सर्व्हरवर पाठवण्याची गरज नाही आणि उघड होण्याचा धोका कमी होतो. 

Privacy Filter हे स्पॅन डिकोडिंगसह एक द्विदिशात्मक टोकन वर्गीकरण मॉडेल आहे. याची सुरुवात ऑटोरिग्रेसिव्ह पूर्वप्रशिक्षित चेकपॉइंटपासून होते आणि त्यानंतर ते गोपनीयता लेबलांच्या निश्चित वर्गीकरण संरचनेवर टोकन वर्गीकरणामध्ये रूपांतरित केले जाते. मजकूर टोकननुसार निर्माण करण्याऐवजी, ते इनपुट अनुक्रम एका पासमध्ये लेबल करते आणि नंतर मर्यादित Viterbi प्रक्रियेच्या साहाय्याने सुसंगत स्पॅन डीकोड करते.

हे आर्किटेक्चर Privacy Filter ला प्रॉडक्शन वापरासाठी काही उपयुक्त गुणधर्म देते:

• जलद आणि कार्यक्षम: सर्व टोकन एका फॉरवर्ड पासमध्ये लेबल केले जातात.
• संदर्भाची जाणीव: language prior मुळे आजूबाजूच्या संदर्भावरून PII spans ओळखता येतात.
• लांब संदर्भ: प्रकाशित मॉडेल 128,000 टोकनपर्यंत संदर्भाचे समर्थन करते.
• कॉन्फिगर करण्यायोग्य: डेव्हलपर्स त्यांच्या वर्कफ्लोनुसार रिकॉल आणि प्रिसिजन यांमधील तडजोड साधण्यासाठी ऑपरेटिंग पॉइंट्स ट्यून करू शकतात.

रिलीज केलेल्या मॉडेलमध्ये 1.5B एकूण पॅरामीटर्स आहेत, ज्यापैकी 50M सक्रिय पॅरामीटर्स आहेत.

Privacy Filter आठ श्रेणींमध्ये श्रेणींचा अंदाज लावतो:

• खाजगी_व्यक्ती
• private_address
• private_email
• वैयक्तिक_फोन
• private_url
• private_date
• खाते_क्रमांक
• गुप्त

account_number श्रेणी विविध प्रकारचे खाते क्रमांक लपविण्यास मदत करते, ज्यामध्ये क्रेडिट कार्ड क्रमांक आणि बँक खाते क्रमांक यांसारखी बँकिंग माहिती समाविष्ट असते, तर secret पासवर्ड आणि API keys यांसारख्या गोष्टी लपविण्यास मदत करते.

ही लेबले BIOES span tags सह डीकोड केली जातात, ज्यामुळे अधिक स्वच्छ आणि अधिक सुसंगत मास्किंग सीमारेषा तयार करण्यात मदत होते.

आम्ही Privacy Filter अनेक टप्प्यांमध्ये विकसित केले.

प्रथम, आम्ही एक गोपनीयता वर्गीकरण तयार केले, जे मॉडेलने ओळखायचे असलेले मजकूरातील प्रकार परिभाषित करते. यामध्ये वैयक्तिक ओळख दर्शवणारी माहिती, संपर्क तपशील, पत्ते, खाजगी तारखा, क्रेडिट आणि बँकिंग माहितीसारखे विविध प्रकारचे खाते क्रमांक, तसेच API की आणि पासवर्डसारखी गुप्त माहिती समाविष्ट आहे.

दुसरे म्हणजे, आम्ही पूर्वप्रशिक्षित लँग्वेज मॉडेलला लॅंग्वेज मॉडेलिंग हेडच्या जागी टोकन-वर्गीकरण हेड बसवून आणि पर्यवेक्षित वर्गीकरण उद्दिष्टासह त्याचे पोस्ट-ट्रेनिंग करून द्विदिश टोकन वर्गीकारकात रूपांतरित केले. 

तिसरे, आम्ही सार्वजनिकपणे उपलब्ध आणि कृत्रिम डेटाच्या मिश्रणावर प्रशिक्षण दिले, जे वास्तववादी मजकूर आणि कठीण गोपनीयता नमुने समाविष्ट करण्यासाठी डिझाइन केलेले होते. सार्वजनिक डेटाच्या ज्या भागांमध्ये लेबले अपूर्ण होती, त्या ठिकाणी व्याप्ती सुधारण्यासाठी आम्ही मॉडेल-सहाय्यित अॅनोटेशन आणि पुनरावलोकन केले. स्वरूपे, संदर्भ आणि गोपनीयतेचे उपप्रकार यांमध्ये वैविध्य वाढवण्यासाठी आम्ही कृत्रिम उदाहरणे तयार केली.

अनुमानाच्या वेळी, मॉडेलच्या टोकन-स्तरीय अंदाजांना मर्यादित अनुक्रम डीकोडिंग वापरून सुसंगत विभागांमध्ये रूपांतरित केले जाते. हा दृष्टिकोन पूर्वप्रशिक्षित मॉडेलचे व्यापक भाषिक आकलन जतन करताना गोपनीयता शोधण्यासाठी त्याला विशेष बनवतो.

आम्ही 'प्रायव्हसी फिल्टर' या प्रणालीचे मानक बेंचमार्क्सवर तसेच अधिक कठीण आणि संदर्भ-संवेदनशील प्रकरणांची चाचणी घेण्यासाठी तयार केलेल्या अतिरिक्त कृत्रिम आणि चॅट-शैलीतील मूल्यांकनांवर परीक्षण केले.

PII-Masking-300k⁠(नवीन विंडोमध्ये उघडेल) या बेंचमार्कवर, Privacy Filter ने 96% F1 स्कोअर मिळवला (94.04% प्रिसिजन आणि 98.04% रिकॉल). पुनरावलोकनादरम्यान ओळखल्या गेलेल्या डेटासेट अॅनोटेशनमधील समस्यांचा विचार करणाऱ्या बेंचमार्कच्या दुरुस्त केलेल्या आवृत्तीवर, F1 स्कोर 97.43% आहे (96.79% precision आणि 98.08% recall).

आम्हाला असेही आढळले की मॉडेल कार्यक्षमतेने अनुकूलित केले जाऊ शकते. अगदी कमी प्रमाणातील डेटावर केलेले फाईन-ट्यूनिंगही डोमेन-विशिष्ट कामांवरील अचूकता पटकन सुधारते, F1 score 54% वरून 96% पर्यंत वाढवते आणि आम्ही मूल्यांकन केलेल्या डोमेन-अॅडॅप्टेशन बेंचमार्कवर संपृक्ततेच्या जवळ पोहोचते.

बेंचमार्क कामगिरीच्या पलीकडे, Privacy Filter हे गोंगाटयुक्त, वास्तविक-जगातील मजकुरामध्ये व्यावहारिक गोपनीयता फिल्टरिंगसाठी तयार केले गेले आहे. यामध्ये लांब दस्तऐवज, अस्पष्ट संदर्भ, मिश्र स्वरूपातील स्ट्रिंग्ज आणि सॉफ्टवेअर-संबंधित गुपिते समाविष्ट आहेत. मॉडेल कार्ड ⁠(नवीन विंडोमध्ये उघडेल)मध्ये कोडबेसमधील गुपित शोधासाठी लक्ष्यित मूल्यांकन आणि बहुभाषिक, अडथळ्यांचे, तसेच संदर्भ-आधारित उदाहरणांवरील ताण-चाचण्यांचा अहवाल दिला आहे.

Privacy Filter हे अनामिकीकरण साधन, अनुपालन प्रमाणपत्र किंवा उच्च-जोखमीच्या परिस्थितींमध्ये धोरण पुनरावलोकनाचा पर्याय नाही. हे व्यापक डिझाइननुसार गोपनीयता प्रणालीतील एक घटक आहे.

त्याचे वर्तन ज्या लेबल वर्गीकरण आणि निर्णय सीमांवर त्याला प्रशिक्षण देण्यात आले, त्यांचे प्रतिबिंबित करते. वेगवेगळ्या संस्थांना वेगवेगळी शोध किंवा मास्किंग धोरणे हवी असू शकतात आणि त्या धोरणांसाठी इन-डोमेन मूल्यमापन किंवा पुढील फाइन-ट्यूनिंग आवश्यक असू शकते. प्रशिक्षण वितरणापेक्षा भिन्न असलेल्या भाषा, लिपी, नामकरण पद्धती आणि डोमेन्समध्ये कामगिरी बदलू शकते.

सर्व मॉडेल्सप्रमाणे, Privacy Filter चुका करू शकते. ते असामान्य ओळखचिन्हे किंवा संदिग्ध खाजगी संदर्भ नजरेतून चुकवू शकते, आणि संदर्भ मर्यादित असताना, विशेषतः लहान क्रमांमध्ये, ते घटक गरजेपेक्षा जास्त किंवा कमी लपवू शकते. कायदेशीर, वैद्यकीय आणि आर्थिक कार्यप्रवाहांसारख्या अत्यंत संवेदनशील क्षेत्रांमध्ये, मानवी पुनरावलोकन तसेच डोमेन-विशिष्ट मूल्यांकन आणि फाइन-ट्यूनिंग महत्त्वाचे राहतात.

संपूर्ण इकोसिस्टममध्ये अधिक मजबूत गोपनीयता संरक्षणांना समर्थन देण्यासाठी आम्ही OpenAI प्रायव्हसी फिल्टर जारी करत आहोत.

मॉडेल आज Hugging Face⁠(नवीन विंडोमध्ये उघडेल) आणि GitHub⁠(नवीन विंडोमध्ये उघडेल) वर Apache 2.0 परवान्याअंतर्गत उपलब्ध आहे. हे प्रयोग, सानुकूलन आणि व्यावसायिक उपयोजनासाठी आहे, आणि वेगवेगळ्या डेटा वितरणांसाठी तसेच प्रायव्हसी पॉलिसींसाठी हे fine-tune करता येते.

मॉडेलसोबतच, आम्ही मॉडेल आर्किटेक्चर, लेबल वर्गीकरण, डिकोडिंग नियंत्रणे, अभिप्रेत वापर प्रकरणे, मूल्यांकन मांडणी आणि ज्ञात मर्यादा यांचा समावेश असलेले दस्तऐवजीकरण शेअर करत आहोत, जेणेकरून संघांना मॉडेल कोणत्या बाबतीत चांगले कार्य करते आणि ते कुठे काळजीपूर्वक वापरले पाहिजे हे दोन्ही समजू शकेल.

AI प्रणालींसाठी गोपनीयतेचे संरक्षण हे संशोधन, उत्पादन डिझाइन, मूल्यांकन आणि डिप्लॉयमेंट या सर्व क्षेत्रांमध्ये सतत चालणारा प्रयत्न आहे.

Privacy Filter आमच्या मते महत्त्वाची असलेली एक दिशा दर्शवतो: वास्तविक-जगातील AI प्रणालींसाठी महत्त्वाची असलेल्या मर्यादितपणे परिभाषित केलेल्या कार्यांमध्ये अत्याधुनिक क्षमता असलेली लहान, कार्यक्षम मॉडेल्स. आम्ही ते प्रकाशित करत आहोत कारण आम्हाला वाटते की गोपनीयता जपणारे इन्फ्रास्ट्रक्चर तपासणे, चालवणे, अनुकूल करणे आणि सुधारणे अधिक सोपे असावे.

आमचे ध्येय आहे की मॉडेल्सनी खासगी व्यक्तींबद्दल नव्हे, तर जगाबद्दल शिकावे. गोपनीयता फिल्टर हे शक्य करते.

संशोधन आणि गोपनीयता समुदायाकडून अभिप्राय मिळविण्यासाठी आणि मॉडेल कामगिरीवर पुढील पुनरावृत्ती करण्यासाठी आम्ही Privacy Filter चे हे पूर्वावलोकन प्रकाशित करत आहोत.