معرفی OpenAI Privacy Filter

امروز OpenAI Privacy Filter را منتشر می‌کنیم، یک الگوی وزن باز برای شناسایی و حذف اطلاعات قابل‌شناسایی شخصی (PII) در متن. این انتشار بخشی از تلاش گسترده‌تر ما برای پشتیبانی از یک اکوسیستم نرم‌افزاری تاب‌آورتر است؛ از طریق فراهم کردن زیرساخت‌های عملی برای توسعه‌دهندگان جهت ساخت ایمن با هوش مصنوعی، از جمله ابزارها⁠ و مدل‌ها⁠ که پیاده‌سازی حفاظت‌های قوی از حریم خصوصی و امنیت را از همان ابتدا آسان‌تر می‌کنند.

Privacy Filter یک مدل کوچک با قابلیت پیشرو در تشخیص داده‌های شخصی است. این سیستم برای گردش‌کارهای حریم خصوصی با توان عملیاتی بالا طراحی شده است و می‌تواند شناسایی آگاه از زمینه اطلاعات قابل‌شناسایی شخصی (PII) را در متن بدون ساختار انجام دهد. این می‌تواند به‌صورت محلی اجرا شود، یعنی PII را می‌توان بدون اینکه داده‌ها از دستگاه شما خارج شوند، پنهان یا حذف کرد. ورودی‌های طولانی را به‌طور کارآمد پردازش می‌کند و تصمیم‌های مربوط به حذف اطلاعات حساس را در یک گذر سریع می‌گیرد.

در OpenAI، ما از نسخه‌ای تنظیم‌شده از Privacy Filter در فرآیندهای کاری حافظ حریم خصوصی خود استفاده می‌کنیم. ما Privacy Filter را توسعه دادیم زیرا باور داشتیم که با جدیدترین قابلیت‌های هوش مصنوعی می‌توانیم استانداردهای حریم خصوصی را فراتر از آنچه پیش‌تر در بازار وجود داشت ارتقا دهیم. نسخه‌ای از Privacy Filter که امروز منتشر می‌کنیم، پس از اعمال اصلاحات مربوط به مشکلات برچسب‌گذاری که در طول ارزیابی شناسایی کردیم، در بنچمارک PII-Masking-300k به عملکرد پیشرفته‌ای دست می‌یابد.

با این نسخه، توسعه‌دهندگان می‌توانند Privacy Filter را در محیط‌های خود اجرا کنند، آن را برای موارد استفاده خود تنظیم دقیق کنند، و محافظت‌های حریم خصوصی قوی‌تری را در چرخه کارهای آموزش، نمایه‌سازی، ثبت گزارش و بازبینی تعبیه کنند.

حفاظت از حریم خصوصی در سیستم‌های مدرن هوش مصنوعی به چیزی فراتر از تطبیق الگو وابسته است. ابزارهای سنتی تشخیص PII معمولاً به قوانین قطعی برای قالب‌هایی مانند شماره تلفن و آدرس‌های ایمیل متکی هستند. آن‌ها می‌توانند برای موارد محدود به خوبی عمل کنند، اما اغلب اطلاعات شخصی ظریف‌تر را نادیده می‌گیرند و در درک زمینه دچار مشکل می‌شوند.

Privacy Filter با آگاهی عمیق‌تر از زبان و زمینه برای عملکردی ظریف‌تر ساخته شده است. با ترکیب درک زبانی قوی با یک سامانه برچسب‌گذاری ویژه حریم خصوصی، می‌تواند دامنه گسترده‌تری از PII را در متنِ بدون ساختار شناسایی کند، از جمله مواردی که تصمیم‌گیری درست به زمینه بستگی دارد. این می‌تواند بهتر بین اطلاعاتی که باید حفظ شوند زیرا عمومی هستند، و اطلاعاتی که باید پنهان یا حذف شوند زیرا به یک فرد حقیقی مربوط هستند، تمایز قائل شود.

نتیجه، مدلی است که به اندازه‌ای قدرتمند است که عملکرد فیلترسازی حریم خصوصی در سطح پیشرو ارائه دهد. در عین حال، مدل آن‌قدر کوچک است که بتوان آن را به‌صورت محلی اجرا کرد—یعنی داده‌هایی که هنوز فیلتر نشده‌اند می‌توانند روی دستگاه باقی بمانند، با خطر افشای کمتر، به‌جای اینکه برای حذف هویت به یک سرور ارسال شوند. 

Privacy Filter یک مدل دوسویه طبقه‌بندی توکن با رمزگشایی بازه‌ای است. این فرایند از یک چک‌پوینت ازپیش‌آموزش‌دیده خودبرگشت‌گرد آغاز می‌شود و سپس به یک طبقه‌بند توکن بر روی رده‌بندی ثابتی از برچسب‌های حریم خصوصی تبدیل می‌شود. به‌جای تولید متن به‌صورت توکن‌به‌توکن، یک دنباله ورودی را در یک گذر برچسب‌گذاری می‌کند و سپس با استفاده از یک رویه ویتربی محدود‌شده، بازه‌های منسجم را رمزگشایی می‌کند.

این معماری چند ویژگی مفید برای استفاده از Privacy Filter در محیط تولید فراهم می‌کند:

• سریع و کارآمد: همه توکن‌ها در یک گذر رو‌به‌جلو برچسب‌گذاری می‌شوند.
• آگاه از بافت: پیشینه زبانی این امکان را می‌دهد که بازه‌های PII بر اساس بافت پیرامون شناسایی شوند.
• زمینه طولانی: مدل منتشرشده تا ۱۲۸,۰۰۰ توکن زمینه را پشتیبانی می‌کند.
• قابل تنظیم: توسعه‌دهندگان می‌توانند نقاط عملیاتی را تنظیم کنند تا بسته به جریان کاری‌شان، میان یادآوری و دقت موازنه برقرار کنند.

مدل منتشرشده در مجموع ۱٫۵ میلیارد پارامتر دارد که ۵۰ میلیون پارامتر آن فعال هستند.

Privacy Filter بازه‌ها را در هشت دسته پیش‌بینی می‌کند:

• شخص خصوصی
• آدرس خصوصی
• ایمیل_خصوصی
• private_phone
• آدرس اینترنتی خصوصی
• private_date
• شماره حساب
• اسرار

دسته‌بندی account_number به پنهان‌سازی طیف گسترده‌ای از شماره‌حساب‌ها، از جمله اطلاعات بانکی مانند شماره کارت‌های اعتباری و شماره حساب‌های بانکی، کمک می‌کند، در حالی که secret به پنهان‌سازی مواردی مانند گذرواژه‌ها و کلیدهای API کمک می‌کند.

این برچسب‌ها با برچسب‌های بازه‌ای BIOES رمزگشایی می‌شوند که به ایجاد مرزهای ماسک‌گذاری تمیزتر و منسجم‌تر کمک می‌کند.

ما فیلتر حریم خصوصی را در چندین مرحله توسعه دادیم.

ابتدا، یک رده‌بندی حریم خصوصی تدوین کردیم که انواع «بازه‌های متنی» را که مدل باید شناسایی کند مشخص می‌کند. این شامل شناسه‌های شخصی، اطلاعات تماس، آدرس‌ها، تاریخ‌های خصوصی، انواع مختلف شماره‌حساب‌ها (مانند اطلاعات کارت اعتباری و بانکی) و رازهایی مانند کلیدهای API و گذرواژه‌ها می‌شود.

دوم، ما با جایگزین کردن بخش الگوسازی زبان با یک بخش رده‌بندی توکن و سپس پس‌آموزش آن با یک هدف رده‌بندی نظارت‌شده، یک مدل زبان ازپیش‌آموزش‌دیده را به یک رده‌بند توکن دوسویه تبدیل کردیم. 

سوم، با استفاده از ترکیبی از داده‌های در دسترس عموم و داده‌های مصنوعی که برای پوشش دادن هم متن‌های واقع‌گرایانه و هم الگوهای دشوارِ مرتبط با حریم خصوصی طراحی شده بودند، آموزش داده شد. در بخش‌هایی از داده‌های عمومی که برچسب‌ها ناقص بودند، از برچسب‌گذاری و بازبینی کمک‌گرفته از مدل برای بهبود پوشش استفاده کردیم. ما همچنین نمونه‌های مصنوعی تولید کردیم تا تنوع را در قالب‌ها، زمینه‌ها و زیرگونه‌های حریم خصوصی افزایش دهیم.

در زمان استنتاج، پیش‌بینی‌های سطح توکن مدل با استفاده از رمزگشایی دنباله‌ای مقید به بازه‌های منسجم رمزگشایی می‌شوند. این رویکرد درک گسترده زبانی مدل از پیش آموزش‌دیده را حفظ می‌کند و در عین حال آن را برای تشخیص حریم خصوصی تخصصی می‌کند.

ما Privacy Filter را بر روی بنچمارک‌های استاندارد و همچنین ارزیابی‌های مصنوعی و به سبک چت که برای آزمودن موارد دشوارتر و حساس‌تر به زمینه طراحی شده‌اند، ارزیابی کردیم.

در بنچمارک PII-Masking-300k⁠(در یک پنجره جدید باز می‌شود) ، Privacy Filter امتیاز F1 برابر با ۹۶٪ را کسب می‌کند (۹۴٫۰۴٪ دقت و ۹۸٫۰۴٪ یادآوری). در نسخه اصلاح‌شده‌ای از بنچمارک که مشکلات مربوط به حاشیه‌نویسی مجموعه‌داده را که در جریان بازبینی شناسایی شدند در نظر می‌گیرد، امتیاز F1 برابر با ۹۷٫۴۳٪ است (۹۶٫۷۹٪ دقت و ۹۸٫۰۸٪ یادآوری).

ما همچنین دریافتیم که می‌توان این مدل را به‌طور کارآمد تطبیق داد. تنظیم دقیق حتی با مقدار کمی داده، دقت را در وظایف خاص دامنه به‌سرعت بهبود می‌دهد؛ به‌طوری‌که امتیاز F1 را از ۵۴٪ به ۹۶٪ افزایش می‌دهد و در بنچمارک تطبیق با دامنه‌ای که ارزیابی کردیم به سطح اشباع نزدیک می‌شود.

فراتر از عملکرد در بنچمارک‌ها، Privacy Filter برای فیلتر کردن عملی موارد مرتبط با حریم خصوصی در متون پر از نویز و دنیای واقعی طراحی شده است. این شامل اسناد طولانی، ارجاعات مبهم، رشته‌های با قالب ترکیبی و اسرار مرتبط با نرم‌افزار است. کارت مدل ⁠(در یک پنجره جدید باز می‌شود)همچنین ارزیابی هدفمند درباره تشخیص اسرار در پایگاه‌های کد و آزمون‌های استرس را در نمونه‌های چندزبانه، خصمانه و وابسته به زمینه گزارش می‌کند.

فیلتر حریم خصوصی یک ابزار ناشناس‌سازی، گواهی انطباق، یا جایگزینی برای بازبینی سیاست‌ها در محیط‌های پرمخاطره نیست. این یکی از اجزای یک سیستم گسترده‌تر طراحی‌شده برای حریم خصوصی است.

رفتار آن بازتاب‌دهنده طبقه‌بندی برچسب‌ها و مرزهای تصمیم‌گیری‌ای است که بر اساس آن آموزش دیده است. سازمان‌های مختلف ممکن است سیاست‌های متفاوتی برای تشخیص یا پوشاندن بخواهند و این سیاست‌ها ممکن است به ارزیابی درون‌دامنه‌ای یا تنظیم دقیق‌تر نیاز داشته باشند. عملکرد ممکن است در میان زبان‌ها، خط‌ها، قراردادهای نام‌گذاری و حوزه‌هایی که با توزیع داده‌های آموزشی متفاوت هستند، متفاوت باشد.

مانند همه مدل‌ها، Privacy Filter ممکن است اشتباه کند. ممکن است شناسه‌های غیرمعمول یا ارجاعات خصوصی مبهم را از قلم بیندازد، و وقتی زمینه محدود است، به‌ویژه در دنباله‌های کوتاه، ممکن است موجودیت‌ها را بیش‌ازحد یا کمتر از حد لازم حذف کند. در حوزه‌های با حساسیت بالا مانند گردش‌کارهای حقوقی، پزشکی و مالی، بازبینی انسانی و ارزیابی و تنظیم دقیق مختص حوزه همچنان مهم هستند.

ما فیلتر حریم خصوصی OpenAI را برای پشتیبانی از حفاظت‌های قوی‌تر از حریم خصوصی در سراسر اکوسیستم عرضه می‌کنیم.

مدل از امروز تحت مجوز Apache 2.0 در Hugging Face⁠(در یک پنجره جدید باز می‌شود) و Github⁠(در یک پنجره جدید باز می‌شود) در دسترس است. این برای آزمایش، سفارشی‌سازی و استقرار تجاری در نظر گرفته شده است و می‌تواند برای توزیع‌های مختلف داده و سیاست‌های حفظ حریم خصوصی متفاوت تنظیم دقیق شود.

در کنار مدل، مستنداتی را نیز به اشتراک می‌گذاریم که معماری مدل، رده‌بندی برچسب‌ها، کنترل‌های رمزگشایی، موارد استفاده موردنظر، چارچوب ارزیابی و محدودیت‌های شناخته‌شده را پوشش می‌دهد، تا تیم‌ها هم از توانمندی‌های مدل آگاه شوند و هم بدانند در چه مواردی باید با احتیاط از آن استفاده کرد.

حفاظت از حریم خصوصی در سیستم‌های هوش مصنوعی، تلاشی مستمر در حوزه‌های پژوهش، طراحی محصول، ارزیابی و استقرار است.

Privacy Filter نشان‌دهنده یکی از مسیرهای مهمی است که ما به آن باور داریم: مدل‌های کوچک و کارآمد با قابلیت‌های پیشرو در وظایف محدود و مشخص که برای سیستم‌های هوش مصنوعی دنیای واقعی اهمیت دارند. ما آن را منتشر می‌کنیم، زیرا فکر می‌کنیم زیرساختی که حریم خصوصی را حفظ می‌کند باید بررسی، اجرا، تطبیق و بهبود آن آسان‌تر باشد.

هدف ما این است که مدل‌ها درباره جهان یاد بگیرند، نه درباره افراد شخصی. Privacy Filter به تحقق آن کمک می‌کند.

ما این پیش‌نمایش از Privacy Filter را منتشر می‌کنیم تا بازخوردی از جامعه پژوهشی و حریم خصوصی دریافت کنیم و عملکرد مدل را بیشتر بهبود دهیم.