מציגים את OpenAI Privacy Filter

היום אנחנו משיקים את OpenAI Privacy Filter, מודל במשקלים פתוחים לזיהוי ולהסרה של מידע אישי מזהה (PII) בטקסט. ההשקה הזו היא חלק מהמאמץ הרחב שלנו לחזק את החוסן של סביבת התוכנה באמצעות תשתית מעשית שתאפשר למפתחים לבנות עם בינה מלאכותית בבטחה. תשתית זו כוללת כלים⁠ ומודלים⁠ שמקלים על הטמעת הגנות חזקות על הפרטיות והאבטחה כבר מההתחלה.

Privacy Filter הוא מודל קטן עם יכולת זיהוי מידע אישי בחזית הטכנולוגיה. הוא מיועד לתהליכי עבודה להגנה על הפרטיות שדורשים תפוקה גבוהה, ומסוגל לזהות מידע אישי מזהה בטקסט לא מובנה תוך התחשבות בהקשר. אפשר להפעיל אותו מקומית, כך שניתן להסתיר או להסיר מידע אישי מזהה בלי שהמידע יצא מהמחשב. הוא מעבד קלטים ארוכים ביעילות ומחליט אילו פרטים להסיר במעבר יחיד ומהיר.

ב-OpenAI אנחנו משתמשים בגרסה של Privacy Filter שעברה כוונון עדין בתהליכי העבודה שלנו לשמירה על הפרטיות. פיתחנו את Privacy Filter מתוך אמונה שבעזרת יכולות הבינה המלאכותית העדכניות נוכל להעלות את רף ההגנה על הפרטיות מעבר למה שכבר היה זמין בשוק. הגרסה של Privacy Filter שאנחנו משיקים היום משיגה ביצועים מהמובילים בתחום במבחן ההשוואה PII-Masking-300k, לאחר תיקון בעיות תיוג שזיהינו במהלך ההערכה.

ההשקה מאפשרת למפתחים להפעיל את Privacy Filter בסביבות שלהם, לבצע לו כוונון עדין לצורכי השימוש שלהם ולשלב הגנות חזקות יותר על הפרטיות בתהליכי אימון, אינדוקס, רישום ביומנים ובדיקה.

הגנה על הפרטיות במערכות בינה מלאכותית מודרניות דורשת יותר מהתאמת תבניות. כלים מסורתיים לזיהוי מידע אישי מזהה מסתמכים לעיתים קרובות על כללים דטרמיניסטיים לזיהוי פורמטים כמו מספרי טלפון וכתובות דוא״ל. הם עשויים לעבוד היטב במקרים מוגדרים ומצומצמים, אבל לעיתים קרובות מחמיצים מידע אישי פחות מובהק ומתקשים בהבנת ההקשר.

Privacy Filter נבנה עם הבנה עמוקה יותר של שפה והקשר, כדי לאפשר הבחנות דקות יותר. השילוב בין הבנת שפה ברמה גבוהה למערכת תיוג ייעודית לפרטיות מאפשר לו לזהות מגוון רחב יותר של מידע אישי מזהה בטקסט לא מובנה, כולל מקרים שבהם ההחלטה הנכונה תלויה בהקשר. הוא מסוגל להבחין טוב יותר בין מידע שיש לשמר כי הוא פומבי, לבין מידע שיש להסתיר או להסיר כי הוא נוגע לאדם פרטי.

התוצאה היא מודל בעל יכולות חזקות מספיק כדי לספק ביצועי סינון לשמירה על הפרטיות שנמצאים בחזית התחום. בה בעת, המודל קטן מספיק להפעלה מקומית — כלומר, נתונים שטרם סוננו יכולים להישאר במכשיר, תוך צמצום הסיכון לחשיפה, במקום להישלח לשרת לצורך הסרת פרטים מזהים. 

Privacy Filter הוא מודל דו-כיווני לסיווג טוקנים עם פענוח מקטעים. נקודת המוצא שלו היא נקודת ביקורת של מודל אוטורגרסיבי שעבר אימון מקדים, ולאחר מכן הוא מותאם למסווג טוקנים לפי טקסונומיה קבועה של תוויות פרטיות. במקום ליצור טקסט טוקן אחר טוקן, הוא מתייג רצף קלט במעבר אחד ואז מפענח מקטעים לכידים באמצעות הליך ויטרבי עם אילוצים.

הארכיטקטורה הזו מקנה ל-Privacy Filter כמה תכונות שימושיות לעבודה בסביבת ייצור:

• מהיר ויעיל: כל הטוקנים מתויגים במעבר קדימה יחיד.

• מודע להקשר: הידע הלשוני המוקדם מאפשר לזהות מקטעי מידע אישי מזהה על סמך ההקשר שסביבם.

• הקשר ארוך: המודל שאנחנו משיקים תומך בהקשר של עד 128,000 טוקנים.

• ניתן להגדרה: מפתחים יכולים לכוונן את נקודות העבודה כדי לאזן בין כיסוי לדיוק בהתאם לתהליך העבודה שלהם.

המודל שאנחנו משיקים כולל 1.5 מיליארד פרמטרים בסך הכול, מתוכם 50 מיליון פרמטרים פעילים.

Privacy Filter מנבא מקטעים בשמונה קטגוריות:

• private_person

• private_address

• private_email

• private_phone

• private_url

• private_date

• account_number

• secret

הקטגוריה account_number מסייעת להסתיר מגוון רחב של מספרי חשבונות, כולל מידע בנקאי כמו מספרי כרטיסי אשראי ומספרי חשבונות בנק, ואילו secret מסייעת להסתיר פרטים כמו סיסמאות ומפתחות API.

התוויות האלה מפוענחות בעזרת תגיות מקטעים מסוג BIOES, שמסייעות להגדיר גבולות ברורים ועקביים יותר להסתרת המידע.

פיתחנו את Privacy Filter בכמה שלבים.

ראשית, בנינו טקסונומיית פרטיות שמגדירה את סוגי המקטעים שהמודל צריך לזהות. היא כוללת פרטים אישיים מזהים, פרטי קשר, כתובות, תאריכים פרטיים, סוגים רבים של מספרי חשבונות כגון פרטי אשראי ובנקאות, ופרטים סודיים כמו מפתחות API וסיסמאות.

שנית, המרנו מודל שפה שעבר אימון מקדים למסווג טוקנים דו-כיווני: החלפנו את ראש מידול השפה בראש לסיווג טוקנים, וביצענו אימון המשך עם יעד של סיווג מונחה. 

שלישית, אימנו אותו על שילוב של נתונים זמינים לציבור ונתונים סינתטיים שנועד לייצג הן טקסט מציאותי והן דפוסים מאתגרים של מידע פרטי. בחלקים של הנתונים הציבוריים שבהם התיוג היה חלקי, השתמשנו בתיוג ובבדיקה בסיוע מודל כדי לשפר את הכיסוי. יצרנו גם דוגמאות סינתטיות כדי להרחיב את מגוון הפורמטים, ההקשרים ותתי-הסוגים של מידע פרטי.

בזמן ההסקה, התחזיות של המודל ברמת הטוקן מפוענחות למקטעים לכידים באמצעות פענוח רצפים עם אילוצים. הגישה הזו משמרת את הבנת השפה הרחבה של המודל שעבר אימון מקדים, ובו בזמן מקנה לו התמחות בזיהוי מידע פרטי.

הערכנו את Privacy Filter באמצעות מבחני השוואה מקובלים, וכן הערכות נוספות המבוססות על נתונים סינתטיים ועל טקסטים בסגנון צ׳אט, שנועדו לבחון מקרים קשים יותר ותלויי הקשר יותר.

במבחן ההשוואה PII-Masking-300k⁠(נפתח בחלון חדש), Privacy Filter משיג ציון F1 של 96% (דיוק של 94.04% וכיסוי של 98.04%). בגרסה מתוקנת של מבחן ההשוואה, שמביאה בחשבון בעיות תיוג במערך הנתונים שזוהו במהלך הבדיקה, ציון ה-F1 הוא 97.43% (דיוק של 96.79% וכיסוי של 98.08%).

מצאנו גם שאפשר להתאים את המודל ביעילות. כוונון עדין על כמות קטנה של נתונים בלבד משפר במהירות את הדיוק במשימות ייעודיות לתחום, מעלה את ציון ה-F1 מ-54% ל-96% ומביא את הביצועים קרוב לרוויה במבחן ההשוואה להתאמה לתחום שבדקנו.

מעבר לביצועים במבחני ההשוואה, Privacy Filter נועד לסינון מעשי לשמירה על הפרטיות בטקסט רועש מהעולם האמיתי. זה כולל מסמכים ארוכים, אזכורים עמומים, מחרוזות שמשלבות פורמטים שונים ופרטים סודיים הקשורים לתוכנה. כרטיס המודל ⁠(נפתח בחלון חדש)מציג גם הערכה ממוקדת של זיהוי פרטים סודיים בבסיסי קוד ומבחני קיצון עם דוגמאות רב-לשוניות, עוינות ותלויות הקשר.

Privacy Filter אינו כלי לאנונימיזציה, אישור לעמידה בדרישות רגולטוריות או תחליף לבחינת מדיניות בסביבות שבהן להחלטות יש השלכות משמעותיות. הוא רכיב אחד במערכת רחבה יותר המבוססת על עקרון הפרטיות כבר משלב התכנון.

ההתנהגות שלו משקפת את טקסונומיית התוויות ואת גבולות ההחלטה שעליהם אומן. ארגונים שונים עשויים לרצות מדיניות שונה לזיהוי או להסתרה, ומדיניות זו עשויה לדרוש הערכה בתחום הרלוונטי או כוונון עדין נוסף. הביצועים עשויים להשתנות גם בין שפות, מערכות כתב, מוסכמות שמות ותחומים שנבדלים מהתפלגות נתוני האימון.

כמו כל המודלים, גם Privacy Filter עלול לטעות. הוא עלול להחמיץ מזהים לא שכיחים או אזכורים עמומים של מידע פרטי, ולהסיר יותר מדי או פחות מדי מידע על ישויות כשההקשר מוגבל, במיוחד ברצפים קצרים. בתחומים רגישים במיוחד, כגון תהליכי עבודה משפטיים, רפואיים ופיננסיים, עדיין יש חשיבות לבדיקה אנושית ולהערכה ולכוונון עדין המותאמים לתחום.

אנחנו משיקים את OpenAI Privacy Filter כדי לסייע בחיזוק ההגנה על הפרטיות בכלל סביבת התוכנה.

המודל זמין מהיום ברישיון Apache 2.0 ב-Hugging Face⁠(נפתח בחלון חדש) וב-Github⁠(נפתח בחלון חדש). הוא מיועד להתנסות, להתאמה אישית ולפריסה מסחרית, וניתן לבצע לו כוונון עדין בהתאם להתפלגויות נתונים ולמדיניות פרטיות שונות.

לצד המודל, אנחנו מפרסמים תיעוד של ארכיטקטורת המודל, טקסונומיית התוויות, אפשרויות בקרת הפענוח, השימושים המיועדים, מערך ההערכה והמגבלות הידועות. כך צוותים יוכלו להבין גם במה המודל מצטיין וגם היכן יש להשתמש בו בזהירות.

הגנה על הפרטיות במערכות בינה מלאכותית היא מאמץ מתמשך הכולל מחקר, תכנון מוצר, הערכה ופריסה.

Privacy Filter משקף כיוון אחד שאנחנו מאמינים בחשיבותו: מודלים קטנים ויעילים עם יכולות בחזית הטכנולוגיה במשימות מוגדרות וממוקדות, שחשובות למערכות בינה מלאכותית בעולם האמיתי. אנחנו משיקים אותו מתוך תפיסה שצריך להיות קל יותר לבדוק, להפעיל, להתאים ולשפר תשתיות השומרות על הפרטיות.

המטרה שלנו היא שמודלים ילמדו על העולם, לא על אנשים פרטיים. Privacy Filter עוזר להפוך זאת לאפשרי.

אנחנו משיקים את גרסת התצוגה המקדימה הזו של Privacy Filter כדי לקבל משוב מקהילת המחקר והפרטיות ולהמשיך לשפר את ביצועי המודל.