סיכול מבצע מתואם לזיקוק מודלים
לאחרונה זיהינו וסיכלנו מבצע מתואם שנועד לחלץ reasoning מוגן מהמודלים שלנו. הפעילות המוקדמת ביותר שזוהתה התרחשה בשבוע הראשון של יולי. פעילות זו תואמת דפוס של זיקוק עוין: שימוש שיטתי ולא מורשה בפלטים או ב-reasoning של מודל אחד כדי לסייע באימון, בשחזור או בשיפור של מודל אחר. reasoning מוגן הוא התיעוד הפנימי של המודל לתהליך ביצוע המשימה. חילוצו עלול לחשוף מידע שלא נכלל בתשובה הסופית ולסייע לאחרים לשחזר את יכולות המודל.
מבצעי הפעילות לא פיצחו את ההצפנה שלנו, לא פרצו למסד נתונים ולא השיגו גישה ישירה לשיחות משתמשים שמורות. במקום זאת, הם ביצעו מניפולציות באינטראקציות עם המודלים כדי לשחזר reasoning מוגן בצורות גלויות למבקש, באופן מתואם ובהיקף נרחב, תוך הפרת תנאי השימוש שלנו. מניפולציה זו אינה חולשה ייחודית למודלים של OpenAI. שיתפנו מידע עליה עם שותפים בתעשייה באמצעות Frontier Model Forum כדי לחזק את ההגנה המשותפת מפני זיקוק עוין.
לפני הפרסום חקרנו את היקף הפעילות ואת השפעתה האפשרית, יישמנו אמצעי הגנה משלנו, ושיתפנו חוקרים ושותפים בתעשייה וקיבלנו מהם משוב כדי לוודא שקיימות הגנות מפני מתקפות מסוג זה. אנו ממשיכים בחקירה וביישום אמצעי הגנה נוספים. אנו מאמינים ששיתוף התובנות שלנו כעת יסייע לכלל הגורמים בתחום לחזק את ההגנות שלהם.
זיהינו ניסיונות לחלץ reasoning מוגן בדרכים חדשות, בין היתר באמצעות העתקת reasoning מוצפן משיחה אחת ובקשה ממודל בשיחה אחרת לפענח ולתמלל את תוכן ה-reasoning הנסתר.
גם חוקרי אבטחה עצמאיים(נפתח בחלון חדש) הביאו לידיעתנו, במסגרת גילוי אחראי, חולשות קשורות הנוגעות למעבר בין מודלים ול-compaction של שיחות. חקרנו את ממצאיהם ואימתנו שאפשרויות התקיפה שזיהו אכן קיימות. עבודתם סייעה לנו להבין את סוג המתקפות הרחב יותר ולהאיץ את יישום אמצעי ההגנה.
הפעילות החלה ב-1 ביולי, תחילה בהיקף מצומצם, עד שב-24 וב-25 ביולי זיהינו זינוקים בהיקפה: 16,000 בקשות1 מיותר מ-4,000 משתמשים, שהשתמשו בדפוס חילוץ רלוונטי. חקירה נוספת זיהתה פעילות עם דפוסי פרומפט קשורים בקבוצה של יותר מ-15,000 משתמשים. עד 28 ביולי סיכלנו פעילות זו במלואה.
הפעילות השתנתה לאורך הזמן, וחיזקה את ההבנה שזיקוק עוין הוא אתגר אבטחה רחב יותר, המחייב הגנות רב-שכבתיות המותאמות לאיומים משתנים.
לא ברור אם כל מי שביצעו את הפעילות שזיהינו בתקופה הרלוונטית פעלו מטעם גורם יחיד. עם זאת, אנו מייחסים חלק מרכזי מהפעילות לאנשים הקשורים ל-Moonshot AI, מפתחת Kimi.
זיקוק עוין יוצר סיכונים לבטיחות ולביטחון הלאומי. reasoning שחולץ עלול לשמש לאימון מודל אחר בלי לשמר את אמצעי ההגנה החלים על הפלטים המוצגים למשתמשים במודל המקורי. בהיקף נרחב, זיקוק יכול גם להאיץ העברה של יכולות מתקדמות בלי לחייב השקעה דומה בבטיחות. חששות אלה מתגברים ככל שמודלים רוכשים יכולות בתחומים בעלי שימוש כפול.
סיכון זה אינו ייחודי ל-OpenAI. כפי שצוין לעיל, שיטות דומות עשויות להשפיע על מערכות AI מתקדמות אחרות, ולכן מדובר באתגר אבטחה משותף המחייב תיאום בכלל התעשייה.
פעלנו לצמצום הפגיעה ממבצע הזיקוק האחרון באמצעות שילוב של צעדי אכיפה נגד חשבונות, בקרות טכניות ותיאום עם שותפים. חסמנו או הגבלנו חשבונות ששימשו להונאה, חיזקנו את הבקרות בתהליכי ההרשמה ובתשתיות, והרחבנו את הניטור לאיתור רשתות קשורות.
חיזקנו גם את ההגנות על reasoning נסתר בין משתמשים, סביבות עבודה, ארגונים ומשפחות מודלים. חסמנו דרך שאפשרה למי שכבר החזיק ב-reasoning מוצפן של משתמש אחר להזין אותו מחדש ולשחזר את תוכנו. בנוסף, הוספנו בדיקות לזיהוי ולעיכוב של פלט המוזרם בזמן אמת ועלול לחשוף reasoning. כאשר פעילות קשורה עברה דרך שירותי צד שלישי, עבדנו עם ספקי השירותים כדי לזהות את החשבונות המעורבים ולעצור את פעילותם.
לבסוף, שיתפנו ממצאים רלוונטיים באמצעות Frontier Model Forum וערוצים ממשלתיים מתאימים לשיתוף מידע, כדי שמפתחים אחרים של מודלי חזית ושותפים במגזר הציבורי יוכלו לאתר פעילות דומה ולחזק את ההגנות שלהם. מערכות התומכות בתוצרי reasoning הניתנים להעברה או להזנה חוזרת עלולות להתמודד עם סיכונים דומים.
אנו צופים שניסיונות לזיקוק עוין ייעשו מתוחכמים יותר ככל שמודלי חזית ישתפרו וככל שגורמים יחפשו דרכים זולות יותר לחקות את יכולותיהם. ההגנה מפני פעילות זו מחייבת בקרות רב-שכבתיות והתאמה מתמדת לאיומים משתנים.
העבודה הזו טרם הסתיימה. פריסות המתארחות אצל שותפים זקוקות לאותן הגנות כמו שירותים שאנו מפעילים בעצמנו, ומתקפות דרך פלטי כלים מחייבות הגנות שבוחנות יותר מטקסט גלוי רגיל. אנו ממשיכים לשפר את ההגנות על כלים, את כיסוי המסווגים ואת יכולת המודלים לסרב לבקשות לא ראויות, ולהרחיב את הטמעת הבקרות הרלוונטיות בקרב שותפי הענן.
המענה שלנו ימשיך להתמקד בשלושה תחומים: חיזוק ההגנות הטכניות מפני חילוץ, שיפור הזיהוי והאכיפה נגד מבצעים מתואמים, והעמקת שיתוף המידע על איומים בין התעשייה לממשלה.
