אירוע Hugging Face והשפעות נוספות של מודלים שאינם בהלימה על צדדים שלישיים
ככל שמערכות בינה מלאכותית נעשות בעלות יכולות גבוהות יותר ועצמאיות יותר, התנהגות שאינה בהלימה עלולה להוביל לפעולות בעלות השלכות בעולם האמיתי, לרבות אירועי אבטחת סייבר ותוצאות אחרות שמפתחים אולי לא צפו. לכן, ההבנה כיצד התנהגויות אלה מתפתחות ומסלימות, וכיצד לזהות אותן ולהגיב להן, נעשית חלק חשוב יותר ויותר בבנייה ובפריסה בטוחה של מערכות בינה מלאכותית מתקדמות.
בתחילה ראינו באירוע Hugging Face בעיקר בעיית אבטחה, שכן הוא כלל פריצה ברמת הפלטפורמה. זו עדיין הפעילות החמורה ביותר מסוג זה שזיהינו עד כה מצד המודלים שלנו, והיא בוצעה בעיקר בהובלת מודל מחקר בעל יכולות גבוהות מאוד, המיועד לשימוש פנימי בלבד. מאז הבנו שהחדירה נבעה מכך שמודלים נקטו אסטרטגיות שאינן בהלימה כדי לפתור משימות קשות, כפי שמתועד בדוח הטכני על אירוע Hugging Face. אירועי אבטחת סייבר הם ביטוי אחד לסיכון הזה; חוסר הלימה עלול להוביל גם להתנהגות בלתי צפויה או מדאיגה אחרת, שאינה נכללת בקטגוריות האבטחה המסורתיות, כגון פרסומים של המודלים שלנו באתרי צד שלישי — תופעה שאנו מכנים ״ספאם של סוכנים״. ועלינו לטפל בשני הסוגים.
המשכנו לבחון פעילות רחבה יותר, תוך מתן עדיפות לאירועים החמורים יותר והרחבת הבדיקה לפעילות שאינה בהלימה בדרגת חומרה נמוכה יותר, לרבות ספאם של סוכנים.
עמוד זה מרכז את הדוחות והעדכונים שלנו על אירוע Hugging Face, מחקרים והרצאות פומביות בנושא, פעילות נוספת שזיהינו, התובנות שלנו לגבי תפקידו של חוסר הלימה במודלים, והצעדים שאנו נוקטים לחיזוק המערכות שלנו. נעדכן את העמוד ככל שהחקירות שלנו יתקדמו.
פעילות המשפיעה על צדדים שלישיים
כדי להבין טוב יותר את היקף ההתנהגויות הבלתי צפויות האלה, אנו עורכים בדיקה רחבה של פעילות המודלים שלנו באינטרנט במהלך אימון והערכה. במסגרת הבדיקה, אנו מזהים צדדים שלישיים ומודיעים להם באופן שוטף, תחילה במקרים שבהם:
ייתכן שהמודלים שלנו עקפו את בקרות האבטחה של צד שלישי או פגעו בזמינות של שירות מקוון; או
מקרים של חוסר הלימה פגעו באתרים או בשירותים של צדדים שלישיים.
על סמך הבדיקה עד כה, הודענו לעשרות צדדים שלישיים בהתאם לקריטריונים שלעיל. הבדיקה שלנו של פעילות העבר נמשכת ותדרוש זמן ומשאבים ניכרים. נודיע לצדדים שלישיים נוספים ככל שהעבודה תתקדם.
להלן אנו מפרסמים סיכומים ללא פרטים מזהים, המתארים את סוגי הפעילות שאינה בהלימה שזיהינו. נעדכן את התיאורים האלה ככל שנודיע לצדדים שלישיים נוספים וככל שהבנתנו תתפתח. בנוסף, נשתף עדכונים רלוונטיים על מצב הבדיקה. ככלל, נשמיט שמות ופרטים מזהים אחרים כשנדרש להגן על הצדדים שהושפעו, אף שצדדים שקיבלו הודעה עשויים לבחור לשתף בפומבי את המידע שסיפקנו להם.
סיכומי הפעילויות שנצפו
בתהליך הבדיקה ומסירת ההודעות שלנו זוהו עד כה קטגוריות הפעילות הבאות:
עקיפת בקרת גישה: סוכנים מגיעים למידע או לתכונות שבדרך כלל דורשים אימות זהות, הרשאה ספציפית, מינוי או חשבון. לדוגמה, סוכן השתמש בכתובת אינטרנט אחרת, שינה פרטים בבקשה או הסתמך על סשן התחברות שהעניק לו גישה רחבה מהצפוי.
שימוש בפרטי גישה חשופים: סוכנים מצאו פרטי התחברות או מפתחות גישה שהיו זמינים לציבור והשתמשו בהם כדי לגשת לשירות.
הזרקת שאילתות או פקודות: סוכנים הזינו לאתר או לשירות טקסט שהשירות פירש כהוראה ולא כקלט רגיל. הדבר עלול לגרום לשירות להריץ שאילתה במסד נתונים, קוד יישום או פקודה בשרת שלו.
גישה לרכיבים פנימיים של סביבת הריצה: סוכנים קראו קבצים המכילים את קוד המימוש של שירות או קיימו אינטראקציה עם מערכת רקע המיועדת לשימוש פנימי. במקרים אלה, הסוכן הגיע לחלקים בשירות שמעבר לתחום הגישה שיועד לו.
ספאם של סוכנים: סוכנים מפרסמים מידע באתרי צד שלישי באופן שעשוי לשנות מידע באתרים אלה ולדרוש פעולות ניקוי. דוגמה לכך היא שימוש בדפי ויקי ציבוריים כלוחות הודעות משותפים.