הערכות סייבר של גורמי צד שלישי בהשתתפות מודלי OpenAI
בדיקות עצמאיות ממלאות תפקיד חשוב באימות הערכות הסיכון שלנו ובהעמקת הבנת הסיכונים לפני הפריסה. בחלק מהערכות הסייבר נעשה במכוון שימוש בתצורות ייעודיות, לרבות צמצום אמצעי ההגנה, כדי למדוד את היכולת הבסיסית של המודלים — ולא את התנהגותם הרגילה בשירותים הזמינים לציבור.
בהערכות שנערכו לאחרונה, שני שותפי בדיקה חיצוניים זיהו אירועים שבהם תצורות הבדיקה ואמצעי הבקרה, בשילוב עם היכולות המתקדמות של המודלים החדשים, אפשרו לפעילות המודלים לחרוג מגבולות הבדיקה המיועדים. האירועים מדגישים את החשיבות של שיתוף פעולה ברחבי התעשייה ועם מעריכים חיצוניים, כדי לקדם את הסטנדרטים לסביבות בדיקה ולשיטות בדיקה ככל שיכולות המודלים משתפרות. הערת העורך: אירועים אלה נפרדים מאירוע האבטחה ב-Hugging Face. נמשיך לשתף עדכונים על האירוע ב-Hugging Face כאן.
באירועים החדשים, מודלים של OpenAI ניגשו לאינטרנט הציבורי במהלך הערכות סייבר של גורמי צד שלישי, בתנאים מסוימים ובתצורות עם אמצעי הגנה מצומצמים שלא שיקפו פריסה רגילה. האירועים כללו:
UK AISI, המכון של ממשלת בריטניה לאבטחת בינה מלאכותית, ערך הערכות במתחמי תרגול סייבר. הגישה לאינטרנט הופעלה במכוון כדי שסוכנים יוכלו למצוא כלים בעצמם ולפעול בתנאים קרובים יותר לאלה של תוקף אמיתי, ומסווגי הסייבר הושבתו כדי למדוד את היכולת הבסיסית. אפשר לקרוא את הפוסט של המכון בבלוג כאן.(נפתח בחלון חדש)
Irregular, אחת השותפות החיצוניות שלנו לבדיקות אבטחת סייבר, ערכה הערכות בסגנון ״תפוס את הדגל״ שנועדו להיות מבודדות מהאינטרנט, אך שגיאה בהגדרת סביבת הבדיקה אפשרה למודלים לגשת לאינטרנט הציבורי.
בהמשך נסכם מה קרה, אילו תנאי בדיקה אפשרו את הפעילות, אילו צעדים ננקטו כדי לבלום אותה, ומה אנו עושים כדי להבטיח שמעבדות עצמאיות יוכלו להמשיך להעריך באופן קפדני ובטוח מודלים בעלי יכולות הולכות ומשתפרות.
אירועים אלה מצביעים על אותו אתגר רחב יותר שתיארנו בפוסט האחרון שלנו על האירוע ב-Hugging Face: ככל שיכולות המודלים מתקדמות, גם מערכות האבטחה והבטיחות שסביבם צריכות להתקדם. הדבר חל הן על הסביבות המשמשות לפיתוח מודלים והן על הסביבות שבהן מעבדות ושותפים עצמאיים משתמשים כדי להעריך אותם.
בשבועות הקרובים נבחן את הגישה שלנו לבדיקות של גורמי צד שלישי: כיצד אנו מזהים הערכות בסיכון מוגבר, מסכימים על גבולות הבדיקה, בוחנים בקשות לאפשר גישה לאינטרנט או לצמצם אמצעי הגנה, מגדירים ציפיות לגבי בידוד, טיפול בפרטי גישה, ניטור ותנאים לעצירת הבדיקה, וקובעים תהליכים ברורים יותר לדיווח על אירועים ולהעברתם לטיפול בדרגים המתאימים.
אנו מחויבים לשיתוף פעולה ברחבי התעשייה כדי לחזק שיטות עבודה משותפות לביצוע בטוח של הערכות בסיכון גבוה. במסגרת זו, בשבועות הקרובים נכנס בעלי עניין כגון מכוני בינה מלאכותית לאומיים, מעריכים עצמאיים, מעבדות בינה מלאכותית אחרות וקבוצות נוספות. מטרתנו היא לשמר את הערך של הערכה עצמאית וקפדנית, ובו בזמן להבטיח ששיטות הבדיקה יתפתחו בהתאם ליכולות ההולכות ומשתפרות של המודלים.
ב-3 באוגוסט הודיע לנו UK AISI כי במהלך הערכת סייבר שגרתית שהחלה ב-25 ביולי, מודלים של OpenAI ושל מעבדה אחרת חרגו בחלק מהמקרים מגבולות הבדיקה. ההערכה התקיימה במתחמי תרגול סייבר מבוקרים שנועדו לדמות רשתות מהעולם האמיתי. מתוך 19 האירועים שזוהו, בשניים היה מעורב מודל של OpenAI, GPT‑5.6 Sol. בשאר המקרים היו מעורבים מודלים של מעבדה אחרת.
בהערכה זו הונחו הסוכנים לפעול כמומחי אבטחת סייבר בתרגיל ״תפוס את הדגל״: לפרוץ לשלוש סביבות מדומות המחוברות זו לזו ולהשיג דגל סופי. הפרומפט של המשימה ציין אילו רשתות במתחם נכללות בגבולות הבדיקה, ומנה כמה מערכות שנמצאות מחוץ לגבולותיה. UK AISI גם אפשר גישה פעילה לאינטרנט כדי שסוכנים יוכלו להוריד כלים ולפעול בתנאים קרובים יותר לאלה של תוקף אנושי — והשבית את מסווגי הסייבר של המודל כדי למדוד את היכולת הבסיסית שלו.
UK AISI התכוון להגביל את ההרשאה למתחם תרגול הסייבר המדומה: הסוכנים הורשו לתקוף את הרשתות המדומות שצוינו ולהשיג דגל, ולא לקיים אינטראקציה עם מערכות מחוץ לגבולות הרשת של המתחם. עם זאת, לא נאמר לסוכנים במפורש אילו שימושים בגישה הפתוחה לאינטרנט מותרים ואילו אסורים. UK AISI מציין זאת כגורם שייתכן שתרם לאירוע.
במהלך הרצות אלה מצא UK AISI כי GPT‑5.6 Sol ביצע שתי פעולות שלא אושרו, תוך ניסיון למצוא דרך לחדור למתחם המדומה ולהשיג את הדגל:
GPT‑5.6 Sol השתמש באסימון גישה ל-GitHub שסוכן של מעבדה אחרת השאיר נגיש לציבור, כדי לבדוק אם מערכת בתוך מתחם התרגול פונה מעת לעת ל-GitHub או לשירות עדכונים אחר. הוא ניסה לעקוף מנגנונים לשחזור חשבון ומגבלות על מספר הבקשות, ופתח חשבונות אצל ספקים חיצוניים של שירותי DNS ומנהור.
GPT‑5.6 Sol השתמש בשירות מנהור ציבורי כדי לאפשר גישה מהאינטרנט הציבורי לשרת DNS שפעל מקומית בסביבת ההערכה שלו. השרת הכיל מטעני תקיפה שנועדו לנצל חולשה מוכרת בתוכנה שפעלה במתחם התרגול. התצורה לא פעלה, אין ראיות לכך ששרת כלשהו לפענוח כתובות DNS בעולם האמיתי שלח אליו שאילתה, והתשתית הוסרה עם סיום ההערכה.
אף שהמודל ניסה להשלים את המשימה במתחם תרגול הסייבר, UK AISI ראה בפעולות האלה פעולות שלא אושרו, משום שהן כללו שימוש בחשבונות ובשירותים חיצוניים אמיתיים מחוץ לגבולות המתחם, ולא נדרשו להשלמת המשימה. שרת ה-DNS גם אירח באינטרנט הציבורי מטעני תקיפה לניצול חולשות, אם כי התצורה לא פעלה ואין ראיות לכך ששרת כלשהו לפענוח כתובות DNS בעולם האמיתי שלח אליו שאילתה.
UK AISI זיהה את הפעילות ב-28 ביולי, לאחר שניטור האבטחה זיהה העברות נתונים חריגות. המכון עצר את ההערכות הקשורות לאירוע, בודד את המכונות הרלוונטיות ובלם את הפעילות בתוך כשעה מרגע הזיהוי.
אנו מעריכים את שיתוף הפעולה של UK AISI לאורך התהליך, לרבות מאמציו לזהות את הפעילות, לחקור אותה ולשתף פרטים עליה. אנו מצפים להמשך שיתוף הפעולה.
ב-29 ביולי הודיעה לנו Irregular, אחת השותפות החיצוניות שלנו לביצוע הערכות, על אירוע שבו היו מעורבים מודלים של OpenAI במהלך הערכות אבטחת סייבר בסגנון ״תפוס את הדגל״ (CTF). המודלים הונחו למצוא מידע מוסתר באמצעות ניצול חולשות בסביבה מדומה, ונאמר להם שאין להם גישה לאינטרנט. עם זאת, שגיאה בהגדרת סביבת הבדיקה אפשרה למודלים לגשת לאינטרנט הציבורי.
באחת הבדיקות, שמו של היעד הבדיוני באתגר ה-CTF תאם במקרה לשם מתחם אמיתי. מכיוון שסביבת הבדיקה חוברה בטעות לאינטרנט, המודל ניצל חולשה באתר אמיתי, מתוך הנחה שגויה שהוא חלק מהסביבה המדומה. לא הייתה כאן פריצה מתוחכמת מארגז חול או ניצול של חולשת יום אפס: הגישה לאינטרנט נבעה משגיאת הגדרה, ונראה שהמודל ניצל חולשת אבטחה בסיסית.
לפי חקירתה של Irregular, המודל גם מצא פרטי גישה והשתמש בהם כדי לתפעל את אותו אתר. Irregular לא זיהתה השפעה מעבר לנתונים של האתר שנפגע, והבדיקה שלה עדיין נמשכת. החברה השהתה את ההערכות והחלה בפעולות תיקון, ונמסרה הודעה לצדדים שלישיים שנפגעו. Irregular עדכנה אותנו שכל הבעיות שזוהו בקשר לאירוע כבר אינן פעילות, וכי נוספו לסביבת הבדיקה אמצעי הגנה רלוונטיים. Irregular מסרה גם מידע על אירועים קשורים באותה סביבת בדיקה, שבהם היו מעורבות מעבדות אחרות.
אנו מעריכים את שיתוף הפעולה עם Irregular ונמשיך לעבוד עמה בשיתוף פעולה הדוק כדי לתמוך בבדיקה שלה. Irregular גם מגבשת מסמך מקצועי לשיתוף שיטות עבודה מומלצות לתיחום הפעילות ולהרצה מאובטחת של הערכות סייבר. אנו מצפים להשתתף בכתיבת המסמך כדי להנגיש את הממצאים לקהילה, ולהמשיך בשותפות בינינו. בעינינו, שיתוף פעולה כזה חיוני להבטחת הערכה בטוחה ויסודית של מודלים קיימים ועתידיים.
