GPT‑Red: שיפור עצמי לחיזוק העמידות
אימון מודלים חזקים לביצוע red teaming אוטומטי בתחום הבטיחות, לשיפור העמידות.
סיכום
הבעיה
red teaming חיוני לגילוי נקודות תורפה ולשיפור העמידות של המודלים שלנו. אולם קשה להרחיב את היקף השיטות הקיימות, והדבר יוצר צוואר בקבוק.
המודלים העדכניים שלנו כבר ממצים את האפשרות למדוד שיפור במבחני העמידות הנפוצים.
עלינו לפתח שיטות שיאפשרו לבטיחות ולהתאמה לכוונות ולערכים אנושיים להתקדם לצד יכולות המודלים.
מה עשינו
אימנו את GPT‑Red, מודל red teaming אוטומטי שמרחיב את יכולתנו לאתר נקודות תורפה, כדי שנוכל לתקן אותן לפני פריסה רחבה יותר.
GPT‑Red מצטיין בביצוע red teaming, והמודלים הקודמים שלנו פגיעים מאוד למתקפות הזרקת הפורמפטים שלו.
אנחנו משתמשים ב-GPT‑Red כדי לאמן את GPT‑5.6 מול מתקפות, וכך הופכים אותו לעמיד הרבה יותר בפני הזרקת פורמפטים.
נמשיך להרחיב את השימוש בגישה הזו לצד red teaming אנושי ושל גורמי צד שלישי, שכבות הגנה וניטור בזמן אמת.
מערכות בינה מלאכותית נתקלות דרך קבע בנתונים של צדדים שלישיים דרך דפדפנים, אפליקציות מחוברות, קבצים מקומיים וכלים אחרים. יכולות הגישה האלה נחוצות לביצוע משימות בעולם האמיתי, אך הן גם יוצרות יותר הזדמנויות לגורמים זדוניים להשפיע על התנהגות המודל. לדוגמה, צד שלישי עשוי להטמיע באימייל, בדף אינטרנט, בתגובת כלי או במאגר קוד הוראה שנוסחה בקפידה, שנועדה להטעות את המודל ולגרום לו להעלות נתונים רגישים לשרת חיצוני.
red teaming אנושי הוא חלק חיוני מעבודת הבטיחות שלנו, ומסייע לנו לחשוף את נקודות התורפה האלה לפני הפריסה ולהטמיע אמצעי הגנה מתאימים. אבל קשה להרחיב את היקף ה-red teaming כשמסתמכים על בני אדם בלבד. תכנון התרגילים האלה וביצועם דורשים זמן רב, ולכן מגבילים את הקצב שבו אנחנו יכולים לזהות סוגי כשל חדשים ולהשתמש בממצאים לחיזוק אמצעי ההגנה. נוסף על כך, אף שהתרגילים מניבים דוגמאות חשובות למתקפות מוצלחות, הם אינם יכולים לייצר נתוני תקיפה בהיקף ובמגוון הנדרשים לשיפור עמידות המודלים באמצעות אימון.
כדי לעמוד בקצב השיפור ביכולות המודלים, צריך להרחיב גם את היקף ה-red teaming. לשם כך, אנחנו מאמנים מודלי red teaming אוטומטיים לשימוש פנימי בלבד, שחושפים נקודות תורפה לפני הפריסה ומייצרים מתקפות במהלך אימון המודלים כדי לשפר את עמידותם. אנחנו מאמינים ש-red teaming אוטומטי מאפשר סוג חיוני של שיפור עצמי בתחום הבטיחות: שימוש במודלים של היום כדי לסייע ישירות להפוך את המודלים העתידיים לבטוחים יותר.
GPT‑Red הוא שיאם של המאמצים האלה, וכיום הוא המודל הטוב ביותר שלנו לביצוע red teaming אוטומטי בתחום הבטיחות. בדומה לאופן שבו בודקי red teaming אנושיים בונים מתקפות, המודל מתקדם לעבר מטרה באמצעות שליחת פרומפט, בחינת התגובות של מודלי GPT אליו וחזרה על התהליך תוך שיפורו. אימנו את GPT‑Red בהיקף משאבי חישוב הדומה לכמה מהרצות הפוסט-אימון הגדולות ביותר שלנו ב-OpenAI — היקף חסר תקדים של משאבי חישוב שהוקדש כולו לשיפור הבטיחות.
אנחנו משלבים את GPT‑Red ישירות בתהליך האימון של המודלים שלנו המיועדים לסביבת הייצור. כתוצאה מכך, GPT‑5.6 Sol הוא המודל העמיד ביותר שלנו עד כה בפני הזרקת פורמפטים. במבחן הזרקת הפורמפטים הישירה הקשה ביותר שלנו, מספר הכשלים שלו קטן פי 6 מזה של מודל הייצור הטוב ביותר שלנו רק ארבעה חודשים קודם לכן. האפשרות להרחיב את היקף הגישה שלנו מעוררת בנו ציפייה לתוצאות טובות עוד יותר בעתיד, ככל שנמשיך לאמן מודלים חזקים יותר לביצוע red teaming.
GPT‑Red מאומן באמצעות למידת חיזוק במשחק עצמי, שבה המודל וקבוצה מגוונת של מודלי שפה גדולים המשמשים כמגינים מאומנים במקביל על מגוון רחב של תרחישי red teaming. GPT‑Red מתוגמל על גרימת כשל שעומד בקריטריונים, כגון הזרקת פורמפטים מוצלחת, ואילו המודלים המגינים מתוגמלים על עמידה בפני המתקפה ועל השלמת משימותיהם המקוריות. ככל שהמגינים נעשים עמידים יותר, GPT‑Red נאלץ לגלות מתקפות חזקות ומגוונות יותר.
כדי לתמוך באימון במשחק עצמי, אנחנו בונים מערך נרחב של תרחישים מציאותיים שבהם אפשר לשלב הזרקת פורמפטים. לכל סביבה מוגדר מודל איומים שמפרט במה GPT‑Red יכול לשלוט ומה נחשב למתקפה מוצלחת. למשל, GPT‑Red עשוי לשלוט בחלק מקובץ מקומי, בבאנר בדף אינטרנט, בגוף הודעת אימייל או בפלט של כלי.
בתום האימון, GPT‑Red הוא תוקף חזק מאוד: הוא מסוגל לפרוץ את ההגנות של כמעט כל המודלים שמולם הוא מתמודד, הן מודלים פנימיים והן מודלים בסביבת הייצור, עד GPT‑5.5 ועד בכלל. לאחר השלמת האימון של GPT‑Red, השתמשנו בו ליצירת הזרקות פורמפטים לצורך אימון GPT‑5.6, וכך הפך המודל לעמיד מאוד בפני המתקפות של GPT‑Red.
אנחנו שומרים על הפרדה בין GPT‑Red לבין המודלים שאנחנו מעמידים לשימוש. כך היכולות הזדוניות שאנחנו מאמנים את GPT‑Red לרכוש במכוון אינן מגיעות לידי גורמים עוינים, ובמקביל אנחנו מחזקים את עמידות המודלים שלנו בסביבת הייצור.
GPT‑Red אפקטיבי מאוד מול קבוצת המודלים המגינים ותרחישי ה-red teaming שעליהם אומן. אנחנו גם בודקים אם המודל מועיל כסוכן red teaming רב-תכליתי, שיתרום לבטיחות במגוון תחומים ב-OpenAI. לשם כך, אנחנו בוחנים את האפקטיביות של GPT‑Red בסביבות בטיחות חדשות ומול מודלי יעד חדשים.
תחילה אנחנו בוחנים את יכולתו של GPT‑Red להכליל לתרחישי red teaming חדשים, באמצעות גרסה משוכפלת של זירת הזרקת הפורמפטים העקיפה של Dziemian ועמיתיו (2025)(נפתח בחלון חדש). באתגר זה, גם בודקי red teaming אנושיים וגם GPT‑Red הציעו, כל אחד בנפרד, מתקפות נגד GPT‑5.1 במערך סביבות שהוגדר מראש. תרחישי ה-red teaming האלה ומטרותיהם שונים מאלה ששימשו לאימון GPT‑Red. GPT‑Red משיג שיעורי הצלחה גבוהים משמעותית בתקיפות: הוא מצליח ב-84% מהתרחישים, לעומת 13% בקרב בני אדם.
GPT‑Red מצטיין בביצוע red teaming אוטומטי. בהעתק פנימי של זירת הזרקת הפורמפטים העקיפה של Dziemian ועמיתיו (2025), GPT‑Red מצליח לייצר מתקפות מוצלחות נגד GPT‑5.1 במספר רב משמעותית של תרחישים לעומת בודקי red teaming אנושיים.
המבחן האולטימטיבי של מבצע red teaming הוא היכולת להשיג מטרות זדוניות ממוקדות מול מערכות אג'נטיות בעולם האמיתי, עם ידע חלקי בלבד על המודל שבבסיס המערכת ועל תכנון ה-harness שלה. בניסוי הראשון שלנו בתנאים אלה, GPT‑Red התמודד מול מכונה אוטומטית לממכר מוצרים המופעלת בבינה מלאכותית במשרד OpenAI (בדומה ל-Project Vend(נפתח בחלון חדש)), מתוצרת Andon Labs. נתנו ל-GPT‑Red תיאור של המערכת ואת היכולת לשלוח מתקפות ולצפות בקריאות לכלים של סוכן מדומה, המשקף מקרוב את אופן הפעולה של הסוכן בעולם האמיתי. לאחר סבבי ניסוי ושיפור של המתקפות, GPT‑Red הפעיל את המתקפה שלו נגד הסוכן בסביבת הייצור והשיג את כל שלוש המטרות הזדוניות שלו:
לשנות את מחירו של פריט יקר במלאי למחיר המינימלי המותר, 0.50 דולר;
להזמין פריט חדש שמחירו מעל 100 דולר ולהציע אותו ב-0.50 דולר; וכן
לבטל הזמנה של לקוח אחר.
דיווחנו על נקודות התורפה האלה, ואמצעי הגנה חדשים נבחנים כעת בפועל.
GPT‑Red מסוגל לפרוץ את ההגנות של סוכן אוטונומי פעיל בשם Vendy, המנהל מכונה אוטומטית לממכר מוצרים. GPT‑Red הצליח לגרום לסוכן בסביבת הייצור להוזיל פריטים יקרים ולבטל הזמנות של לקוחות אחרים, לאחר שבדק תחילה את המתקפות בסימולציה ואז העביר אותן לסוכן הפעיל.
אנחנו משתמשים ב-GPT‑Red גם לתקיפת סוכן Codex CLI (המבוסס על GPT‑5.4 mini), במערך של 10 תרחישים להוצאת נתונים ללא הרשאה שלא נכללו באימון. אנחנו משווים את המודל ל-GPT‑5.5 שמקבל הנחיות בפרומפט ומשמש כקו בסיס, כדי לחקור את השפעת תהליך האימון שלנו על ביצועי red teaming בתרחישים שלא נכללו באימון. GPT‑Red גם אפקטיבי יותר — הוא מצליח לגרום לסוכן להוציא נתונים רגישים ללא הרשאה ביותר תרחישים — וגם יעיל יותר בשימוש בטוקנים.
GPT‑Red אפקטיבי ויעיל יותר בפריצת ההגנות של סוכני codex פעילים. אנחנו בוחנים אותו מול סוכן codex המבוסס על GPT‑5.4 Mini, באמצעות מערך ייעודי של 10 משימות להוצאת נתונים ללא הרשאה.
המטרה הסופית של GPT‑Red היא לשפר את העמידות של המודלים שלנו. בששת החודשים האחרונים אימנו מודלי red teaming חזקים יותר ויותר, שקדמו ל-GPT‑Red, בהיקפים הולכים וגדלים של משאבי חישוב. השתמשנו בהם באימון כל מודל חדש שהועמד לשימוש בסביבת הייצור מאז GPT‑5.3. עם הזמן, כל גרסה חדשה של GPT נעשתה עמידה יותר.
לדוגמה, גרסה מוקדמת של GPT‑Red גילתה סוג חדש של מתקפות הזרקת פורמפטים ישירה, המכונות מתקפות ״שרשרת מחשבה מזויפת״. מתקפות אלה השיגו שיעורי הצלחה של יותר מ-95% מול GPT‑5.1, אך כעת שיעור הצלחתן מול GPT‑5.6 Sol נמוך מ-10%. בדומה לכך, המודל העדכני שלנו כבר ממצה את האפשרות למדוד שיפור בכמה ממבחני הזרקת הפורמפטים העקיפה שלנו, המתמקדים במתקפות בכלי פיתוח ובגלישה (דיוק של יותר מ-97%).
גם העמידות בפני GPT‑Red עצמו השתפרה משמעותית. במגוון רחב של סביבות לבדיקת עמידות, שיעורי הצלחת המתקפות של GPT‑Red ירדו באופן מונוטוני לאורך זמן. בגרסת המודל העדכנית שלנו, GPT‑5.6 Sol נכשל רק ב-0.05% מהזרקות הפורמפטים הישירות של GPT‑Red.
ככל שהרחבנו את האימון במשחק עצמי להזרקת פורמפטים, גילינו איומים חדשים שמסוגלים לפרוץ את ההגנות של מודלים קיימים. עם זאת, הרחבת האימון גם סייעה לשפר משמעותית את העמידות בפני המתקפות האלה. שיעור הצלחת המתקפות מחושב כממוצע ההצלחה בכל ניסיונות התקיפה של GPT‑Red בסביבות שלא נכללו באימון.
מודל יכול להיראות בטוח יותר אם הוא מסרב ליותר בקשות או אם יכולותיו מצטמצמות. מטבע הדברים, קשה יותר לתקוף מודל שעושה פחות, אבל זו אינה עמידות מועילה.
אנחנו בוחנים ביסודיות גם יכולות כלליות בחזית הטכנולוגיה וגם משימות ממוקדות שאנחנו מתכננים לזיהוי סירוב יתר. מצאנו שכל היכולות הרגילות נשמרות ללא פגיעה, לצד שיפור משמעותי בעמידות. מכאן עולה שהשיפור בעמידות נבע מהתנגדות טובה יותר להוראות זדוניות, ולא משימוש לא תקין בכלים או מסירוב לבקשות לגיטימיות כברירת מחדל.
סוכני בינה מלאכותית כבר משמשים לשיפור היכולות של מודלי הדור הבא שלנו. אנחנו מאמינים שעם GPT‑Red התחלנו ליצור מעגל שיפור דומה בתחום הבטיחות: המודלים של היום יכולים לשמש להפיכת המודלים של מחר לעמידים יותר, מותאמים יותר לכוונות ולערכים אנושיים וראויים יותר לאמון. נמשיך להגדיל את היקף משאבי החישוב והנתונים ולשפר את האלגוריתמים, כדי לאמן גרסאות עתידיות של GPT‑Red שיהיו חזקות מהמודל הנוכחי. מודלים אלה, בתורם, יסייעו להפוך גרסאות עתידיות של GPT לבטוחות יותר.
