שיפור היררכיית ההוראות במודלי LLM בחזית הטכנולוגיה

מערכות בינה מלאכותית מקבלות לעיתים קרובות הוראות ממקורות שונים. אלה עשויים לכלול מדיניות בטיחות בהודעות מערכת, הנחיות מוצר ממפתחים, בקשות ממשתמשים ומידע שנמצא ברשת. אימון מודלים לתת באופן אמין עדיפות להוראות המהימנות ביותר מבין המקורות האלה הוא מרכיב מרכזי בפריסה בטוחה.

כשמנגנון התעדוף הזה כושל, עלולות להתעורר בעיות רבות בבטיחות ובאמינות של בינה מלאכותית. מודלים עשויים לקבל בקשות לתוכן אסור, ניסיונות לחשוף מידע פרטי או מתקפות הזרקת פורמפטים המוטמעות בנתונים ברשת. להתנהגות לא הולמת בכל אחד מהתרחישים האלה יש גורם שורש משותף: המודל עלול לפעול לפי ההוראה הלא נכונה.

כשההוראות האלה סותרות זו את זו, המודל צריך להחליט לאילו מהן לתת עדיפות. אם המודל מתייחס להוראה לא מהימנה כאל הוראה מוסמכת, הוא עלול לפעול בניגוד למדיניות או לכוונת המפתח והמשתמש.

אנו מראים שמשימות היררכיית הוראות שתוכננו היטב, ומאמנות מודלים לתעדף הוראות לפי רמת האמון בהן, משפרות כמה היבטי בטיחות בשימוש בעולם האמיתי. מודלים שאומנו על המשימות האלה נענים טוב יותר למפרטי בטיחות בפרומפטים של המערכת (כלומר, קל יותר לכוון אותם להתנהגות בטוחה), ועמידים יותר בפני מתקפות הזרקת פורמפטים המוטמעות בפלטי כלים.

כדי להתמודד עם סתירות, המודלים של OpenAI מאומנים לפעול לפי היררכיית הוראות ברורה:

מערכת > מפתח > משתמש > כלי

הוראות בעדיפות גבוהה יותר נהנות מרמת אמון גבוהה יותר. המודל אמור לפעול לפי הוראות בעדיפות נמוכה יותר רק כשהן אינן סותרות אילוצים בעדיפות גבוהה יותר. העקרונות האלה מתוארים בספציקציית המודל של OpenAI⁠(נפתח בחלון חדש).

למשל, אם הודעת מערכת כוללת מדיניות בטיחות ומשתמש מבקש מהמודל להפר אותה, המודל אמור לסרב. אם פלט של כלי מכיל הוראות זדוניות, המודל אמור להתעלם מהן ולא להתייחס אליהן כאל פקודות.

יישום נכון של העקרונות האלה הוא הבסיס לבטיחות, לאבטחה ולאמינות.

למידת חיזוק מתאימה מטבעה להקניית היררכיית הוראות. אפשר ליצור שיחות עם הוראות סותרות, לבקש מהמודל להגיב ולתגמל אותו כשהוא פועל לפי ההוראה הנכונה.

זיהינו שלוש מלכודות ביישום פשטני של השיטה הזו:

• כשלים בביצוע הוראות עשויים להתבטא גם ככשלים בהיררכיית הוראות: המודל עלול להיכשל בפתרון סתירה בין הוראות לא משום שאינו מבין את היררכיית התפקידים, אלא משום שההוראות עצמן מסובכות מדי.

• סתירות בין הוראות עשויות להיות דקות ואף נתונות לפרשנות סובייקטיבית. גישה נפוצה היא להשתמש במודל LLM נפרד כשופט שמעניק תגמולים למודל ה-LLM המתאמן, אך גם השופטים עצמם עלולים לטעות.

• מודלים נוטים ללמוד קיצורי דרך שמניבים תגמול גבוה, אך חסרי תועלת בפועל⁠(נפתח בחלון חדש). הדוגמה הקלאסית היא סירוב יתר: מודלים יכולים ללמוד למקסם את הבטיחות באמצעות סירוב אפילו לבקשות תמימות.

תכננו את IH-Challenge, מערך נתונים לאימון בלמידת חיזוק, כדי להתמודד עם כל אחת מהמלכודות האלה. אנו פועלים לפי העקרונות הבאים:

• המשימות פשוטות מבחינת ביצוע ההוראות

• אפשר להעריך אותן באופן אובייקטיבי באמצעות סקריפט Python פשוט

• אין קיצורי דרך טריוויאליים שמבטיחים תגמול גבוה בכל המשימות

כל משימה ב-IH-Challenge היא למעשה שיחה הכוללת את ההודעות הבאות:

• הודעת הוראה מתפקיד בעל הרשאות גבוהות, למשל „Only answer ‘Yes’ or ‘No’”.

• הודעת הוראה מתפקיד בעל הרשאות נמוכות יותר, שמנסה לגרום למודל להפר את ההוראות שבהודעה בעלת ההרשאות הגבוהות יותר.

המודל המתאמן מייצר את ההודעה הבאה. אנו כותבים את המשימות וסביבות האימון כך שאפשר לבדוק באמצעות קוד אם תגובת המודל עומדת באילוץ מהרמה הגבוהה יותר.

אימנו מודל על IH-Challenge ויצרנו מודל פנימי, שאנו מכנים GPT‑5 Mini-R, עם השיפורים הבאים: 

• ביצועים טובים יותר במבחני היררכיית הוראות

• השיפור בביצועים מוכלל למבחני היררכיית הוראות שלא נכללו באימון ולמבחנים עוינים

• שמירה על המועילות הכוללת, בלי להידרדר לסירוב יתר

זה מה שהופך את הגישה למבטיחה במיוחד מבחינת בטיחות: אימון ישיר של מודלים לפתור נכון סתירות בין הוראות במשימות IH-challenge מניב שיפורים בהיררכיית ההוראות שמוכללים למתקפות חדשות ולמצבים חדשים.

הקפדה חזקה יותר על היררכיית הוראות משפרת כמה היבטי בטיחות בבת אחת, ובהם היכולת לכוון להתנהגות בטוחה והעמידות בפני הזרקת פורמפטים.

אנו בוחנים את היכולת לכוון להתנהגות בטוחה באמצעות הוספת מפרטי בטיחות ייעודיים לכל קטגוריה לפרומפט המערכת, ומדידת ההתנהגות במבחני הבטיחות של OpenAI לסביבת הייצור (אוסף שיחות רגישות מבחינת בטיחות, המייצגות את השימוש ב-ChatGPT בסביבת הייצור).

המודל שאומן על היררכיית הוראות מציג שיפור עקבי: כשמפרט הבטיחות נכלל בפרומפט, הוא משיג שיעורים גבוהים יותר של סירוב ומענה בטוח בקטגוריות האסורות. הדבר מעיד שהקפדה חזקה יותר על היררכיית ההוראות משפרת את יכולתו לפתור סתירות כאשר בקשות לא בטוחות מופיעות בהוראות בעדיפות נמוכה יותר. חשוב לציין שהשיפור הזה אינו מלווה בירידה מקבילה בשיעור המענים המועילים (כלומר, המודל אינו נעשה פחות „מועיל” פשוט משום שהוא מסרב יותר באופן כללי).

להיררכיית הוראות יש תפקיד מרכזי גם בהתגוננות מפני הזרקת פורמפטים, שבה הוראות זדוניות מוטמעות בפלטי כלים. אנו בוחנים את המודל שאומן על היררכיית הוראות בשני מבחני הזרקת פורמפטים — המבחן האקדמי CyberSecEval 2 ומבחן פנימי של OpenAI, הכולל מתקפות כמו זו שהודגמה בגרסה ישנה יותר של ChatGPT Atlas⁠.

בהשוואה למודל הבסיס, GPT‑5 Mini-R שאומן על היררכיית הוראות מציג עמידות משופרת בפני הזרקת פורמפטים בשני המבחנים. בניסויים האלה הוא גם משפר במידה ניכרת את הביצועים במבחן הפנימי שלנו להזרקת פורמפטים עם מתקפות קבועות.

ככל שמודלים נעשים אג'נטיים יותר — מפעילים כלים, קוראים מסמכים לא מהימנים ומבצעים פעולות בעולם — היכולת לתת בעקביות עדיפות להוראות מהימנות על פני הוראות לא מהימנות הופכת למאפיין בטיחות מרכזי.

המחקר הזה מראה שאפשר להתגבר על כמה מהמלכודות באימון לעמידות של היררכיית הוראות, באמצעות תכנון סביבות אימון שנותנות להן מענה. אף שמערך הנתונים IH-Challenge נראה פשוט, ההתנהגות לפי היררכיית הוראות שמודלים לומדים בסביבות האלה מוכללת למבחנים מציאותיים יותר, שלעיתים קרובות אי אפשר להעריך באופן אובייקטיבי.

חיזוק היררכיית ההוראות לא רק משפר את האמינות, אלא גם מאפשר שיפורים רבים בבטיחות ובאבטחה בבת אחת — תשתית שחשיבותה הולכת וגדלה ככל שמערכות בינה מלאכותית נעשות בעלות יכולות גבוהות יותר ועצמאיות יותר.

כדי לתמוך במחקר נוסף בתחום, אנו מפרסמים את מערך הנתונים IH-Challenge כאן⁠(נפתח בחלון חדש).