להבין הזרקת פורמפטים: אתגר אבטחה בחזית הטכנולוגיה

כלי בינה מלאכותית מתחילים לעשות יותר מאשר לענות על שאלות. כיום הם יכולים לגלוש באינטרנט, לעזור במחקר, לתכנן טיולים ולסייע ברכישת מוצרים. ככל שיכולותיהם מתרחבות, והם יכולים לגשת לנתונים שלכם באפליקציות אחרות ולפעול בשמכם, מתעוררים אתגרי אבטחה חדשים. אחד האתגרים שאנחנו מתמקדים בו במיוחד הוא הזרקת פורמפטים.

הזרקת פורמפטים היא סוג של מתקפת הנדסה חברתית הייחודית לבינה מלאכותית שיחתית. מערכות בינה מלאכותית מוקדמות התבססו על שיחות בין משתמש יחיד לסוכן בינה מלאכותית יחיד. במוצרי הבינה המלאכותית של היום, השיחה שלכם עשויה לכלול תוכן ממקורות רבים, ובהם האינטרנט. האפשרות שצד שלישי (שאינו המשתמש ואינו הבינה המלאכותית) יטעה את המודל באמצעות החדרת הוראות זדוניות להקשר השיחה, היא שהובילה למונח ״הזרקת פורמפטים״.

בדומה להודעות דיוג או להונאות ברשת שמנסות לגרום לאנשים למסור מידע רגיש, מתקפות הזרקת פורמפטים מנסות להטעות מערכות בינה מלאכותית ולגרום להן לעשות משהו שלא ביקשתם.

דמיינו שביקשתם מבינה מלאכותית לעזור לכם לחפש מידע לחופשה באינטרנט, ובמהלך החיפוש היא נתקלת בתוכן מטעה או בהוראות מזיקות שהוסתרו בדף אינטרנט, למשל בתגובה למודעה או בביקורת. התוכן עשוי להיות מנוסח בקפידה בניסיון להטעות את הבינה המלאכותית ולגרום לה להמליץ על מקום לא מתאים, או גרוע מכך, לגנוב את פרטי כרטיס האשראי שלכם.

אלה רק כמה דוגמאות למתקפות ״הזרקת פורמפטים״ — הוראות מזיקות שנועדו להטעות בינה מלאכותית ולגרום לה לעשות משהו שלא התכוונתם אליו, ולעיתים קרובות מוסתרות בתוך תוכן רגיל כמו דף אינטרנט, מסמך או הודעת דוא״ל.

הסיכונים האלה גדלים ככל שמערכות בינה מלאכותית מקבלות גישה לנתונים רגישים יותר, פועלות ביוזמתן ומבצעות משימות ממושכות יותר.

הגנה מפני הזרקת פורמפטים היא אתגר לכל תעשיית הבינה המלאכותית, ותחום ש-OpenAI מתמקדת בו במיוחד. אף שאנחנו צופים שגורמים עוינים ימשיכו לפתח מתקפות כאלה, אנחנו בונים מנגנוני הגנה שנועדו לאפשר למערכות לבצע את המשימה שאליה התכוון המשתמש, גם כשמישהו מנסה באופן פעיל להטעות אותן. היכולת הזאת חיונית למימוש היתרונות של AGI באופן בטוח.

כדי להגן על המשתמשים שלנו ולשפר את עמידות המודלים שלנו בפני המתקפות האלה, אנחנו נוקטים גישה רב-שכבתית הכוללת את המרכיבים הבאים:

אנחנו רוצים בינה מלאכותית שמזהה הזרקת פורמפטים ולא נופלת בפח. עם זאת, עמידות בפני מתקפות עוינות היא אתגר רב-שנים בתחומי למידת המכונה והבינה המלאכותית, ולכן זו בעיה קשה שטרם נפתרה. במסגרת מחקר שערכנו, פיתחנו גישה בשם היררכיית הוראות⁠, במטרה לאפשר למודלים להבחין בין הוראות מהימנות להוראות שאינן מהימנות. אנחנו ממשיכים לפתח גישות חדשות לאימון מודלים לזהות טוב יותר דפוסים של הזרקת פורמפטים, כדי שיוכלו להתעלם מהם או להתריע עליהם בפני המשתמשים. אחת השיטות שאנחנו מיישמים היא red teaming אוטומטי — תחום שאנחנו חוקרים⁠(נפתח בחלון חדש) כבר שנים — לפיתוח מתקפות חדשות של הזרקת פורמפטים.

פיתחנו כמה מערכות ניטור⁠ אוטומטיות המבוססות על בינה מלאכותית, לזיהוי ולחסימה של מתקפות הזרקת פורמפטים. הן משלימות את שיטות האימון לבטיחות, משום שאפשר לעדכן אותן במהירות כדי לחסום מתקפות חדשות שאנחנו מגלים. מערכות הניטור האלה לא רק מסייעות לזהות מתקפות אפשריות של הזרקת פורמפטים נגד המשתמשים שלנו, אלא גם יכולות לאפשר לנו לזהות מחקר וניסויים עוינים בהזרקת פורמפטים שנעשים באמצעות הפלטפורמה שלנו, עוד לפני שהמתקפות מופעלות בעולם האמיתי.

תכננו את המוצרים והתשתיות שלנו עם מגוון אמצעי אבטחה חופפים, כדי לסייע בהגנה על נתוני המשתמשים. אמצעים אלה, שנרחיב עליהם מבחינה טכנית בפוסטים עתידיים, מותאמים לכל מוצר בנפרד. לדוגמה, כדי לעזור לכם להימנע מאתרים שאינם מהימנים, נבקש מכם לאשר קישורים מסוימים ב-ChatGPT לפני פתיחתם, במיוחד קישורים אל אתרים שמבקשים מאיתנו לא לקטלג אותם⁠(נפתח בחלון חדש). כשהבינה המלאכותית שלנו משתמשת בכלים להפעלת תוכנות אחרות או קוד (כמו בקנבס או בכלי הפיתוח שלנו Codex), אנחנו משתמשים בשיטה שנקראת ״ארגז חול״ כדי למנוע מהמודל לבצע שינויים מזיקים שעלולים לנבוע מהזרקת פורמפטים.

אנחנו משלבים במוצרים שלנו אמצעי בקרה מובנים כדי לעזור למשתמשים להגן על עצמם. לדוגמה, ב-ChatGPT Atlas אפשר לבחור במצב ללא התחברות, שמאפשר לסוכן ChatGPT להתחיל משימות בלי להיות מחובר לחשבונות באתרים. סוכן ChatGPT גם עוצר ומבקש אישור לפני ביצוע פעולות רגישות, כמו השלמת רכישה. לפעילות הסוכן באתרים רגישים הוספנו גם ״מצב השגחה״, שמתריע בפניכם על רגישות האתר ומחייב להשאיר את הלשונית פעילה כדי לצפות בסוכן בזמן עבודתו. הסוכן יעצור אם תעברו מהלשונית שמכילה מידע רגיש ללשונית אחרת. כך אתם נשארים מודעים לפעולות שהסוכן מבצע — ושומרים על השליטה בהן.

אנחנו מבצעים red teaming בהיקף נרחב עם צוותים פנימיים וחיצוניים, כדי לבדוק ולשפר את מנגנוני ההגנה שלנו, לדמות התנהגות של תוקפים ולמצוא דרכים חדשות לשפר את האבטחה שלנו. במסגרת זו מושקעות אלפי שעות הממוקדות במיוחד בהזרקת פורמפטים. בכל פעם שאנחנו מגלים שיטות ומתקפות חדשות, הצוותים שלנו פועלים באופן יזום לטיפול בפרצות אבטחה ולשיפור מנגנוני הפחתת הסיכונים במודלים שלנו.

כדי לעודד חוקרי אבטחה עצמאיים הפועלים בתום לב לעזור לנו לגלות שיטות ומתקפות חדשות של הזרקת פורמפטים, אנחנו מציעים תגמול כספי במסגרת תוכנית התגמול שלנו לגילוי פרצות אבטחה⁠(נפתח בחלון חדש), כשהם מדגימים תרחיש תקיפה מציאותי שעלול להוביל לחשיפה לא מכוונת של נתוני משתמשים. אנחנו מתמרצים גורמים חיצוניים לדווח במהירות על בעיות כאלה, כדי שנוכל לפתור אותן ולהמשיך לחזק את מנגנוני ההגנה שלנו.

אנחנו מסבירים למשתמשים מהם הסיכונים בשימוש בתכונות מסוימות במוצר, כדי שיוכלו לקבל החלטות מושכלות. לדוגמה, כשמחברים את ChatGPT לאפליקציות אחרות, אנחנו מסבירים לאילו נתונים הוא עשוי לגשת, כיצד הוא עשוי להשתמש בהם ואילו סיכונים עלולים להתעורר, כמו אתר שמנסה לגנוב את הנתונים שלכם. בנוסף, אנחנו מספקים קישור למידע על דרכים לשמור על בטיחותכם. אנחנו גם נותנים לארגונים שליטה על התכונות שמשתמשים בסביבות העבודה שלהם רשאים להפעיל או להשתמש בהן.

הזרקת פורמפטים היא אתגר אבטחה בחזית הטכנולוגיה, ואנחנו צופים שהוא ימשיך להתפתח עם הזמן. רמות חדשות של תבונה ויכולת מחייבות את הטכנולוגיה, את החברה ואת האסטרטגיה להפחתת סיכונים להתפתח יחד. כמו במקרה של וירוסי מחשב בתחילת שנות ה-2000, אנחנו חושבים שחשוב שכולם יבינו את האיום שבהזרקת פורמפטים ואת דרכי ההתמודדות עם הסיכון, כדי שכולנו נלמד להפיק תועלת מהטכנולוגיה הזאת בבטחה. מודעות וזהירות עוזרות להגן טוב יותר על הנתונים שלכם בעת שימוש בבינה מלאכותית ובתכונות אג'נטיות שיכולות לפעול בשמכם.

במידת האפשר, הגבילו את גישת הסוכן רק לנתונים הרגישים או לפרטי ההתחברות הדרושים לו להשלמת המשימה. לדוגמה, כשמשתמשים במצב סוכן ב-ChatGPT Atlas לחיפוש מידע לחופשה, אם הסוכן רק אוסף מידע ולא זקוק לגישה לחשבון מחובר, השתמשו במצב ״ללא התחברות״.

במקרים רבים אנחנו מתכננים סוכנים כך שיקבלו מכם אישור סופי לפני ביצוע פעולות מסוימות בעלות השלכות משמעותיות, כמו השלמת רכישה או שליחת הודעת דוא״ל. כשסוכן מבקש מכם לאשר פעולה, בדקו היטב שהפעולה נראית נכונה ושכל מידע שעומד להישלח אכן מתאים לשיתוף בהקשר הזה.

כשסוכן פועל באתר רגיש, כמו אתר הבנק שלכם, צפו בו בזמן שהוא מבצע את עבודתו. זה דומה להשגחה על מכונית אוטונומית תוך השארת הידיים על ההגה.

הוראה כללית מאוד לסוכן, כמו ״עבור על הודעות הדוא״ל שלי ובצע כל פעולה שנדרשת״, עלולה להקל על תוכן זדוני מוסתר להטעות את המודל, אף שהוא מתוכנן לבקש את אישורכם לפני ביצוע פעולות רגישות.

בטוח יותר לבקש מהסוכן לבצע פעולות מוגדרות, ולא לתת לו חופש פעולה רחב שעלול לאפשר לו לציית להוראות מזיקות ממקורות אחרים, כמו הודעות דוא״ל. זה אומנם לא מבטיח שלא יהיו מתקפות, אבל מקשה על התוקפים להצליח.

ככל שטכנולוגיית הבינה המלאכותית מתפתחת, יופיעו סיכונים חדשים ואמצעי הגנה חדשים. עקבו אחר עדכונים מ-OpenAI וממקורות מהימנים אחרים כדי להכיר את דרכי הפעולה המומלצות.

הזרקת פורמפטים נותרה בעיה מחקרית מאתגרת בחזית הטכנולוגיה, ובדומה להונאות המוכרות ברשת, אנחנו צופים שההתמודדות איתה תדרוש עבודה מתמשכת. אף שעדיין לא ראינו שימוש נרחב בשיטה הזאת מצד תוקפים, אנחנו צופים שגורמים עוינים ישקיעו זמן ומשאבים רבים במציאת דרכים לגרום למערכות בינה מלאכותית ליפול בפח במתקפות האלה. אנחנו ממשיכים להשקיע רבות בבטיחות המוצרים שלנו ובמחקר לשיפור העמידות של בינה מלאכותית בפני הסיכון הזה. נשתף עדכונים ככל שנלמד יותר, ובכלל זה על ההתקדמות המתמשכת בעבודת האבטחה שלנו בתחום הזה. לדוגמה, אנחנו מכינים דוח שיתפרסם בקרוב ויפרט כיצד אנחנו מזהים אם התקשורת של הבינה המלאכותית שלכם עם האינטרנט תעביר מידע מתוך השיחה שלכם.

המטרה שלנו היא להפוך את העבודה עם המערכות האלה לאמינה ובטוחה כמו עבודה עם עמית או חבר שאתם סומכים עליו יותר מכול ושבקיא באבטחת מידע. נמשיך ללמוד מהשימוש בעולם האמיתי, לשפר את המערכות בבטחה ולפרסם את מה שנלמד ככל שהטכנולוגיה תתקדם.