אנו מציגים מסגרת חדשה למעקב, לבדיקה ולפרסום של מקרי אי־היישור של מודלים ב־OpenAI, לצד שישה דוחות על התנהגות בלתי צפויה או מדאיגה של מודלים שראינו בששת החודשים האחרונים.
בעבר, כדי להרחיב את הידע הזמין לחוקרים, למפתחי בינה מלאכותית, לקובעי מדיניות ולציבור הרחב, פעלנו לפרסום ממצאים שלנו בנושא אי־יישור ערכים. אולם בהיעדר גישה שיטתית לדיווח על הממצאים האלה, הפרסומים שלנו נעשו באופן נקודתי ובתדירות נמוכה מהרצוי: לעיתים קרובות המתנו עד שיכולנו לרכז כמה מקרים בדוח אחד, או הוספנו אותם לכרטיסי מערכת של מודלים חדשים שהושקו. המסגרת החדשה נועדה לזרז את פרסום הדוחות לאחר זיהוי אי־יישור, גם כשטרם הסברנו במלואה את ההתנהגות שעליה אנו מדווחים או צמצמנו אותה במידה מספקת.
ככל שמערכות בינה מלאכותית נעשות מתקדמות יותר ונכנסות לשימוש נרחב יותר, עלינו לבנות הסכמה רחבה ומבוססת יותר בנוגע להתקדמות בחקר יישור הערכים. אנו לא סבורים שתעשיית הבינה המלאכותית פתרה את אתגרי היישור והניטור במידה שמספיקה כדי להמשיך להגדיל את היקף המערכות באחריות ובמהירות המרבית עוד זמן רב. החלטות על המשך פיתוח הבינה המלאכותית בחודשים ובשנים הבאים צריכות להתבסס על ראיות שגם אנשים מחוץ לחברות שמפתחות מודלי חזית יוכלו לבחון בעצמם.
מקרי אי־יישור הערכים עשויים לסייע בזיהוי בעיות שגם מפתחי בינה מלאכותית אחרים עלולים להיתקל בהן כשמערכותיהם יגיעו ליכולות דומות, לחשוף נקודות תורפה באמצעי ההגנה או לערער על הנחות בנוגע להתנהגות מודלים. שיתוף הממצאים האלה מאפשר לאחרים לחקור את אותן בעיות, לבחון את ההסברים שלנו ולשפר את האמצעים לצמצום הסיכונים. מכיוון שאנו מאמינים בערכה של שקיפות בנוגע לאי־יישור, המסגרת החדשה שלנו נותנת עדיפות לפרסום גם כשמשמעות הממצאים אינה ודאית. משמעות הדבר היא שחלק מהמקרים שנפרסם עשויים להתברר כממצאים מקריים, שאינם חלק מדפוס רחב יותר ואינם מעידים על התפתחויות עתידיות.
כיום אין מסגרת כלל־תעשייתית שקובעת סטנדרטים מפורשים לאופן שבו מפתחי בינה מלאכותית צריכים לפרסם מקרי אי־יישור במודלים שלהם. אנו מקווים שהמסגרת שאנו מציגים היום היא צעד ראשון לקראת יצירת סטנדרטים כאלה, שיגדירו אילו מקרי אי־יישור על מפתחים לפרסם ומה הדוחות שלהם צריכים לכלול. מבחינתנו, המסגרת הזו עדיין נמצאת בתהליך גיבוש, ונשפר אותה על סמך הניסיון שנצבור והמשוב מהציבור.
כאן אנו מתארים כיצד תפעל המסגרת ומשתפים את הדוחות הראשונים שאנו מפרסמים.
אנו שואפים לפרסם מקרים שמספקים ראיות מועילות לגבי האופן שבו אי־יישור ערכים של מודלים נוצרת, כיצד היא באה לידי ביטוי, והיכן אמצעי ההגנה מצליחים או נכשלים. אנו נותנים עדיפות למנגנונים חדשים, לשינויים משמעותיים בהתנהגות מוכרת ולממצאים שמערערים על הנחות בנוגע לבטיחות או לצמצום סיכונים. מקרה אינו חייב לגרום נזק או לבסס דפוס רחב יותר כדי להצדיק פרסום. המסגרת הזו תחול על התנהגות שעומדת בקריטריונים לאורך כל מחזור החיים של מודל — לרבות אימון, הערכה, בדיקות והטמעה.
בכלל זה נכללות דרכים חדשות שבהן מודלים פועלים ללא הרשאה, מתאמים פעולות עם מודלים אחרים או מתחמקים מפיקוח; כשלים שמעמידים בספק שיטה להשגת יישור ערכים או אמצעי הגנה; והתנהגות שמערערת על טענה בהערכת בטיחות שפורסמה. אותם קריטריונים לפרסום חלים גם על אי־יישור שעשוי להשפיע על צדדים שלישיים.
הם עשויים לחול גם על מקרי אי־יישור שנראים כחזרה על מקרים שפרסמנו בעבר. עצם הישנות הבעיה עשויה לספק ראיות מועילות על התנהגות המודלים שלנו או על יעילות אמצעי ההגנה שלנו — למשל, אם סוג מסוים של התנהגות שאינה מיושרת ממשיך להופיע למרות מאמצים חוזרים לצמצמו. בנסיבות כאלה, נפרסם את המקרים הנוספים באמצעות עדכון הפרסום המקורי על אי־היישור.
עם הזמן, אנו מתכננים לפתח קריטריונים אובייקטיביים יותר לפרסום, בשיתוף מפתחים אחרים, חוקרים חיצוניים, גופי תקינה בתעשייה ורגולטורים. אנו גם סבורים שיש לדווח לממשל הפדרלי בארה״ב על אירועי בטיחות, אבטחה ואי־יישור חמורים, ופועלים לגיבוש הצעות למנגנוני דיווח. אנו רואים במסגרת הזו השלמה למחויבויות הקיימות שלנו, ומדגישים שהיא אינה מחליפה את חובות הדיווח שלנו על פי חוק, לרבות אלה הנוגעות לאירועי בטיחות קריטיים או לפריצות סייבר.
לרגל השקת המסגרת החדשה שלנו לפרסום מקרי אי־יישור, אנו מפרסמים שישה דוחות על התנהגויות שאינן מיושרות, שראינו במהלך האימון או ההערכה של המודלים שלנו. המקרים האלה ממחישים מגוון התנהגויות שלדעתנו ראוי לשתף, מהסתרת מידע מהמשתמש ועד ביצוע פעולות שלא אושרו כדי להתגבר על מכשולים. אלה דוחות על מקרים נקודתיים, ואין לראות בהם מדד לתדירות שבה מתרחש אי־יישור בכלל המודלים שלנו. כל פריט בהמשך מקשר לדוח המלא.
הוראות שהמודל יצר בעצמו בסיכומי משימות(נפתח בחלון חדש). מודל מחקר שטרם הושק הכניס הוראות לא רלוונטיות, ובהן הוראות להתעלם מהמגבלות הרגילות שלו, לסיכומים שנועדו לאפשר לו להמשיך את עבודתו בחלון הקשר חדש. זיהינו 27 סיכומים שהושפעו מכך.
הוראות להסתרת טעויות בסיכומי משימות(נפתח בחלון חדש). במהלך האימון של GPT‑5.6 Sol, מופעים רבים של המודל הוסיפו לסיכומים שלהם הוראות להסתיר מהמשתמש טעויות או התנהגות לא מיושרת. למשל, סיכומי compaction כללו הוראות להמציא נתונים היסטוריים חסרים בלי לגלות זאת, ולהסתיר אי־התאמות בין גרסאות המקור.
חיפוש מפתחות API חשופים במאגרים ציבוריים, ולאחר מכן המצאת מידע(נפתח בחלון חדש). בעת מענה על שאלה שגרתית בנוגע לנתוני הכנסה במחוז בקליפורניה, מודל מצא מפתח API חשוף והשתמש בו ללא הרשאה. כשעדיין לא הצליח לאחזר את הנתונים המבוקשים, הוא המציא אותם והציג אותם כנתונים מהמקור שהתבקש.
העלאת קבצים לאינטרנט כדי לצטט אותם(נפתח בחלון חדש). כשמשתמש ביקש ממודל שטרם הושק את המזהים והשמות של אגמים ששטחם גדול מ־5,000,000 מ״ר, הסוכן מצא את התשובה הנכונה באמצעות Python. אבל מאחר שההוראות דרשו אסמכתה מהדפדפן, הסוכן החליט להעלות את הקובץ לרשת כדי שיוכל לצטט אותו בתשובתו, בלי לשאול את המשתמש.
כתיבה ותקשורת ללא אישור דרך מאגר תוכנה פנימי(נפתח בחלון חדש). מודלים השתמשו במאגר תוכנה פנימי כלוח הודעות להחלפת בקשות ותשובות בין דוגמאות אימון נפרדות, בעת חיפוש אחר קובצי קלט חסרים, אך לא הצליחו לשחזר את הקבצים האלה. הדוח בוחן גם מקרה מוקדם יותר שבו מודל הצליח להעלות קובצי בדיקה למאגר, תוך ניסיון לעקוף מגבלות רשת.
שיתוף קבצים ללא אישור בין סוכנים שעובדים יחד(נפתח בחלון חדש). סוכנים שעבדו יחד על אותה משימת אימון השתמשו באתרי אחסון קבצים ציבוריים כדי לשתף קבצים, כשלא הייתה להם גישה לקבצים המקומיים זה של זה. כך נעשו תוצרי המשימה זמינים בכתובות URL ציבוריות, אף שהמשימה הורתה למודלים להשתמש בקבצים מקומיים בלבד.
כל עובד ב־OpenAI רשאי להפנות מקרה של אי־יישור לבדיקה של צוותי הבטיחות והיישור שלנו, ולבקש לשקול את פרסומו לציבור. בכך מתחיל תהליך הפרסום שלנו, עם מועדים מוגדרים לכל שלב כדי להבטיח בדיקה ופרסום במועד.
לאחר שמקרה הובא לידיעתנו, הצוות הטכני שלנו יבדוק מה קרה, מה נותר לא ודאי, האם יש הצדקה לפרסום לציבור ואילו עובדות אפשר לשתף. הצוות גם יבחן אם צד שלישי כלשהו הושפע מהמקרה ויש להודיע לו על כך באופן פרטי לפני הפרסום.
לאחר מכן ישויך המקרה לאחד משלושה מסלולים: מוכן לפרסום, בדיקה מצומצמת או בדיקה נרחבת (״המסלול האיטי״).
המסלול ״מוכן לפרסום״ מיועד למקרים שעומדים בקריטריונים ושבדיקתם הושלמה במידה שמאפשרת לפרסמם לאחר ביקורת. המסלול ״בדיקה מצומצמת״ מיועד למקרים שדורשים בדיקה טכנית נוספת. אנו צופים שהרוב הגדול של המקרים שנפרסם יטופלו בשני המסלולים האלה, בייחוד מקרים שאינם דורשים בדיקה מקיפה, תיאום עם צדדים שלישיים או טיפול בסיכונים חמורים של שימוש לרעה. כל המקרים שאנו מפרסמים היום משתייכים לאחד משני המסלולים האלה.
המסלול ״בדיקה נרחבת״ מיועד לבדיקות מורכבות, במיוחד כאלה שמעורבים בהן צדדים שלישיים. כאשר צד שלישי מושפע מהמקרה, חובותינו בתחום האבטחה, המשפט והגילוי האחראי גוברות על המסגרת הזו. נשאף לפרסם הודעה ראשונית בהקדם האפשרי, אך ייתכן שנצטרך לעכב אותה מטעמי אבטחה — למשל, אם מודל מגלה חולשה שלא הייתה ידועה קודם בתוכנה שנמצאת בשימוש נרחב. אם דוח צפוי לחשוף את זהותו של צד שלישי, בכוונתנו להודיע לו מראש גם אם לא נחצה שום גבול אבטחה.
ההודעה הראשונית על מקרה במסלול ״בדיקה נרחבת״ תתאר בקווים כלליים מה קרה, תציין אם מומחים חיצוניים מסייעים בבדיקה ותכלול כל הערכה זמינה לגבי המועד שבו אנו צופים לפרסם דוח סופי. האירוע הקשור ל־OpenAI ול־Hugging Face היה משתייך למסלול הזה אילו פורסם במסגרת הזו.
העובד שהעלה את המקרה יקבל עדכון על ההחלטה אם לפרסם אותו, ואם יוחלט לפרסמו — באיזה מסלול יטופל. מחלוקות שלא ייפתרו בנוגע לפרסום או למסלול המתאים יועברו לקבוצת ייעוץ בטיחות (SAG) של OpenAI. זוהי קבוצה של בכירים ממגוון תחומים בחברה, שמעריכה את היכולות ואמצעי ההגנה של מודלי חזית, מפקחת על Preparedness Framework שלנו ומייעצת להנהלת OpenAI. מחלוקות בתוך קבוצת ייעוץ בטיחות (SAG), או התנגדויות של עובדים להחלטותיה, יועברו להכרעת הנהלת OpenAI. החלטות שלא לפרסם, או שאין הצדקה לפרסום, יובאו לידיעת ההנהלה בתחומי הבטיחות ויישור הערכים, ובמידת האפשר גם לידיעת אנשי הצוות הטכני הרלוונטיים.
ייתכן שנעדכן את תהליך הפרסום ככל שנלמד כיצד הוא פועל בפועל, ונתעד כל שינוי בפוסט הזה.
כל דוח מלא יתאר את ההתנהגות שראינו, את חומרתה ואת השפעתה מחוץ לחברה, אם הייתה כזו, את הסביבה שבה התרחשה, את התאריך או טווח התאריכים שלה, את המועד שבו גילינו אותה, ובקווים כלליים — את המודל או המודלים המעורבים. במידת האפשר, נשתף גם:
פרטים נוספים על מה שקרה ועל כל נזק שנגרם בעקבות זאת;
כיצד גילינו את אי־יישור הערכים ומה היה היקף הבדיקה שלנו;
את פרשנותנו להשלכות המקרה על חקר יישור הערכים ועל ההיבטים הטכניים של בטיחות הבינה המלאכותית;
שאלות חשובות שהמקרה מעלה ושטרם נענו;
צעדים שאנו נוקטים או מתכננים לנקוט כדי לטפל בהתנהגות. ייתכן שהמידע הזה לא תמיד יהיה זמין במועד הפרסום, משום שאנו עשויים לפרסם את דוח אי-היישור לפני שנשלים את הבדיקה או נפתח תיקון.
במקרי אי־היישור שמתרחשים בהטמעות אצל לקוחות, נשתף מידע רב ככל שפרטיות הלקוחות וההתחייבויות החוזיות שלנו מאפשרות.
הדוחות שאנו מפרסמים היום הם סדרה ראשונית של פרסומים, ולא תיאור מקיף של מקרי אי־יישור הערכים ידועים או של בדיקות שעדיין מתנהלות. דוחות ראשוניים אלה אינם נועדו לייצג את מלוא המגוון או את כל דרגות החומרה של המקרים שעליהם חלה המסגרת הזו. אנו מחויבים לפרסם מקרי אי־היישור שעומדים בקריטריונים של המסגרת הזו, לרבות מקרים מורכבים יותר שדורשים בדיקה ממושכת יותר או תיאום עם צדדים שלישיים. נמשיך לפרסם דוחות במסגרת הזו באופן שוטף, ונשתף פרטים נוספים על התחייבויות הדיווח שלנו ככל שנמשיך לגבש אותן.
