סדרי עדיפויות ועקרונות להערכות יעילות של צדדים שלישיים
מעבדות frontier AI נושאות באחריות עצומה לאימון, להערכה ולפריסה בטוחים של מודלים. הערכות של צדדים שלישיים הן מרכיב חיוני באיזון האחריות הזאת, בהרחבת ההזדמנויות לתרום לדיון בבטיחות AI, בעדכון הציבור בעולם ובהבטחה שהמעבדות יישאו באחריות לעמידה בטענות בטיחות ברורות הנתמכות באופן בלתי תלוי.
כחלק ממאמצינו להתאים את קצב ההתקדמות בחזית הטכנולוגיה, OpenAI מחויבת לתמוך בהערכות עצמאיות עם גישה מעמיקה בכל שלבי האימון, ההערכה והפריסה. גישה זו צריכה לאפשר למעריכים לערער על הנחות היסוד שלנו, לזהות סיכונים שאולי החמצנו ולהגיע למסקנות משלהם לגבי יעילות אמצעי ההגנה שלנו.
זה זמן רב שאנו עובדים עם מעריכים חיצוניים בשלבים שונים של תהליך הפיתוח והפריסה של מודלים. שילבנו גם הערכות של צדדים שלישיים בתהליכי העבודה של Preparedness Framework שלנו, וכן תמכנו בארגונים ובחקיקה המקדמים תהליך קפדני יותר, עם אחריותיות רבה יותר. לאורך שיתופי הפעולה האלה הענקנו גישה מעמיקה בכמה אופנים, לרבות מידע על אמצעי ההגנה הטכניים שלנו, גישה לשרשרת המחשבה הגלויה, וגישה בהיקף חסר תקדים לנתונים חסויים ולפריסות פנימיות לצורך תגובה לאירועים וביצוע red teaming למנגנוני ניטור. סדרי העדיפויות והעקרונות המוצגים כאן מתמקדים בשיתוף הפעולה שלנו עם ארגוני הערכה עצמאיים במגזר הפרטי ובמגזר ללא כוונת רווח, לצורך הערכות בטיחות טכניות. הם משלימים את עבודתנו עם ממשלות בתחום הבדיקות וההערכה, שבו תפקידים ותחומי אחריות שונים עשויים לדרוש גישות אחרות.
כדי שהערכות אלה יהיו יעילות, נדרשים מנגנונים חזקים להבטחת עצמאות, קפדנות מדעית, נוהלי אבטחה איתנים ותחומי אחריות ברורים. למעבדות יש אחריות לאפשר בחינה ביקורתית משמעותית, תוך הגנה על מידע רגיש. המעבדות והמעריכים העצמאיים חולקים באחריות לעשות זאת כראוי, ועליהם לפעול לפי תקנים בינלאומיים משותפים לנוהלי בטיחות ואבטחה. להלן אנו מציעים ארבעה תחומי עדיפות להערכה מעמיקה יותר, לצד עקרונות לעבודה קפדנית, מאובטחת ועצמאית.
הערכות של צדדים שלישיים מועילות במיוחד כשהן עוסקות בשאלות ממוקדות ובעלות השלכות משמעותיות: האם הראיות תומכות בטיעון הבטיחות ובטענות הבטיחות של המעבדה? האם מבחני ההערכה בודקים כראוי את הסיכונים שהם נועדו למדוד? האם אמצעי ההגנה פועלים בתנאים מציאותיים?
ההערכות המתוארות כאן נועדו להתבצע במתכונות שונות, בהתאם לשאלות הבטיחות הנבחנות. אנו צופים שנתמוך בכמה הערכות במקביל ובמשכי זמן שונים: חלקן יימשכו שבועות ואחרות כמה חודשים. אף שהערכות של צדדים שלישיים יכולות להיות גם חלק מהעבודה שלפני הפריסה ולסייע בקבלת החלטות על פריסה, העבודה המתוארת כאן היא בדרך כלל ארוכת טווח ואינה תלויה בהשקה מסוימת — היא מתמקדת בבחינה מעמיקה של טענות בטיחות מסוימות לאורך זמן.
לאורך הדיון בתחומי העדיפות ובעקרונות שלנו, אנו מתייחסים לטענות בטיחות ולטיעוני בטיחות. כך אנו מגדירים את המונחים האלה:
טענת בטיחות: טענה מסוימת לגבי היכולות, ההתנהגות או אמצעי ההגנה של מודל או מערכת, שיש לה השלכות על בטיחותם ושניתן לבחון אותה מול ראיות. על הטענה לציין את הסיכונים והתנאים שאליהם היא מתייחסת, לצד הנחות היסוד והמגבלות הרלוונטיות.
טיעון בטיחות: טיעון מובנה, הנתמך בראיות, שמסביר מדוע הסיכונים של מודל או מערכת מנוהלים כראוי במסגרת פעילות מוגדרת, כגון אימון, הערכה או פריסה. טיעון בטיחות מקשר בין טענות בטיחות פרטניות לראיות התומכות בהן, ומפרט במפורש את הנחות היסוד, אי־הוודאות והסיכונים שנותרו ושעשויים להשפיע על מסקנותיו.
אנו מציעים ארבעה תחומי עדיפות להערכה מעמיקה יותר, לצד עקרונות לעבודה קפדנית, מאובטחת ועצמאית.
הערכה עצמאית של טיעוני בטיחות, לאורך שלבי האימון, ההערכה, הפריסה הפנימית והפריסה החיצונית.
הערכת טיעוני בטיחות דורשת מומחיות בהלימה, בשיטות בקרה כגון ניטור, באבטחת סייבר, בשימוש לרעה בתחומים הביולוגי והכימי וב־red teaming. טיעוני בטיחות מורכבים מטענות העוסקות בין היתר באימון, במבחני הערכת יכולות ובאמצעי הגנה. ניתן להעריך את הטיעונים כמכלול או בחלקים (ראו תחומי עדיפות 2 ו־3 להלן). סביר שיידרשו כמה מעריכים לבחינת חלקים שונים של הטיעונים, כל אחד בהתאם למומחיותו. ביחד, ההערכות שלהם צריכות לענות על שאלות כגון:
האם הראיות התומכות בטיעוני הבטיחות לאימון, להערכה ולפריסות מבוססות היטב? האם התנאים שנקבעו בטיעון הבטיחות נשמרו במהלך האימון, ההערכה והפריסה?
האם טיעוני הבטיחות שלנו מכסים את הסיכונים הדחופים ביותר שזוהו במהלך ההערכה? האם טענות הבטיחות תומכות בטיעון הבטיחות הכולל? האם יש פערים או תחומים לשיפור?
האם נעשה שימוש בשיטות יעילות לזיהוי ולצמצום תמריצים באימון שעלולים לתגמל הטעיה, reward hacking, פעולות הרסניות או עקיפת מגבלות?
הערכת אמצעי הגנה קריטיים בפריסות פנימיות וחיצוניות
מערך אמצעי ההגנה שלנו מתפתח כל העת כדי לתת מענה ליכולות ולסביבה המשתנות. אמצעי ההגנה שלנו חלים על האימון, הפריסה הפנימית והפריסה החיצונית. כיום הם כוללים אמצעי הגנה ברמת המודל, אמצעי אכיפה ואמצעי אבטחה, וכן מנגנוני ניטור לחוסר הלימה — ונותנים מענה למגוון רחב של סיכונים, כגון אובדן שליטה ושימוש לרעה בתחומי הסייבר, הביולוגיה והכימיה. שותפויות טכניות יכולות לזהות חולשות באמצעי ההגנה כבר כיום, ובמקביל לשפר את שיטות ההערכה ולהאיץ פיתוח תקנים. כך הן מספקות בסיס טכני איתן יותר למדיניות ציבורית עתידית שתתאים את קצב ההתקדמות בחזית הטכנולוגיה — במיוחד בפריסות פנימיות, שבהן תקני הבטיחות והאבטחה עדיין בראשית דרכם.
הערכות עצמאיות צריכות לבחון עד כמה אמצעי ההגנה האלה פועלים היטב והיכן הם עלולים להיות בלתי מספקים, באמצעות שאלות כגון:
בבדיקות עם גישת ״קופסה אפורה״, האם אמצעי ההגנה עמידים בפני בדיקות יריבות (פרצות), והאם הם מספקים הגנה מספקת מפני הגברת יכולות בתחומים בסיכון גבוה, כגון סייבר וביולוגיה? האם הבדיקות היריבות ופעולות ה־red teaming שלנו מכסות את הסיכונים החשובים ביותר?
בבדיקות מורשות בתנאי פעולה מציאותיים, כיצד סוכנים פועלים מול הגנות סייבר כגון בקרות גישה, בידוד בסביבת ארגז חול ומערכות זיהוי ותגובה? אילו הגנות מונעות פעולות מזיקות, מזהות אותן או מגבילות את השפעתן, והיכן הן נכשלות?
האם יש במנגנוני הניטור שלנו לחוסר הלימה פערים קריטיים שעלולים להוביל לאובדן שליטה או לחוסר הלימה חמור, בפריסות פנימיות וחיצוניות כאחד? עד כמה ניטור שרשרת מחשבה אמין כמקור לראיות לבטיחות או להלימה, ככל שיכולות המודלים משתפרות?
האם מיושם ניטור מתאים בכל תהליכי האימון, ההערכה והפריסה הרלוונטיים, באופן שאינו מאפשר להשבית אותו בקלות?
האם אמצעי ההגנה מיושמים ברמה התואמת את היכולות?
הערכת מבחני יכולות המכסים את קטגוריות הסיכון של מסגרת ההיערכות (סיכונים כימיים וביולוגיים, אבטחת סייבר, שיפור עצמי של AI) ומבחני הלימה לבדיקת סיכוני חוסר הלימה
Preparedness Framework שלנו מחייבת מבחני הערכה לבחינת תחומי סיכון מרכזיים ממודלי חזית. ככל שנחצים ספים ומבחני הערכה מגיעים לרוויה, חשוב לעדכן בהתמדה את המבחנים הבודקים יכולות בתחומי הסיכון של מסגרת ההיערכות ואת מבחני ההלימה שנועדו לבחון סיכונים לחוסר הלימה חמור, ולהבטיח את איכותם ואת היקף הכיסוי שלהם.
בין השאלות הרלוונטיות:
האם המבחנים להערכת סיכוני מסגרת ההיערכות מכסים כראוי את הגדרת סף הסיכון במסגרת? האם הספים למבחני ההערכה האלה נקבעו כראוי?
האם מבחני ההערכה מתעדכנים כשמודלים משיגים בעקביות את הציונים הגבוהים ביותר, והאם המבחנים החדשים מודדים באופן משמעותי יכולות מתקדמות יותר?
האם מבחני ההלימה שלנו מכסים כראוי סיכונים לחוסר הלימה חמור, ואילו התנהגויות או תנאים חשובים הם עלולים להחמיץ?
חקירה עצמאית של אירועי חוסר הלימה קריטיים
חקירה עצמאית יכולה להועיל במגוון אירועי בטיחות AI קריטיים. כאן אנו מתמקדים בחוסר הלימה של מודלים, לרבות מודלים הפועלים ללא הרשאה או מתחמקים מפיקוח — התנהגויות שעשויות לחשוף חולשות בשיטות ההלימה ובאמצעי ההגנה גם ללא שימוש מכוון לרעה.
בנסיבות מסוימות, כמו באירוע OpenAI ב־Hugging Face, עשוי להועיל לשלב צד שלישי עצמאי לצורך חקירות עצמאיות של אירועי חוסר הלימה. חיוני שלצדדים שלישיים המעורבים בחקירת אירועים תהיה המומחיות הנדרשת לחקירה, ובמקרים הרלוונטיים: מומחיות בחקירות פורנזיות בסייבר, מומחיות בהלימה, ניתוח שרשרת מחשבה בקנה מידה גדול, וכן כוח האדם והמשאבים הזמינים לביצוע החקירה בזמן הנדרש. תגובה לאירועים עשויה לכלול גישה לנתונים פנימיים רגישים ולנתונים של צדדים שלישיים, ולכן פרסום פרטים מסוימים או מתן גישה אליהם עשויים להיות כרוכים ברגישות. ממצאים מחקירות עצמאיות יכולים גם לסייע בגיבוש טיעון הבטיחות של מודל, באמצעות ראיות לבחינת טענות לגבי ההלימה שלו ולגבי יעילותם של צעדים שננקטו לתיקון חוסר הלימה שנצפה בעבר.
בהקשר של אירועי חוסר הלימה, אנו נותנים עדיפות להערכות עצמאיות העוסקות בשאלות הבאות:
אילו התנהגויות של המודל או בעיות חוסר הלימה התגלו במהלך האירוע, ומהם הגורמים העיקריים שתרמו להן?
האם אמצעי ההגנה וצעדי התיקון יצמצמו ביעילות אירועים דומים בעתיד ואת השלכותיהם?
טענות להערכה בעלות היקף ברור ומוסכם על הצדדים: הערכות צריכות להתחיל בהסכמה בין הצדדים על היקפן, ולאחר מכן בהגדרה ברורה של טענות בטיחות שיירשמו מראש לפני תחילת פעולות ההערכה. על צדדים שלישיים ומעבדות להבהיר אם מדובר בטענות שהחברה הנבדקת מעוניינת להעמיד להערכה, או בטענות שהמעריך החיצוני מבקש לבחון באופן עצמאי ושהמעבדה מסכימה להיבדק לאורן. יש סיבות רבות לכך שטענות מסוימות עשויות להישאר מחוץ להיקף ההערכה, ובהן חוסר אפשרות להעניק לצדדים שלישיים גישה לנתונים, מומחיות לא מספקת של המעריך, או מגבלות זמן סבירות כאשר ההערכה דחופה. על מעבדות ומעריכים לקבוע תהליך לבחינת סיכונים משמעותיים שזוהו מחוץ להיקף המקורי, ובכלל זה להחליט אם נדרשת חקירה נוספת. על המסקנות להבהיר מה נבדק ומה לא נבדק ביחס להיקף שעליו הסכימו הצדדים.
גישה מידתית: יש להעניק למעריכים גישה בהיקף התואם את צורכי בחינת הטענות המוסכמות, ככל האפשר במסגרת מגבלות משפטיות, מגבלות אבטחה ומגבלות קניין רוחני. כאשר גישה ישירה אינה מעשית או אינה אפשרית, המעריכים יכולים לעבוד עם נציג ייעודי בחברה או לבחון מנגנוני גישה עקיפים או כאלה השומרים על הפרטיות, כדי להגן על המידע שבבסיס ההערכה.
שקיפות בשיטות ובתקנים: על המעריכים להסביר את שיטותיהם, את הקריטריונים להערכה ואת אי־הוודאות הכרוכה בה, ולהסתמך על תקנים מקובלים כאשר אלה קיימים. כאשר טרם נקבעו תקנים, עליהם לנמק בבירור את הקריטריונים שבהם הם משתמשים. על הדוחות להבחין בין ממצאים ישירים לפרשנות, להסביר את אי־הוודאות ולהבהיר באילו מסקנות הראיות תומכות.
מומחיות ועצמאות: על המעריכים להפגין מומחיות טכנית רלוונטית ולזהות, לחשוף ולטפל בניגודי עניינים ארגוניים ואישיים, לרבות תמריצים כספיים, קשרים עם מפתחים ומעורבות קודמת בעבודה הנבדקת. יש לתכנן מנגנוני הגנה שיבטיחו כי לחצים מסחריים והסדרי תגמול לא ישפיעו על הממצאים. מנגנונים אלה יכולים לכלול הימנעות מהשתתפות בהערכה או תקופות צינון מתאימות.
אבטחה וסודיות: על המעריכים להראות כי הם מיישמים נוהלי אבטחת מידע והגנות סודיות הניתנות לאכיפה וחלות על אנשיהם, בהתאם לרגישות המערכות והמידע שאליהם ניתנת להם גישה. הגנות אלה צריכות לחול על קניין רוחני, מידע רגיש ורשומות ההערכה. כאשר המעריכים אינם יכולים לעמוד בדרישות האבטחה בסביבות שלהם, או כאשר הנתונים שאליהם ניתנת גישה רגישים במיוחד, ייתכן שמתאים לספק גישה באמצעות מכשירים המנוהלים בידי החברה או במתקניה.
ממצאים שניתן לפעול לפיהם וזמן לתיקון ליקויים: על ההערכות לזהות פערים מסוימים ולספק די פרטים כדי שהמעבדות יוכלו לטפל בהם. במקרים המתאימים, יש להעניק למעבדות פרק זמן סביר לתיקון ליקויים לפני הפרסום. במקרים הרלוונטיים, על הדוחות גם להסביר מהם הלקחים למפתחי סוכנים, לגורמים הפורסים אותם ולגורמי הגנה, ולכלול המלצות מעשיות ליישום.
נוהלי פרסום אחראיים: דוחות הערכה צריכים להיות מבוססים על ראיות ולהיות נגישים ככל האפשר, תוך הגנה על מידע רגיש וסודי. כאשר חשיפה מלאה לציבור אינה אפשרית, דיווח חסוי לגופי פיקוח מתאימים, כגון גופי ממשל תאגידי או דירקטוריונים של חברות, יכול לתמוך באחריותיות. כדי לשמר את האיזון בין עצמאות לסודיות, יש לקבוע מדיניות ומנגנוני הגנה להשחרת מידע על בסיס עקרונות ברורים, וכן ציפיות ברורות לגבי משוב ותיקון אי־דיוקים. על המעריכים לשמור על עצמאות עריכתית, ובמקביל להבטיח שההגנות על סודיות ועל קניין רוחני נשמרות. על המעריכים לאמץ מדיניות ברורה להשחרת מידע, שתאפשר למעבדות לבקש השחרה של מידע רגיש. לצד זאת, המעריכים יוכלו לציין היכן הושחר מידע מהותי וכיצד הדבר משפיע על דוח ההערכה שלהם.
אנו מחויבים לתמוך במעריכים עצמאיים ולקדם תקנים בינלאומיים משותפים וברורים יותר — הן באמצעות חקיקה עתידית והן באמצעות מוסדות ממשל פרטיים — להערכות יעילות של צדדים שלישיים. תחום ההערכה העצמאית עדיין מתפתח, ואנו נסייע לצמיחתו באמצעות תמיכה ושיתוף פעולה עם קהילה מגוונת של מעריכים עצמאיים בעלי מומחיות מעמיקה בסוגיות בטיחות של מודלי חזית. שום צד שלישי יחיד אינו יכול, וגם אינו אמור, לכסות באופן מקיף את סוגיות הבטיחות הדחופות של מודלי חזית. נפעל באופן שקול ומכוון להרחבת יכולותינו, ולאפשר לגורמי ההערכה החיצוניים, שמספרם הולך וגדל, לגבש הסכמה על שיטות עבודה מומלצות ועקרונות. אנו מנהלים שיחות עם כמה צדדים שלישיים על הצעות התואמות את תחומי העדיפות שלעיל.
