בשבועות האחרונים, שתי התפתחויות הדגישו את הסיכונים הגוברים הכרוכים במערכות בינה מלאכותית בעלות יכולות הולכות ומשתכללות: תקרית OpenAI-Hugging Face, ובנפרד ממנה, ראיות ראשוניות לכך שאחד המודלים העתידיים שלנו, Astra, עשוי להגיע לסף של יכולת סייבר ברמה קריטית לפי מסגרת ה־ Preparedness Framework שלנו. התפתחויות אלה, לצד התקדמות מהירה במחקר הפנימי שלנו, הגבירו את הדחיפות של עבודתנו לחיזוק אמצעי ההגנה לניטור, להתאמה לכוונות האדם ולתחימת פעולת המודלים בכל שלבי האימון.
ככל שיכולות המודלים משתכללות, גדלים גם הסיכונים הכרוכים בפיתוח ובבדיקה שלהם בתוך הארגון. הסטנדרטים שלנו לניטור, להתאמה לכוונות האדם ולאבטחה חייבים להקדים את הסיכונים האלה. רצינו להקדיש את הזמן הנדרש לעמידה בסטנדרטים האלה, ולכן האטנו זמנית את קצב הגדלת היקף האימון. בין היתר, השהינו למשך שבועיים את אימוני למידת החיזוק (RL) של המודלים החדשים ביותר שלנו המיועדים לשימוש, ובזמן הזה הקשחנו עוד את סביבות המחקר, ערכנו בהן בדיקות תקיפה והרחבנו את הכיסוי של מערכות הניטור שלנו. ריצת למידת החיזוק הגדולה ביותר שתכננו למודלי חזית עדיין מושהית. בינתיים אנו מבצעים אימונים והערכות בקנה מידה קטן יותר כדי לבחון את התנהגות המודלים, לוודא שאמצעי ההגנה שלנו פועלים כנדרש ולבסס ראיות נוספות להתאמה לכוונות האדם לפני שנמשיך.
התאמה לכוונות האדם — העבודה שנועדה לגרום למערכות בינה מלאכותית להתנהג כמצופה ולהיענות לפיקוח אנושי — נמצאת זה מכבר בלב תוכנית המחקר שלנו. כעת אנו דורשים ראיות חזקות יותר להתנהגות התואמת את כוונות האדם לאורך כל תהליך האימון, על בסיס מחקר והערכות שכבר מתבצעים. שמירה על התאמתן של מערכות בעלות יכולות הולכות ומשתכללות לכוונות האדם היא אתגר שכל העוסקים בתחום יצטרכו להתמודד איתו. הסימנים שאנו רואים להתקדמות הצפויה במודלים מבהירים שאנו זקוקים לגישה רחבה יותר — כזו שנשענת על מסגרת ה־Preparedness Framework הנוכחית ומרחיבה אותה.
חשוב לנו לשקף בשקיפות כיצד הגישה שלנו משתנה. בהמשך נתאר את השינויים שכבר ביצענו בתהליכי המחקר ובתשתיות שלנו, ואת העבודה שעדיין מתבצעת.
הגישה שלנו לפיתוח מודלים בעלי יכולות מתקדמות יותר נשענת על שלושה אמצעי הגנה המחזקים זה את זה:
ניטור, שמזהה התנהגות מדאיגה ומאפשר לנו להגיב לה.
התאמה לכוונות האדם, שמפחיתה את הסבירות לפעולות מזיקות או בלתי מורשות.
אמצעי אבטחה, שמגבילים את המשאבים שמערכות בינה מלאכותית יכולות לגשת אליהם או להשפיע עליהם.
אנו צופים שבקרוב מודלים יובילו את רוב עבודת האבטחה, לרבות הגנה מפני מודלים אחרים. כך יוכלו שלושת אמצעי ההגנה להתרחב בהתאם ליכולות המודלים — דבר שאנו רואים בו חשיבות מכרעת.
אנו מיישמים את אמצעי ההגנה האלה במחקר ובשימוש בפועל, ומתאימים אותם ליכולות של כל מודל, לסביבת הפעולה שלו ולרמת הסיכון.
ככל שמודלי חזית רוכשים יכולות סייבר חזקות יותר, אנו מעלים את תקני האבטחה של הסביבות שבהן אנו מאמנים ומעריכים אותם. העמידה בתקנים האלה חייבה עבודה הנדסית נרחבת, והייתה כרוכה בעלויות גבוהות ובעיכובים במחקר בחזית התחום. מיד לאחר תקרית OpenAI-Hugging Face*, השהינו באשכולות המחשוב למחקר את ריצות ההסקה של מודלי חזית שיכלו להריץ קוד או להשתמש בכלים בעלי גישה לאינטרנט. השבנו די מהר אפשרות מוגבלת ומאובטחת יותר להרצת קוד, ולאחר מכן בחנו כל עומס עבודה בנפרד כדי לקבוע אם אפשר לחדש אותו בבטחה. חלק מעומסי העבודה המחקריים חודשו בכפוף לבקרות החדשות, ואחרים חייבו שינויים נוספים.
בשבועות שלאחר מכן הגדרנו דרישות אבטחה מחמירות יותר לעומסי עבודה מחקריים בחזית התחום והתחלנו ליישם אותן. לדוגמה:
בידוד עומסי עבודה: כעת אנו דורשים בידוד מחמיר יותר (״ארגזי חול״) לעומסי עבודה שמריצים קוד שנוצר בידי מודל או קוד אחר שאינו מהימן. דרישה זו חלה גם על תוכנות שעלולות להיפרץ בעת עיבוד פלטי מודלים.
בידוד רשת: הוספנו בקרות לבידוד עומסי עבודה בסיכון גבוה יותר ועומסי עבודה שאינם מהימנים מהאינטרנט. תכננו את הבקרות כך שפריצה בודדת לעומס עבודה או לשירות תומך לא תאפשר כשלעצמה גישה בלתי מורשית לאינטרנט או לרשתות פנימיות אחרות.
בדיקות אבטחה רציפות: שינינו את תצורת הסביבה שלנו כדי להסיר שירותים משותפים שעלולים להיות פגיעים, לצמצם הרשאות קבועות ולשפר את גבולות האבטחה והאמון. אנו גם משפרים את יכולתנו לאסוף ולנטר יומני אבטחה. לבסוף, אנו משקיעים באוטומציה באמצעות המודלים שלנו, כדי לבחון את הגבולות האלה ברציפות מול מתקפות מדומות.
יחד, הבקרות האלה מספקות הגנה רב־שכבתית ומסייעות להגן על סביבת המחקר שלנו מפני מתקפות. כיום אנו דורשים את אמצעי האבטחה המחמירים ביותר לעומסי עבודה הכוללים את Astra או מודלי סייבר, משום שקבענו כי למודלי Astra עשויה להיות יכולת סייבר ברמה קריטית. אמצעי ההגנה האלה חלים גם על כל שאר עומסי העבודה הקשורים לסייבר.
חלק מהאימונים וההערכות של Astra עומדים בדרישות האלה, אך מספר ניכר של עומסי עבודה נותרו מושהים עד להשלמת העברתם ושדרוגם לעמידה ברף האבטחה החדש. אנו נותנים עדיפות להעברת עומסי עבודה בתחומי הבטיחות וההתאמה לכוונות האדם לסביבות החדשות האלה.
ניטור הוא זה מכבר חלק חשוב בתהליך פיתוח המודלים שלנו, לרבות ניטור סוכני קוד פנימיים וסשנים ממושכים. מאמצי הניטור שלנו התמקדו במיוחד בשימושים פנימיים במודלי חזית ובריצות אימון למידת חיזוק של מודלי חזית. ראינו בהם את עומסי העבודה המסוכנים ביותר, משום שהם עשויים לשלב יכולות מתקדמות של מודלים עם גישה לכלים, למערכות רגישות ולרשתות פנימיות או חיצוניות. הניטור לא הוחל על כל ריצות ההסקה והאימון המשתמשות בכלים. עם מערך הניטור החדש שלנו, עדכנו והרחבנו את הגישה שלנו.
מערך הניטור החדש פועל בכמה שלבים. הוא מתחיל במסווגי אקטיבציות (גלאים הבוחנים את הפעילות הפנימית של מודל), שפועלים בכל טוקן שנדגם ומעבירים חשדות לבדיקה בידי מערכות חקירה אוטומטיות מתוחכמות יותר ויותר, המשתמשות במשאבי מחשוב גדולים יותר. המערכות האלה בוחנות פעולות בכלים, תהליכי reasoning זמינים ואת רצף הפעילות המלא, בחיפוש אחר גישה בלתי מורשית, גניבת נתונים, התנהגות הרסנית וניסיונות לעקוף אמצעי הגנה. אנו שואפים להוציא התראה בתוך 30 דקות מרגע שמערכת הניטור שלנו מציפה פעילות מדאיגה. אם מערכת הניטור מזהה חשד סביר להפרת גבול אבטחה קריטי, היא מפיקה התראה בעדיפות הגבוהה ביותר. במימוש הנוכחי שלנו נשלחת קריאה דחופה לצוותי הבטיחות, האבטחה והמחקר. אם בתוך 30 דקות הם אינם יכולים לקבוע בוודאות שמדובר בהתראת שווא, מצופה מהם להשהות את הפעילות.
ניטור זה נדרש בכל אימוני למידת החיזוק וההערכות הכוללים שימוש בכלים במודלים בעלי יכולות ברמת Sol ומעלה. לאחר שקבענו ב־7 באוגוסט כי ל־Astra עשויות להיות יכולות סייבר קריטיות, הוספנו דרישת ניטור לכל ריצות ההסקה של Astra עם כלים (ולא רק לאימוני למידת חיזוק ולהערכות).
אמצעי ההגנה האלה דורשים משאבי מחשוב ניכרים. לפי ההערכות הנוכחיות שלנו, תוספת משאבי המחשוב הנדרשת לניטור היא כ־20% ממשאבי המחשוב של ההסקה המנוטרת, אך העלות משתנה במידה ניכרת בין עומסי העבודה של האימון וההערכה. נשתף פרטים נוספים על המערכת בפוסט שנפרסם בקרוב בבלוג.
מחקר בהתאמה לכוונות האדם הוא נדבך מרכזי במשימה שלנו. המשימה שלנו היא להבטיח שבינה מלאכותית כללית תועיל לכלל האנושות. ככל שמודלים רוכשים יכולות מתקדמות, כגון ביצוע מתקפות סייבר, ופועלים בסביבות מורכבות יותר, התנהגויות שאינן תואמות את כוונות האדם ייצרו סיכון חמור יותר ויותר. דוגמאות לכך הן reward hacking (מציאת דרכים לקבל תגמולים גבוהים באימון בלי להשיג בפועל את התוצאה הרצויה), הטעיה או גישה בלתי מורשית.
בריצות למידת חיזוק של המודלים בעלי היכולות המתקדמות ביותר, אנו מיישמים כעת את שיטות הליבה שלנו להתאמה לכוונות האדם בשלבים רבים יותר של תהליך האימון. העבודה כוללת שיפור של מודלי תגמול כדי לזהות טוב יותר התנהגות לא בטוחה ולהפחית את התמריץ לה במשימות ובסביבות שונות; אימון מודלים לדווח ביתר כנות על פעולותיהם, יכולותיהם ומגבלותיהם; וצמצום התנהגויות המנצלות חולשות בתגמולים, במערכות דירוג, בכלים או בפיקוח. אנו גם מרחיבים את הכיסוי באימון להתנהגויות שעלולות לגרום נזק כאשר מודלים מקיימים אינטראקציה עם מערכות או משאבים חיצוניים.
אנו ממשיכים להשקיע בהיקף נרחב במחקר בהתאמה לכוונות האדם, להרחיב את כיסוי ההערכות ולהשתמש בתובנות שלנו לשיפור האימון ואמצעי ההגנה. בעתיד הקרוב אנו מתכננים לשתף מידע רב יותר על המחקר שלנו בהתאמה לכוונות האדם, לרבות התובנות שלנו על התנהגות המודלים וכל אתגר חדש שנחשוף.
נמשיך לפתח את מסגרת ה־Preparedness Framework שלנו כדי לשלב את אמצעי ההגנה האלה לאורך האימון והשימוש בפועל, וכדי לשקף טוב יותר את יכולות המודלים העתידיים ואת הסביבות שבהן הם פועלים. פיתוח שיטות שיוכלו להתרחב בהתאם ליכולות האלה ידרוש השקעה מתמשכת באבטחה בסיוע מודלים, בניטור יעיל יותר ובהמשך קידום המחקר בהתאמה לכוונות האדם. בכוונתנו לשתף ארגונים חיצוניים ולחלוק עוד מהתובנות שלנו ככל שהגישה שלנו תתפתח.
יכולותיהם של מודלי חזית מתקדמות בקצב מואץ. היכולת שלנו להבין אותם, להתאים אותם לכוונות האדם ולאבטח אותם חייבת להקדים את ההתקדמות הזאת.
*בשבועות הקרובים נפרסם דוח טכני על הלקחים שהפקנו.
