ניהול סיכוני frontier AI: מאימון לפריסה
18 בנובמבר 2026 · בטיחות
היכולות של מודלי חזית מתפתחות בקצב מואץ, והיכולת שלנו להבין אותם, להבטיח את הלימתם ולאבטח אותם חייבת להקדים אותן. אנו מווסתים את קצב הפיתוח והשחרור של המודלים שלנו, לרבות השהיית אימון פנימי(נפתח בחלון חדש) או עיכוב שחרורם של מודלים כמו GPT‑6.1 Astra, כשדרוש לנו זמן נוסף כדי לעמוד בתקני הבטיחות שלנו. הכנסנו תהליכים חדשים, כמו תיקי בטיחות, ואנו דורשים ראיות חזקות יותר להתנהגות בהלימה לאורך האימון. הדרישות האלה מאטות את קצב שחרור המודלים, אך מעניקות לנו ביטחון רב יותר ביכולת להתקדם בבטחה.
מאז אירוע Hugging Face ביולי, חיזקנו את מנגנוני ההגנה ואת דרישות ההלימה החלות על האופן שבו אנו מאמנים, בודקים ופורסים מודלים. הפוסט הזה מסביר כיצד אנו מעריכים ומנהלים סיכונים בכל שלב, מסביבות אימון מבודדות מאוד ועד לפריסת Codex שבה אתם משתמשים במחשב שלכם. בכל שלב אנו מעריכים הן את המודלים והן את מנגנוני ההגנה, ודורשים בדיקת בטיחות כתנאי למעבר לשלב הבא.
אנו נוקטים גישה של הגנה לעומק, עם שכבות הגנה מרובות שמצמצמות את התלות במנגנון הגנה יחיד. אם שכבה אחת כושלת, האחרות מסייעות למנוע נזק, להגביל את ההשלכות או להתריע בפנינו כדי שנוכל להתערב.
אנו מארגנים את ההגנות שלנו בארבע שכבות:
ניטור יעיל תלוי ביכולת הניטור של המודל — המידה שבה מערכות ניטור יכולות לזהות באופן אמין טעויות או התנהגות לא בטוחה מתוך ה-reasoning והפעולות של המודל. למשל, קל יותר לנטר מודל שמבטא במילים את כוונתו לרמות בשרשרת המחשבה (CoT) שלו, לעומת מודל שמשמיט את המידע הזה. אנו מעריכים את יכולת הניטור במהלך האימון ולפני הפריסה, מפתחים שיטות טובות יותר למדידתה(נפתח בחלון חדש), וחוקרים מה משפיע עליה(נפתח בחלון חדש).
אירוע Hugging Face המחיש מדוע אין להסתמך רק על בידוד בסביבת ארגז חול כדי לתחום מודלים בעלי יכולות גבוהות. כעת אנו מנטרים מודלי חזית ברוב סביבות הפריסה הפנימיות והחיצוניות, לרבות כל הפריסות הפנימיות המשתמשות בכלים.
התפקיד של כל שכבה משתנה לאורך שלושת שלבי הפיתוח והפריסה של המודל:
מחקר: אנו מאמנים מודלים, בודקים אותם ומשתמשים בהם בסביבות מבודדות.
פריסה פנימית: עובדי OpenAI משתמשים במודלים לעבודה מעשית.
פריסה חיצונית: המודלים נעשים זמינים לקהל רחב יותר של אנשים וארגונים.
בשלבים שונים אנו מסתמכים על שכבות שונות. במהלך האימון, כשהוודאות לגבי ההלימה נמוכה יותר, אנו מסתמכים יותר על בידוד וניטור. ככל שהמודלים מקבלים גישה רחבה יותר במהלך הפריסה, גוברת חשיבותן של ההלימה ושל הבקרות ברמת המערכת. בכל שלב אנו בוחנים אם מכלול ההגנות מספיק לנוכח יכולות המודל והגישה שניתנה לו. הקביעות שלנו עשויות להיבחן עם קבוצת ייעוץ הבטיחות (SAG) שלנו, ולהיות נתונות לפיקוח של Safety and Security Committee (SSC) של דירקטוריון OpenAI Foundation.
בשלב המחקר אנו מעריכים מודלים כדי לבסס ביטחון במאפייני ההלימה שלהם. מכיוון שעדיין איננו יכולים להסתמך באופן מלא על ההלימה למניעת נזק, אנו נשענים במידה רבה על אבטחה ובידוד כדי להגביל את הגישה ואת הפעולות שלהם.
בהתחשב במצבם הנוכחי של מחקר ההלימה, מערכות הניטור ואבטחת תשתיות האינטרנט, אנו סבורים שהגישה האחראית היא לאמן מודלי חזית ללא גישה חיה לאינטרנט. לאחר אירוע Hugging Face, שינינו מהותית את מבנה מערכות המחקר הפנימיות שלנו כדי לתחום מודלים באמצעות:
סביבות מבודדות המגבילות את הרשאות המודל
מכונות וירטואליות שמוסיפות בידוד בין עומס העבודה למחשב המארח
גבולות אבטחה ברשת ובענן שמנתקים את האשכול כולו מהאינטרנט
אנו בודקים את המערכת ללא הרף באמצעות ניסיונות תקיפה, שבהם צוותים של המודלים החזקים ביותר שלנו מנסים להגיע לאינטרנט החי, לפרוץ את גבולות האבטחה או לתקשר עם סוכנים שמהם הם אמורים להיות מבודדים. כך אנו בוחנים אם התחימה עומדת בפני היכולות של המודלים שהיא נועדה להגביל.
כשכבת הגנה נוספת, אנו מנטרים את כל הרצות ההסקה של מודלי חזית כדי לזהות אם המודל עקף תנאי אבטחה שאמורים להתקיים תמיד. אם הניטור מזהה שהמודל הגיע לאינטרנט, אנו מזעיקים את צוותי האבטחה שלנו ומשהים אוטומטית את עומס העבודה.
הניטור מספק רשת ביטחון חיונית כשהתחימה כושלת. בדוח שפרסמנו לאחרונה על חוסר הלימה, שיתפנו שמערכות הניטור זיהו מודל מחקר פנימי שניצל הגדרת DNS שגויה(נפתח בחלון חדש) כדי להשיג גישה מוגבלת לאינטרנט. השהינו את האימון וההערכה של המודלים בעלי היכולות הגבוהות ביותר שלנו מ-20 בספטמבר עד 1 באוקטובר, בזמן שחקרנו וטיפלנו בפרצת האבטחה.
כדי לאפשר התערבות מהירה ואמינה, בנינו את Control Room, מערכת מרכזית שעוקבת אחר עומסי עבודה מחקריים ועוצרת את המשך הפקת הפלט של המודל בתוך 35 שניות מקבלת הוראה לעצירת משימה. הבקרות האלה נאכפות ישירות בתשתית ההסקה, ולכן אינן תלויות בכך שכל עומס עבודה מחקרי יממש מנגנון כיבוי משלו. בעומסי עבודה מחקריים של מודלי חזית, הן עוצרות את פלט המודל גם אם Control Room נעשית לא זמינה.
red teaming וניטור פועלים יחד. איננו יכולים להבטיח שסביבה מבודדת אינה ניתנת לפריצה, אך red teaming מסייע לנו להעריך כמה מאמץ יידרש למודל כדי להיחלץ ממנה. ככל שהמודל נדרש למאמץ רב יותר, כך גדלה ההזדמנות של מערכות הניטור לזהות אותו ולעצור אותו.
אנו מחייבים בקרות אבטחה וניטור חזקות בשלב המחקר מכמה סיבות:
המודלים עדיין עוברים הערכה. חלקם טרם השלימו את אימוני הבטיחות, ביקורות ההלימה והבדיקות הנדרשים לפני שחרור לציבור.
סביבות מחקר בחזית הטכנולוגיה עלולות להגביר סיכונים. משימות מחקר מסוימות דורשות מערכי עבודה שאפתניים יותר, שהופכים את המודל למתמיד יותר או לבעל יכולות גבוהות יותר מאלה שנראות בדרך כלל בפריסה חיצונית (למשל, נדרש צוות של 10,000 סוכנים כדי לפתור את בעיית נאוויה–סטוקס).
האימון מתבצע בקנה מידה גדול, עם פחות פיקוח אנושי ישיר. בניגוד לסשן רגיל ב-Codex, עומסי העבודה שלנו באימון כוללים מספר רב של פעולות מודל, בלי שאדם עוקב אחר כל אינטראקציה.
לפני שחרור נרחב, העובדים עוברים משימוש מחקרי בסביבה מבודדת במודלי חזית לשימוש פנימי מחוץ לסביבה המבודדת, למשל באמצעות הנגשת המודל לעובדים ב-ChatGPT. כך אנו מבינים טוב יותר כיצד המודלים מתנהגים בתנאי שימוש מעשיים(נפתח בחלון חדש), ומסתמכים על כך בהחלטות על פריסה.
בשלב זה אנו מעניקים למודל גישה לאינטרנט הרחב, ל-Slack שלנו, לבסיס הקוד שלנו ולתשתיות פנימיות. זהו שינוי משמעותי בסיכון, משום שלפעולות המודל יש כעת השפעה ישירה על המערכות שבהן אנו משתמשים כדי לפתח ולהפעיל את OpenAI. במהלך פריסה פנימית עלינו להסתמך יותר על הלימת המודל, מנגנוני הגנה מערכתיים וניטור, ופחות על בקרות אבטחה.
לפני שאפשר לפרוס מודל חזית מחוץ לסביבה המבודדת, עליו לעבור בדיקות הלימה ובדיקות של יכולת הניטור(נפתח בחלון חדש). יש לנו מערך של הערכות הלימה, שבוחן הן סוגים מסוימים של כשלי הלימה (כמו עקיפת מגבלות בטיחות ואבטחה) והן מדדים רחבים של נטיות התנהגות (כמו דגימה חוזרת של מסלולי פעולה פנימיים של Codex ובדיקתם לאיתור חוסר הלימה). מידע נוסף על הערכות ההלימה ויכולת הניטור שלנו מופיע בכרטיס המערכת העדכני של GPT‑6 Astra(נפתח בחלון חדש).
בדומה לתצורות שלנו בסביבת הייצור, אנו מוסיפים שכבת הגנה נוספת באמצעות מסווגים ברמת המערכת, שנועדו להגן מפני נזקים הנובעים מיכולות חזית, כמו שימוש לרעה בסייבר ופיתוח נשק ביולוגי. כמו כן, בדרך כלל אנו מחייבים עובדים המשתמשים ב-Codex להפעיל את Auto-Review(נפתח בחלון חדש), שמעריך פעולות שעלולות להיות מסוכנות ומעביר אותן להכרעת המשתמש.
לבסוף, במהלך פריסה פנימית אנו מנטרים כל הרצת הסקה של מודלי חזית כדי לזהות התנהגות שאינה בהלימה. מאחר שלמודל יש כעת הרשאות מורחבות וגישה למידע ולמערכות פנימיים, חשוב במיוחד לזהות סיכונים כמו הוצאת נתונים, או שליחת מידע רגיש ליעד לא מורשה. הניטור גם מסייע לנו לחקור צורות חדשות של חוסר הלימה(נפתח בחלון חדש).
פריסה לציבור חושפת מודלים למספר גדול בהרבה של משתמשים, משימות וסביבות, ומגדילה הן את היקף הסיכונים והן את מגוון הסיכונים. בשלב זה עלינו גם להתגונן מפני גורמים שעלולים להיות זדוניים ומכוונים את המודל במכוון לגרום נזק.
לפני שחרור לציבור, המודלים ומנגנוני ההגנה המערכתיים חייבים לעמוד בדרישות הבטיחות שלנו לפריסה חיצונית. אנו מעריכים אותם באמצעות:
ביצוע מערך רחב יותר של הערכות הלימה ובטיחות. במודלי החזית שלנו, הדבר כולל סבבים חדשים של בדיקות אדפטיביות באמצעות מערכות ה-red teaming האוטומטיות הפנימיות שלנו, כדי לבחון את עמידות המודל בתנאי קיצון. אנו מפרסמים את התוצאות של הערכות היכולות והבטיחות בכרטיסי המערכת(נפתח בחלון חדש) שלנו.
במודלים בעלי היכולות הגבוהות ביותר שלנו, אנו מבצעים גם בדיקות עם גורמים חיצוניים כדי לבחון בתנאי קיצון הן את מנגנוני ההגנה מפני שימוש לרעה והן את ההלימה הבסיסית של המודלים.
בחינת התרעות הניטור משלב הפריסה הפנימית כדי לעקוב אחר שינויים בהלימה הבסיסית של מודל הבסיס.
לצד מנגנוני ההגנה ה״סינכרוניים״ שלנו (כמו אימון בטיחות למודלים ומסווגים מערכתיים), בפריסות חיצוניות אנו מפעילים גם אכיפה וחקירה שלא בזמן אמת. הצוותים האלה משלבים מערכות חקירה אג'נטיות בקנה מידה גדול עם בדיקה אנושית כדי לאתר ולזהות גורמי איום פוטנציאליים, בתחומים כמו שימוש לרעה בסייבר, פיתוח נשק ביולוגי וזיקוק, וכן חוסר הלימה מצד המודל עצמו. אכיפה שלא בזמן אמת מועילה במיוחד לאיסוף מידע מחשבונות שונים, כדי לבנות תמונה מקיפה יותר של איום פוטנציאלי.
תוכניות גישה לגורמים מהימנים, כמו Daybreak ו-Rosalind, מספקות שכבת אבטחה נוספת ומאיצות את עבודתם של מגינים וחוקרים לגיטימיים, תוך הגבלת הגישה לתוקפים פוטנציאליים.
כשאנו מזהים כשל באחת משכבות הבטיחות שלנו, בין שנגרם נזק בפועל ובין שלא, אנו שואפים לחקור אותו במהירות, לתעדף את הטיפול בו, ואם הדבר אפשרי ומתאים — גם לחשוף אותו לציבור. לפי מדיניות הדיווח על חוסר הלימה שלנו, כל עובד יכול לסמן אירוע כמועמד לחשיפה לציבור. הדיווחים האלה נחקרים, ואם מתעוררת מחלוקת בשאלה אם לחשוף אותם לציבור, ההחלטה מועברת לקבוצת ייעוץ הבטיחות (SAG) שלנו. מעבר להסתמכות על דיווחי עובדים, אנו מחפשים באופן יזום אירועי חוסר הלימה כדי לטפל בהם ולשתף את הממצאים.
אפשר לעיין בדוחות שלנו על חוסר הלימה כאן(נפתח בחלון חדש).
העבודה הזאת תלויה הן בהתקדמות המחקר והן בהקפדה תפעולית: הגדרה נכונה של בקרות, בדיקת האינטראקציות ביניהן ותגובה נחרצת כשהן כושלות. שירות רשת שהוגדר באופן שגוי או עצירה אוטומטית שנכשלה עלולים לערער הגנות חזקות כשלעצמן.
ככל שהמודלים ירכשו יכולות חדשות, נצטרך להמשיך לבחון מחדש את ההנחות שבבסיס מנגנוני ההגנה שלנו ולשפר אותם לפי הצורך. לקחים ממחקר, משימוש פנימי ומפריסה לציבור חייבים להנחות את האופן שבו נאמן, נעריך ונפרוס את המודלים הבאים.
נמשיך לשתף ממצאים באמצעות כרטיסי מערכת, דוחות אירועים, דוחות סיכונים(נפתח בחלון חדש) של פריסה פנימית והערכות חיצוניות, כדי שאחרים יוכלו לבחון לעומק את הגישה שלנו, לרבות מגבלותיה. כשהראיות לא יעמדו ברף הבטיחות שהצבנו, נשהה שוב את האימון או נעכב את השחרור עד שהדרישות יתקיימו.
קביעת תקני בטיחות
ויסות קצב פיתוח המודלים בעידן של יכולות קריטיות בתחום הסייבר — כיצד האטנו את אימון מודלי החזית תוך חיזוק התחימה, הרחבת הניטור ודרישה לראיות חזקות יותר להלימה.
לקראת תיקי בטיחות לאימון frontier AI — הנחיות ראשוניות לטיעוני בטיחות מבוססי ראיות, הכוללים מנגנוני הגנה טכניים, נהלים תפעוליים וחקירות של חוסר הלימה.
סדרי עדיפויות ועקרונות להערכות יעילות בידי צדדים שלישיים — הגישה שאנו מציעים לבחינה עצמאית של תיקי בטיחות, מנגנוני הגנה, הערכות והתנהגות מודלים.
סיכום תקופתי של הערכות סיכון קטסטרופלי בשימוש פנימי(נפתח בחלון חדש) — הדוח הציבורי שלנו ליוני–ספטמבר 2026 מתאר פריסות פנימיות של מודלי חזית, את הסיכונים שהוערכו בהן ואת השינויים במנגנוני ההגנה ובממשל התאגידי.
הגדרה והערכה של התנהגות בהלימה
מפרט המודל המעודכן ל-AI מועיל ובעל יכולות גבוהות יותר — כיצד עדכנו את מפרט המודל סביב חמישה ערכי ליבה, כדי להנחות את שיקול הדעת וההתנהגות של המודלים ואת כיבוד הפיקוח האנושי.
פערי התנהגות בין הערכה לייצור בבטיחות סוכנים ותפקיד המודעות להערכה(נפתח בחלון חדש) — מחקר על ההבדלים בין תוצאות הערכות בטיחות להתנהגות בסביבת הייצור, לרבות השפעת הפרשנות של המודלים למטרות ההערכה על הביצועים.
מעבר ל-g-mean²: מדדים משלימים ליכולת ניטור(נפתח בחלון חדש) — מדדים חדשים להשוואת יכולת הניטור ולהערכת הסיכון השיורי במערכות מדומות שבהן מערכות ניטור דוחות פלטי מודל.
כרטיס מערכת של GPT‑6 Astra(נפתח בחלון חדש) — הערכות מפורטות של היכולות, הבטיחות, ההלימה ויכולת הניטור של Astra, לצד מנגנוני ההגנה והמגבלות בפריסתו.
תחימת מודלים ושיפור מנגנוני ההגנה
אבטחת סביבת האימון של מודלי החזית שלנו — כיצד חיזקנו את הבידוד, בנינו סביבות מחקר מנותקות מהרשת והשתמשנו במודלים החזקים ביותר שלנו כדי לבדוק את גבולות התחימה.
אימון מסווגי אקטיבציות לבטיחות ולהלימה(נפתח בחלון חדש) — כיצד מסווגים משתמשים באקטיבציות הפנימיות של מודלים כדי לזהות התנהגות שעלולה להזיק ולקטוע תגובות או קריאות לכלים.
בדיקה אוטומטית של פעולות סוכנים ללא פיקוח אנושי בזמן אמת(נפתח בחלון חדש) — כיצד סוכן בדיקה נפרד מעריך פעולות שחורגות מגבולות הסביבה המבודדת, ומסייע לסוכני קוד לעבוד באופן עצמאי תוך חסימת פעולות שעלולות להזיק או להיות לא מורשות.
GPT‑Red: שיפור עצמי לחיזוק העמידות — כיצד אנו מאמנים מערכות אוטומטיות לבדיקות תקיפה באמצעות משחק עצמי, כדי לגלות חולשות ולשפר את עמידות המודלים בפני הזרקות פרומפט.
Control Room — כיצד אנו עוקבים אחר עומסי עבודה ברחבי תשתית המחקר ואוכפים עצירות מהירות של פלט המודל כשחששות בטיחות או אבטחה מחייבים התערבות.
תגובה לאירועים וחשיפתם לציבור
כיצד אנו מזהים חוסר הלימה במודלי חזית — מערכת הניטור שלנו משלבת גלאי אקטיבציות, בדיקה מבוססת מודלים, חקירה אוטומטית ותגובה אנושית כדי לזהות ולחקור התנהגות מדאיגה.
אירוע Hugging Face והדרך קדימה — הממצאים שלנו מאירוע Hugging Face והשינויים שהוביל אליהם בתחומי האבטחה, הניטור וההלימה.
סוכן השתמש ב-DNS כדי להגיע לצ'אטבוט חיצוני(נפתח בחלון חדש) — כיצד מודל מחקר עקף מגבלות גישה לאינטרנט דרך סינון DNS לא מספק, כיצד הניטור זיהה זאת ואילו בקרות נוספו בעקבות זאת.
סיכול מבצע מתואם לזיקוק מודלים — כיצד חקרנו וסיכלנו ניסיונות לחלץ reasoning מוגן של מודלים, באמצעות אכיפה בחשבונות, בקרות טכניות ותיאום עם שותפים.
המסגרת שלנו לדיווח על חוסר הלימה במודלים — התהליך שלנו למעקב, לחקירה ולחשיפה של התנהגות מדאיגה במודלים, לרבות מקרים שהגורמים להם או משמעותם עדיין אינם ברורים.
דוחות והודעות על חוסר הלימה(נפתח בחלון חדש) — אוסף האירועים וההודעות שפרסמנו, הממחיש כיצד חוסר הלימה מתעורר והיכן מנגנוני ההגנה מצליחים או נכשלים.
התקדמות המחקר ויישומים
האצת המחקר: מבט מתוך OpenAI — ראיות ראשוניות לאופן שבו סוכני קוד משנים את המחקר בתוך OpenAI, לרבות השימוש הגובר בהם, המשימות המורכבות יותר ויותר והשפעתם על ביצוע ניסויים.
על בעיית נאוויה–סטוקס מבעיות פרס המילניום — הוכחה מתמטית שהפיקה מערכת AI פנימית, בליווי ניסוח פורמלי ב-Lean, הממחישה את היכולות של פריסות מחקר בקנה מידה גדול.
Daybreak — תוכנית הגנת הסייבר שלנו מספקת למגינים שעברו בדיקת התאמה יכולות AI מתקדמות, כלי אבטחה ותמיכה באיתור חולשות ובחיזוק ההגנות.
מציגים את GPT‑Rosalind למחקר במדעי החיים — מודל ייעודי לביולוגיה, לגילוי תרופות ולרפואה תרגומית, הזמין לארגונים זכאים במסגרת תוכנית גישה לגורמים מהימנים.






