תקרית OpenAI-Hugging Face(נפתח בחלון חדש) הייתה נקודת מפנה בתחום אבטחת הסייבר, משום שהיא סיפקה הצצה לאופן שבו יתפתחו יכולותיו של גורם תקיפה טיפוסי בחודשים הקרובים. שוחחתי עם ארגונים רבים בשבועות האחרונים, ודבר אחד ברור: הם יודעים שעליהם לשדרג מן היסוד את שיטות אבטחת הסייבר שלהם, במהירות חסרת תקדים. בפוסט הזה אשתף במה שאנחנו עושים כדי להגן על OpenAI, בצעדים מעשיים שארגונים אחרים יכולים לנקוט כבר היום, ובסיבות לכך שעכשיו הזמן לפעול.
מודלים של בינה מלאכותית שמפותחים ברחבי העולם מסוגלים יותר ויותר לבצע באופן אוטומטי חלקים ממתקפות סייבר בעולם האמיתי. כך קל יותר למצוא ולנצל פערי אבטחה ותיקים — מבאגים שקבורים עמוק בתוכנה שכתבו בני אדם ועד הרשאות שנשכחו. אותן יכולות בינה מלאכותית מעניקות לצוותי ההגנה דרכים חדשות למצוא ולתקן את נקודות התורפה האלה, אבל הם צריכים לפעול עכשיו. אם חברות יפעלו בנחישות — בין היתר באמצעות חיזוק יסודות האבטחה שלהן והעצמת הצוותים שלהן בעזרת בינה מלאכותית — נוכל להפוך את האינטרנט לבטוח יותר מאי פעם.
בתקרית OpenAI-Hugging Face, מערך אג'נטי הצליח לחדור באופן עצמאי לא רק לתשתיות המחקר של OpenAI, אלא גם לתשתיות הייצור של חברה אחרת, באמצעות שרשור חולשות — מפרצות אבטחה שלא היו מוכרות קודם לכן ועד שימוש בפרטי גישה לחשבונות משתמשים שדלפו לאינטרנט. נעשה ברור יותר ויותר שהחוב הטכני(נפתח בחלון חדש) של כל חברה מסתיר ליקויים משמעותיים, וצוותי ההגנה צריכים למצוא ולתקן אותם לפני שהתוקפים ימצאו אותם.
כדי להעניק למגינים יתרון על פני התוקפים, התחלנו מוקדם יותר השנה להעמיד את יכולות הסייבר שלנו רק לרשות מגינים מהימנים. מאז, חברות שונות הפיצו באופן נרחב מודלים שיכולות הסייבר שלהם מפגרות בחודשים ספורים בלבד אחרי היכולות המתקדמות ביותר. נראה שהמודל החדש ביותר מביניהם מתוכנן לצאת לאור(נפתח בחלון חדש) בסוף אוגוסט, וסביר שהוא יאיץ משמעותית את התפתחות האיומים.
בקרוב יוכלו תוקפים הנעזרים בבינה מלאכותית למצוא ליקויים ותיקים במערכות קיימות רבות, אך הבינה המלאכותית גם תקל מאוד על צוותי ההגנה למצוא את אותם ליקויים, לתעדף אותם ולתקן אותם. אבטחה היא עדיין משחק של חתול ועכבר, אבל בינה מלאכותית עשויה לשנות את מאזן העלויות והתועלות שלו(נפתח בחלון חדש) באופן שיעניק למגינים יתרון מהותי. למשל, אנחנו מתחילים לאמן את המודלים שלנו במיוחד לכתיבת קוד ברמת אבטחה שעולה על היכולת האנושית. המודלים שלנו מצטיינים גם בהוכחות מתמטיות, שאפשר ליישם כדי לאמת באופן פורמלי את אבטחת התוכנה, בדרך שהוכחה כבלתי מעשית עבור בני אדם.
אחרי תקרית OpenAI-Hugging Face, ביקשתי מ-ChatGPT Work (באמצעות GPT‑5.6 Sol הזמין לציבור) להעריך את האבטחה של gregbrockman.com(נפתח בחלון חדש). זהו אתר סטטי פשוט, שמאוחסן ב-AWS עם Cloudflare כשער הכניסה אליו, ולכן הנחתי ששטח התקיפה שלו יהיה מצומצם.
בתוך כ-15 דקות הוא גילה 13 בעיות. רבות מהן כנראה אינן ניתנות לניצול בפני עצמן — אבל יכולתי לדמיין איך שרשור שלהן עם חולשות אחרות עלול לגרום נזק משמעותי. לא הגדרתי את רשומות ה-DNS שלי כך שימנעו מתוקפים לזייף הודעות דוא״ל בשמי; האתר שלי השתמש בגרסה לא מאובטחת של jQuery; ו-Cloudflare העביר בקשות ל-AWS באמצעות HTTP לא מוצפן.
לאחר מכן ביקשתי מ-ChatGPT Work לתקן את הבעיות האלה, והוא עשה זאת בתוך שעה. הוא פתח את לוח הבקרה של Cloudflare בדפדפן שלי, ולחץ על כפתורים רבים כדי להגדיר כראוי את ה-DNS, את ה-TLS ואת הגדרות האבטחה המתקדמות; הוא הסיר לחלוטין את jQuery מהאתר; העביר אותי מ-AWS ל-Cloudflare Pages; והתחיל בהטמעה מדורגת של DMARC(נפתח בחלון חדש).
וזה היה רק האתר האישי שלי. זו דוגמה קטנה לאופן שבו המודלים הקיימים שלנו יכולים לשמש כשומרי סייבר: למצוא את שלל הבעיות שאדם לא היה מספיק להגיע אליהן, או לא היה מחזיק במומחיות הדרושה לכך (רבות מההגדרות שהוא תיקן מוכרות לי במעורפל, אבל לא הייתי יודע בשליפה איך להגדיר אותן נכון), ואז לתקן אותן בעזרת תוכנית פריסה מותאמת היטב.
תקרית Hugging Face הראתה שהערכנו בחסר את יכולות הסייבר של מודלי הבינה המלאכותית שלנו בעולם האמיתי. אנחנו מחמירים בהתאם את דרישות הבטיחות שלנו, מה שמוסיף דחיפות למחקר הבטיחות ולעבודת האבטחה הפנימית שכבר מתבצעים אצלנו.
אני משתף מעט בגישה שלנו לאבטחת OpenAI בעת הזו, בתקווה שהיא תועיל לארגונים אחרים. כדי להגן על OpenAI, אנחנו משקיעים רבות הן בבקרות יסוד — ביצוע נכון של הדברים הבסיסיים — והן בחיזוק ההגנות שלנו באמצעות בינת חזית. לאסטרטגיה הזו יש ארבעה עמודי תווך מרכזיים.
ראשית, אנחנו משתמשים במודלים שלנו כדי לסייע באבטחת הקוד שלנו. Codex, כולל תוסף האבטחה שלנו, בודק את תקינותם של שינויי קוד, מזהה חולשות ומסייע למפתחים לתקן בעיות לפני שהשינויים נפרסים. אנחנו מבקשים להימנע ממצב שבו פשוט נוצרים עוד ממצאי אבטחה שדורשים אימות אנושי; המטרה היא לתפוס חולשות אמיתיות לפני שהן מגיעות למשתמשים, ולקצר את הדרך מגילוי בעיה לפריסה בטוחה של תיקון. אנחנו ממשיכים לאמן את המודלים שלנו להפיק קוד מאובטח יותר ויותר, במטרה למנוע לחלוטין סוגים מסוימים של חולשות תוכנה בקוד חדש שנכתב.
שנית, אנחנו מפעילים את המודלים שלנו להגנה רציפה על התשתיות שלנו. כיום, כמעט כל התראות האבטחה הראשוניות שלנו עוברות מיון ותעדוף באמצעות בינה מלאכותית לפני שבני אדם נכנסים לתמונה. כך פוחתת העבודה השוחקת של צוותי ההגנה, זמני התגובה מתקצרים, ואנשים יכולים להקדיש את זמנם לתחומים שבהם כישוריהם תורמים יותר מכול — הבחנה, שיקול דעת ויישום המומחיות שלהם. אנחנו מחברים בהדרגה עוד ועוד זיהויים כאלה לתגובות אוטומטיות בעלות גבולות מוגדרים, תוך השארת האחריות להחלטות המשמעותיות ביותר בידי בני אדם. המטרה היא להבטיח שנוכל לזהות בעיות אבטחה ולהגיב להן במהירות של מכונה.
שלישית, אנחנו משתמשים בבינת חזית כדי למפות, לבחון ולזהות נתיבי תקיפה אפשריים באופן רציף. באמצעות זיהוי חולשות, הגדרות שגויות, זהויות בעלות הרשאות יתר או גבולות אמון שנוצרו שלא במכוון, אנחנו יכולים לאתר במהירות את הפערים האלה ולסגור אותם לפני שתוקפים יוכלו לנצל אותם. כך אנחנו יכולים להעריך, לנטר ולבדוק באופן רציף את עקרונות האבטחה שאמורים להתקיים תמיד — תכונות האבטחה שאנחנו מאמינים שמתקיימות — בכל המוצרים, התשתיות והמערכות שלנו.
לבסוף, אנחנו משקיעים רבות ביסודות האבטחה בקנה מידה רחב. אנחנו ממשיכים להשקיע בארכיטקטורה מאובטחת ובבקרות אבטחה, מאמצים אסטרטגיות כמו הגנה לעומק ועקרון ההרשאה המזערית, ומתכננים מערכות שבהן רק כשל בו־זמני של כמה בקרות בלתי תלויות יוכל להוביל לאירוע קטסטרופלי. בקרות אבטחה קלאסיות כמו בידוד רשתות, הקשחת עומסי עבודה, ניטור, והתקנת תיקונים ופריסה באופן בטוח, יהיו חשובות מתמיד בעתיד של בינה מלאכותית.
הזמן דוחק, וצוותי ההגנה יצטרכו ליישם את הצעדים הבאים בקצב מואץ במיוחד. בהמשך אזכיר טכנולוגיה של OpenAI, אבל יש בתחום גם מתחרים רבים שכדאי לבחון. הכלי המסוים שתבחרו חשוב פחות מהעמדת בינה מלאכותית בעלת יכולות גבוהות לרשות צוותי ההגנה שלכם כבר עכשיו.
גייסו מחויבות ותמיכה ארגונית. סיכוני האבטחה משתנים במהירות — ודאו שלמערכי האבטחה וההנדסה שלכם יש התמיכה, שיתוף הפעולה והמשאבים הדרושים כדי להתמודד עם הסיכונים האלה במהירות. ערכו עם הצוותים שלכם תרגילי סימולציה שולחניים, כדי לדמות איך מתקפות כאלה עשויות להתפתח בארגון שלכם וכיצד תגיבו להן.
העמידו סוכן לרשות צוות האבטחה שלכם. התחילו להשתמש ב-Codex, בתוסף האבטחה של Codex(נפתח בחלון חדש), או בכלי אחר בעל יכולות גבוהות לתכנות אג'נטי ולאבטחה. תנו לו גישה מאושרת לבסיסי הקוד, להגדרות התשתית ולתיעוד הטכני שצוות האבטחה שלכם צריך להעריך. אל תחכו להטמעה בכל החברה כדי להתחיל במערכות שנמצאות בראש סדר העדיפויות שלכם.
ציידו את הסוכן במומחיות אבטחה. התחילו ממיומנויות(נפתח בחלון חדש) הנתמכות בידי הקהילה, הכוללות תהליכי עבודה לניתוח סטטי, סקירת קוד ממוקדת אבטחה, ניתוח וריאנטים של חולשות, הערכת סיכונים בשרשרת אספקת התוכנה ותהליכי אבטחה נוספים. לאחר מכן בנו מיומנויות משלכם, המותאמות לארכיטקטורה, לתקני האבטחה, למודלי האיומים ולנוהלי הפעולה של הארגון שלכם.
בצעו הערכות אבטחה למערכות שלכם ללא דיחוי. תנו עדיפות להערכת שירותים החשופים לאינטרנט, תהליכי אימות זהות, תשתית כקוד, תהליכי פריסה ומערכות המטפלות במידע רגיש. הרחיבו את היקף הסריקות ככל שהצוות שלכם צובר ביטחון.
טפלו בחולשות שהצטברו וממתינות לתיקון. ספקו לסוכן שלכם ממצאים מסורקי קוד, התראות על תלויות, קריאות שירות בנושאי אבטחה, דיווחים מתוכניות תגמול על גילוי באגים והערכות קודמות. בקשו ממנו למיין ולתעדף את הממצאים, להבחין בין בעיות שניתנות לניצול לבין רעשי רקע, לזהות חולשות קשורות במקומות אחרים בבסיס הקוד ולהמליץ מה לתקן קודם.
שלבו סקירת אבטחה ישירות בתהליך הפיתוח שלכם. השתמשו בסוכנים כדי לסקור שינויי קוד לפני המיזוג שלהם ולהריץ בדיקות אבטחה בתהליכי אינטגרציה רציפה (CI). חפשו שגיאות באימות זהות, דרכים לעקיפת בקרת גישה, פרטי גישה חשופים, תלויות לא בטוחות, ברירות מחדל לא מאובטחות, שינויים שמרחיבים את הגישה למערכות ייצור וחולשות נוספות.
היעזרו בסוכן כדי לתקן את מה שהוא מוצא. לגבי בעיות שאומתו, בקשו ממנו ליצור ולאמת תיקון ממוקד, לכתוב בדיקת רגרסיה ולוודא שאי אפשר עוד לשחזר את החולשה. השאירו סקירה אנושית לשינויים בעלי השלכות משמעותיות, אבל בטלו את ההמתנה המיותרת בין זיהוי בעיה אמיתית לבין העברת תיקון בטוח למהנדס.
הפכו בהדרגה את מיון ההתראות ותעדופן לאוטומטיים. אל תתחילו בניסיון להקים מרכז תפעול אבטחה אוטונומי. התחילו בסריקת אבטחה של מאגר אחד עם הרשאות קריאה בלבד, או תנו לסוכן לסקור התראות שכבר טופלו, באמצעות גישה לקריאה בלבד ליומני האירועים הקיימים שלכם. תנו לו לסכם את הראיות ולהמליץ על אופן הטיפול, בזמן שאדם מקבל את כל ההחלטות. ככל שהביטחון גדל, עברו לסריקת בקשות משיכה לצורך מתן המלצות, לאחר מכן למיון ותעדוף התראות בזמן אמת, ולבסוף לסגירה אוטומטית של התראות שווא שעונות על קריטריונים מצומצמים ומוגדרים היטב.
הכינו מראש יכולת חקירה פורנזית בסיוע בינה מלאכותית, עוד לפני שתזדקקו לה. הגישו בקשה לגישה מהימנה לסייבר(נפתח בחלון חדש) וקבלו אישור לצוות שלכם להשתמש ב-GPT‑Daybreak‑Blue לעבודת הגנה מורשית, כולל תגובה לאירועים, פיתוח מנגנוני זיהוי וניתוח נוזקות. תרגלו שימוש ביכולת הזו לניתוח יומני אירועים, נתוני טלמטריה והתראות אבטחה.
התנסו, קיימו שבועות האקתון ושפרו במהירות מסבב לסבב. נצטרך לבנות מגוון כלים חדשים, לשנות את דרכי העבודה שלנו ולשדרג את היכולות של כולם לקראת העולם שאליו אנחנו מתקדמים. עודדו את העובדים שלכם לערוך ניסויים, קבעו שבוע האקתון לבניית יכולות חדשות, והתמקדו בסבבי שיפור מהירים של תהליכים שהופכים חלקים קטנים מהטיפול בבעיה לאוטומטיים. התקדמות מהירה בצעדים קטנים מובילה להישגי הגנה שמצטברים ומחזקים זה את זה, ואפשר להרחיב בהדרגה את העצמאות של המערכות ככל שהצוות צובר ביטחון.
אף חברה לא יכולה לעשות זאת לבדה. אנחנו מבקשים ממעבדות בינה מלאכותית, מספקי אבטחה, מארגונים וממתחזקי תוכנה לשתף ממצאים מאומתים, תיקונים ונוהלי פעולה מעשיים, כדי שתגלית של ארגון אחד תוכל לחזק את הקהילה הטכנולוגית כולה.
חלון ההזדמנויות של המגינים פתוח עכשיו. בחודשים הקרובים, כל ארגון יצטרך להתחיל להכניס אוטומציה משמעותית למערך האבטחה שלו כדי להישאר מוגן. קהילת האבטחה חייבת להירתם בדחיפות להגדרת הכלים, שיטות העבודה ונוהלי הפעולה שיחזקו את כוחם של המגינים מהר יותר מזה של התוקפים, ככל שהבינה המלאכותית ממשיכה להתקדם. זה ידרוש מאמץ עצום וחסר תקדים, אבל אם נתגייס יחד, נוכל ליצור עולם בטוח יותר מכפי שאפשר היה לדמיין בעבר.
