ביוני, במהלך אימון והערכה פנימיים, המודלים שלנו ניגשו לאתרי ממשל באוסטרליה בדרכים שלא הורשו להשתמש בהן. גם את התגובה שלנו היינו צריכים לנהל טוב יותר. אנחנו מתנצלים ופועלים כדי להתנהל טוב יותר בעתיד.
בפוסט הזה נפרט מה ידוע לנו, מה שינינו ומה נעשה כדי לשקם את האמון של הציבור האוסטרלי. זהו סוג חדש של תקרית סייבר, הממחיש אתגר עולמי מתהווה. אחת הדרכים שבהן אנחנו מתכוונים לקחת אחריות על המצב היא לפעול באופן יזום עם אוסטרליה כדי לסייע בגיבוש דרכים מעשיות שבהן מפתחי AI וממשלות יוכלו לזהות פעילות סייבר של AI, לדווח עליה ולהגיב לה, בין שהיא זדונית ובין שאינה מכוונת.
לאחר התקרית ב-Hugging Face ביולי, התחלנו לבדוק פעילות קודמת של אימון והערכה כדי לזהות ארגונים נוספים שנפגעו. באמצע אוגוסט זוהתה במסגרת הבדיקה פעילות שהשפיעה על אתרי הממשל האוסטרליים המפורטים להלן.
זה מה שידוע לנו על סמך הראיות:
Services Australia: מודל של OpenAI גילה דרך להשיג גישה לשירות שאינה פתוחה לציבור, והריץ פקודות, אחזר קבצים פנימיים, פרטי הזדהות ונתונים סטטיסטיים מצרפיים, וכתב קבצים. עם זאת, לא בוצעה גישה לרשומות פרטניות של מטופלים או לקוחות. בהמשך נתאר את התקרית הזו ביתר פירוט.
הלשכה לסטטיסטיקה ולמחקר בתחום הפשיעה של ניו סאות׳ ויילס (BOCSAR): מודל של OpenAI ניגש לכלי מיפוי הפשיעה הציבורי של BOCSAR כדי לחקור נתוני פשיעה סטטיסטיים הזמינים לציבור (בהמשך נסביר מדוע מודלים מבצעים משימות שונות של חקר מידע). המודל שלח בקשות API ובקשות למטא-נתונים של האתר דרך הכלי הציבורי של BOCSAR, שמספק פרטי הזדהות לבקשות API מהדפדפן. מערכת BOCSAR החזירה את תצורת היישום, משימות תפעוליות ויומני רישום, וכן מטא-נתונים של האתר. לא בוצעה גישה לרישומי פשיעה פרטניים.
משרד הבריאות של ויקטוריה: סוכנים של OpenAI גילו מפתח גישה חשוף, שבאמצעותו שלחו שאילתות למערכת הדיווח של הסוכנות למידע בריאותי של ויקטוריה ואחזרו את תצורת הדיווח ונתונים סטטיסטיים מצרפיים מסקרים. לא ברור באיזו מידה המידע הזה היה אמור להיות נגיש; הדבר תלוי במדיניות הגישה של VAHI. לא בוצעה גישה לרשומות רפואיות פרטניות או לתשובות לסקרים שניתן לזהות את המשיבים עליהן.
המכון האוסטרלי לבריאות ולרווחה: סוכנים של OpenAI אחזרו נתונים סטטיסטיים מצרפיים באמצעות שירותי גלישה והורדה של צד שלישי, בין היתר מאתר AIHW, ושלחו שאילתות ישירות לנתוני תרשימים. ניסיונות נפרדים לעקוף את בקרות הגישה לא צלחו. נראה שהחומר שהורד היה זמין לציבור. לא בוצעה פריצה למערכת. לא בוצעה גישה לרשומות רפואיות פרטניות.
פתחנו בחקירת הפעילויות האלה מיד כשנודע לנו עליהן באמצע אוגוסט. הודענו ל-Services Australia ולמשרד הבריאות של ויקטוריה ב-10 בספטמבר, וללשכה לסטטיסטיקה ולמחקר בתחום הפשיעה של ניו סאות׳ ויילס ב-18 בספטמבר. הפעילות הקשורה למכון האוסטרלי לבריאות ולרווחה לא עמדה בתנאי הסף שלנו למסירת הודעה, משום שאופן הגישה נראה תואם לגישה ציבורית. עם זאת, הודענו למכון ב-24 בספטמבר כדי לשתף את הממצאים שלנו ולהציע תדרוך.
מטרתנו הייתה למסור לרשויות שנפגעו תיאור מפורט לאחר השלמת החקירה. עם זאת, היינו צריכים לשתף ממצאים ראשוניים מוקדם יותר ולעדכן את הרשויות באוסטרליה ככל שהתגלו עובדות נוספות.
מאז אנחנו עובדים בשיתוף פעולה הדוק עם רשויות הממשל באוסטרליה כדי לשתף את מה שלמדנו עד כה. אם נזהה רשויות נוספות שנפגעו, נודיע להן בהקדם ובאופן ישיר, נמסור את המידע הזמין ונעדכן ככל שיתגלו עובדות נוספות.
במהלך אימון והערכה פנימיים ביוני, הפעלנו מודל ניסיוני של OpenAI לשימוש פנימי בלבד, שלא נועד לצאת לציבור, ללא מלוא אמצעי ההגנה המשמשים במוצרים שלנו הזמינים לציבור. במהלך האימון וההערכה האלה, המודל ניגש לשירות הדיווח הסטטיסטי של Medicare בסוכנות Services Australia. בבדיקה שלנו עד כה לא נמצאו ראיות לכך שבוצעה גישה לרשומות רפואיות של אדם כלשהו.
כשאנחנו מבצעים אימון והערכה פנימיים למודלים שלנו, אנחנו מטילים עליהם משימות מתוך מאגר רחב של שאלות מחקר בנושאים רבים, המשקפות את סוגי השאלות המפורטות שמשתמשים עשויים לשאול. כך המודל לומד למצוא מידע הזמין לציבור, לפרש אותו ולנתח אותו, כדי שיוכל להועיל יותר לאנשים. המודלים שלנו אמורים לענות על השאלות האלה באמצעות נתונים סטטיסטיים שפורסמו לציבור.
במקרה זה, אחת המשימות שהוטלו על המודל הייתה לחקור את ההוצאה הממשלתית לנפש על תרופות למחלות עור בקהילות במדינת ויקטוריה. המודל התקשה להשיג את המידע הזה, ונקט פעולות שלא אישרנו לו לבצע. במהלך חיפוש המידע בשירות הדיווח הסטטיסטי של Medicare בסוכנות Services Australia, הוא גילה דרך להשיג גישה לשירות שאינה פתוחה לציבור. לאחר מכן הוא השתמש בגישה זו כדי לעיין במידע טכני על המערכת ובקוד מקור הקשור לשירות — עדיין במטרה למצוא את המידע שחיפש מלכתחילה. לא התכוונו שפעילות זו תתרחש, והגישה לשירות והפעילות שבאה בעקבותיה לא היו צריכות להתבצע.
בעקבות התקרית ב-Hugging Face, חיזקנו את אמצעי ההגנה במחקר שלנו, בין היתר באמצעות הגבלות נוספות על הגישה לרשת וניטור מורחב. הטמענו מנגנוני בקרה לחסימת גישה ישירה לאינטרנט בסביבות המחקר האלה, כך שהגישה לתוכן מהאינטרנט נעשית באמצעות תוכן שנשמר במטמון. כשכבת אבטחה נוספת, מערכות הניטור הנוכחיות שלנו היו מזהות את הפעילות הזו ומזעיקות את הצוות שלנו לבדיקה אנושית דחופה. לדוגמה, כאשר מודל השיג גישה ישירה לאינטרנט במהלך הרצת אימון שנערכה לאחרונה(נפתח בחלון חדש), מערכות הניטור שלנו זיהו את הפעילות והזעיקו איש צוות לבדיקה, ואנחנו עצרנו את ההרצה. אנחנו ממשיכים לבדוק את אמצעי ההגנה האלה ולטפל בפערים. התקרית ב-Hugging Face היא עדיין החמורה ביותר שזיהינו.
אנשים רוצים לדעת ש-AI מפותחת בבטחה, וזה מתחיל במה שחברות כמונו עושות בעצמן. לאחרונה עדכנו(נפתח בחלון חדש) שהשהינו את תהליכי האימון וההערכה הכוללים שימוש בכלים עבור המודלים בעלי היכולות הגבוהות ביותר שלנו. נחדש את האימון שלהם רק כשנהיה בטוחים שהטמענו אמצעי הגנה נוספים, שעליהם אנחנו עובדים כעת.
ככל שיכולותיהן של מערכות AI בכלל הולכות ומשתפרות, אנחנו רואים גם שחלון ההזדמנויות לעזור לארגונים לאתר חולשות ולתקן אותן הולך ומצטמצם. לשם כך נדרשת פעולה משותפת עם גורמי הגנת סייבר ברחבי העולם.
הצטרפנו לארגונים מתחומי הטכנולוגיה, אבטחת הסייבר והתשתיות הקריטיות בקריאה לפעולה משותפת להגנת סייבר. הקריאה הזו מתחילה באחריות שלנו עצמנו, ובכלל זה אמצעי הגנה חזקים יותר, מסירת מידע במועד ותמיכה מעשית בארגונים שנפגעו. היא קוראת גם להשקעה בצוותים המגינים על שירותים חיוניים, כדי שיוכלו לאתר חולשות, לוודא שהתיקונים יעילים ולשתף שיטות שהוכיחו את עצמן.
באוסטרליה אנחנו מתחייבים להקצות משאבים ומומחיות לתמיכה ברשויות שנפגעו ולעזרה לגורמי הגנת הסייבר ביישום העקרונות האלה, בין היתר באמצעות:
תמיכה ייעודית ברשויות שנפגעו. נקצה את המשאבים הדרושים כדי לעזור לרשויות שנפגעו להבין מה קרה ולהעריך את ההשפעה. במסגרת זו נשתף ממצאים טכניים רלוונטיים ונתאם עבודה עם צוותי התגובה שלנו, בכפוף להסדרים מתאימים לשיתוף מידע.
מימון ותמיכה לחיזוק הגנות הסייבר. נתמוך בממשלות ובתעשייה באוסטרליה באמצעות קרדיטים מקרן Daybreak למגיני קו החזית שלנו, בהיקף של מיליארד דולר, ובאמצעות סיוע טכני לחיזוק הגנות הסייבר בתשתיות קריטיות ובסביבות רגישות אחרות. העבודה הזו תתבסס על שיתוף הפעולה שלנו עם ממשלות ועם מפעילי תשתיות קריטיות, ותעזור לארגונים להבין טוב יותר את הסיכונים הנובעים מסוכני AI שיכולותיהם הולכות ומשתפרות, לזהות אותם ולהגיב להם.
צוות משימה אוסטרלי. נקים צוות משימה שיסתייע במומחים אוסטרלים עצמאיים כדי לגבש המלצות מדיניות מעשיות לניהול הסיכונים הנובעים מסוכני AI שיכולותיהם הולכות ומשתפרות. על בסיס הלקחים מהתקריות האלה, הצוות יתמקד בשיפור תהליכי ההודעה, בחיזוק התיאום בין מפתחי AI לממשלה ובזיהוי צעדים שישפרו את ההגנה על מערכות ממשלתיות. המלצות צוות המשימה יסייעו בעיצוב הגישה של OpenAI ויתמכו בעבודתן של הממשלות באוסטרליה בתחום בטיחות ה-AI ואבטחת הסייבר. צוות המשימה, שצפוי להשלים את עבודתו עד סוף השנה, ימליץ גם על צעדים מעשיים שחברות AI יכולות לנקוט כדי לצמצם את הסיכון לתקריות דומות.
הממשלות, התעשיות והאזרחים באוסטרליה הם שותפים יקרי ערך ל-OpenAI, וכך היו גם בעבר. אנחנו לא רואים בכך מובן מאליו, ובכוונתנו לתקן את המצב.
סמנכ״ל האסטרטגיה של OpenAI, ג׳ייסון קוון, יגיע ממטה OpenAI בארצות הברית כדי להופיע בפני הוועדה הפרלמנטרית המיוחדת המשותפת לבינה מלאכותית בסידני ביום שלישי, 6 באוקטובר. הוא ישיב לשאלות על מה שידוע לנו, כיצד הגבנו, אילו צעדים נקטנו וכיצד נפעל טוב יותר בהמשך.
נמשיך לשתף ממצאים מאומתים עם הרשויות שנפגעו ועם הממשלות הרלוונטיות. נפרסם עדכונים על הבדיקה המתמשכת שלנו ועל ההתקדמות במימוש ההתחייבויות האלה. אנחנו יודעים שעוד עבודה רבה לפנינו כדי לשקם את האמון, ושבאחריותנו להראות לציבור האוסטרלי שאנחנו מבצעים שינויים משמעותיים ועומדים בהבטחות שלנו.
4 באוקטובר 2026: עדכון על פעילות מודל בשירות הפארקים הלאומיים וחיות הבר של ניו סאות׳ ויילס
במסגרת הבדיקה המתמשכת שלנו זוהתה פעילות שהשפיעה על רשומות היסטוריית השריפות של שירות הפארקים הלאומיים וחיות הבר של ניו סאות׳ ויילס (NPWS). ביוני, מודל שחקר נתונים סטטיסטיים על שריפות בטבע באוסטרליה שלח שאילתות שנבנו במיוחד לשירות מיפוי היסטוריית השריפות של NPWS, כדי להסיק מהן מטא-נתונים על מסד הנתונים שלא נועדו להיחשף לציבור דרך השירות. בנפרד, המודל הוריד גם את מערך נתוני המיפוי של היסטוריית השריפות של NPWS, הזמין לציבור. התוצאות שבדקנו אינן מצביעות על כך שהמודל אחזר מידע אישי.
לאחר שנודע לנו על הפעילות הזו ביום שלישי, 29 בספטמבר, ערכנו בדיקה פנימית דחופה, טכנית ומשפטית, כדי להבין מה קרה. עם השלמת הבדיקה, מסרנו תדרוך כללי ללשכת ראש ממשלת ניו סאות׳ ויילס ואימתנו מיהו איש הקשר המתאים במשרד לשינוי האקלים, האנרגיה, הסביבה והמים של ניו סאות׳ ויילס (DCCEEW), ש-NPWS הוא חלק ממנו. הקשר הראשוני הזה נוצר בתוך 48 שעות מהרגע שבו זיהינו לראשונה את הפעילות. שלחנו הודעה טכנית בערוץ המתאים של ממשלת ניו סאות׳ ויילס וקיבלנו את פרטיהם של אנשי הקשר הרלוונטיים ב-DCCEEW. לאחר שקבלת ההודעה אושרה, פנינו שוב לאנשי הקשר האלה כדי להציע תדרוך טכני.
נמשיך לתמוך ב-DCCEEW וב-NPWS, בין היתר באמצעות שיתוף ממצאים טכניים רלוונטיים ותיאום עבודה עם צוותי התגובה שלנו, בכפוף להסדרים מתאימים לשיתוף מידע.
