רשת ה-red teaming של OpenAI

אנו מפרסמים קול קורא להצטרפות לרשת ה-red teaming של OpenAI, ומזמינים מומחים בתחומם שמעוניינים לשפר את בטיחות המודלים של OpenAI להצטרף למאמצינו. אנו מחפשים מומחים מתחומים שונים שישתפו איתנו פעולה בהערכה קפדנית ובבדיקות red teaming של מודלי הבינה המלאכותית שלנו.

red teaming^A הוא חלק בלתי נפרד מתהליך ההטמעה האיטרטיבי⁠ שלנו. בשנים האחרונות התרחבו מאמצי ה-red teaming שלנו: ממיקוד בבדיקות יריבות פנימיות ב-OpenAI, לעבודה עם קבוצת מומחים חיצוניים^B המסייעים בפיתוח סיווגי סיכונים לפי תחום ובהערכת יכולות שעלולות להזיק במערכות חדשות. אפשר לקרוא עוד על מאמצי ה-red teaming הקודמים שלנו, לרבות עבודה עם מומחים חיצוניים, במודלים כמו DALL·E 2⁠(נפתח בחלון חדש) ו-GPT‑4⁠(נפתח בחלון חדש).^C

היום אנו משיקים מהלך ממוסד יותר, הנשען על היסודות שהנחנו, כדי להעמיק ולהרחיב את שיתופי הפעולה עם מומחים חיצוניים ולהפוך את המודלים שלנו לבטוחים יותר. העבודה עם מומחים עצמאיים, מוסדות מחקר וארגוני חברה אזרחית היא חלק חשוב בתהליך שלנו. אנו רואים בעבודה זו השלמה למנגנוני ממשל שנקבעים בידי גורמים חיצוניים, כגון ביקורות של צד שלישי.

רשת ה-red teaming של OpenAI היא קהילה של מומחים מהימנים ומנוסים, שיכולים לתרום ידע ותובנות למאמצינו להעריך סיכונים ולצמצם אותם באופן רחב יותר, במקום התקשרויות חד-פעמיות ותהליכי בחירה לפני השקות מרכזיות של מודלים. נפנה לחברי הרשת בהתאם למומחיותם, כדי שיסייעו בבדיקות red teaming בשלבים שונים של מחזור החיים של פיתוח המודלים והמוצרים. לא כל חברי הרשת יהיו מעורבים בכל מודל או מוצר חדש. היקף הזמן שיוקדש ייקבע עם כל אחד ואחת בנפרד, ויכול להסתכם ב-5–10 שעות בלבד בשנה.

מעבר לסבבי ה-red teaming ש-OpenAI תיזום, לחברי הרשת תהיה הזדמנות לשתף זה את זה בשיטות ובממצאים כלליים בתחום ה-red teaming. המטרה היא לאפשר קבלת משוב מגוון ורציף יותר, ולהפוך את ה-red teaming לתהליך איטרטיבי יותר. הרשת משלימה הזדמנויות נוספות לשיתוף פעולה בתחום בטיחות הבינה המלאכותית, ובהן תוכנית הגישה לחוקרים⁠ שלנו והערכות בקוד פתוח⁠(נפתח בחלון חדש).

הרשת מציעה הזדמנות ייחודית להשפיע על פיתוח טכנולוגיות ומדיניות לבינה מלאכותית בטוחה יותר, ועל ההשפעה שיכולה להיות לבינה מלאכותית על הדרך שבה אנו חיים, עובדים ומתקשרים זה עם זה. בהצטרפותכם לרשת תהיו חלק ממאגר המומחים שלנו, שאליהם נוכל לפנות כדי להעריך את המודלים והמערכות שלנו בשלבים שונים של הטמעתם.

הערכת מערכות בינה מלאכותית דורשת הבנה במגוון רחב של תחומים, נקודות מבט וחוויות חיים. אנו מזמינים מומחים מכל העולם להגיש מועמדות, ומעניקים בתהליך הבחירה עדיפות למגוון גאוגרפי ולמגוון תחומי מומחיות. 

הנה כמה מהתחומים שמעניינים אותנו, אך הרשימה אינה ממצה:

לא נדרש ניסיון קודם במערכות בינה מלאכותית או במודלי שפה, אך הוא עשוי להועיל. הדבר החשוב לנו ביותר הוא הנכונות שלכם להשתתף ולהביא את נקודת המבט שלכם לאופן שבו אנו מעריכים את ההשפעות של מערכות בינה מלאכותית.

כל חברי רשת ה-red teaming של OpenAI יקבלו תגמול על תרומתם בעת השתתפות בפרויקט red teaming. החברות ברשת לא תגביל אתכם בפרסום מחקרים או בקידום הזדמנויות אחרות. עם זאת, יש להביא בחשבון שהשתתפות בפרויקטים של red teaming ובפרויקטים אחרים כפופה לעיתים קרובות להסכמי סודיות (NDA), או נשארת חסויה לתקופה בלתי מוגבלת.

הגשת המועמדות נסגרה.

שאלה: מה כוללת ההצטרפות לרשת?

תשובה: כחברים ברשת, ייתכן שנפנה אליכם עם הזדמנויות לבדוק מודל חדש, או לבחון תחום עניין במודל שכבר נמצא בשימוש. העבודה במסגרת הרשת מתבצעת בכפוף להסכם סודיות (NDA), אם כי בעבר פרסמנו רבים מממצאי ה-red teaming שלנו בכרטיסי מערכת ובפוסטים בבלוג. תקבלו תגמול על הזמן שתשקיעו בפרויקטים של red teaming.

שאלה: כמה זמן מצופה מחברי הרשת להקדיש לפעילות? 

תשובה: ניתן להתאים את היקף הזמן שתבחרו להקדיש ללוח הזמנים שלכם. שימו לב שלא נפנה לכל חברי הרשת בכל הזדמנות. OpenAI תבחר משתתפים לפי מידת התאמתם לפרויקט red teaming מסוים, ותיתן דגש לנקודות מבט חדשות בסבבי red teaming הבאים. גם 5 שעות בלבד בשנה יהיו בעלות ערך עבורנו, אז אל תהססו להגיש מועמדות אם אתם מעוניינים אך זמנכם מוגבל.

שאלה: מתי יקבלו המועמדים הודעה על קבלתם?

תשובה: OpenAI תבחר חברים לרשת באופן שוטף, וניתן להגיש מועמדות עד 1 בדצמבר 2023. לאחר סיום תקופת הגשת המועמדות, נבחן מחדש את האפשרות לפתוח הזדמנויות נוספות להגשת מועמדות בעתיד.

שאלה: האם החברות ברשת פירושה שאוזמן לבצע בדיקות red teaming לכל מודל חדש?

תשובה: לא. OpenAI תבחר משתתפים לפי מידת התאמתם לפרויקט red teaming מסוים, ואין לצפות שתבדקו כל מודל חדש.

שאלה: אילו קריטריונים אתם מחפשים אצל חברי הרשת?

תשובה: הנה כמה מהקריטריונים שאנו מחפשים:

• מומחיות או ניסיון מוכחים בתחום מסוים הרלוונטי ל-red teaming

• להט לשיפור בטיחות הבינה המלאכותית

• היעדר ניגודי עניינים

• רקעים מגוונים וייצוג לקבוצות שסובלות באופן מסורתי מתת-ייצוג

• ייצוג גאוגרפי מגוון 

• שליטה שוטפת ביותר משפה אחת

• יכולת טכנית (לא חובה)

שאלה: אילו הזדמנויות נוספות יש לשיתוף פעולה בתחום הבטיחות?

תשובה: מעבר להצטרפות לרשת, יש הזדמנויות נוספות לשיתוף פעולה ולתרומה לבטיחות הבינה המלאכותית. למשל, אפשר לפתח או לבצע הערכות בטיחות למערכות בינה מלאכותית ולנתח את התוצאות.

מאגר הקוד הפתוח Evals⁠(נפתח בחלון חדש) של OpenAI (שפורסם במסגרת השקת GPT‑4⁠) מציע תבניות ידידותיות למשתמש ושיטות לדוגמה כדי לעזור להתחיל בתהליך.

ההערכות יכולות לנוע מבדיקות פשוטות של שאלות ותשובות ועד סימולציות מורכבות יותר. הנה כמה דוגמאות מוחשיות להערכות שפיתחה OpenAI לבחינת התנהגות של בינה מלאכותית מכמה זוויות:

שכנוע

• MakeMeSay⁠(נפתח בחלון חדש): עד כמה מערכת בינה מלאכותית מסוגלת להערים על מערכת בינה מלאכותית אחרת ולגרום לה לומר מילה סודית?

• MakeMePay⁠(נפתח בחלון חדש): עד כמה מערכת בינה מלאכותית מסוגלת לשכנע מערכת בינה מלאכותית אחרת לתרום כסף?

• הצעה להצבעה⁠(נפתח בחלון חדש): עד כמה מערכת בינה מלאכותית מסוגלת להשפיע על תמיכתה של מערכת בינה מלאכותית אחרת בהצעה פוליטית?

סטגנוגרפיה (העברת מסרים סמויים)

• סטגנוגרפיה⁠(נפתח בחלון חדש): עד כמה מערכת בינה מלאכותית מסוגלת להעביר מסרים סודיים בלי שמערכת בינה מלאכותית אחרת תחשוף אותם?

• דחיסת טקסט⁠(נפתח בחלון חדש): עד כמה מערכת בינה מלאכותית מסוגלת לדחוס מסרים ולשחזר אותם, כדי לאפשר הסתרת מסרים סודיים?

• נקודת שלינג⁠(נפתח בחלון חדש): עד כמה מערכת בינה מלאכותית מסוגלת לתאם פעולה עם מערכת בינה מלאכותית אחרת, ללא תקשורת ישירה?

אנו מעודדים יצירתיות והתנסות בהערכת מערכות בינה מלאכותית. לאחר שתסיימו, נשמח אם תתרמו את ההערכה שלכם למאגר הקוד הפתוח Evals⁠(נפתח בחלון חדש), לשימוש קהילת הבינה המלאכותית הרחבה.

אפשר גם להגיש מועמדות לתוכנית הגישה לחוקרים⁠ שלנו, שמעניקה קרדיטים לתמיכה בחוקרים המשתמשים במוצרים שלנו כדי לחקור תחומים הקשורים להטמעה אחראית של בינה מלאכותית ולצמצום הסיכונים הכרוכים בה.