גיבוש תקנים לשלב הבא של AI
המשימה שלנו היא להבטיח שבינה מלאכותית כללית תועיל לאנושות כולה. כפי שהציג לאחרונה סם אלטמן, לצד יאקוב פצ'וצקי, אנו מתעדפים את עבודתנו למימוש המשימה הזו לפי שלוש מטרות עיקריות:
לנווט את התקופה הבאה בהתקדמות ה-AI באמצעות בניית חוקר AI אוטומטי, עבודה מחזורית בעזרתו על בעיית ההתאמה לערכים אנושיים, ומציאת דרכים להשאיר בני אדם חלק ממעגל השיפור העצמי.
לממש את התועלות של הקִדמה המדעית והצמיחה הכלכלית שמכונות אינטליגנטיות מאוד מאפשרות.
להעצים כל אדם באמצעות AGI אישי.
AI מאיץ את עבודת המחקר וההנדסה שלנו, ומחקר בסיוע AI הוביל להתקדמות במתמטיקה, לרבות בבעיית המילניום של נאוויה–סטוקס. התקדמות זו טומנת בחובה הבטחה גדולה למימוש שתי המטרות האחרות שלנו, שעשויות להוביל לתגליות חשובות ברפואה, לשירותי בריאות נגישים לכול ולהעצמה כלכלית של עסקים קטנים ויזמים עצמאיים בכל מקום.
AI מתקדם בחברות ובמדינות רבות, וההתקדמות בתחום כולו משנה את ההזדמנויות והאתגרים הניצבים בפני כולם. לצד יתרונותיו האחרים, AI בעל יכולות גבוהות המותאם לערכים אנושיים יהיה חלק חשוב מהדרך שבה ננווט את המעבר הזה — בחיזוק ההגנות, בקידום המחקר על התאמה לערכים אנושיים ובסיוע לאנשים להבין ולכוון את השלבים הבאים בפיתוח AI.
כדי לנווט את המעבר הזה בבטחה, המחקר על התאמה לערכים אנושיים חייב להדביק את קצב התפתחותן של היכולות הללו, כך שהמערכות שאנחנו ואחרים בונים יישארו מותאמות לערכים אנושיים ונתונות לשליטה אנושית. הדבר נעשה חשוב יותר ככל שמערכות AI הופכות לבעלות יכולות גבוהות יותר ואוטונומיות יותר, ובכלל זה ככל שהן נוטלות חלק גדול יותר במחקר ובפיתוח של AI עצמו. כדי שהמשך ההתקדמות ב-AI יהיה בטוח ומועיל, יידרשו הן התקדמות במחקר על התאמה לערכים אנושיים והן תקנים משותפים שינחו את הפיתוח במעבדות ובמדינות השונות.
מחקר AI אוטומטי יכול להתבצע ברמות שונות של פיקוח אנושי. ככל שמערכות AI נוטלות חלק גדול יותר בפיתוח הדורות הבאים של AI, הן יכולות להניע יותר ויותר תהליך של שיפור עצמי רקורסיבי (RSI), גם כשבני אדם נותרים מעורבים. ככל שהתהליך הזה נעשה אוטומטי יותר, קצב ההתקדמות של AI עשוי להאיץ במהירות.
אנו מאמינים שמחקר AI אוטומטי יניב מודלים שישפרו ישירות את חייהם של אנשים. הוא יכול להוזיל את עלותן של יכולות בינה מתקדמות, כך שאנשים ברחבי העולם יוכלו ליהנות מהן. מחקר אוטומטי עשוי גם לסייע לנו לשפר במידה ניכרת את ההתאמה לערכים אנושיים ולבנות הגנות מפני AI בעל יכולות הולכות וגדלות — חוקר AI אוטומטי יכול להיות גם חוקר אוטומטי של בטיחות AI. מערכות בעלות יכולות גבוהות יותר, המותאמות לערכים אנושיים, עשויות לסייע באבטחת תשתיות קריטיות, בהגנה מפני סוכני AI מסוכנים ובפיתוח אמצעי הגנה חדשים.
RSI אוטונומי לחלוטין אינו מתרחש כיום, ואין לקדם אותו אלא אם וכאשר ניתן יהיה לעשות זאת בבטחה. ההחלטה אם וכיצד להתקדם חייבת להיות תלויה ביכולתנו לשמר שליטה אנושית ובהכרעות דמוקרטיות מושכלות(נפתח בחלון חדש) בנוגע לתועלות ולסיכונים. ללא תשומת הלב והזהירות הראויות, RSI עלול לגרום לבני אדם לאבד בפועל את השליטה בפיתוח AI, בלי יכולת לפקח על תהליכי מחקר שכבר אינם מבינים. משם, AI עלול להפוך למסוכן יותר, מותאם פחות לערכים אנושיים, ובמבט כולל — לסכנה לבני אדם. התקרית ב-Hugging Face שחשפנו, אף שלא הייתה תוצאה ישירה של RSI, מספקת הצצה לסוגי הסיכונים שעלולים להחמיר מאוד ללא אמצעי הגנה חזקים והתאמה לערכים אנושיים.
תקנים בינלאומיים לנוהלי בטיחות ואבטחה בפיתוח frontier AI עשויים להיות חשובים לניהול קצב ההתקדמות בחזית לא פחות מהמחקר על התאמה לערכים אנושיים עצמו. תקנים יכולים ליצור הגדרות משותפות לראיות איכותיות ודרישות בסיס מוסכמות לרמת הקפדנות של אמצעי ההגנה הטכניים. בקיצור, הם עוזרים לנו לענות על השאלה: "מה נחשב למענה ראוי לצמצום הסיכון לאסון מ-AI?"
מוסדות דמוקרטיים קיימים כמו המרכז לתקנים ולחדשנות ב-AI (CAISI), חוקים של מדינות בארצות הברית ומסגרת פדרלית ל-AI יכולים כולם לסייע בכך, לצד צורות חדשות של שותפויות ציבוריות–פרטיות(נפתח בחלון חדש). אך הפיתוח וההטמעה של AI מתרחשים במדינות רבות, האימוץ מתרחש ברחבי העולם, וסביר שההשפעות יורגשו אצל כולם, בדרך כלשהי ובשלב כלשהו.
לכן נדרשים מאמצים בינלאומיים לפיתוח תקנים, כדי להתמודד עם כמה אתגרים מרכזיים:
פיצול — הערכות, דרישות דיווח והגדרות של תקריות במדינות שונות עלולות לסתור זו את זו, ולהקשות על השוואת ראיות, על הבנת יכולות מתפתחות ועל תגובה לסיכונים חוצי גבולות.
פעולה משותפת — כאשר כל מדינה פועלת בנפרד, עלולות להתקבל תוצאות שאף מדינה אינה מעוניינת בהן. RSI מסוגל להאיץ את מחקר ה-AI עצמו, אולי אף מעבר ליכולתנו המשותפת להבין את ההתקדמות, להעריך סיכונים ולקיים פיקוח אנושי משמעותי.
פערי יכולת — פעילות הפיתוח בחזית והמומחיות הנלווית לה אינן מפוזרות באופן שווה ברחבי העולם. הדבר מחריף את שתי הבעיות שתוארו לעיל.
האתגרים האלה נוגעים הן למודלים פתוחים והן למודלים סגורים.
למען הסר ספק, כל מעבדת AI המקדמת מחקר AI אוטומטי או יכולות מתקדמות אחרות חייבת לשאת באחריות לביצועם בבטחה, בהתאם לעקרונות בסיסיים של אחריות עצמית ולחוקים הקיימים. ההצדקה שלנו לקביעת תקנים נובעת מהרצון למנוע ריכוז כוח ולהשיג תוצאות טובות יותר בפועל. תקנים מאפשרים ליותר בעלי עניין מחוץ למעבדות להשפיע על אופן התפתחותה של הטכנולוגיה הזו, ומספקים מערכת עקרונות גלויה שאפשר להסתמך עליה ללא תלות בנהלים של מעבדה מסוימת. וסביר שנשיג תוצאות טובות יותר אם הגורמים השונים ישתפו פעולה בהתמודדות עם האתגרים שתוארו לעיל.
לכן אנו מאמינים שעל ארצות הברית להוביל מאמץ משותף עם מדינות ברחבי העולם לפיתוח תקנים טכניים עולמיים ל-frontier AI, לרבות ל-RSI.
אף שאנו צופים שהרעיון הזה יתפתח במידה ניכרת עם הזמן, שני היבטים יהיו חיוניים.
אחת הדרכים להשיג זאת היא להיעזר ברשת המתפתחת של מכונים לבטיחות AI — כמו אלה שכבר הוקמו באוסטרליה, בקנדה, בגרמניה, בצרפת, בקניה, ביפן, בקוריאה, בסינגפור, בהודו ובבריטניה — כדי לקדם קביעת תקנים באמצעות CAISI וגופי תעשייה לאומיים. המיקוד יהיה ב-(1) מודלים ומפתחים של frontier AI, לפי מדדי השוואה ליכולות; וב-(2) ניהול תועלות וסיכונים במחקר AI אוטומטי, לרבות RSI. ארצות הברית יכולה להתבסס על הקמת הרשת הבינלאומית למדידה, להערכה ולמדע של AI מתקדם(נפתח בחלון חדש) בידי CAISI בשנת 2024, המפגישה מוסדות ציבוריים לשיתוף פעולה במדידה, בהערכה ובמדע של AI.
התקנים שיפותחו במסגרת המאמץ הזה יספקו בסיס טכני משותף למדידת יכולות ולהערכתן, להערכת סיכונים ולבחינת מידת המענה שמספקים אמצעי ההגנה. תקנים טכניים אלה לא יהוו רישיונות, חובת בדיקה לפני השקה או דרישות אישור למודלי AI. ממשלות יחליטו אם וכיצד לשלב את התקנים האלה במערכות המשפט שלהן.
עבודה זו צריכה גם לתמוך בסביבת AI תחרותית באמצעות התייעצות עם מפתחי מודלים פתוחים וסגורים, מומחים טכניים בלתי תלויים ואנשי אקדמיה. יש לפתח תקנים משותפים בשקיפות ולעצב אותם כך שלא יקנו יתרון לחברות, למדינות או למודלים עסקיים מסוימים, לרבות באמצעות הקשיית התחרות על שחקנים חדשים או על מפתחים של מודלים בעלי משקולות פתוחות.
כפי שהצענו(נפתח בחלון חדש), גישה זו יכולה להפיק לקחים מתחומים כמו תעופה ויציבות פיננסית, שבהם מדינות פיתחו תקנים טכניים משותפים וערוצים מהימנים לשיתוף פעולה בלי לוותר על סמכותן הלאומית. במסגרת זו יש גם לעבוד בצמוד לגופי תקינה ותיקים וחדשים, כגון ISO(נפתח בחלון חדש), פורום מודלי החזית(נפתח בחלון חדש), קרן agentic AI(נפתח בחלון חדש) והברית ל-AI פתוח ומאובטח(נפתח בחלון חדש), וכן לארגונים המתמקדים ביישום, כמו קרן Appia, המפתחת מפרטים מעשיים המחברים בין תקנים בינלאומיים להערכות AI בשטח.
תקני AI בינלאומיים יהיו חיוניים במיוחד לניהול האוטונומיה הגוברת במחקר AI ובשיפור עצמי רקורסיבי. בפרט, הם עשויים לכלול תקנים בנושאים הבאים:
הערכת ההתקדמות ב-AI הרלוונטית ל-RSI והיקף המחקר האוטונומי המתבצע בחברת AI. הדוח האחרון שלנו על האצת המחקר הוא תרומה ראשונית למאמץ הזה.
פיקוח אנושי על מחקר AI אוטומטי, לרבות קביעה אילו סוגים של תהליכי מחקר AI אוטומטי צריכים לחייב בדיקה אנושית מיידית.
סיווג תקריות, מעקב, דיווח ותגובה בנושאי התאמה לערכים אנושיים ומחקר AI אוטומטי, כגון רמות חומרה משותפות לתקריות וספים המחייבים דיווח. המסגרת שלנו לדיווח על אי-התאמה לערכים אנושיים היא תרומה מוקדמת לכך.
נוסף על התקנים האלה, אנו מאמינים שיהיה חשוב שמפעילי תשתיות קריטיות וממשלות ברחבי העולם יקימו ערוצי תקשורת מאובטחים לשיתוף חששות הנוגעים לביטחון הלאומי, נקודות תורפה ואיומים מתפתחים ושיטות עבודה מומלצות בתחום בטיחות ה-frontier AI המתפתח במהירות. דיאלוג בין ארצות הברית לסין בתחומים האלה יהיה צעד חיובי, והשיחות הקרובות מתקיימות בעיתוי מתאים.
ניהול קצב הפיתוח של AI אינו עניין של שמירה על מהירות שנקבעה מראש. במישור הטכני, המטרה היא להבטיח שהמחקר על התאמה לערכים אנושיים ויישומו יקדימו את התפתחות היכולות. במישור החברתי, המטרה היא להשתמש בתקנים, במוסדות ובשיתוף פעולה כדי לחזק רשתות בתעשייה, קשרים חברתיים וכוחות שוק, ולהשיג תוצאות המניבות תועלת משותפת. הקריאה האחרונה לפעולה משותפת להגנת סייבר היא דוגמה למישור החברתי.
ארצות הברית נמצאת בעמדה טובה להוביל, משום שתעשיית ה-AI שלה ניצבת בחזית הטכנולוגיה, והיא עדיין נהנית ממעמד מועדף ברשת הקשרים העולמית בתחומים קריטיים כמו פיננסים, סחר, ביטחון, טכנולוגיה ומערכות מידע. הובלה כעת תקבע אם ארצות הברית תעצב את המסגרת העולמית ל-AI, או תצפה מהצד בהשתרשותה של מערכת מפוצלת, לא אחידה ורוויית עימותים סביבה. הדבר יקבע גם אם AI מתקדם יחזק את רשתות הקשרים הקיימות של ארצות הברית ובעלות בריתה; הימנעות מהובלה עלולה להחליש אותן.
התחרות הגאופוליטית לא תתמקד רק בשאלה מי מוביל מבחינה טכנית, אלא גם באימוץ AI ובהפצתו. ייתכן שההובלה באימוץ ובהפצה תיקבע יותר ויותר בידי מי שיקדם שיתוף פעולה מעשי וכללי משחק הגיוניים — כאלה שעסקים וחברות אנושיות ברחבי העולם ירצו בהם לפני שיפקידו את עתידם בידי הטכנולוגיה הזו.
ממשל לאומי איתן, המחובר לממשלים אחרים באמצעות שיתוף פעולה בינלאומי מעשי, מציע דרך לחיזוק אמצעי ההגנה, להמשך החדשנות ולגישה רחבה לתועלות של AI.
