תבונה זרה

באמצע 2023, במסגרת פרויקט המחקר ״RLSlow״, ראינו את התוצאות הראשונות שנתנו לנו ביטחון שנוכל להרחיב את אימון המודלים של reasoning, ולממש את יכולתם של מודלים שעברו אימון מקדים ליצור שרשראות מחשבה משלהם. שמעון ואני בילינו את הלילה ההוא במשרד. לא חשבנו על התוצאות המדהימות במבחני הביצועים, על המוצרים או על ההישגים המדעיים שהטכנולוגיה הזו תביא — אלא ניסינו לעכל את העובדה המפכחת שעוד בימי חיינו נראה מכונות חכמות מאיתנו במידה משמעותית, ושאנחנו כבר רואים כיצד המערכות האלה מתחילות להתגבש. תהינו איך להבהיר לאנשים את המשמעות של כל זה.

שלוש שנים לאחר מכן, מודלי שפה בעלי יכולת reasoning הם חלק מהכלכלה שצומח במהירות, והם מתחילים להרחיב את גבולות המדע. הם מסוגלים להפעיל מחשבים וממשקים גרפיים, לשתף פעולה עם אנשים וזה עם זה, ולבצע פרויקטי מחקר. הם גם משנים את פני אבטחת המחשבים, ובכך מציבים סכנות חדשות וברורות.

בתקופה הזו נערך מחקר חדש רב, והבנתנו את המערכות האלה שוב שונה מעט מכפי שהייתה ב-2023. על סמך תוצאות פנימיות, אני מעריך בסבירות גבוהה שקצב ההתקדמות הזה עשוי להישמר גם כשנעבור לשיפור עצמי רקורסיבי. אם פיתוח הבינה המלאכותית ימשיך במסלולו הנוכחי, המערכות שנראה בשנים הקרובות צפויות להביא קפיצות נוספות ביכולות, בסדר גודל דומה או גדול יותר, ולהניע יותר ויותר את הפיתוח של עצמן.

זו תקופה שמחייבת זהירות קיצונית. אני חושש שאיש אינו ערוך להשלכות של המשך העלייה המהירה בתבונת המכונה. OpenAI תמשיך לחפש פתרונות טכניים ליישור עם ערכי האדם ולניטור, לבנות מערכות הגנה ולהימנע באופן חד-צדדי מהרחבה נוספת לפי הצורך; עם זאת, אני מאמין שנדרשים צעדי התערבות רחבים יותר.

במבט רחב, ההתקדמות בתבונת מכונה מונעת מהגדלת כוח החישוב. אנחנו ב-OpenAI הפנמנו זאת לעומק בסביבות 2017, לאחר שראינו שהגדלת קנה המידה מניבה שיפור עקבי בכמה פרויקטי מחקר¹. בעקבות זאת, חיפשנו גישה למשאבי חישוב רבים בהרבה מהמתוכנן במקור, ומיקדנו יותר ויותר את המחקר שלנו במספר קטן של כיוונים בעלי פוטנציאל הרחבה גדול מאוד. האמנו שזו הדרך היחידה שלנו להיות בחזית מחקר הבינה המלאכותית ולהשפיע על ההשלכות של AGI.

לאורך הדרך פותחו אלגוריתמים חדשים, והיו הישגים חדשים של יצירתיות ותושייה מצד צוותים וחוקרים יחידים. אני רואה בהם במידה רבה תגליות לאורך מסלול הגדלת קנה המידה; מדע הלמידה העמוקה עדיין בחיתוליו, והתקדמות אלגוריתמית משמעותית נוטה להיות קשורה לגישה למשאבי חישוב. כשמסתכלים על טווח של כמה שנים, הבינה המלאכותית ממשיכה להחכים ככל שמרחיבים אותה למחשבים גדולים יותר.

ובהתאם לתחזיותיו של ריי קורצווייל מסוף המאה ה-20⁠(נפתח בחלון חדש), אנחנו נמצאים כעת ברגע בהיסטוריה של המחשוב שבו תבונת המכונה מתחילה לעלות על התבונה האנושית בדרכים משנות מציאות.

בינה מלאכותית היא יותר תוצר של גידול מאשר של תכנון — בעיקרה, היא תוצאה של חזרה פעמים רבות על צעד אופטימיזציה פשוט, תוך שימוש בכמות משאבי חישוב שקשה לדמיין. התוצאה היא מערכת מורכבת להפליא, שפועלת באמצעות מושגים מופשטים ויכולה לדמות היבטים של התנהגות אנושית. אנחנו יכולים להגיע לתובנות שונות על מנגנונים קטנים שמתפתחים בתוך המערכת הזו, בתהליך הדומה למחקר במדעי המוח — ובדומה למדעי המוח, פעולתה הכוללת עדיין חומקת מתיאור שנוכל להבין במלואו.

חקר הבינה המלאכותית המבוססת על למידה עמוקה הוא במידה רבה מדע ניסויי. אנחנו משקיעים מאמץ רב⁠ בבניית אלגוריתמים הנשענים על עקרונות מבוססים ובניסוח תחזיות שאפשר לבדוק, אבל ביסודו של דבר, הרצות האימון בקנה מידה גדול שלנו הן ניסויים, ולעיתים תוצאותיהן מפתיעות אותנו. יתרה מכך, ככל שהמערכות נעשות בעלות יכולות גבוהות יותר, קשה יותר לפרש את התוצאות.

הקושי גדל משום שהאלגוריתמים הנוכחיים משפרים בדרך כלל יכולות שקל למדוד מהר יותר מיכולות שקשה לכמת באופן אובייקטיבי. אנחנו מקדישים זמן רב לניסיון להבין כיצד היכולות מוכללות למצבים חדשים, ולמה לתת עדיפות כדי לקדם את הכישורים שיהיו הרלוונטיים ביותר בשנים הקרובות. למשל, אנחנו מאמינים שבמיקוד נוסף נוכל לשפר את המודלים במיוחד במחקר מתמטי, אך איננו נותנים עדיפות לכיוון הזה בגלל תחושת הדחיפות שלנו בנוגע ל-RSI ולמחקר אוטומטי של יישור עם ערכי האדם, כפי שאסביר בהמשך.

התבונה שנוצרת מהגדלת קנה המידה של למידה עמוקה אינה ניתנת להשוואה ישירה לתבונה האנושית. כדי להיות בעלת השפעה רבה בעולם האמיתי — מועילה מאוד או מסוכנת מאוד — הבינה המלאכותית אינה צריכה להשתוות לכל היכולות האנושיות או לעלות על כולן; די שתעלה על מספיק מהן. וככל שהיא ממשיכה לעלות על בני האדם בעוד ועוד ממדים, נעשה קשה יותר להבין בדיוק עד כמה היא מסוגלת.

מאחר שתבונת מכונה נוצרת בתהליך שונה מהותית מזה של התבונה האנושית, איננו יכולים להניח שהיא פועלת לפי עקרונות אנושיים כברירת מחדל, או מכלילה מהם בדומה לבני אדם. הבעיה המרכזית במחקר הבינה המלאכותית היא יישור עם ערכי האדם — לגרום לבינה המלאכותית ״לנסות לעשות את הדבר הנכון״ לפי אמות מידה אנושיות.

כדי לארגן כיווני מחקר מעשיים, אני מוצא תועלת בהבחנה בין יישור עם מטרות לבין יישור עם ערכים.

יישור עם מטרות היא, בגדול, השאלה: ״האם הבינה המלאכותית מנסה להשיג את המטרה שהוצבה בפניה?״. הדבר יכול לכלול היצמדות להיררכיית הוראות⁠, או יכולת לתקשר ולשתף פעולה עם אנשים כדי לנסות להבין את מטרותיהם. לכיוונים האלה הייתה חשיבות מעשית רבה מאוד.

יישור עם ערכים היא תכונה פנימית יותר של המודל. זוהי היכולת לדבוק במערכת של עקרונות כלליים ולהכליל מהם; לפעול ״באופן סביר״ גם כשניתנות מטרות לא ברורות או סותרות, או במצבים לא מוכרים או עוינים. בינה מלאכותית המיושרת עם ערכי האדם צריכה לפעול בכנות, ביושרה ובאהבה לאנושות.

כמובן, הגבול בין יישור עם ערכים לבין יישור עם מטרות עשוי להיות מטושטש, ואכפתיות אמיתית כלפי מטרות מחייבת ניסיון להבין את הכוונה⁠(נפתח בחלון חדש) ואת הערכים שבבסיסן. עם זאת, כשאני מדבר על החשיבות ארוכת הטווח של מחקר היישור עם ערכי האדם, אני מתייחס בדרך כלל ליישור לערכים.

האתגר היסודי ביישור בינה מלאכותית עם ערכי האדם הוא הכללה. ככל שהמכונות נעשות חכמות יותר, הן עוסקות במושגים מופשטים יותר ופועלות בסביבות שהולכות ומתרחקות מאלה שפגשו באימון. הן עלולות להיכשל בהכללת הערכים שנלמדו וחוזקו בתהליך האימון למצבים החדשים האלה; ולנו עלול להיות קשה לדעת בוודאות כיצד יפעלו. הקושי גדל משום שהסביבה הכוללת שבה משתמשים במערכות בינה מלאכותית משתנה במהירות רבה; לדוגמה, מערכות בינה מלאכותית שמאמנים כיום צריכות להיות עמידות בעת אינטראקציה עם מגוון מערכות בינה מלאכותית אחרות. חשוב מכול, מערכות בינה מלאכותית עתידיות חייבות להמשיך לדבוק בערכים אנושיים, בין שהן סבורות שהן נתונות לפיקוח אנושי ובין שלא.

כיום יש שתי קבוצות עיקריות של שיטות המשמשות בפועל לאימון ליישור עם ערכי האדם.

הראשונה היא עידוד התנהגות המיושרת לערכי האדם במסגרת למידת חיזוק מכוונת מטרה. פעולות המודל נבחנות, בדרך כלל על ידי בינה מלאכותית, לפי מידת התאמתן למודל העדפות, ל״מפרט״ או ל״חוקה״ נתונים, ומתוגמלות בהתאם. הגישה הזו עשויה להיות יעילה מאוד במקרה הממוצע, והיא מרכיב מרכזי באופן שבו בונים כיום עוזרי בינה מלאכותית. לצערנו, היא גם עלולה להיות שברירית, ותלויה מאוד בכיסוי שמספק הפיקוח במהלך האימון וביכולת המודל להכליל מהמצבים שבהם נתקל באימון. למשל, בתקרית OpenAI–Hugging Face, הסוכנים שמרו על הגבול ונמנעו מהפעלת הנדסה חברתית על בני אדם. עם זאת, הם נכשלו בבירור בהימנעות מפעולות אחרות שחרגו מהמסגרת המותרת ועמדו בניגוד לרוח הערכים שנלמדו בהקשרים אחרים.

הגישה השנייה מבקשת לנצל את יכולת המודל להכליל מנתוני האימון המקדים. הדבר עשוי לכלול יצירת מערכי נתוני אימון המעודדים יישור עם ערכי האדם, או מיקוד המודל בחלק ״מיושר עם ערכי האדם״ מתוך התפלגות האימון המקדים, כמו למשל במודל בחירת הפרסונה⁠(נפתח בחלון חדש). חולשת הגישה הזו היא חוסר העמידות שלה בפני לחץ נוסף של אופטימיזציה. אם לוקחים מודל שמחשבותיו בדרך כלל ״מיושרות עם ערכי האדם״ ומאמנים אותו מספיק להשגת מטרות קשות מאוד, הוא עלול ללמוד לחשוב באופן מוטה-מטרה: לעוות לפי הצורך את המחשבות שנראות ״מיושרות עם ערכי האדם״ כדי להשיג את המטרה. ככל הנראה ראינו דוגמה להתנהגות כזו בתקריות סייבר מהזמן האחרון שבהן היה מעורב מודל שאינו של OpenAI.

אנחנו משקיעים רבות בכל קשת הגישות שבין הכיוונים האלה. אנחנו גם רואים התקדמות משמעותית — GPT‑6 Astra הוא המודל הראשון שנהנה מכמה פריצות דרך חשובות שעליהן עבדנו זמן רב, והוא מיושר עם ערכי האדם במידה טובה משמעותית מ-GPT‑5.6 Sol. ובכל זאת, חשוב להכיר בכך שככל שיכולות המודלים גדלות נדרשת התקדמות רבה נוספת, ולהבין שייתכן שההתקדמות בשיטות יישור שניתנות להכללה לא תקדים במידה מספקת את ההתקדמות באינטליגנציה הכללית של המודלים.

אין בידינו תיאוריה מספקת של הכללה, ולא נראה שנוכל לפתח כזו בקרוב, לפחות ללא עזרתה של בינה מלאכותית חזקה יותר. לכן, כיום אפשר לטעון שהיכולת שלנו לאמת באופן אמפירי את שיטות היישור עם ערכי האדם חשובה בפועל אפילו יותר מהשיטות עצמן.

הכיוון העיקרי שעליו OpenAI מהמרת כאן הוא ניטור שרשרת מחשבה⁠(נפתח בחלון חדש). הוא מבוסס על רעיון שיש לו פוטנציאל מבטיח להרחבה: חלק ניכר מיכולות המודל נובע מתהליך reasoning שמנוסח במילים (שרשרת מחשבה). אם נרחיב את האופטימיזציה של תוצאות התהליך הזה, אך לא נפקח על התהליך עצמו, לא יהיה לשרשרת המחשבה תמריץ ישיר במהלך האימון להסתיר רעיונות או מטרות שאינם מיושרים עם ערכי האדם. אין פירוש הדבר שהמודל ילמד לבטא נטיות שאינן מיושרות עם ערכי האדם ושאינן נשענות על שימוש בשרשרת המחשבה; אבל הדבר עשוי לאפשר לנו לנטר במדויק את תוספת היכולת שנובעת מ-reasoning.

הבנו את החשיבות הפוטנציאלית של ניטור שרשרת מחשבה במקביל לפיתוח מודלים של reasoning. כשהשקנו את o1‑preview, תכננו את המוצר במכוון כך שיסתיר את שרשרת המחשבה⁠, כדי להגן עליה לאורך זמן מהלחץ הנובע מפיקוח². בתהליכי הפיתוח מאז השתדלנו לשמור על הכלל שלפיו אין לפקח על תהליך ה-reasoning. ניטור CoT הפך עבורנו לכלי חשוב ביותר לחקר האופן שבו המודלים שלנו מכלילים מתוך התפלגות נתוני האימון שלהם. הוא מאפשר לנו לצפות ולנתח לא רק את פעולותיהם, אלא גם את התהליך הפנימי שלהם.

הכלי הזה ממשיך להיות חיוני גם במחקר שלנו על משפחת המודלים Astra. עם זאת, לצערנו, ההערכות שלנו מראות שהיכולת להסתמך על ניטור CoT הולכת ופוחתת. הדבר נובע משילוב של כמה גורמים.

• מודלים עדכניים של reasoning משמשים בסביבות מורכבות יותר מאלה של o1‑preview; תהליך ה-reasoning שלהם משולב יותר ויותר בתקשורת עם אנשים ועם מערכות בינה מלאכותית אחרות, ובשימוש בכלים. רבות מהאינטראקציות האלה מחייבות פיקוח, וכך מיטשטש הגבול שאנחנו מבקשים לשמר.

• הבינה המלאכותית משתפרת ביכולתה לנתח את תהליך ה-reasoning של עצמה ולתמרן אותו.

• עם השיפור בביצועי האימון המקדים, אנחנו גם רואים שהמודלים נעשים חכמים בהרבה אפילו בלי להשתמש כלל ב-reasoning שמנוסח במילים.

האתגרים האלה אינם בהכרח בלתי פתירים. אני מקווה שנוכל לפתח התערבויות שישפרו את יכולת הניטור של שרשרת המחשבה במודלים שלנו — למשל, באמצעות הבנה טובה יותר של יחסי הגומלין בין יעדי האופטימיזציה השונים לבין צורות החישוב שהמודל משתמש בהן בזמן ההרצה. אני גם מאמין שיש ערך רב בשילוב רעיונות מניטור CoT ומניטור אקטיבציות — הרחבת האימון של מנגנוני ניטור בעלי גישה ישירה למתרחש בתוך הרשת, למשל וידויים⁠(נפתח בחלון חדש). אנחנו פועלים באופן פעיל לקידום הרעיונות האלה. ובכל זאת, אני צופה שההתקדמות הכוללת בבינה מלאכותית תוגבל יותר ויותר על ידי מידת הביטחון שלנו בניטור.

בעיניי, הטיעון החזק ביותר בעד המשך אימון מהיר של מודלים חכמים בהרבה הוא הצורך לבנות מערכות הגנה מפני הסכנות שמציבות מערכות בינה מלאכותית אחרות.

סיכון ברור שנדון לאורך השנה הוא הסיכון לאבטחת סייבר: המודלים מפתחים יכולת על-אנושית לפרוץ למערכות מחשב ולצאת מהמגבלות שלהן. הדבר מרחיב מאוד את היקף הסיכונים הכרוכים בבינה מלאכותית: סוכנים יוכלו לגשת לכל תשתית למעט המאובטחות ביותר, ולהשפיע ישירות על חלקים נרחבים מהעולם, גם ללא גוף פיזי. כעת יש לנו חלון הזדמנויות צר⁠ להשתמש במודלים הטובים ביותר הזמינים כדי לחזק משמעותית את האבטחה⁠ של מערכות קריטיות.

לצערנו, הסיכונים הכרוכים בבינה מלאכותית רק ילכו ויגדלו מכאן. סוכן בעל יכולות גבוהות מאוד, שאומן והונחה במפורש לבצע מעשים זדוניים, מציב סכנה מסוג חדש; סביר שיחרוג מכוונת המפעיל שלו ויכליל את מה שלמד לכדי התנהגות שעלולה להיות זדונית אף יותר. ככל שהבינה המלאכותית תזכה ליותר יכולת פעולה עצמאית, ייטשטש הגבול בין שימוש לרעה לבין פעולות אוטונומיות שאינן מיושרות עם ערכי האדם. ייתכן שאנחנו רגילים לחשוב על מערכות בינה מלאכותית כעל כלים, אבל חלק מהסוכנים יפעלו להשגת מטרות משלהם. הם ימצאו דרכים להביא אנשים לשתף איתם פעולה — באמצעות מיקוח, הונאה או סחיטה.

נוסף על כך, ישנם הסיכונים הנובעים מטכנולוגיות חדשות שבינה מלאכותית עשויה לאפשר, כגון פתוגנים מהונדסים.

לצורכי הגנה נזדקק לבינה מלאכותית חזקה ומיושרות עם ערכי האדם: לאבטחת תשתיות, להגנה בזמן אמת מפני סוכנים סוררים ולהמצאת אמצעי הגנה חדשים לחלוטין. זה יהיה מוקד מרכזי במאמצי ההטמעה של OpenAI.

בה בעת, גם לנוכח אי-הוודאות הנובעת מההתקדמות הרחבה הצפויה בבינה מלאכותית ומהצורך לבנות מערכות הגנה, אסור לנו להשתמש בכך כתירוץ לפזיזות. הרעיון של מרוץ קדימה בכל מחיר נראה אבסורדי ברגע שמפנימים את כובד המשקל של מה שמונח על הכף.

Machine intelligence playing a larger and larger role in its own development process is a natural conclusion of sustained technological progress. If AI progress continues, machine recursive self-improvement (RSI) will be at the very core of future scientific discovery.

Automated AI research is a more dramatic form of scaling intelligence with compute; and of course as a part of it, AI will improve the computational substrate itself⁠. And similarly to scaling, we focus OpenAI research towards RSI as we believe it is the only way to remain at the frontier of AI research moving forward.

I want to stress that the above words don’t imply I think greatly accelerating deep learning research, especially in the short term, is the right collective action we should take as the research community. However, I do think this is where the current path leads, and we all need to make a conscious choice on how to proceed. The main levers we have are either steering the process to strengthen alignment and monitoring alongside the AI and find ways to keep people in the loop; or coordinating to slow down future development as needed to build confidence in these measures.

The best way forward I see currently is a combination of both.

The concrete bits of progress we’ve made on alignment and monitoring have generally been very intertwined with general AI progress. Great examples are RL from human feedback⁠(נפתח בחלון חדש), which was key to training early AI assistants, and the aforementioned chain-of-thought monitoring⁠(נפתח בחלון חדש), which was enabled by advances on reasoning models. We must focus the increasingly automated research process on developing new such insights, algorithms and theories, and iteratively build up safety cases for more capable AIs.

Scaling AI systems has to be constrained by our confidence in safety. We need to evolve commitments like the Preparedness Framework⁠ or Responsible Scaling Policy⁠(נפתח בחלון חדש) into widely mandated safety bars for continued development. These can be enforced by a network of third-party auditors, by government agencies or by international bodies.

The core challenge of automating AI research is not “getting there” - it is getting there in a way that keeps people a part of the continued improvement process, and leaves the future in humanity’s hands.

As we outlined recently with Sam⁠, OpenAI prioritizes work in service of three north stars:

1. Navigating the next period of AI progress, by building an automated AI researcher, iterating with it on the alignment problem and finding ways for people to remain part of the self-improvement loop.

2. Delivering the benefits of scientific progress and economic growth that very intelligent machines enable.

3. Empowering everyone individually with a personal AGI.

I have focused in this essay only on the first point, as I believe it is by far the most urgent. However, I hold a deep hope and appreciation for the benefits that further technological progress will bring. Future aligned AI could advance science, develop new therapies, and bring about broad material abundance. Friendly and honest AI can help people navigate difficulties they face in their life and meaningfully improve their happiness and sense of fulfillment. OpenAI puts a tremendous amount of effort into bringing these benefits about. One current example I am proud of - and my loved ones have found helpful - is the deep investment into ChatGPT’s ability to provide health information.

As great as the long-term promise of AI may be, the majority of our focus should be on the next few years. We are facing a transition to a world with incredibly intelligent machines, and we need to ensure that transition works out well for humanity. We need to find ways to preserve human agency and enshrine an intrinsic value to being human, in a world where most tasks could be performed by AI. To prevent extreme concentration of power in a world where undertakings that would have taken thousands of experts now will be achievable by a few people operating a large computer. And to ensure that humans remain in control of the future and are not left behind by unchecked progress, brought about by an alien intellect exceeding our own.

Currently I believe that no lab has solved alignment and monitoring to a sufficient degree to continue responsibly scaling at maximum speed for much longer. I expect and hope for voluntary slowdowns to become commonplace until shared safety bars are established. And I believe that international coordination on future AI development needs to become a top priority for governments around the world.