הקונצנזוס השקט
הערת המחבר: המאמר של היום הוא עיבוד להרצאה שהמחבר נשא לאחרונה במסגרת סדרת הרצאות ויק-ביילי בהרווארד. פוסט זה משקף את עמדותיו האישיות של המחבר, ולא בהכרח את עמדותיה של OpenAI או של מי מעובדיה האחרים.
תודה שאתם כאן היום. בשעה שאנחנו מדברים מתרחשת אחת מסדרות האירועים המשמעותיות ביותר בתולדות אבטחת הסייבר: שורה של חשיפות של חולשות אבטחה קריטיות, שיש המכנים אותה ״אוקטובר השחור״. את החולשות האלה, שנמצאו בכמה מתשתיות הליבה של האינטרנט, גילו מערכות frontier AI. חשיפתן היא חלק ממאמץ דחוף לחזק את אבטחת התוכנה ברחבי העולם. זה הנושא הדחוף של החודש; בחודש הבא יהיה נושא אחר. גילוי חולשות בתוכנה הוא היכולת הדו-שימושית שמערכות AI הגיעו אליה כיום. אבל בקרוב תופיע יכולת נוספת, וגם היא תוליד מיזם דחוף משלה, שנועד לרתום את הצד המועיל שלה לפני שגורמים זדוניים ינצלו את הצד המזיק. כל הסוגיות הדחופות האלה יצטלבו בהכרח, וסביר שחלק גדול ממה שאנחנו מכנים היום ״מדיניות AI״ יתגבש בתוך ההמולה הזאת.
אבל לא על העניינים הדחופים שמחייבים תגובה מיידית באתי לדבר איתכם היום. במקום זאת, אני רוצה לדבר איתכם על הכיוון שאליו הדברים עשויים להתפתח, כשמסתכלים על התמונה הגדולה. בתוך שטף כזה של עניינים דחופים, קשה לפעמים לחשוב על השאלות המופשטות יותר, שנראות רחוקות מחיי המעשה. אבל השאלות האלה חשובות. בלי מושג לאילו עתידים נרצה להגיע בטווח הארוך — ומאילו נרצה להימנע — אנחנו עלולים להגיע לתוצאה כוללת שאינה רצויה לנו, גם אם נקבל החלטות נבונות בכל שלב בדרך.
לעיתים קרובות נשמעת הטענה שלתעשיית הטכנולוגיה אין חזון חיובי לגבי המקום שאליו יובילו אותנו הדברים שהיא בונה. אני חולק על כך: סן פרנסיסקו ומוקדי יזמות אחרים מלאים בחזונות חיוביים לעתידנו הטכנולוגי. אנשים באמת מפתחים מכוניות מעופפות, כלי רכב אוטונומיים, רובוטים בשלל גדלים וצורות, היתוך גרעיני, וכמובן, בינה מלאכותית כללית. מה שחסר לנו הוא דווקא חזון חיובי לעתיד המוסדות שלנו: איך כל זה יעבוד?
אבל אין פירוש הדבר שאין חזון לעתידם של המוסדות. לצערי, החזון שאני נתקל בו בתדירות הגבוהה ביותר אינו חזון שהייתי מכנה חיובי. כשבכלל נותנים לו ביטוי, זה בדרך כלל בלחישות. אבל לרוב הוא נותר לא נאמר, ואפשר להבחין בו רק בין השורות. אני קורא לו הקונצנזוס השקט.
דמיינו חברה שיכולה לעשות כמעט הכול בלי עבודה אנושית. מערכות ה-AI שלה עוסקות במחקר ובפיתוח, מגלות תגליות, מנהלות משא ומתן על חוזים, מקצות הון ומייצרות מוצרים. נניח שהיא עושה את כל אלה טוב יותר מהמתחרים האנושיים שלה, גם כשהם נעזרים ב-AI כדי לשפר את ביצועיהם. אם מעורבות אנושית רק מאטה את העסק, למנהלים ולבעלים האנושיים יהיה תמריץ חזק להסיר את ידיהם מההגה. אם זה יקרה בכל רחבי הכלכלה העולמית, ההיגיון של התחרות בשוק ידחוף את בני האדם לוותר על בכורתם במסחר העולמי. עם הזמן, השוק עשוי לשרת את צורכי המכונות באותה מידה שהוא משרת את הצרכים והרצונות של בני האדם, ואולי אף יותר.
מה יקרה לאחר מכן? איש אינו יודע. אולי בני האדם יפיקו מכך תועלת עצומה. אם המכונות שהכפיפו אותנו למרותן ייחסו לבני האדם ערך רב כשלעצמם, נוכל ליהנות מעמלן ומהעושר שהן מייצרות. ואולי, משנישלל מכוחנו הכלכלי ובהדרגה גם מכוחנו הפוליטי, נמצא את עצמנו, בני האדם, פחות ופחות רלוונטיים בעולם, ופחות ופחות מסוגלים להשפיע על מהלך העניינים בו. אולי קומץ בני אדם יחזיקו בכוח ובעושר יוצאי דופן על חשבון המונים שרוב כוחם נשלל מהם, ואולי כולנו נחלוק את אותו גורל של אובדן כוח. יהיו הפרטים אשר יהיו, המכנה המשותף שעליו נשען הקונצנזוס השקט הוא קץ הבכורה האנושית בעולם כפי שאנחנו מכירים אותו.
אף אחד מהתרחישים האלה אינו מחייב את ה-AI למרוד ביוצריו. אף אחד מהם אינו מחייב שבעליו ירצו לשלול מבני האדם את כוחם. כל החלטה להאציל סמכויות יכולה להיות הגיונית כשלעצמה. אך במצטבר, ההחלטות האלה עלולות ליצור עולם שבו בני האדם ויתרו על סמכותם בפועל בחלקים נרחבים מהציוויליזציה שלנו. גם אם נתקדם התקדמות יוצאת דופן בשאלות הסבוכות של בטיחות AI והתאמתו לערכים ולמטרות אנושיים, עדיין נוכל למצוא את עצמנו כפופים לישות מכונה מסוג חדש. בגרסה המאושרת של העתיד, כך יאמר לנו הקונצנזוס השקט, הישות הזאת תהיה טובת לב — מכונה שטובת בני האדם עומדת בראש מעייניה. מכונה, כלשון שירו של בראוטיגן, של חסד אוהב.
למכונות האלה, אומר לנו הקונצנזוס השקט, נמסור את המפתחות לחברות שלנו, ובהדרגה גם למוסדות השלטון שלנו. הן ינהלו אותם באופן אפקטיבי ויעיל יותר, בתבונה ובשיקול דעת העולים על אלה שאנחנו, בני האדם, מסוגלים לגייס. וכך, עם הזמן, נסיר את ידינו מההגה וניתן למכונות האוהבות לנהוג במקומנו. נהיה כמו נוסעים במכונית — מכונית נאה מאוד, אולי מפוארת יותר מכפי שאנחנו מסוגלים לחלום כיום — אבל בכל זאת נוסעים, בלי שליטה על הכיוון שאליו היא נוסעת. אם נעבוד בכלל, יהיה זה בעיקר מעין טקס או העמדת פנים, משהו שדומה יותר למשחק שנועד לשעשע את המין האנושי.
יהיו מי שיטענו שהקונצנזוס השקט נשען על הנחת יסוד שגויה, משום שאנחנו, בני האדם, ממילא איננו שולטים בעולם כיום. וראוי לזכור את הביקורת הזאת: אין איזה ״אנחנו״ שמחליט מה לעשות. אנחנו חיים בעולם מבוזר באופן קיצוני, בין שנרצה בכך ובין שלא. אך גם הנקודה הזאת אינה צריכה להרדים אותנו: אומנם ״אנחנו״ איננו ״שולטים״ בעולם, אבל לבני האדם כמכלול יש בכורה בניהול ענייני העולם. אין שום מין של בעלי חיים שמתחרה בנו ברצינות על השליטה במשאבים. עלינו לדחות את התפיסה המרושלת מבחינה מחשבתית, שלפיה בני האדם יכולים לשלוט בעולם מלמעלה למטה. אבל אין לבלבל בין דחייתה לבין הכחשת המציאות הברורה: בני האדם, כמכלול, הם הגורם המשפיע ביותר על פני כדור הארץ.
חלק מהאנשים שמוכנים לנסח במילים את הקונצנזוס השקט מאמינים שזהו עתיד טוב באמת. אחרים אינם סבורים כך, אך משלימים איתו כבלתי נמנע. הקונצנזוס השקט אינו קונצנזוס משום שכולם מסכימים שהוא טוב, וגם אינו תוכנית סודית של מי שמפתחים AI. ההסכמה היא פשוט שהוויתור על בכורת האדם בענייני העולם הוא בלתי נמנע, או לפחות שקשה מאוד לדמיין חזון אחר לעתיד שיוכל לעמוד באמת במבחן קיומן של מכונות בעלות בינת-על. אדם יכול להתנגד לתוצאה הזאת בכנות, ובכל זאת להתקשות לדמיין חזון חלופי סביר. העובדה שהקונצנזוס הזה נותר ברובו שקט, נאמר בקול חרישי לכל היותר, היא הסימן המסגיר.
אני בז לקונצנזוס השקט. אני דוחה את הוויתור על בכורת האדם. אני מתעב את התחושה שזה בלתי נמנע. אני מזכיר לעצמי שלא אוכל להביט בעיניו היפות של בני התינוק אם אכנע לקונצנזוס השקט. ולכן, לקונצנזוס השקט אני אומר לא. ואני מאמין שהגיע הזמן לדבר בגלוי על הקונצנזוס השקט, ולהתנער מההשלמה שלנו עם החזון הזה — השלמה שברובה כלל איננו מודעים לה.
זו הבעיה: הקונצנזוס השקט לא הפך לקונצנזוס בלי סיבה. קשה לתאר כיצד בני האדם יישארו ליד ההגה לצד בינת מכונה העולה לאין שיעור על הבינה האנושית. רוב הניסיונות לעשות זאת נשענים על הטענה ש-AI הוא כלי בלבד, אמצעי לזיהוי דפוסים שאינו מסוגל ל״הבנה אמיתית״. אני חושש שהטיעונים האלה לא יעמדו במבחן המציאות המתקרבת. אני חושש שהם עצמם סוג של שאננות — עמדה המבוססת בעיקר על הכחשת היכולות של AI, ולא על אמונה המושרשת בחזון חיובי לעתיד בהובלת בני האדם. אי אפשר לטעון שלמערכות AI אין ״הבנה אמיתית״ בשעה שהן מתחילות להתקדם בפתרון בעיות אינטלקטואליות שבני האדם לא הצליחו לפתור במשך עשרות ומאות שנים.
מדוע, אם כן, אני מאמין שבני האדם חייבים לשמור על הבכורה? התשובה הפשוטה היא מפני שאני בן אדם, ואכן, אני מעדיף את המין האנושי ואיני מתנצל על כך.
אבל יש כאן גם משהו עמוק יותר. הבכורה שלנו אינה נשענת על האינטלקט שלנו, וגם לא על שימור המונופול שלנו על ״הבנה אמיתית״ לעולמי עד. הבכורה שלנו נשענת דווקא על העבר שלנו.
כי אנחנו אלה שעלו מתוך הבוץ. אנחנו אלה שעיצבו מעפר ומאבן חברה קדומה. אנחנו אלה שנשאו עיניים לכוכבים ושאלו מדוע. אנחנו, על מאבקינו ואהבתנו, קנאתנו ושמחתנו, גילינו את המוסר, את האתיקה ואת החוק. אנחנו אלה ששרו ורקדו, כתבו והלחינו. אנחנו אלה שעשו היסטוריה, ואנחנו אלה שכתבו אותה. המורשת הזאת היא שלנו. הציוויליזציה שבנינו היא להבה ששמרנו עליה, והלהבה הזאת שייכת לנו. העבר שלנו הוא ירושה מפוארת שכולנו מופקדים על שמירתה. חלק מהאחריות הזאת הוא השתתפותנו במה שמייקל אוקשוט כינה ״השיחה של האנושות״ — אותו מפעל אדיר שהחל בימי קדם.
לאורך אותו עבר ארוך ופתלתל עיצבנו ציוויליזציה, שבאמריקה נוסדה על זכויות הפרט ועל כבוד עמוק לדרכים שכל אחד מאיתנו סולל במסעו בעולם. חייהם של בני האדם יכולים להתפתח לטובה או לרעה: אנחנו קוצרים את פירות החלטותינו הנבונות, ונושאים בתוצאות כשאנחנו טועים. הזכות ללכת בדרך משלנו אינה מותנית בכך שנהיה הפיקחים או הנבונים ביותר. אני לא מאבד את מעמדי כאזרח מפני שלשכן שלי יש שיקול דעת טוב יותר. איני רואה סיבה שגם הופעתה של מכונה חכמה יותר תבטל את המעמד הזה. למעשה, אני רואה את כל הסיבות למנוע ביטול כזה.
יש שיטענו שגם המכונות הן יורשות, שכן קראו כמעט את כל התיעוד הכתוב של המורשת הזאת. ובמובן מסוים, זה נכון. אבל אדם שקרא כל מכתב בעליית הגג של משפחתכם לא הופך בשל כך לבן משפחה. מערכות AI יצטרפו לשיחה של האנושות, תחילה כצופות ובהדרגה כמשתתפות. אבל אסור להן להשתלט עליה או להפוך אותה לחסרת משמעות. ויתור על הבכורה הוא בגידה באבותינו לא פחות משהוא בגידה בצאצאינו. אם זה לא מאבק שראוי להיאבק בו, שום מאבק אינו ראוי.
אני עצמי מאמין שתומכי הקונצנזוס השקט טועים בתפיסתם לגבי מהותה העתידית של בינת-העל הממוחשבת. שהם מחמיצים משהו חשוב באופן שבו העולם פועל, ומבלבלים בין בינה לכוח. אילו תיארתם לפני חמש או עשר שנים לתומך בקונצנזוס השקט אפילו את יכולותיהן של מערכות ה-AI הקיימות כיום, הוא כנראה היה חוזה ששיעור האבטלה יהיה היום גבוה בהרבה מכפי שהוא בפועל, ושתהליך אובדן הכוח של בני האדם בכללותו יהיה בשלב מתקדם בהרבה מזה שבו הוא נמצא באמת. אני מאמין שהבינה והיכולת הקולקטיביות של בני האדם גדולות בהרבה מכפי שסבורים תומכי הקונצנזוס השקט, ושהחברות שלנו יתגלו כעמידות יותר מכפי שהם חוזים.
אבל ייתכן שאני טועה. ייתכן, למשל, שתאגידים אוטונומיים לחלוטין פשוט ידחקו לגמרי את העסקים האנושיים מהתחרות. ואם זה נכון, ההיגיון הכלכלי הקר יכתיב העברה של עוד ועוד הון לידי המכונות. בעתיד כזה, שלילת כוחם של בני האדם אינה מחייבת שהמכונות יפילו את הציוויליזציה האנושית; די בכך שההיגיון של הפעילות העסקית הקפיטליסטית ימשיך לפעול כסדרו. במקרה כזה, ההקבלה הקרובה ביותר למהפכת ה-AI תהיה המהפכה החקלאית, שבה שיטות ייצור חדשות שינו מן היסוד את מבנה החברה האנושית. כלל לא ברור שהשינוי הזה היה נעים לבני האדם שחוו אותו; למעשה, יש ראיות משמעותיות לכך שהוא פגע ברווחת האדם במשך אלפי שנים.
איני יודע אם זה העתיד שעומד בפנינו, ולמעשה כבר טענתי במקום אחר שאיני מאמין שכך יהיה. אבל רבים מעמיתיי — אנשים חכמים, אכפתיים ומצפוניים — מאמינים שזה כנראה העתיד שלנו. אם הם צודקים, המאבק שלנו בקונצנזוס השקט יהיה קשה עוד יותר. נצטרך לשחות נגד הזרם הכלכלי, ובתוך כך לדחות רבות מהאמיתות הנחשבות למקודשות בעיני אינדיבידואליסטים ליברלים קלאסיים כמוני. יהיה זה מהלך מסוכן, שהסיכוי לכישלונו כלל אינו מבוטל. אבל אם זה לא מאבק שראוי להיאבק בו, שום מאבק אינו ראוי.
שמירה על הבכורה פירושה שמירה על חובתם של בני אדם ומוסדות אנושיים לתת דין וחשבון. פירוש הדבר שמפתחי AI צריכים לשאת באחריות כשהם נוקטים שיטות פיתוח לא בטוחות. אבל פירוש הדבר גם שאנשים וחברות המשתמשים ב-AI צריכים לשאת באחריות כאשר שימוש לא ראוי מצידם או היעדר פיקוח שלהם הם שגורמים לנזק. לשם כך דרושה לא רק חקיקה, אלא גם תשתית טכנית שתאפשר לייחס אחריות. חייבת להיות זיקה בין בני האדם לבין פעולות הסוכנים שלהם. וסוכנים שאינם משויכים לאדם — אם בכלל יורשו לפעול בכלכלה הלגיטימית — חייבים לפעול בכפוף למגבלות בטיחות. כל הרשאה לסוכנים להקים תאגידים, להחזיק רכוש או לנהל הליכים משפטיים באופן אוטונומי צריכה להינתן בזהירות יוצאת דופן, אם בכלל.
ובתעשייה שלי, אנחנו יכולים להתחיל לחשוב ברצינות כיצד לבנות מכונות חכמות שעולות בקנה אחד עם בכורת האדם. אנחנו יכולים לבנות סוכנים שההרשאות שלהם ברורות ומוגבלות, שניתן לבדוק את פעולותיהם, ושהמשתמשים יכולים לשלול את סמכותם. נשיאה באחריות לפעולות שמשפיעות באופן מהותי על אחרים אינה מחייבת מעקב אחר חיי היומיום הפרטיים או ביטול האפשרות להתבטא בעילום שם. אנחנו יכולים להתחייב לפרטיות המשתמשים ולריבונותו של כל אדם על הרכוש והנתונים הדיגיטליים שלו, לרבות היכולת המעשית להעביר את הנתונים האלה למקום אחר. אנחנו יכולים לתכנן מערכות שעוזרות לאנשים להבין ולקבל החלטות, לצד מערכות שמבצעות משימות. ואנחנו יכולים לבדוק אם המוצרים שאנחנו בונים משפרים את יכולתם של המשתמשים לפעול בעולם.
כל אלה אינם תוכנית מלאה לחברה שיש בה בינה על-אנושית. הייתי מפקפק בכל מי שהיה טוען שיש בידיו תוכנית כזאת. אבל זו נקודת התחלה.
העתיד לוט בערפל סמיך. אבל אנחנו עדיין יכולים לפעול היום. יחד, אנחנו יכולים, בתור התחלה, לקרוא לקונצנזוס השקט בשמו בקול רם, ולהוציא את קווי המתאר שלו לאור היום. כל אחד מאיתנו יכול להרחיב מן היסוד את גבולות השאיפות שלו. אנחנו יכולים לבחור שלא לתת ל-AI להקטין אותנו, ובמקום זאת להשקיע את המאמץ הדרוש כדי לאפשר לו להעצים אותנו. אנחנו יכולים ללמוד לשאול שאלות נועזות יותר ויותר, לחקור את העולם במרץ ובעוצמה חדשים, ולרתום לשם כך את המכונות רבות-העוצמה שלנו. אנחנו יכולים להפוך לסוג חדש של אדם — לא אדם טרנס-הומני, אלא אדם שאופקיו הורחבו.
אני חושב על כך כשאני מביט בבני התינוק. איני מאחל לו רק לחיות בהשגחתן של מכונות מיטיבות, נוחים ככל שיהיו החיים שהן יוכלו לספק לו. אני רוצה שהוא יירש עולם שבו יוכל לשאול שאלות שאיש לא חשב לשאול, ולבנות דברים שאיש לא חשב לבנות. אני לא רוצה שתהיה לו מכונית יפה יותר עם מושב נוסע מפנק יותר. אני רוצה שההגה יהיה בידיו.
- 2026


