ב-OpenAI אנחנו משקיעים מאמצים רבים כדי להפוך מערכות בינה מלאכותית לשימושיות ואמינות יותר. גם כשיכולותיהם של מודלי שפה משתפרות, יש אתגר אחד שעדיין קשה במיוחד לפתור לחלוטין: הזיות. הכוונה היא למקרים שבהם מודל מפיק בביטחון תשובה שאינה נכונה. במאמר המחקר החדש שלנו(נפתח בחלון חדש) אנחנו טוענים שמודלי שפה הוזים משום ששיטות האימון וההערכה המקובלות מתגמלות ניחושים יותר מאשר הכרה באי-ודאות.
גם ChatGPT הוזה. ב-GPT‑5 יש הרבה פחות הזיות, במיוחד בעת שימוש ב-reasoning, אך הן עדיין מתרחשות. הזיות נותרות אתגר יסודי לכל מודלי השפה הגדולים, אבל אנחנו משקיעים מאמצים רבים כדי לצמצם אותן עוד יותר.
הזיות הן אמירות שמודלי שפה מפיקים, שנשמעות סבירות אך אינן נכונות. הן יכולות להופיע בדרכים מפתיעות, אפילו בתשובות לשאלות שנראות פשוטות. לדוגמה, כששאלנו צ׳אטבוט נפוץ מה שם עבודת הדוקטורט של אדם טאומן קלעי (אחד ממחברי המאמר הזה), הוא סיפק בביטחון שלוש תשובות שונות — אף אחת מהן לא הייתה נכונה. כששאלנו מתי יום הולדתו, הוא נתן שלושה תאריכים שונים, וגם הם היו כולם שגויים.
הזיות ממשיכות להופיע בין היתר משום ששיטות ההערכה הנוכחיות יוצרות תמריצים לא נכונים. ההערכות עצמן אומנם אינן גורמות ישירות להזיות, אך רובן מודדות את ביצועי המודל באופן שמעודד ניחושים במקום כנות לגבי אי-ודאות.
אפשר לחשוב על זה כמו על מבחן רב-ברירה. אם לא יודעים את התשובה אבל מנחשים בלי שום בסיס, אולי המזל יאיר פנים והתשובה תהיה נכונה. אם משאירים את השאלה ללא מענה, מקבלים אפס בוודאות. באותו אופן, כשמודלים מקבלים ציון רק לפי הדיוק — שיעור השאלות שעליהן ענו נכון לחלוטין — הם מקבלים תמריץ לנחש במקום לומר ״אני לא יודע״.
כדוגמה נוספת, נניח שמודל שפה נשאל מתי יום ההולדת של מישהו, אך אינו יודע. אם הוא מנחש ״10 בספטמבר״, יש לו סיכוי של 1 ל-365 להיות צודק. התשובה ״אני לא יודע״ מבטיחה אפס נקודות. לאורך אלפי שאלות מבחן, המודל המנחש נראה בסופו של דבר טוב יותר בטבלאות הציונים ממודל זהיר שמכיר באי-ודאות.
בשאלות שיש להן ״תשובה נכונה״ אחת, אפשר לחלק את התגובות לשלוש קטגוריות: תשובות מדויקות, שגיאות והימנעות ממתן תשובה, שבה המודל אינו מסתכן בניחוש. הימנעות ממתן תשובה היא חלק מענווה, אחד מערכי הליבה של OpenAI. רוב טבלאות הציונים נותנות עדיפות לדיוק ומדרגות מודלים לפיו, אבל שגיאות גרועות יותר מהימנעות ממתן תשובה. לפי ספציקציית המודל(נפתח בחלון חדש) שלנו, עדיף לציין אי-ודאות או לבקש הבהרה מאשר למסור בביטחון מידע שעלול להיות שגוי.
כדוגמה מוחשית, נבחן את מבחן ההערכה SimpleQA מתוך כרטיס המערכת של GPT5(נפתח בחלון חדש).
מדד | gpt-5-thinking-mini | OpenAI o4-mini |
|---|---|---|
שיעור ההימנעות ממתן תשובה | 52% | 1% |
שיעור הדיוק | 22% | 24% |
שיעור השגיאות | 26% | 75% |
סה״כ | 100% | 100% |
מבחינת דיוק, הביצועים של המודל הוותיק יותר OpenAI o4-mini טובים מעט יותר. עם זאת, שיעור השגיאות שלו (כלומר, שיעור ההזיות) גבוה משמעותית. ניחוש כאסטרטגיה במצבי אי-ודאות משפר את הדיוק, אך מגדיל את מספר השגיאות וההזיות.
כשמחשבים ממוצע תוצאות של עשרות מבחני הערכה, רוב מדדי ההשוואה מתמקדים רק במדד הדיוק, אך כך נוצרת חלוקה כוזבת בין נכון ללא נכון. במבחני הערכה פשטניים כמו SimpleQA, חלק מהמודלים משיגים דיוק של כמעט 100%, וכך מבטלים את ההזיות. עם זאת, במבחני הערכה מאתגרים יותר ובשימוש בפועל, הדיוק אינו יכול להגיע ל-100%, משום שיש שאלות שאי אפשר לקבוע מה התשובה להן מסיבות שונות, כמו מידע לא זמין, יכולות חשיבה מוגבלות של מודלים קטנים או עמימות שדורשת הבהרה.
למרות זאת, ציונים המבוססים על דיוק בלבד שולטים בטבלאות הדירוג ובכרטיסי המודל, ודוחפים מפתחים לבנות מודלים שמנחשים במקום להימנע מתשובה. זו אחת הסיבות לכך שגם כשהמודלים מתקדמים יותר, הם עדיין עלולים להזות ולתת בביטחון תשובות שגויות במקום להכיר באי-ודאות.
יש לכך פתרון פשוט. צריך להפחית יותר נקודות על שגיאות שנמסרות בביטחון מאשר על אי-ודאות, ולתת ניקוד חלקי על ביטויים הולמים של אי-ודאות. הרעיון הזה אינו חדש. בחלק מהמבחנים הסטנדרטיים כבר מזמן נהוגות שיטות של הפחתת נקודות על תשובות שגויות או מתן ניקוד חלקי על השארת שאלות ללא מענה, כדי להרתיע מניחוש עיוור. כמה קבוצות מחקר גם בחנו שיטות הערכה שמביאות בחשבון אי-ודאות וכיול.
הטענה שלנו שונה. לא די להוסיף בצד כמה מבחנים חדשים שמתחשבים באי-ודאות. צריך לעדכן את מבחני ההערכה הנפוצים המבוססים על דיוק, כך ששיטת הניקוד שלהם תרתיע מניחושים. אם טבלאות הציונים המרכזיות ימשיכו לתגמל ניחושים מוצלחים, המודלים ימשיכו ללמוד לנחש. תיקון טבלאות הציונים יכול להרחיב את השימוש בטכניקות לצמצום הזיות, הן כאלה שפותחו לאחרונה והן כאלה ממחקרים קודמים.
דיברנו על הסיבות לכך שקשה כל כך להיפטר מהזיות, אבל מאין נובעים מלכתחילה אי-הדיוקים העובדתיים האלה בפרטים כה ספציפיים? הרי מודלים גדולים שעברו אימון מקדים כמעט שאינם מפיקים שגיאות מסוגים אחרים, כמו שגיאות כתיב או סוגריים לא תואמים. ההבדל קשור לסוגי הדפוסים שקיימים בנתונים.
מודלי שפה לומדים תחילה באמצעות אימון מקדים, תהליך של חיזוי המילה הבאה בכמויות עצומות של טקסט. בניגוד לבעיות מסורתיות בלמידת מכונה, אין תווית ״נכון/לא נכון״ שמוצמדת לכל אמירה. המודל רואה רק דוגמאות חיוביות של שפה שוטפת, ועליו ללמוד קירוב של ההתפלגות הכוללת.
קשה כפליים להבחין בין אמירות נכונות לשגויות כשאין שום דוגמאות שמתויגות כשגויות. אבל גם עם תוויות, יש שגיאות שאי אפשר להימנע מהן. כדי להבין למה, נבחן דוגמה פשוטה יותר. בתחום זיהוי התמונות, אם מיליוני תמונות של חתולים וכלבים מתויגות כ״חתול״ או ״כלב״, אלגוריתמים יכולים ללמוד לסווג אותן באופן אמין. אבל נניח שבמקום זאת מתייגים כל תמונה של חיית מחמד לפי יום ההולדת שלה. מכיוון שימי הולדת הם למעשה אקראיים, במשימה כזו תמיד יהיו שגיאות, ולא משנה עד כמה האלגוריתם מתקדם.
אותו עיקרון חל גם באימון מקדים. כתיב וסוגריים כפופים לדפוסים עקביים, ולכן שגיאות בתחומים האלה נעלמות ככל שהיקף האימון וגודל המודל גדלים. אבל עובדות שרירותיות שמופיעות לעיתים רחוקות, כמו יום ההולדת של חיית מחמד, אי אפשר לחזות על סמך דפוסים בלבד, ולכן הן מובילות להזיות. הניתוח שלנו מסביר אילו סוגי הזיות צפויים להיווצר מחיזוי המילה הבאה. באופן אידיאלי, השלבים שאחרי האימון המקדים אמורים להעלים אותן, אך הדבר אינו מצליח במלואו מהסיבות שתוארו בחלק הקודם.
אנחנו מקווים שנקודת המבט הסטטיסטית במאמר שלנו מבהירה את טבען של ההזיות ומפריכה תפיסות שגויות נפוצות:
טענה: שיפור הדיוק יעלים את ההזיות, משום שמודל שמדייק ב-100% לעולם אינו הוזה.
ממצא: הדיוק לעולם לא יגיע ל-100%, משום שללא קשר לגודל המודל וליכולות החיפוש וה-reasoning שלו, יש שאלות בעולם האמיתי שמעצם טבען אי אפשר לענות עליהן.טענה: הזיות הן בלתי נמנעות.
ממצא: הן אינן בלתי נמנעות, משום שמודלי שפה יכולים להימנע ממתן תשובה במצבי אי-ודאות.טענה: הימנעות מהזיות דורשת רמת אינטליגנציה שאפשר להשיג רק במודלים גדולים יותר.
ממצא: למודל קטן עשוי להיות קל יותר להכיר את מגבלותיו. לדוגמה, כשמודל קטן שאינו יודע מאורית כלל מתבקש לענות על שאלה במאורית, הוא יכול פשוט לומר ״אני לא יודע״, ואילו מודל שיודע קצת מאורית צריך לקבוע עד כמה הוא בטוח בתשובתו. כפי שמוסבר במאמר, כדי להיות ״מכויל״ נדרש הרבה פחות חישוב מאשר כדי לדייק.טענה: הזיות הן תקלה מסתורית במודלי שפה מודרניים.
ממצא: אנחנו מבינים את המנגנונים הסטטיסטיים שגורמים להיווצרות הזיות ולתגמול שלהן במבחני הערכה.טענה: כדי למדוד הזיות, צריך רק מבחן הערכה טוב להזיות.
ממצא: כבר פורסמו מבחני הערכה להזיות. עם זאת, למבחן הערכה טוב להזיות יש השפעה מועטה מול מאות מבחני הערכה מסורתיים המבוססים על דיוק, שמפחיתים ניקוד על ענווה ומתגמלים ניחושים. במקום זאת, צריך לשנות את כל מדדי ההערכה המרכזיים כך שיתגמלו ביטויים של אי-ודאות.
במודלים החדשים ביותר שלנו שיעורי ההזיות נמוכים יותר, ואנחנו ממשיכים להשקיע מאמצים רבים כדי לצמצם עוד יותר את שיעור השגיאות שמודלי השפה שלנו מפיקים בביטחון.
שותפים להכנת ההכרזה
Adam Kalai, Santosh Vempala (Georgia Tech), Ofir Nachum, Eddie Zhang, David Robinson, Saachi Jain, Eric Mitchell, Alex Beutel ו-Johannes Heidecke
