מדידת הביצועים של המודלים שלנו במשימות מהעולם האמיתי

המשימה שלנו היא להבטיח שבינה מלאכותית כללית תועיל לאנושות כולה. כחלק מהמשימה שלנו, חשוב לנו לשתף בשקיפות בהתקדמות של מודלי בינה מלאכותית ובאופן שבו הם יכולים לעזור לאנשים בעולם האמיתי. לכן אנחנו מציגים את GDPval: מבחן הערכה חדש שנועד לעזור לנו לעקוב אחר הביצועים של המודלים שלנו ושל אחרים במשימות מהעולם האמיתי שיש להן ערך כלכלי. קראנו למבחן הזה GDPval משום שנקודת המוצא שלנו הייתה התוצר המקומי הגולמי (GDP) כמדד כלכלי מרכזי, ובחרנו משימות מהמקצועות המרכזיים בתעשיות שתורמות הכי הרבה לתמ״ג.

רבים מעלים השערות על ההשפעה הרחבה של בינה מלאכותית על החברה, אבל הדרך הברורה ביותר להבין את הפוטנציאל שלה היא לבחון מה מודלים כבר מסוגלים לעשות. ההיסטוריה מלמדת שלטכנולוגיות מרכזיות — מהאינטרנט ועד לסמארטפונים — נדרש יותר מעשור לעבור מהמצאה לאימוץ נרחב. מבחני הערכה כמו GDPval עוזרים לבסס את הדיון בשיפורים עתידיים בבינה מלאכותית על ראיות במקום על ניחושים, ויכולים לעזור לנו לעקוב אחר השיפור במודלים לאורך זמן.

מבחני הערכה קודמים לבינה מלאכותית, כמו מבחנים אקדמיים קשים ואתגרי תכנות תחרותיים, היו חיוניים להרחבת גבולות יכולות ה-reasoning של מודלים, אבל לעיתים קרובות הם אינם משקפים את סוג המשימות שאנשים רבים מבצעים בעבודתם היומיומית.

כדי לגשר על הפער הזה, אנחנו מפתחים מבחני הערכה שמודדים יכולות הרלוונטיות יותר ויותר למציאות ולכלכלה. התהליך החל במבחני ביצועים אקדמיים קלאסיים כמו MMLU (שאלות בסגנון בחינה בעשרות תחומים), המשיך למבחנים יישומיים יותר כמו SWE-Bench (משימות תיקון באגים בהנדסת תוכנה), MLE-Bench (משימות הנדסת למידת מכונה, כגון אימון וניתוח מודלים) ו-Paper-Bench (reasoning מדעי וביקורת על מאמרי מחקר), ולאחרונה הגיע למבחנים מבוססי שוק כמו SWE-Lancer (פרויקטים של הנדסת תוכנה לפרילנסרים המבוססים על תשלומים בפועל).

GDPval הוא השלב הבא בתהליך הזה. הוא מודד ביצועי מודלים במשימות שנלקחו ישירות מעבודת הידע של אנשי מקצוע מנוסים במגוון רחב של מקצועות ומגזרים, ומספק תמונה ברורה יותר של ביצועי המודלים במשימות בעלות ערך כלכלי. הערכת מודלים במשימות מקצועיות מציאותיות עוזרת לנו להבין לא רק עד כמה הם מצליחים במעבדה, אלא גם כיצד הם עשויים לסייע לאנשים בעבודתם היומיומית. 

GDPval, הגרסה הראשונה של מבחן ההערכה הזה, מקיף 44 מקצועות שנבחרו מתוך 9 התעשיות שתורמות הכי הרבה לתוצר המקומי הגולמי של ארה״ב. המערך המלא של GDPval כולל 1,320 משימות מקצועיות (220 מהן במערך הזהב שפורסם בקוד פתוח). כל משימה נבנתה ונבדקה בקפידה בידי אנשי מקצוע מהתחומים האלה, בעלי ניסיון של יותר מ-14 שנים בממוצע. כל משימה מבוססת על תוצרי עבודה אמיתיים, כגון מסמך טיעונים משפטי, שרטוט הנדסי, שיחת תמיכה בלקוח או תוכנית טיפול סיעודי.

GDPval ייחודי הן במידת הדמיון שלו למציאות והן במגוון המשימות שהוא מעריך. בניגוד למבחני הערכה אחרים הקשורים לערך כלכלי ומתמקדים בתחומים מסוימים (כמו SWE-Lancer),‏ GDPval מקיף משימות ומקצועות רבים. ובניגוד למבחני ביצועים שבהם יוצרים משימות באופן סינתטי בסגנון בחינה אקדמית (כמו Humanity’s Last Exam או MMLU),‏ GDPval מתמקד במשימות המבוססות על תוצרים שהם עבודה או מוצר אמיתיים הקיימים כיום, או על תוצרי עבודה שנבנו באופן דומה. 

בניגוד למבחני ביצועים מסורתיים, משימות GDPval אינן פרומפטים טקסטואליים פשוטים. הן מגיעות עם קובצי עזר והקשר, והתוצרים המצופים כוללים מסמכים, שקופיות, תרשימים, גיליונות אלקטרוניים ומולטימדיה. החיבור הזה למציאות מאפשר ל-GDPval לבחון באופן מציאותי יותר כיצד מודלים עשויים לסייע לאנשי מקצוע.

GDPval הוא צעד ראשוני שאינו משקף את מלוא המורכבות של משימות כלכליות רבות. אף שהוא מקיף 44 מקצועות ומאות משימות של עבודת ידע, הוא מוגבל להערכות one-shot, ולכן אינו משקף מקרים שבהם מודל צריך לבנות הקשר או להשתפר באמצעות כמה טיוטות. גרסאות עתידיות יכללו גם תהליכי עבודה אינטראקטיביים יותר ומשימות עשירות בהקשר, כדי לשקף טוב יותר את המורכבות של עבודת ידע בעולם האמיתי (פרטים נוספים בסעיף המגבלות בהמשך).

GDPval מכסה משימות ב-9 תעשיות וב-44 מקצועות, והכיסוי ימשיך להתרחב בגרסאות הבאות. 9 התעשיות הראשונות נבחרו מבין התעשיות שתורמות יותר מ-5% לתוצר המקומי הגולמי של ארה״ב, לפי נתוני הבנק הפדרלי של סנט לואיס. לאחר מכן בחרנו בכל תעשייה את 5 המקצועות שתורמים הכי הרבה לסך השכר והתגמול ושעיקרם עבודת ידע, באמצעות נתוני שכר ותעסוקה מתוך דוח התעסוקה לפי מקצועות של הלשכה האמריקאית לסטטיסטיקה של העבודה (BLS) ממאי 2024⁠(נפתח בחלון חדש). כדי לקבוע אם עיקר העיסוק במקצועות הוא עבודת ידע, השתמשנו בנתוני משימות מתוך O*NET⁠(נפתח בחלון חדש), מאגר מידע על מקצועות בארה״ב בחסות משרד העבודה האמריקאי. סיווגנו כל משימה בכל מקצוע ב-O*NET כעבודת ידע או כעבודה פיזית/ידנית (הדורשת ביצוע פעולות בעולם הפיזי). מקצוע סווג ככזה ש״עיקרו עבודת ידע״ אם לפחות 60% מהמשימות המרכיבות אותו סווגו כמשימות שאינן כוללות עבודה פיזית או ידנית. בחרנו בסף של 60% כנקודת פתיחה לגרסה הראשונה של GDPval, כדי להתמקד במקצועות שבהם לבינה מלאכותית עשויה להיות ההשפעה הגדולה ביותר על הפריון בפועל. 

בתהליך הזה נבחרו 44 מקצועות להיכלל במבחן.

בכל מקצוע עבדנו עם אנשי מקצוע מנוסים כדי ליצור משימות מייצגות המשקפות את עבודתם היומיומית. לאנשי המקצוע האלה היו בממוצע 14 שנות ניסיון, עם רקורד מרשים של התקדמות מקצועית. גייסנו במכוון מגוון רחב של מומחים — למשל עורכי דין מתחומי עיסוק שונים וממשרדים בגדלים שונים — כדי להבטיח ייצוג רחב ככל האפשר.

כל משימה עברה תהליך בדיקה רב-שלבי כדי לוודא שהיא מייצגת עבודה אמיתית, שאיש מקצוע אחר יכול להשלים אותה ושהיא ברורה מספיק להערכה. בממוצע, כל משימה עברה 5 סבבים של בדיקת מומחים, שכללו בדיקות של כותבי משימות אחרים, בודקים נוספים מאותו מקצוע ואימות באמצעות מודלים. 

מערך הנתונים שנוצר כולל 30 משימות שנבדקו במלואן לכל מקצוע (במערך המלא), ומתוכן 5 משימות לכל מקצוע במערך הזהב שפרסמנו בקוד פתוח. זהו בסיס איתן להערכת ביצועי מודלים בעבודת ידע מהעולם האמיתי.

כדי להעריך את ביצועי המודלים במשימות GDPval, אנחנו נעזרים ב״מעריכים״ מומחים — קבוצה של אנשי מקצוע מנוסים מאותם מקצועות המיוצגים במערך הנתונים. המעריכים משווים באופן עיוור בין תוצרים של מודלים לתוצרים של כותבי המשימות (בלי לדעת מה נוצר באמצעות בינה מלאכותית ומה בידי אדם), ומספקים ביקורת ודירוגים. לאחר מכן הם מדרגים את התוצרים האנושיים ואת תוצרי הבינה המלאכותית, ומסווגים כל תוצר של בינה מלאכותית כ״טוב יותר״, ״טוב באותה מידה״ או ״טוב פחות״ בהשוואה לתוצר האנושי.

כותבי המשימות יצרו גם מחווני הערכה מפורטים למקצועות שלהם, שמוסיפים עקביות ושקיפות לתהליך הדירוג. בנינו גם ״מעריך אוטומטי״ — מערכת בינה מלאכותית שאומנה להעריך כיצד מומחים אנושיים ישפטו תוצר נתון. במילים אחרות, במקום לבצע בדיקת מומחים מלאה בכל פעם, המעריך האוטומטי יכול לחזות במהירות איזה פלט אנשים צפויים להעדיף. אנחנו משיקים את הכלי ב-evals.openai.com כשירות מחקר ניסיוני, אך הוא עדיין אינו אמין כמו מעריכים מומחים, ולכן איננו משתמשים בו כתחליף להם. 

מצאנו שמודלי החזית הטובים ביותר כיום כבר מתקרבים לאיכות העבודה של מומחים בתעשייה. כדי לבדוק זאת, ערכנו הערכות עיוורות שבהן מומחים בתעשייה השוו בין תוצרים של כמה מודלים מובילים — GPT‑4o,‏ o4-mini,‏ OpenAI o3,‏ GPT‑5,‏ Claude Opus 4.1,‏ Gemini 2.5 Pro ו-Grok 4 — לבין תוצרים אנושיים. ב-220 המשימות שבמערך הזהב של GDPval, תיעדנו מתי תוצרי המודלים דורגו כטובים יותר (״ניצחונות״) או כשווים באיכותם (״תיקו״) לתוצרים של מומחים בתעשייה, כפי שמוצג בתרשים העמודות שלהלן. Claude Opus 4.1 היה המודל בעל הביצועים הטובים ביותר בקבוצה, והצטיין במיוחד באסתטיקה (למשל עיצוב מסמכים ופריסת שקופיות). GPT‑5 הצטיין במיוחד בדיוק (למשל איתור ידע ייעודי לתחום). אנחנו רואים גם התקדמות ברורה לאורך זמן במשימות האלה. הביצועים גדלו ביותר מפי שניים מ-GPT‑4o (שהושק באביב 2024) ועד GPT‑5 (שהושק בקיץ 2025), במגמה ליניארית ברורה.

בנוסף, מצאנו שמודלי חזית יכולים להשלים משימות GDPval במהירות גבוהה בערך פי 100 ובעלות נמוכה בערך פי 100 לעומת מומחים בתעשייה. עם זאת, הנתונים האלה משקפים רק את זמן ההסקה של המודל ואת תעריפי החיוב של ה-API, ולכן אינם כוללים את הפיקוח האנושי, סבבי השיפור ושלבי השילוב הנדרשים לשימוש במודלים שלנו בסביבת עבודה אמיתית. ובכל זאת, במיוחד במשימות שבהן המודלים חזקים במיוחד, אנחנו מצפים שהעברת משימה למודל לפני שמנסים לבצע אותה בעזרת אדם תחסוך זמן וכסף.

לבסוף, אימנו בהדרגה גרסה פנימית וניסיונית של GPT‑5 כדי לבחון אם נוכל לשפר את הביצועים ב-GDPval. מצאנו שהתהליך הזה שיפר את הביצועים, ובכך פתח פתח לשיפורים אפשריים נוספים. ניסויים מבוקרים נוספים תומכים בכך: הגדלת המודל, עידוד שלבי reasoning נוספים ומתן הקשר עשיר יותר למשימה — כל אחד מאלה הוביל לשיפור מדיד.

אפשר לקרוא את התוצאות המלאות במאמר שלנו. אנחנו מפרסמים גם תת-קבוצת זהב של משימות GDPval ושירות דירוג ציבורי, כדי שחוקרים אחרים יוכלו להתבסס על העבודה הזאת.

ככל שיכולות הבינה המלאכותית יגדלו, היא צפויה לחולל שינויים בשוק העבודה. התוצאות הראשוניות של GDPval מראות שמודלים כבר יכולים לבצע חלק מהמשימות החזרתיות והמוגדרות היטב מהר יותר ובעלות נמוכה יותר ממומחים. עם זאת, רוב התפקידים הם יותר מאוסף של משימות שאפשר להעלות על הכתב. GDPval מראה היכן בינה מלאכותית יכולה לטפל במשימות שגרתיות, כדי שאנשים יוכלו להקדיש יותר זמן לחלקים היצירתיים בעבודה ולחלקים שדורשים שיקול דעת רב. כשבינה מלאכותית משלימה כך את יכולות העובדים, היא יכולה להוביל לצמיחה כלכלית משמעותית. המטרה שלנו היא להבטיח שכולם ייהנו מההתקדמות שמביאה הבינה המלאכותית: להנגיש את הכלים האלה לכול, לתמוך בעובדים בתקופת השינוי ולבנות מערכות שמתגמלות מגוון רחב של תורמים. 

GDPval הוא צעד ראשוני. אף שהוא מקיף 44 מקצועות ומאות משימות, אנחנו ממשיכים לשכלל את הגישה שלנו כדי להרחיב את היקף הבדיקות ולהפוך את התוצאות למשמעותיות יותר. גם הגרסה הנוכחית של ההערכה היא במתכונת one-shot, ולכן היא אינה משקפת מקרים שבהם מודל צריך לבנות הקשר או להשתפר באמצעות כמה טיוטות — למשל, לעדכן מסמך טיעונים משפטי בעקבות משוב מהלקוח או לשפר ניתוח נתונים לאחר זיהוי חריגה. בנוסף, בעולם האמיתי משימות אינן תמיד מוגדרות בבירור באמצעות פרומפט וקובצי עזר. למשל, עורך דין עשוי להידרש להתמודד עם עמימות ולשוחח עם הלקוח לפני שיחליט שהכנת מסמך טיעונים משפטי היא הדרך הנכונה לעזור לו. אנחנו מתכננים להרחיב את GDPval כך שיכלול יותר מקצועות, תעשיות וסוגי משימות, עם יותר אינטראקטיביות ומשימות הדורשות התמודדות עם עמימות. המטרה לטווח הארוך היא למדוד טוב יותר את ההתקדמות בסוגים מגוונים של עבודת ידע.

• אם אתם מומחים בתעשייה ומעוניינים לתרום ל-GDPval, אנא הביעו עניין כאן.

• אם אתם לקוחות שעובדים עם OpenAI ורוצים לתרום לסבב עתידי של GDPval, אנא הביעו עניין כאן.

השתתפות הקהילה חיונית — אנחנו נרגשים לפתח את GDPval יחד עם חוקרים, אנשי מקצוע וארגונים ששותפים למטרה שלנו: להפוך את AGI לשימושית יותר לאנשים בעבודתם.