היום אנחנו משיקים בפלטפורמת API שלנו את GPT‑5 — המודל הטוב ביותר שלנו עד כה לתכנות ולמשימות אג'נטיות.
GPT‑5 מציג ביצועים מובילים (SOTA) במבחני תכנות מרכזיים, עם ציון של 74.9% ב-SWE-bench Verified ו-88% ב-Aider polyglot. אימנו את GPT‑5 להיות שותף אמיתי לתכנות. הוא מצטיין בהפקת קוד איכותי ובביצוע משימות כמו תיקון באגים, עריכת קוד ומענה על שאלות בנוגע לבסיסי קוד מורכבים. המודל נוח להכוונה ולשיתוף פעולה — הוא יכול למלא הוראות מפורטות מאוד בדיוק גבוה, ולהסביר מראש את פעולותיו לפני קריאות לכלים וביניהן. המודל מצטיין גם בתכנות צד לקוח: בבדיקות פנימיות הוא גבר על OpenAI o3 בפיתוח צד לקוח לאינטרנט ב-70% מהמקרים.
אימנו את GPT‑5 על משימות תכנות מהעולם האמיתי, בשיתוף עם נסיינים מוקדמים מחברות הזנק ומארגונים גדולים. ב-Cursor אומרים ש-GPT‑5 הוא ״המודל החכם ביותר [שהם] השתמשו בו״ ושהוא ״חכם להפליא, קל להכוונה, ואפילו בעל אישיות [שהם] לא ראו במודלים אחרים״. ב-Windsurf ציינו ש-GPT‑5 מציג ביצועים מובילים במבחנים שלהם וש״שיעור השגיאות שלו בקריאות לכלים הוא מחצית מזה של מודלי חזית אחרים״. ב-Vercel אומרים ש״זהו מודל הבינה המלאכותית הטוב ביותר לפיתוח צד לקוח. הוא משיג ביצועים מובילים גם בחוש האסתטי וגם באיכות הקוד, שמציבים אותו בקטגוריה משלו״.
GPT‑5 מצטיין גם במשימות אג'נטיות ממושכות — עם תוצאות מובילות במבחן τ2-bench telecom (96.7%), מבחן לקריאה לכלים שפורסם לפני חודשיים בלבד. היכולת המשופרת של GPT‑5 להשתמש בכלים בחוכמה מאפשרת לו לשרשר באופן אמין עשרות קריאות לכלים — הן ברצף והן במקביל — בלי לאבד כיוון. כך הוא מצליח הרבה יותר בביצוע משימות מורכבות מהעולם האמיתי מקצה לקצה. הוא גם ממלא הוראות לשימוש בכלים בדיוק רב יותר, מתמודד טוב יותר עם שגיאות בכלים ומצטיין באחזור תוכן מתוך הקשר ארוך. ב-Manus אומרים ש-GPT‑5 ״השיג את הביצועים הטובים ביותר [שהם] ראו אי פעם ממודל יחיד במבחנים הפנימיים [שלהם]״. ב-Notion אומרים ש״התשובות המהירות [של המודל], במיוחד במצב reasoning נמוך, הופכות את GPT‑5 למודל אידיאלי כשצריך לפתור משימות מורכבות בניסיון אחד״. ב-Inditex ציינו ש״מה שבאמת מייחד [את GPT‑5] הוא עומק ה-reasoning שלו: תשובות רב-שכבתיות ורגישות לדקויות, שמשקפות הבנה אמיתית של התחום״.
אנחנו מציגים תכונות חדשות ב-API שלנו כדי לתת למפתחים שליטה רבה יותר בתשובות המודל. GPT‑5 תומך בפרמטר חדש, verbosity (ערכים: low, medium, high), שעוזר לקבוע אם התשובות יהיו קצרות וממוקדות או ארוכות ומקיפות. הפרמטר reasoning_effort של GPT‑5 יכול כעת לקבל ערך מינימלי, כדי להחזיר תשובות מהר יותר בלי לבצע קודם reasoning נרחב. הוספנו גם סוג חדש של כלים — כלים מותאמים אישית — שמאפשר ל-GPT‑5 לקרוא לכלים באמצעות טקסט פשוט במקום JSON. כלים מותאמים אישית תומכים בהגבלות באמצעות דקדוקים חסרי הקשר שהמפתחים מספקים.
אנחנו משיקים את GPT‑5 בשלושה גדלים ב-API — gpt-5, gpt-5-mini ו-gpt-5-nano — כדי לתת למפתחים גמישות רבה יותר באיזון בין ביצועים, עלות וזמן תגובה. בעוד ש-GPT‑5 ב-ChatGPT הוא מערכת של מודלי reasoning, מודלים ללא reasoning ומודלי ניתוב, GPT‑5 בפלטפורמת API הוא מודל ה-reasoning שמאפשר את הביצועים המרביים ב-ChatGPT. חשוב לציין ש-GPT‑5 עם reasoning מינימלי הוא מודל שונה מהמודל ללא reasoning שב-ChatGPT, והוא מותאם טוב יותר למפתחים. המודל ללא reasoning המשמש ב-ChatGPT זמין בשם gpt-5-chat-latest.
כדי לקרוא על GPT‑5 ב-ChatGPT וללמוד עוד על שיפורים נוספים ב-ChatGPT, עיינו בבלוג המחקר שלנו. למידע נוסף על ההתלהבות של ארגונים מהשימוש ב-GPT‑5, עיינו בבלוג שלנו לארגונים.
GPT‑5 הוא מודל התכנות החזק ביותר שהשקנו אי פעם. הוא עולה על o3 במבחני תכנות ובמקרי שימוש מהעולם האמיתי, ועבר כוונון עדין כדי להצטיין במוצרי תכנות אג'נטי כמו Cursor, Windsurf, GitHub Copilot ו-Codex CLI. GPT‑5 הרשים את נסייני האלפא שלנו וקבע שיאים ברבים מהמבחנים הפנימיים הפרטיים שלהם.
משוב ראשוני על GPT‑5 במשימות תכנות מהעולם האמיתי
ב-SWE-bench Verified, מבחן המבוסס על משימות הנדסת תוכנה מהעולם האמיתי, GPT‑5 משיג ציון של 74.9%, לעומת 69.1% של o3. חשוב לציין ש-GPT‑5 משיג את הציון הגבוה ביעילות ובמהירות רבות יותר: בהשוואה ל-o3 ברמת מאמץ reasoning גבוהה, GPT‑5 משתמש ב-22% פחות טוקני פלט וב-45% פחות קריאות לכלים.
במבחן SWE-bench Verified, המודל מקבל מאגר קוד ותיאור של בעיה, ונדרש ליצור תיקון שיפתור אותה. תוויות הטקסט מציינות את רמת מאמץ ה-reasoning. הציונים שלנו אינם כוללים 23 מתוך 500 בעיות שהפתרונות שלהן לא עברו את הבדיקות בעקביות בתשתית שלנו. GPT‑5 קיבל פרומפט קצר שהדגיש את הצורך באימות יסודי של הפתרונות; אותו פרומפט לא שיפר את ביצועי o3.
ב-Aider polyglot, מבחן לעריכת קוד, GPT‑5 קובע שיא חדש של 88% — ירידה של שליש בשיעור השגיאות בהשוואה ל-o3.
במבחן Aider polygot(נפתח בחלון חדש) (diff), המודל מקבל תרגיל תכנות מ-Exercism ונדרש לכתוב את הפתרון שלו כהבדלי קוד (diff). מודלי reasoning הורצו ברמת מאמץ reasoning גבוהה.
מצאנו גם ש-GPT‑5 מצטיין בחקירה מעמיקה של בסיסי קוד כדי לענות על שאלות בנוגע לאופן שבו חלקים שונים פועלים או משתלבים זה בזה. אפילו בבסיס קוד מורכב כמו מערך למידת החיזוק של OpenAI, אנחנו מגלים ש-GPT‑5 יכול לעזור לנו לנתח את הקוד ולענות על שאלות לגביו, וכך להאיץ את העבודה היומיומית שלנו.
בכתיבת קוד צד לקוח לאפליקציות אינטרנט, GPT‑5 מקפיד יותר על אסתטיקה, שאפתני יותר ומדויק יותר. בהשוואות ישירות מול o3, הנסיינים שלנו העדיפו את GPT‑5 ב-70% מהמקרים.
הנה כמה דוגמאות מהנות, שנבחרו במיוחד, למה ש-GPT‑5 יכול לעשות עם פרומפט יחיד:
אפשר לראות דוגמאות נוספות של GPT‑5 בגלריה שלנו כאן(נפתח בחלון חדש).
GPT‑5 הוא שותף טוב יותר לעבודה, במיוחד במוצרי תכנות אג'נטי כמו Cursor, Windsurf, GitHub Copilot ו-Codex CLI. במהלך העבודה, GPT‑5 יכול להציג תוכניות, עדכונים וסיכומים בין הקריאות לכלים. בהשוואה למודלים הקודמים שלנו, GPT‑5 יוזם יותר בהשלמת משימות שאפתניות, בלי לעצור ולחכות לאישורכם ובלי להירתע ממורכבות גבוהה.
הנה דוגמה לאופן שבו GPT‑5 יכול לפעול כשהוא מתמודד עם משימה מורכבת — במקרה הזה, יצירת אתר למסעדה:
לאחר שהמשתמש מבקש אתר למסעדה שלו, GPT‑5 מציג תוכנית קצרה, מקים את שלד האפליקציה, מתקין תלויות, יוצר את תוכן האתר, מריץ בנייה כדי לבדוק אם יש שגיאות קומפילציה, מסכם את עבודתו ומציע צעדים אפשריים להמשך. הסרטון הואץ פי 3 בקירוב כדי לחסוך לכם המתנה; יצירת האתר ארכה כשלוש דקות בסך הכול.
מעבר לתכנות אג'נטי, GPT‑5 טוב יותר במשימות אג'נטיות בכלל. GPT‑5 קובע שיאים חדשים במבחני מילוי הוראות (69.6% ב-Scale MultiChallenge, לפי הערכה של o3‑mini) וקריאה לכלים (96.7% ב-τ2-bench telecom). היכולת המשופרת להשתמש בכלים בחוכמה מאפשרת ל-GPT‑5 לשרשר פעולות באופן אמין יותר כדי להשלים משימות מהעולם האמיתי.
משוב ראשוני על GPT‑5 במשימות אג'נטיות
GPT‑5 ממלא הוראות באופן אמין יותר מכל קודמיו, ומשיג ציונים גבוהים ב-COLLIE, ב-Scale MultiChallenge ובמבחן הפנימי שלנו למילוי הוראות.
במבחן COLLIE(נפתח בחלון חדש), המודלים נדרשים לכתוב טקסט שעומד במגוון אילוצים. במבחן Scale MultiChallenge(נפתח בחלון חדש), המודלים נדרשים להשתמש כראוי בארבעה סוגי מידע מהודעות קודמות במסגרת שיחות מרובות סבבים. הציונים שלנו התקבלו באמצעות o3‑mini כמעריך, שהיה מדויק יותר מ-GPT‑4o. במבחן הפנימי שלנו למילוי הוראות ב-API של OpenAI, המודלים נדרשים למלא הוראות קשות שנגזרו ממשוב אמיתי של מפתחים. מודלי reasoning הורצו ברמת מאמץ reasoning גבוהה.
השקענו מאמץ רב בשיפור הקריאה לכלים בהיבטים שחשובים למפתחים. GPT‑5 טוב יותר במילוי הוראות לשימוש בכלים, בהתמודדות עם שגיאות בכלים ובביצוע יזום של קריאות רבות לכלים ברצף או במקביל. כשמנחים אותו לכך, GPT‑5 יכול גם להציג הודעות הקדמה לפני קריאות לכלים וביניהן, כדי לעדכן משתמשים בהתקדמות במהלך משימות אג'נטיות ממושכות.
לפני חודשיים פרסמה Sierra.ai את τ2-bench telecom כמבחן מאתגר לשימוש בכלים. המבחן הדגיש את הירידה המשמעותית בביצועי מודלי שפה כשהם פועלים בסביבה שמצבה יכול להשתנות בעקבות פעולות של משתמשים. בפרסום שלהם(נפתח בחלון חדש), אף מודל לא השיג ציון מעל 49%. GPT‑5 משיג ציון של 97%.
במבחן τ2-bench(נפתח בחלון חדש), המודל נדרש להשתמש בכלים כדי להשלים משימת שירות לקוחות, כאשר עשוי להיות משתמש שיכול לתקשר ולבצע פעולות המשנות את מצב העולם. מודלי reasoning הורצו ברמת מאמץ reasoning גבוהה.
GPT‑5 מציג שיפורים ניכרים גם בביצועים עם הקשר ארוך. ב-OpenAI-MRCR, מדד לאחזור מידע מתוך הקשר ארוך, GPT‑5 עולה על o3 ועל GPT‑4.1, בפער שגדל משמעותית ככל שהקלט ארוך יותר.
במבחן OpenAI-MRCR(נפתח בחלון חדש) (זיהוי אזכורים לאותו מושא לאורך סבבים מרובים), כמה בקשות משתמש זהות, המכונות ״מחטים״, משולבות בתוך ״ערימות שחת״ ארוכות של בקשות ותשובות דומות, והמודל מתבקש לשחזר את התשובה למחט ה-i. יחס ההתאמה הממוצע מודד את יחס התאמת המחרוזות הממוצע בין תשובת המודל לתשובה הנכונה. הנקודות עבור מקסימום של 256 אלף טוקני קלט מייצגות ממוצעים בטווח של 128–256 אלף טוקני קלט, וכן הלאה. כאן, 256k מייצג 256 * 1,024 = 262,114 טוקנים. מודלי reasoning הורצו ברמת מאמץ reasoning גבוהה.
אנחנו גם מפרסמים בקוד פתוח את BrowseComp Long Context(נפתח בחלון חדש), מבחן חדש להערכת מענה על שאלות עם הקשר ארוך. במבחן הזה, המודל מקבל שאילתת משתמש ורשימה ארוכה של תוצאות חיפוש רלוונטיות, ונדרש לענות על השאלה על סמך תוצאות החיפוש. תכננו את BrowseComp Long Context כך שיהיה מציאותי וקשה, ויכלול תשובות ייחוס שנכונותן מהימנה. בקלטים באורך 128–256 אלף טוקנים, GPT‑5 נותן את התשובה הנכונה ב-89% מהמקרים.
ב-API, כל מודלי GPT‑5 יכולים לקבל עד 272,000 טוקני קלט ולהפיק עד 128,000 טוקני reasoning ופלט, לאורך הקשר כולל של 400,000 טוקנים.
GPT‑5 אמין יותר מהמודלים הקודמים שלנו. בפרומפטים ממבחני LongFact ו-FactScore, GPT‑5 מבצע כ-80% פחות טעויות עובדתיות מ-o3. לכן הוא מתאים יותר למקרי שימוש אג'נטיים שבהם הנכונות חשובה — במיוחד בקוד, בנתונים ובקבלת החלטות.
ציונים גבוהים יותר מעידים על ביצועים גרועים יותר. LongFact(נפתח בחלון חדש) ו-FActScore(נפתח בחלון חדש) כוללים שאלות פתוחות המבקשות מידע עובדתי. אנחנו משתמשים במעריך מבוסס LLM עם יכולת גלישה כדי לבדוק את העובדות בתשובות לפרומפטים מהמבחנים האלה ולמדוד את שיעור הטענות השגויות מבחינה עובדתית. פרטי המימוש וההערכה זמינים בכרטיס המערכת. מודלי reasoning השתמשו ברמת מאמץ reasoning גבוהה. החיפוש לא הופעל.
באופן כללי, GPT‑5 אומן להכיר טוב יותר במגבלותיו ולהתמודד טוב יותר עם אתגרים בלתי צפויים. אימנו את GPT‑5 גם להיות מדויק הרבה יותר בשאלות בריאות (לקריאה נוספת בבלוג המחקר שלנו). כמו בכל מודלי השפה, אנחנו ממליצים לבדוק את עבודתו של GPT‑5 כאשר להחלטות יש השלכות משמעותיות.
מפתחים יכולים לשלוט בזמן החשיבה של GPT‑5 באמצעות הפרמטר reasoning_effort ב-API. בנוסף לערכים הקודמים — low, medium (ברירת המחדל) ו-high — GPT‑5 תומך גם ב-minimal, שמצמצם למינימום את ה-reasoning של GPT‑5 כדי להחזיר תשובה במהירות.
ערכים גבוהים יותר של reasoning_effort ממקסמים את האיכות, וערכים נמוכים יותר ממקסמים את המהירות. לא כל המשימות מפיקות אותה תועלת מ-reasoning נוסף, ולכן אנחנו ממליצים להתנסות ולבדוק מה מתאים ביותר למקרי השימוש שחשובים לכם.
למשל, reasoning מעל לרמת low תורם מעט לאחזור פשוט יחסית מתוך הקשר ארוך, אבל מוסיף לא מעט נקודות אחוז במבחן CharXiv Reasoning(נפתח בחלון חדש), שבוחן reasoning חזותי.
מאמץ ה-reasoning של GPT‑5 מניב תועלת שונה במשימות שונות. ב-CharXiv Reasoning ניתנה ל-GPT‑5 גישה לכלי Python.
כדי לעזור לשלוט באורך ברירת המחדל של תשובות GPT‑5, הוספנו פרמטר API חדש, verbosity, שמקבל את הערכים low, medium (ברירת המחדל) ו-high. אם הוראות מפורשות סותרות את פרמטרי רמת הפירוט, ההוראות המפורשות מקבלות עדיפות. למשל, אם תבקשו מ-GPT‑5 ״כתוב חיבור בן 5 פסקאות״, תשובת המודל אמורה תמיד לכלול 5 פסקאות ללא קשר לרמת הפירוט, אם כי הפסקאות עצמן עשויות להיות ארוכות או קצרות יותר.
Verbosity=low
Verbosity=medium
Verbosity=high
אם תנחו אותו לכך, GPT‑5 יציג למשתמשים הודעות הקדמה לפני קריאות לכלים וביניהן. בניגוד להודעות reasoning נסתרות, ההודעות הגלויות האלה מאפשרות ל-GPT‑5 לשתף את המשתמש בתוכניות ובהתקדמות, ועוזרות למשתמשי הקצה להבין את הגישה שלו ואת הכוונה מאחורי הקריאות לכלים.
אנחנו מציגים סוג חדש של כלים — כלים מותאמים אישית — שמאפשר ל-GPT‑5 לקרוא לכלי באמצעות טקסט פשוט במקום JSON. כדי לחייב את GPT‑5 לפעול לפי פורמטים של כלים מותאמים אישית, מפתחים יכולים לספק ביטוי רגולרי, או אפילו דקדוק חסר הקשר(נפתח בחלון חדש) עם הגדרה מפורטת יותר.
בעבר, הממשק שלנו לכלים שהוגדרו על ידי מפתחים חייב קריאה אליהם באמצעות JSON — פורמט נפוץ בממשקי API לאינטרנט ובקרב מפתחים בכלל. עם זאת, הפקת JSON תקין דורשת מהמודל להשתמש ברצפי מילוט באופן מושלם עבור כל המרכאות, הלוכסנים ההפוכים, ירידות השורה ותווי הבקרה האחרים. אף שהמודלים שלנו מאומנים היטב להפיק JSON, בקלטים ארוכים כמו מאות שורות קוד או דוח בן 5 עמודים, הסיכוי לשגיאה עולה. עם כלים מותאמים אישית, GPT‑5 יכול לכתוב קלט לכלים כטקסט פשוט, בלי צורך להשתמש ברצפי מילוט עבור כל התווים שדורשים זאת.
ב-SWE-bench Verified, שימוש בכלים מותאמים אישית במקום בכלי JSON מניב ל-GPT‑5 ציון דומה.
GPT‑5 מקדם את חזית הבטיחות, והוא מודל עמיד, אמין ומועיל יותר. הסבירות ש-GPT‑5 יפיק הזיות נמוכה משמעותית מזו של המודלים הקודמים שלנו. הוא מציג למשתמש את פעולותיו ויכולותיו בכנות רבה יותר, ומספק ככל האפשר את התשובה המועילה ביותר תוך שמירה על גבולות הבטיחות. אפשר לקרוא עוד בבלוג המחקר שלנו.
GPT‑5 זמין כעת בפלטפורמת API בשלושה גדלים: gpt-5, gpt-5-mini ו-gpt-5-nano. הוא זמין ב-Responses API וב-API להשלמת צ'אטים, והוא ברירת המחדל ב-Codex CLI. מחיר GPT‑5 הוא $1.25 למיליון טוקני קלט ו-$10 למיליון טוקני פלט; מחיר GPT‑5 mini הוא $0.25 למיליון טוקני קלט ו-$2 למיליון טוקני פלט; ומחיר GPT‑5 nano הוא $0.05 למיליון טוקני קלט ו-$0.40 למיליון טוקני פלט.
המודלים האלה תומכים בפרמטרי ה-API reasoning_effort ו-verbosity, וכן בכלים מותאמים אישית. הם תומכים גם בקריאה מקבילה לכלים, בכלים מובנים (חיפוש באינטרנט, חיפוש קבצים, יצירת תמונות ועוד), בתכונות ליבה של ה-API (הזרמה, פלט במבנה מוגדר ועוד), ובתכונות לחיסכון בעלויות כמו מטמון פרומפטים ו-Batch API.
גרסת GPT‑5 ללא reasoning המשמשת ב-ChatGPT זמינה ב-API בשם gpt-5-chat-latest, גם היא במחיר של $1.25 למיליון טוקני קלט ו-$10 למיליון טוקני פלט.
GPT‑5 מושק גם בפלטפורמות של Microsoft, ובהן Microsoft 365 Copilot, Copilot, GitHub Copilot ו-Azure AI Foundry.
כדי להתחיל, עיינו בתיעוד(נפתח בחלון חדש), בפרטי התמחור(נפתח בחלון חדש) ובמדריך לכתיבת פרומפטים(נפתח בחלון חדש) של GPT‑5.
אינטליגנציה
| GPT-5(high) | GPT-5 mini(high) | GPT-5 nano(high) | OpenAI o3(high) | OpenAI o4-mini(high) | GPT-4.1 | GPT-4.1 mini | GPT-4.1 nano | |
|---|---|---|---|---|---|---|---|---|
| AIME ’25(no tools) | 94.6% | 91.1% | 85.2% | 88.9% | 92.7% | 46.4% | 40.2% | - |
| FrontierMath(with python tool only) | 26.3% | 22.1% | 9.6% | 15.8% | 15.4% | - | - | - |
| GPQA diamond(no tools) | 85.7% | 82.3% | 71.2% | 83.3% | 81.4% | 66.3% | 65.0% | 50.3% |
| HLE[1](no tools) | 24.8% | 16.7% | 8.7% | 20.2% | 14.7% | 5.4% | 3.7% | - |
| HMMT 2025(no tools) | 93.3% | 87.8% | 75.6% | 81.7% | 85.0% | 28.9% | 35.0% | - |
[1] יש פער קטן לעומת הנתונים שדיווחנו בפוסט הקודם בבלוג, מכיוון שהם התקבלו בהרצה על גרסה קודמת של HLE.
רב-מודאליות
| GPT-5(high) | GPT-5 mini(high) | GPT-5 nano(high) | OpenAI o3(high) | OpenAI o4-mini(high) | GPT-4.1 | GPT-4.1 mini | GPT-4.1 nano | |
|---|---|---|---|---|---|---|---|---|
| MMMU | 84.2% | 81.6% | 75.6% | 82.9% | 81.6% | 74.8% | 72.7% | 55.4% |
| MMMU-Pro(avg across standard and vision sets) | 78.4% | 74.1% | 62.6% | 76.4% | 73.4% | 60.3% | 58.9% | 33.0% |
| CharXiv reasoning(python enabled) | 81.1% | 75.5% | 62.7% | 78.6% | 72.0% | 56.7% | 56.8% | 40.5% |
| VideoMMMU, max frame 256 | 84.6% | 82.5% | 66.8% | 83.3% | 79.4% | 60.9% | 55.1% | 30.2% |
| ERQA | 65.7% | 62.9% | 50.1% | 64.0% | 56.5% | 44.3% | 42.3% | 26.5% |
תכנות
| GPT-5(high) | GPT-5 mini(high) | GPT-5 nano(high) | OpenAI o3(high) | OpenAI o4-mini(high) | GPT-4.1 | GPT-4.1 mini | GPT-4.1 nano | |
|---|---|---|---|---|---|---|---|---|
| SWE-Lancer: IC SWE Diamond Freelance Coding Tasks | 112K $ | 75K $ | 49K $ | 86K $ | 66K $ | 34K $ | 31K $ | 9K $ |
| SWE-bench Verified[2] | 74.9% | 71.0% | 54.7% | 69.1% | 68.1% | 54.6% | 23.6% | - |
| Aider polyglot(diff) | 88.0% | 71.6% | 48.4% | 79.6% | 58.2% | 52.9% | 31.6% | 6.2% |
[2] השמטנו 23 מתוך 500 בעיות שלא ניתן היה להריץ בתשתית שלנו. הרשימה המלאה של 23 המשימות שהושמטו: 'astropy__astropy-7606', 'astropy__astropy-8707', 'astropy__astropy-8872', 'django__django-10097', 'django__django-7530', 'matplotlib__matplotlib-20488', 'matplotlib__matplotlib-20676', 'matplotlib__matplotlib-20826', 'matplotlib__matplotlib-23299', 'matplotlib__matplotlib-24970', 'matplotlib__matplotlib-25479', 'matplotlib__matplotlib-26342', 'psf__requests-6028', 'pylint-dev__pylint-6528', 'pylint-dev__pylint-7080', 'pylint-dev__pylint-7277', 'pytest-dev__pytest-5262', 'pytest-dev__pytest-7521', 'scikit-learn__scikit-learn-12973', 'sphinx-doc__sphinx-10466', 'sphinx-doc__sphinx-7462', 'sphinx-doc__sphinx-8265' ו-'sphinx-doc__sphinx-9367'.
מילוי הוראות
| GPT-5(high) | GPT-5 mini(high) | GPT-5 nano(high) | OpenAI o3(high) | OpenAI o4-mini(high) | GPT-4.1 | GPT-4.1 mini | GPT-4.1 nano | |
|---|---|---|---|---|---|---|---|---|
| Scale multichallenge[3](o3-mini grader) | 69.6% | 62.3% | 54.9% | 60.4% | 57.5% | 46.2% | 42.2% | 31.1% |
| Internal API instruction following eval(hard) | 64.0% | 65.8% | 56.1% | 47.4% | 44.7% | 49.1% | 45.1% | 31.6% |
| COLLIE | 99.0% | 98.5% | 96.9% | 98.4% | 96.1% | 65.8% | 54.6% | 42.5% |
[3] הערה: מצאנו שמעריך ברירת המחדל ב-MultiChallenge (GPT-4o) מעניק לעיתים קרובות ציונים שגויים לתשובות המודל. מצאנו שהחלפת המעריך במודל reasoning, כמו o3-mini, משפרת משמעותית את דיוק ההערכה בדוגמאות שבדקנו.
קריאה לפונקציות
| GPT-5(high) | GPT-5 mini(high) | GPT-5 nano(high) | OpenAI o3(high) | OpenAI o4-mini(high) | GPT-4.1 | GPT-4.1 mini | GPT-4.1 nano | |
|---|---|---|---|---|---|---|---|---|
| Tau2-bench airline | 62.6% | 60.0% | 41.0% | 64.8% | 60.2% | 56.0% | 51.0% | 14.0% |
| Tau2-bench retail | 81.1% | 78.3% | 62.3% | 80.2% | 70.5% | 74.0% | 66.0% | 21.5% |
| Tau2-bench telecom | 96.7% | 74.1% | 35.5% | 58.2% | 40.5% | 34.0% | 44.0% | 12.1% |
הקשר ארוך
| GPT-5(high) | GPT-5 mini(high) | GPT-5 nano(high) | OpenAI o3(high) | OpenAI o4-mini(high) | GPT-4.1 | GPT-4.1 mini | GPT-4.1 nano | |
|---|---|---|---|---|---|---|---|---|
| OpenAI-MRCR: 2 needle 128k | 95.2% | 84.3% | 43.2% | 55.0% | 56.4% | 57.2% | 47.2% | 36.6% |
| OpenAI-MRCR: 2 needle 256k | 86.8% | 58.8% | 34.9% | - | - | 56.2% | 45.5% | 22.6% |
| Graphwalks bfs <128k | 78.3% | 73.4% | 64.0% | 77.3% | 62.3% | 61.7% | 61.7% | 25.0% |
| Graphwalks parents <128k | 73.3% | 64.3% | 43.8% | 72.9% | 51.1% | 58.0% | 60.5% | 9.4% |
| BrowseComp Long Context 128k | 90.0% | 89.4% | 80.4% | 88.3% | 80.0% | 85.9% | 89.0% | 89.4% |
| BrowseComp Long Context 256k | 88.8% | 86.0% | 68.4% | - | - | 75.5% | 81.6% | 19.1% |
| VideoMME(long, with subtitle category) | 86.7% | 78.5% | 65.7% | 84.9% | 79.5% | 78.7% | 68.4% | 55.2% |
הזיות
| GPT-5(high) | GPT-5 mini(high) | GPT-5 nano(high) | OpenAI o3(high) | OpenAI o4-mini(high) | GPT-4.1 | GPT-4.1 mini | GPT-4.1 nano | |
|---|---|---|---|---|---|---|---|---|
| LongFact-Concepts hallucination rate(no tools)[lower is better] | 1.0% | 0.7% | 1.0% | 5.2% | 3.0% | 0.7% | 1.1% | - |
| LongFact-Objects hallucination rate(no tools)[lower is better] | 1.2% | 1.3% | 2.8% | 6.8% | 8.9% | 1.1% | 1.8% | - |
| FActScore hallucination rate(no tools)[lower is better] | 2.8% | 3.5% | 7.3% | 23.5% | 38.7% | 6.7% | 10.9% | - |
