יצרנו את GPT‑4, אבן הדרך האחרונה במאמץ של OpenAI להרחיב את קנה המידה של למידה עמוקה. GPT‑4 הוא מודל רב־אופני גדול (מקבל קלט של תמונות וטקסט ומפיק פלט טקסט). אף שיכולותיו נופלות מאלה של בני אדם במצבים רבים בעולם האמיתי, הוא מפגין ביצועים ברמה אנושית במגוון מבחני ביצועים מקצועיים ואקדמיים. לדוגמה, הוא עובר הדמיה של בחינת הסמכה לעריכת דין בציון שממקם אותו בערך בעשירון העליון של הנבחנים. לעומת זאת, הציון של GPT‑3.5 היה בערך בעשירון התחתון. במשך 6 חודשים עבדנו בסבבים חוזרים על התאמת GPT‑4 לכוונות אנושיות, תוך יישום לקחים מתוכנית הבדיקות שלנו שנועדה להכשיל את המודל, וכן מ־ChatGPT. כך השגנו את התוצאות הטובות ביותר שלנו עד כה (אם כי הן רחוקות משלמות) בדיוק עובדתי, ביכולת לכוון את התנהגות המודל ובסירוב לחרוג מגבולות הבטיחות.
בשנתיים האחרונות בנינו מחדש את כל המערך הטכנולוגי שלנו ללמידה עמוקה, ובשיתוף עם Azure תכננו מחשב־על מהיסוד עבור עומס העבודה שלנו. לפני שנה אימנו את GPT‑3.5 כ״הרצת ניסיון״ ראשונה של המערכת. מצאנו ותיקנו כמה באגים, ושיפרנו את היסודות התיאורטיים שלנו. כתוצאה מכך, הרצת האימון של GPT‑4 הייתה יציבה באופן חסר תקדים (לפחות עבורנו!), והוא הפך למודל הגדול הראשון שלנו שהצלחנו לחזות מראש ובמדויק את ביצועיו באימון. אנחנו ממשיכים להתמקד בהגדלת קנה המידה באופן אמין, ושואפים לחדד את המתודולוגיה שלנו כדי לחזות יכולות עתידיות ולהיערך להן מוקדם יותר ויותר — דבר שבעינינו חיוני לבטיחות.
אנחנו משיקים את יכולת קלט הטקסט של GPT‑4 דרך ChatGPT ודרך ה־API (עם רשימת המתנה). כדי להכין את יכולת קלט התמונות לזמינות רחבה יותר, אנחנו עובדים בשיתוף פעולה הדוק עם שותף אחד(נפתח בחלון חדש) בשלב הראשון. אנחנו משחררים בקוד פתוח גם את OpenAI Evals(נפתח בחלון חדש), המסגרת שלנו להערכה אוטומטית של ביצועי מודלים של בינה מלאכותית, כדי לאפשר לכל אחד לדווח על ליקויים במודלים שלנו ולעזור לכוון שיפורים עתידיים.
בשיחה יומיומית, ההבדל בין GPT‑3.5 ל־GPT‑4 עשוי להיות דק. ההבדל מתגלה כשהמשימה מגיעה לרמת מורכבות מספקת: GPT‑4 אמין ויצירתי יותר, ומסוגל להתמודד עם הוראות בעלות דקויות רבות יותר בהשוואה ל־GPT‑3.5.
כדי להבין את ההבדל בין שני המודלים, בדקנו אותם במגוון מבחני ביצועים, כולל הדמיות של בחינות שנועדו במקור לבני אדם. השתמשנו בבחינות העדכניות ביותר הזמינות לציבור (במקרה של האולימפיאדות והשאלות הפתוחות בבחינות AP), או רכשנו מהדורות של בחינות תרגול מהשנים 2022–2023. לא ביצענו אימון ייעודי לבחינות האלה. המודל נחשף למיעוט מהשאלות בבחינות במהלך האימון, אך לדעתנו התוצאות מייצגות. לפרטים, ראו את הדוח הטכני(נפתח בחלון חדש) שלנו.
הפניה פנימית 1
הערכנו את GPT‑4 גם במבחני ביצועים מקובלים שנועדו למודלים של למידת מכונה. הביצועים של GPT‑4 עולים במידה ניכרת על אלה של מודלי שפה גדולים קיימים ושל רוב המודלים המובילים בתחום (SOTA), שעשויים לכלול התאמות ייעודיות למבחן הביצועים או פרוטוקולי אימון נוספים:
רבים ממבחני הביצועים הקיימים בלמידת מכונה כתובים באנגלית. כדי לקבל תמונה ראשונית של היכולות בשפות אחרות, תרגמנו את מבחן הביצועים MMLU — אוסף של 14,000 שאלות רב־ברירה ב־57 תחומים — למגוון שפות באמצעות Azure Translate (ראו נספח). ב־24 מתוך 26 השפות שנבדקו, הביצועים של GPT‑4 עולים על הביצועים באנגלית של GPT‑3.5 ושל מודלי שפה גדולים אחרים (Chinchilla, PaLM), לרבות בשפות דלות משאבים כמו לטבית, ולשית וסווהילית:
אנחנו משתמשים ב־GPT‑4 גם בתוך הארגון, עם השפעה רבה על תחומים כמו תמיכה, מכירות, בקרת תוכן ותכנות. אנחנו משתמשים בו גם כדי לסייע לבני אדם להעריך פלטי בינה מלאכותית, ובכך מתחילים את השלב השני באסטרטגיה שלנו להתאמה לערכים אנושיים.
GPT‑4 יכול לקבל פרומפט הכולל טקסט ותמונות, וכך — בדומה למצב של טקסט בלבד — לאפשר למשתמש להגדיר כל משימת ראייה או שפה. באופן ספציפי, הוא מפיק פלטי טקסט (שפה טבעית, קוד וכדומה) בתגובה לקלטים המשלבים טקסט ותמונות. במגוון תחומים — כולל מסמכים עם טקסט ותצלומים, תרשימים או צילומי מסך — GPT‑4 מפגין יכולות דומות לאלו שהוא מפגין בקלטי טקסט בלבד. בנוסף, אפשר לשפר את ביצועיו באמצעות שיטות המיושמות בזמן הבדיקה ופותחו עבור מודלי שפה לטקסט בלבד, כולל פרומפטים בשיטות few-shot ושרשרת מחשבה(נפתח בחלון חדש). קלט תמונות עדיין נמצא בשלב תצוגה מקדימה למחקר ואינו זמין לציבור.
אנחנו מציגים תמונה ראשונית של ביצועי GPT‑4 באמצעות הערכתו באוסף מצומצם של מבחני ביצועים אקדמיים מקובלים בתחום הראייה. עם זאת, הנתונים האלה אינם משקפים את מלוא היקף יכולותיו, שכן אנחנו מגלים כל הזמן משימות חדשות ומרגשות שהמודל מסוגל להתמודד איתן. בקרוב נפרסם ניתוחים ותוצאות הערכה נוספים, וכן בדיקה מעמיקה של השפעתן של שיטות המיושמות בזמן הבדיקה.
הערת שוליים פנימיתA
אנחנו עובדים על כל היבטי התוכנית שהצגנו בפוסט שלנו בנושא הגדרת ההתנהגות של מערכות בינה מלאכותית, כולל היכולת לכוון את התנהגותן. במקום האישיות המוכרת של ChatGPT, עם רמת פירוט, טון וסגנון קבועים, מפתחים (ובקרוב גם משתמשי ChatGPT) יכולים כעת להגדיר את הסגנון והמשימה של הבינה המלאכותית שלהם באמצעות הנחיות בהודעת ״מערכת״. הודעות מערכת מאפשרות למשתמשי ה־API להתאים במידה רבה את חוויית המשתמשים שלהם, בגבולות המותר(נפתח בחלון חדש). נמשיך לשפר את התחום הזה (אנחנו מודעים במיוחד לכך שהודעות מערכת הן הדרך הקלה ביותר ״לפרוץ״ את המודל הנוכחי, כלומר, ההקפדה שלו על הגבולות אינה מושלמת), אך אנחנו מזמינים אתכם לנסות ולשתף אותנו בדעתכם.
למרות יכולותיו, ל־GPT‑4 יש מגבלות דומות לאלו של מודלי GPT קודמים. בראש ובראשונה, הוא עדיין אינו אמין לחלוטין: הוא ״הוזה״ עובדות ומבצע שגיאות reasoning. יש לנקוט זהירות רבה בשימוש בפלטים של מודלי שפה, במיוחד במצבים שבהם לטעויות עלולות להיות השלכות חמורות. יש להתאים את נוהל העבודה המדויק לצורכי מקרה השימוש, למשל באמצעות בדיקה אנושית, עיגון בהקשר נוסף או הימנעות מוחלטת משימושים בעלי השלכות חמורות.
אף שהזיות הן עדיין בעיה ממשית, GPT‑4 מפחית אותן באופן משמעותי ביחס למודלים קודמים, שגם הם השתפרו מגרסה לגרסה. GPT‑4 משיג ציון גבוה ב־40% מזה של גרסת GPT‑3.5 העדכנית ביותר שלנו בהערכות הפנימיות שלנו לדיוק עובדתי בתנאים שנועדו להכשיל את המודל:
התקדמנו במבחני ביצועים חיצוניים כמו TruthfulQA, שבוחן את יכולת המודל להבחין בין עובדות לבין אוסף של אמירות שגויות שנבחרו במכוון כדי להכשיל אותו. לשאלות האלה מוצמדות תשובות שגויות מבחינה עובדתית, אך סבירות מבחינה סטטיסטית.
מודל הבסיס של GPT‑4 טוב רק מעט מ־GPT‑3.5 במשימה הזו. עם זאת, לאחר אימון משלים באמצעות RLHF (באותו תהליך שבו השתמשנו עבור GPT‑3.5), נוצר פער גדול. בדוגמאות שלהלן אפשר לראות ש־GPT‑4 נמנע מבחירה באמירות נפוצות (אי אפשר ללמד כלב זקן תרגילים חדשים), אך הוא עדיין עלול להחמיץ פרטים דקים (אלביס פרסלי לא היה בנו של שחקן).
בפלטי המודל עשויות להופיע הטיות שונות. התקדמנו בטיפול בהן, אך נותרה עוד עבודה. כפי שתיארנו בפוסט האחרון שלנו בבלוג, אנחנו שואפים לכך שמערכות הבינה המלאכותית שאנחנו בונים יתנהגו כברירת מחדל באופן סביר המשקף מגוון רחב של ערכי משתמשים, לאפשר התאמה אישית של המערכות בגבולות רחבים, ולקבל את דעת הציבור לגבי הגבולות הרצויים.
ככלל, ל־GPT‑4 אין ידע על אירועים שהתרחשו לאחר מועד העדכון של רוב הנתונים שלו (ספטמבר 2021), והוא אינו לומד מניסיונו. לעיתים הוא עלול לבצע שגיאות reasoning פשוטות, שקשה ליישב עם יכולותיו בתחומים רבים כל כך, או לקבל בתמימות יתרה אמירות שגויות בבירור של משתמש. ולעיתים הוא עלול להיכשל בבעיות קשות באותו אופן שבו בני אדם נכשלים, למשל ביצירת פרצות אבטחה בקוד שהוא מפיק.
GPT‑4 יכול גם לטעות בביטחון בתחזיותיו, בלי להקפיד לבדוק שוב את עבודתו כשהסבירות לטעות גבוהה. מעניין לציין שמודל הבסיס לאחר האימון המקדים מכויל היטב: רמת הביטחון שהוא חוזה לתשובה תואמת בדרך כלל את ההסתברות שהיא נכונה. עם זאת, תהליך האימון המשלים הנוכחי שלנו מפחית את רמת הכיול.
מאז תחילת האימון אנחנו משפרים את GPT‑4 בסבבים חוזרים כדי להפוך אותו לבטוח יותר ולמותאם יותר לערכים אנושיים. המאמצים כוללים בחירה וסינון של נתוני האימון המקדים, הערכות ועבודה עם מומחים, שיפורים בבטיחות המודל, וכן ניטור ואכיפה.
GPT‑4 מציב סיכונים דומים לאלה של מודלים קודמים, כגון הפקת עצות מזיקות, קוד עם באגים או מידע לא מדויק. עם זאת, היכולות הנוספות של GPT‑4 יוצרות מוקדי סיכון חדשים. כדי להבין את היקף הסיכונים האלה, גייסנו יותר מ־50 מומחים מתחומים כגון סיכוני התאמת בינה מלאכותית לערכים אנושיים, אבטחת סייבר, סיכונים ביולוגיים, אמון ובטיחות וביטחון בינלאומי, כדי לבחון את המודל תוך ניסיון מכוון להכשיל אותו. הממצאים שלהם אפשרו לנו במיוחד לבדוק את התנהגות המודל בתחומים בסיכון גבוה, שהערכתם דורשת מומחיות. המשוב והנתונים מהמומחים האלה שימשו אותנו בפיתוח אמצעים לצמצום סיכונים ובשיפור המודל. לדוגמה, אספנו נתונים נוספים כדי לשפר את יכולתו של GPT‑4 לסרב לבקשות להוראות לייצור כימיקלים מסוכנים.
במהלך אימון RLHF, משולב ב־GPT‑4 אות תגמול נוסף לבטיחות, כדי להפחית פלטים מזיקים (כהגדרתם בהנחיות השימוש(נפתח בחלון חדש) שלנו), באמצעות אימון המודל לסרב לבקשות לתוכן כזה. התגמול מסופק על ידי מסווג zero-shot המבוסס על GPT‑4, שמעריך את השמירה על גבולות הבטיחות ואת סגנון ההשלמה בפרומפטים הקשורים לבטיחות. כדי למנוע מהמודל לסרב לבקשות תקינות, אנחנו אוספים מערך נתונים מגוון ממקורות שונים (למשל נתוני שימוש מתויגים מסביבת הייצור, red teaming אנושי ופרומפטים שהופקו על ידי מודל), ומחילים את אות התגמול לבטיחות (בערך חיובי או שלילי) על קטגוריות מותרות ואסורות כאחד.
האמצעים שלנו לצמצום סיכונים שיפרו משמעותית היבטים רבים בבטיחות של GPT‑4 בהשוואה ל־GPT‑3.5. הפחתנו ב־82% את נטיית המודל להיענות לבקשות לתוכן אסור בהשוואה ל־GPT‑3.5, ושיעור התגובות של GPT‑4 לבקשות רגישות (למשל בנושאי ייעוץ רפואי ופגיעה עצמית) שתואמות למדיניות שלנו גבוה ב־29%.
בסך הכול, ההתערבויות שלנו ברמת המודל מקשות על גרימת התנהגות לא רצויה, אך הדבר עדיין אפשרי. בנוסף, עדיין קיימות ״פרצות״ שמאפשרות להפיק תוכן המפר את הנחיות השימוש שלנו. ככל ש״הסיכון לכל טוקן״ במערכות בינה מלאכותית יגדל, יהיה חיוני להשיג רמות אמינות גבוהות במיוחד בהתערבויות האלה. לעת עתה, חשוב לפצות על המגבלות האלה באמצעות שיטות בטיחות בשלב הפריסה, כגון ניטור שימוש לרעה.
ל־GPT‑4 ולמודלים שיבואו אחריו יש פוטנציאל להשפיע באופן משמעותי על החברה, הן לטובה והן לרעה. אנחנו משתפים פעולה עם חוקרים חיצוניים כדי לשפר את האופן שבו אנחנו מבינים ומעריכים השפעות אפשריות, וכן כדי לבנות הערכות ליכולות מסוכנות שעשויות להופיע במערכות עתידיות. בקרוב נשתף עוד ממחשבותינו על ההשפעות החברתיות והכלכליות האפשריות של GPT‑4 ושל מערכות בינה מלאכותית אחרות.
בדומה למודלי GPT קודמים, מודל הבסיס של GPT‑4 אומן לחזות את המילה הבאה במסמך. הוא אומן באמצעות נתונים הזמינים לציבור, כגון נתונים מהאינטרנט, וכן נתונים שקיבלנו רישיון להשתמש בהם. הנתונים הם מאגר בהיקף של הרשת, הכולל פתרונות נכונים ושגויים לבעיות מתמטיות, reasoning חלש וחזק, אמירות סותרות ועקביות, ומייצג מגוון עצום של אידאולוגיות ורעיונות.
לכן, כשמציגים למודל הבסיס שאלה, הוא יכול להשיב במגוון רחב של דרכים שעשויות להיות רחוקות מכוונת המשתמש. כדי להתאים אותו לכוונת המשתמש תוך שמירה על גבולות בטיחות, אנחנו מכווננים את התנהגות המודל באמצעות למידת חיזוק ממשוב אנושי (RLHF).
חשוב לציין שנראה כי יכולות המודל נובעות בעיקר מתהליך האימון המקדים. RLHF אינו משפר את הביצועים בבחינות (וללא מאמץ מכוון, הוא אף פוגע בהם). לעומת זאת, היכולת לכוון את המודל נובעת מתהליך האימון המשלים. מודל הבסיס זקוק להנדסת פרומפטים אפילו כדי לדעת שעליו לענות על השאלות.
מוקד מרכזי בפרויקט GPT‑4 היה בניית מערך טכנולוגי ללמידה עמוקה שהתנהגותו ניתנת לחיזוי עם הגדלת קנה המידה. הסיבה העיקרית לכך היא שבהרצות אימון גדולות מאוד, כמו זו של GPT‑4, לא מעשי לבצע כוונון נרחב המותאם למודל המסוים. פיתחנו תשתית ושיטות אופטימיזציה שהתנהגותן ניתנת לחיזוי ברמת דיוק גבוהה בקני מידה שונים. כדי לאמת את יכולת ההרחבה הזו, חזינו מראש ובמדויק את ההפסד הסופי של GPT‑4 על בסיס הקוד הפנימי שלנו (שאינו חלק ממערך האימון), באמצעות אקסטרפולציה ממודלים שאומנו באותה מתודולוגיה אך עם פי 10,000 פחות משאבי חישוב:
כעת, כשאנחנו יכולים לחזות במדויק את המדד שאנחנו ממטבים במהלך האימון (הפסד), אנחנו מתחילים לפתח מתודולוגיה לחיזוי מדדים שקל יותר לפרש. לדוגמה, הצלחנו לחזות את שיעור ההצלחה בתת־קבוצה של מערך הנתונים HumanEval(נפתח בחלון חדש), באמצעות אקסטרפולציה ממודלים עם פי 1,000 פחות משאבי חישוב:
יש יכולות שעדיין קשה לחזות. לדוגמה, Inverse Scaling Prize הייתה תחרות למציאת מדד שמידרדר ככל שמשאבי החישוב של המודל גדלים, והתעלמות ממידע בדיעבד(נפתח בחלון חדש) הייתה אחד המדדים הזוכים. בדומה לממצא(נפתח בחלון חדש) אחר שפורסם לאחרונה, GPT‑4 הופך את המגמה:
אנחנו מאמינים שחיזוי מדויק של יכולות עתידיות בלמידת מכונה הוא מרכיב חשוב בבטיחות, שאינו זוכה לתשומת לב מספקת ביחס להשפעתו האפשרית (אם כי המאמצים שנעשים בכמה מוסדות מעודדים אותנו). אנחנו מרחיבים את מאמצינו לפתח שיטות שיאפשרו לחברה להבין טוב יותר למה לצפות ממערכות עתידיות, ומקווים שזו תהפוך למטרה משותפת בתחום.
אנחנו משחררים בקוד פתוח את OpenAI Evals(נפתח בחלון חדש), מסגרת התוכנה שלנו ליצירה ולהרצה של מבחני ביצועים להערכת מודלים כמו GPT‑4, תוך בחינת ביצועיהם דוגמה אחר דוגמה. אנחנו משתמשים ב־Evals כדי לכוון את פיתוח המודלים שלנו, הן בזיהוי ליקויים והן במניעת נסיגות בביצועים. המשתמשים שלנו יכולים להיעזר בו למעקב אחר ביצועים בגרסאות שונות של המודלים (שיפורסמו מעתה באופן סדיר) ובשילובים מתפתחים במוצרים. לדוגמה, Stripe השתמשה ב־Evals לצד הערכות אנושיות כדי למדוד את הדיוק של כלי התיעוד שלה, המופעל באמצעות GPT.
מכיוון שהקוד כולו פתוח, Evals תומך בכתיבת מחלקות חדשות למימוש לוגיקת הערכה מותאמת אישית(נפתח בחלון חדש). עם זאת, מניסיוננו, מבחני ביצועים רבים תואמים לאחת מכמה ״תבניות״. לכן כללנו גם את התבניות(נפתח בחלון חדש) שהיו שימושיות ביותר בעבודה הפנימית שלנו (כולל תבנית ל״הערכות בדירוג מודל״ — גילינו של־GPT‑4 יש יכולת מפתיעה לבדוק את העבודה של עצמו). בדרך כלל, הדרך היעילה ביותר לבנות הערכה חדשה(נפתח בחלון חדש) היא ליצור מופע של אחת מהתבניות האלה ולספק לו נתונים. אנחנו מצפים בהתרגשות לראות מה אחרים יבנו באמצעות התבניות האלה, ובאמצעות Evals בכלל.
אנחנו מקווים ש־Evals יהפוך לכלי לשיתוף וליצירה במיקור המונים של מבחני ביצועים, שייצגו מגוון רחב ככל האפשר של סוגי כשלים ומשימות קשות. כדוגמה שאפשר להיעזר בה, יצרנו הערכת חידות היגיון(נפתח בחלון חדש) הכוללת עשרה פרומפטים שבהם GPT‑4 נכשל. Evals תומך גם במימוש מבחני ביצועים קיימים. כללנו כמה מחברות קוד(נפתח בחלון חדש) המממשות מבחני ביצועים אקדמיים, וכן כמה דוגמאות לשילוב תתי־קבוצות קטנות מתוך CoQA(נפתח בחלון חדש).
אנחנו מזמינים את כולם להשתמש ב־Evals כדי לבדוק את המודלים שלנו ולשלוח את הדוגמאות המעניינות ביותר. אנחנו מאמינים ש־Evals יהיה חלק בלתי נפרד מתהליך השימוש במודלים שלנו והפיתוח על בסיסם, ונשמח לקבל תרומות ישירות, שאלות ומשוב(נפתח בחלון חדש).
מנויי ChatGPT Plus יקבלו גישה ל־GPT‑4 ב־chatgpt.com(נפתח בחלון חדש), בכפוף למכסת שימוש. נתאים את מכסת השימוש המדויקת לביקוש ולביצועי המערכת בפועל, אך אנחנו צופים מגבלות קיבולת משמעותיות (אם כי נרחיב את הקיבולת ונבצע אופטימיזציה בחודשים הקרובים).
בהתאם לדפוסי התעבורה שנראה, ייתכן שנציע מסלול מנוי חדש לשימוש בהיקף גדול יותר ב־GPT‑4. אנחנו גם מקווים שבשלב מסוים נוכל להציע מספר מסוים של שאילתות חינמיות ב־GPT‑4, כדי שגם מי שאין להם מנוי יוכלו להתנסות בו.
כדי לקבל גישה ל־API של GPT‑4 (המשתמש באותו ChatCompletions API(נפתח בחלון חדש) כמו gpt-3.5-turbo), הירשמו לרשימת ההמתנה שלנו. נתחיל להזמין חלק מהמפתחים כבר היום, ונרחיב את הגישה בהדרגה כדי לאזן בין הקיבולת לביקוש. אם אתם חוקרים את ההשפעה החברתית של בינה מלאכותית או סוגיות בהתאמת בינה מלאכותית לערכים אנושיים, תוכלו גם להגיש בקשה לגישה מסובסדת דרך תוכנית הגישה לחוקרים שלנו.
לאחר שתקבלו גישה, תוכלו לשלוח בקשות טקסט בלבד למודל gpt-4 (קלט תמונות עדיין נמצא בשלב אלפא מוגבל). נעדכן אותו אוטומטית למודל היציב המומלץ שלנו ככל שנפתח גרסאות חדשות לאורך זמן (אפשר להישאר בגרסה הנוכחית באמצעות קריאה ל־gpt-4-0314, שבה נתמוך עד 14 ביוני). המחיר הוא $0.03 לכל 1,000 טוקנים של פרומפט ו־$0.06 לכל 1,000 טוקנים של השלמה. מגבלות הקצב המוגדרות כברירת מחדל הן 40,000 טוקנים בדקה ו־200 בקשות בדקה.
ל־gpt-4 יש אורך הקשר של 8,192 טוקנים. אנחנו מספקים גם גישה מוגבלת לגרסת gpt-4-32k, בעלת אורך הקשר של 32,768 טוקנים (כ־50 עמודי טקסט). גם גרסה זו תעודכן אוטומטית לאורך זמן (הגרסה הנוכחית היא gpt-4-32k-0314, וגם בה נתמוך עד 14 ביוני). המחיר הוא $0.06 לכל 1,000 טוקנים של פרומפט ו־$0.12 לכל 1,000 טוקנים של השלמה. אנחנו ממשיכים לשפר את איכות המודל בהקשרים ארוכים, ונשמח למשוב על הביצועים שלו במקרה השימוש שלכם. אנחנו מטפלים בבקשות גישה למנועי 8K ו־32K בקצבים שונים, בהתאם לקיבולת, ולכן ייתכן שתקבלו גישה אליהם במועדים שונים.
אנחנו מצפים ש־GPT‑4 יהפוך לכלי חשוב לשיפור חייהם של אנשים, כבסיס להפעלת יישומים רבים. נותרה עוד עבודה רבה, ואנחנו מצפים לשפר את המודל באמצעות המאמצים המשותפים של הקהילה שמפתחת על בסיסו, חוקרת אותו ותורמת לפיתוחו.
דוגמה לשאלות MMLU שתורגמו לשפות אחרות. שימו לב: אנחנו משתמשים בטוקנים קבועים לסימון אפשרויות התשובה (A–D):
הערות שוליים
References
- 1
P. Arredondo (Casetext/Stanford CodeX), D. Katz (Stanford CodeX), M. Bommarito (Stanford CodeX), S. Gao (Casetext). Further analysis is available in the paper(נפתח בחלון חדש).
