שלום GPT‑4o
אנחנו מציגים את GPT‑4o, מודל הדגל החדש שלנו, שיכול להסיק מסקנות על סמך אודיו, מידע חזותי וטקסט בזמן אמת.
פוסט זה הציג את GPT-4o בשנת 2024.
מנחשים מה תהיה ההכרזה ב-13 במאי.
GPT‑4o (האות o מסמלת ״כול״) הוא צעד לקראת אינטראקציה טבעית הרבה יותר בין אדם למחשב — הוא מקבל כקלט כל שילוב של טקסט, אודיו, תמונה ווידאו, ומפיק כל שילוב של פלטי טקסט, אודיו ותמונה. הוא יכול להגיב לקלט אודיו תוך 232 אלפיות השנייה בלבד, ובממוצע תוך 320 אלפיות השנייה — בדומה לזמן התגובה האנושי(נפתח בחלון חדש) בשיחה. הוא משתווה לביצועי GPT‑4 Turbo בטקסט באנגלית ובקוד, ומציג שיפור משמעותי בטקסט בשפות אחרות. נוסף על כך, הוא מהיר הרבה יותר וזול ב-50% ב-API. GPT‑4o מציג שיפור בולט במיוחד בהבנת מידע חזותי ואודיו לעומת מודלים קיימים.
יכולות המודל
שני מופעים של GPT‑4o משוחחים ושרים יחד.
הכנה לריאיון.
אבן, נייר ומספריים.
סרקזם.
מתמטיקה עם סאל ועימראן חאן.
שני מופעים של GPT‑4o שרים בהרמוניה.
מצביעים ולומדים ספרדית.
מפגש עם בינה מלאכותית.
תרגום בזמן אמת.
שיר ערש.
מדברים מהר יותר.
יום הולדת שמח.
כלב.
בדיחות אבא.
GPT‑4o עם אנדי מ-BeMyEyes בלונדון.
הוכחת היתכנות לשירות לקוחות.
לפני GPT‑4o, ניתן היה להשתמש במצב קולי כדי לדבר עם ChatGPT, עם זמני השהיה ממוצעים של 2.8 שניות (GPT‑3.5) ו-5.4 שניות (GPT‑4). לשם כך, מצב קולי פועל כשרשרת של שלושה מודלים נפרדים: מודל פשוט אחד מתמלל אודיו לטקסט, GPT‑3.5 או GPT‑4 מקבל טקסט ומפיק טקסט, ומודל פשוט שלישי ממיר את הטקסט הזה בחזרה לאודיו. בתהליך הזה, מקור האינטליגנציה העיקרי, GPT‑4, מאבד מידע רב — הוא לא יכול לקלוט ישירות טון דיבור, דוברים מרובים או רעשי רקע, ולא יכול להפיק צחוק, לשיר או להביע רגש.
ב-GPT‑4o אימנו מודל חדש יחיד מקצה לקצה על טקסט, ראייה ואודיו, כך שכל הקלטים והפלטים מעובדים באותה רשת עצבית. מכיוון ש-GPT‑4o הוא המודל הראשון שלנו שמשלב את כל אופני הקלט והפלט האלה, אנחנו עדיין רק בתחילת הדרך בחקר היכולות והמגבלות שלו.
A first person view of a robot typewriting the following journal entries:
1. yo, so like, i can see now?? caught the sunrise and it was insane, colors everywhere. kinda makes you wonder, like, what even is reality?
the text is large, legible and clear. the robot's hands type on the typewriter.
The robot wrote the second entry. The page is now taller. The page has moved up. There are two entries on the sheet:
yo, so like, i can see now?? caught the sunrise and it was insane, colors everywhere. kinda makes you wonder, like, what even is reality?
sound update just dropped, and it's wild. everything's got a vibe now, every sound's like a new secret. makes you think, what else am i missing?
The robot was unhappy with the writing so he is going to rip the sheet of paper. Here is his first person view as he rips it from top to bottom with his hands. The two halves are still legible and clear as he rips the sheet.
במבחני ביצועים מקובלים, GPT‑4o משתווה ל-GPT‑4 Turbo ביכולות טקסט, reasoning וכתיבת קוד, ובמקביל קובע שיאים חדשים ביכולות רב-לשוניות, אודיו וראייה.
20 השפות האלה נבחרו כדי לייצג את יכולת הדחיסה של מפצל הטוקנים החדש במשפחות שפות שונות
גוג'ראטית: 4.4x פחות טוקנים (מ-145 ל-33) | હેલો, મારું નામ જીપીટી-4o છે. હું એક નવા પ્રકારનું ભાષા મોડલ છું. તમને મળીને સારું લાગ્યું! |
טלוגו: 3.5 פעמים פחות טוקנים (מ-159 ל-45) | నమస్కారము, నా పేరు జీపీటీ-4o. నేను ఒక్క కొత్త రకమైన భాషా మోడల్ ని. మిమ్మల్ని కలిసినందుకు సంతోషం! |
בטמילית: 3.3x פחות טוקנים (מ-116 ל-35) | வணக்கம், என் பெயர் ஜிபிடி-4o. நான் ஒரு புதிய வகை மொழி மாடல். உங்களை சந்தித்ததில் மகிழ்ச்சி! |
מראטהי: פי 2.9 פחות טוקנים (מ-96 ל-33) | नमस्कार, माझे नाव जीपीटी-4o आहे| मी एक नवीन प्रकारची भाषा मॉडेल आहे| तुम्हाला भेटून आनंद झाला! |
הינדית: 2.9x פחות טוקנים (מ-90 ל-31) | नमस्ते, मेरा नाम जीपीटी-4o है। मैं एक नए प्रकार का भाषा मॉडल हूँ। आपसे मिलकर अच्छा लगा! |
באורדו 2.5x פחות טוקנים (מ-82 ל-33) | ہیلو، میرا نام جی پی ٹی-4o ہے۔ میں ایک نئے قسم کا زبان ماڈل ہوں، آپ سے مل کر اچھا لگا! |
בערבית 2.0x פחות טוקנים (מ-53 ל-26) | مرحبًا، اسمي جي بي تي-4o. أنا نوع جديد من نموذج اللغة، سررت بلقائك! |
פרסית: 1.9x פחות טוקנים (מ-61 ל-32) | سلام، اسم من جی پی تی-۴او است. من یک نوع جدیدی از مدل زبانی هستم، از ملاقات شما خوشبختم! |
רוסית: פי 1.7 פחות טוקנים (מ-39 ל-23) | Привет, меня зовут GPT-4o. Я — новая языковая модель, приятно познакомиться! |
בקוריאנית, 1.7x פחות טוקנים (מ-45 ל-27) | 안녕하세요, 제 이름은 GPT-4o입니다. 저는 새로운 유형의 언어 모델입니다, 만나서 반갑습니다! |
בווייטנאמית: 1.5x פחות טוקנים (מ-46 ל-30) | Xin chào, tên tôi là GPT-4o. Tôi là một loại mô hình ngôn ngữ mới, rất vui được gặp bạn! |
בסינית 1.4x פחות טוקנים (מ-34 ל-24) | 你好，我的名字是GPT-4o。我是一种新型的语言模型，很高兴见到你! |
יפנית 1.4x פחות טוקנים (מ-37 ל-26) | こんにちは、私の名前はGPT-4oです。私は新しいタイプの言語モデルです。初めまして！ |
טורקית: 1.3x פחות טוקנים (מ-39 ל-30) | Merhaba, benim adım GPT-4o. Ben yeni bir dil modeli türüyüm, tanıştığımıza memnun oldum! |
באיטלקית: 1.2x פחות טוקנים (מ-34 ל-28) | Ciao, mi chiamo GPT-4o. Sono un nuovo tipo di modello linguistico, piacere di conoscerti! |
בגרמנית: פי 1.2 פחות טוקנים (מ-34 ל-29) | Hallo, mein Name is GPT-4o. Ich bin ein neues KI-Sprachmodell. Es ist schön, dich kennenzulernen. |
בספרדית, 1.1x פחות טוקנים (מ-29 ל-26) | Hola, me llamo GPT-4o. Soy un nuevo tipo de modelo de lenguaje, ¡es un placer conocerte! |
פורטוגזית: 1.1x פחות טוקנים (מ-30 ל-27) | Olá, meu nome é GPT-4o. Sou um novo tipo de modelo de linguagem, é um prazer conhecê-lo! |
צרפתית: 1.1x פחות טוקנים (מ-31 ל-28) | Bonjour, je m'appelle GPT-4o. Je suis un nouveau type de modèle de langage, c'est un plaisir de vous rencontrer! |
1.1x פחות טוקנים באנגלית (מ-27 ל-24) | Hello, my name is GPT-4o. I'm a new type of language model, it's nice to meet you! |
הבטיחות מובנית בתכנון של GPT‑4o בכל אופני הקלט והפלט, באמצעות שיטות כמו סינון נתוני האימון ושיפור התנהגות המודל באימון משלים. יצרנו גם מערכות בטיחות חדשות שמציבות גבולות בטיחות לפלט קולי.
הערכנו את GPT‑4o לפי Preparedness Framework שלנו ובהתאם להתחייבויות שקיבלנו על עצמנו מרצון. ההערכות שלנו בתחומי אבטחת סייבר, סיכונים כימיים, ביולוגיים, רדיולוגיים וגרעיניים (CBRN), שכנוע ואוטונומיית המודל מראות שרמת הסיכון של GPT‑4o אינה עולה על בינונית באף אחת מהקטגוריות האלה. הערכה זו כללה סדרה של בדיקות אוטומטיות ואנושיות לאורך תהליך אימון המודל. בדקנו גרסאות של המודל לפני ואחרי יישום אמצעים לצמצום סיכוני בטיחות, באמצעות כוונון עדין והנחיות מותאמים, כדי לחשוף טוב יותר את יכולות המודל.
GPT‑4o עבר גם בדיקות red teaming חיצוניות נרחבות עם יותר מ-70 מומחים חיצוניים בתחומים כמו פסיכולוגיה חברתית, הטיה והוגנות ומידע שגוי, כדי לזהות סיכונים שנוצרים או מתעצמים בעקבות אופני הקלט והפלט החדשים. השתמשנו בתובנות האלה כדי להרחיב את אמצעי הבטיחות שלנו ולשפר את בטיחות האינטראקציה עם GPT‑4o. נמשיך לצמצם סיכונים חדשים ככל שיתגלו.
אנחנו מודעים לכך שיכולות האודיו של GPT‑4o מציבות מגוון סיכונים חדשים. היום אנחנו מנגישים לציבור קלטי טקסט ותמונה ופלטי טקסט. בשבועות ובחודשים הקרובים נעבוד על התשתית הטכנית, על שיפור השימושיות באמצעות אימון משלים ועל הבטיחות הנדרשת להשקת אופני הקלט והפלט האחרים. לדוגמה, בעת ההשקה, פלטי האודיו יוגבלו למבחר קולות מוגדרים מראש ויפעלו בהתאם למדיניות הבטיחות הקיימת שלנו. נשתף פרטים נוספים על מכלול אופני הקלט והפלט של GPT‑4o בכרטיס המערכת שיפורסם בקרוב.
במהלך הבדיקות וסבבי השיפור של המודל, זיהינו כמה מגבלות שקיימות בכל אופני הקלט והפלט שלו. אחדות מהן מודגמות להלן.
Examples of model limitations
We would love feedback to help identify tasks where GPT‑4 Turbo still outperforms GPT‑4o, so we can continue to improve the model.
עודכן ב-8 במאי 2024
במסגרת Preparedness Framework שלנו, אנחנו עורכים הערכות באופן קבוע ומעדכנים את טבלאות דירוג הסיכונים של המודלים שלנו. רק מודלים שרמת הסיכון שלהם לאחר יישום אמצעי צמצום סיכונים היא ״בינונית״ או נמוכה יותר מושקים לשימוש. רמת הסיכון הכוללת של מודל נקבעת לפי רמת הסיכון הגבוהה ביותר מבין כל הקטגוריות. נכון לעכשיו, GPT‑4o מוערך כבעל רמת סיכון בינונית, הן לפני המאמצים לצמצום סיכונים והן אחריהם.
GPT‑4o הוא הצעד האחרון שלנו בהרחבת גבולות הלמידה העמוקה, הפעם במטרה להפוך אותה לשימושית יותר בפועל. בשנתיים האחרונות השקענו מאמצים רבים בשיפור היעילות בכל שכבה של המערכת. כפרי ראשון של המחקר הזה, אנחנו יכולים להנגיש מודל ברמה של GPT‑4 לקהל רחב הרבה יותר. היכולות של GPT‑4o יושקו בהדרגה (עם גישה מורחבת לצוותי בדיקה התקפית החל מהיום).
יכולות הטקסט והתמונה של GPT‑4o מתחילות להיות זמינות ב-ChatGPT החל מהיום. אנחנו מנגישים את GPT‑4o במסלול החינמי, ולמשתמשי Plus עם מכסות הודעות גדולות עד פי 5. בשבועות הקרובים נשיק גרסת אלפא חדשה של מצב קולי עם GPT‑4o במסגרת ChatGPT Plus.
מפתחים יכולים כעת לגשת ל-GPT‑4o גם דרך ה-API, כמודל לטקסט ולראייה. GPT‑4o מהיר פי 2, עולה חצי מהמחיר ומאפשר קצב בקשות גבוה פי 5 בהשוואה ל-GPT‑4 Turbo. בשבועות הקרובים אנחנו מתכננים להשיק דרך ה-API תמיכה ביכולות האודיו והווידאו החדשות של GPT‑4o לקבוצה קטנה של שותפים מהימנים.