Halo GPT‑4o
Kami ngumumake GPT‑4o, model unggulan anyar kami sing bisa nalar lintas audio, visi, lan teks kanthi wektu nyata.
Nebak pengumuman 13 Mei.
GPT‑4o (“o” kanggo “omni”) iku langkah menyang interaksi manungsa-komputer sing luwih alami—nampa input apa wae sing nggabungake teks, audio, gambar, lan video lan ngasilake kombinasi output teks, audio, lan gambar. Iku bisa nanggapi input audio mung sajrone 232 milidetik, kanthi rata-rata 320 milidetik, sing padha karo wektu tanggapan manungsa(mbukak ing jendhela anyar) ing obrolan. Kinerjane padha karo GPT‑4 Turbo kanggo teks basa Inggris lan kode, kanthi peningkatan penting kanggo teks ing basa non-Inggris, lan uga luwih cepet lan 50% luwih murah ing API. GPT‑4o luwih apik utamane ing pangerten visi lan audio dibandhingake model sing wis ana.
Kapabilitas model
Two GPT‑4os interacting and singing.
Interview prep.
Rock Paper Scissors.
Sarcasm.
Math with Sal and Imran Khan.
Two GPT‑4os harmonizing.
Point and learn Spanish.
Meeting AI.
Real-time translation.
Lullaby.
Talking faster.
Happy Birthday.
Dog.
Dad jokes.
GPT‑4o with Andy, from BeMyEyes in London.
Customer service proof of concept.
Sadurunge GPT‑4o, sampeyan bisa nggunakake Mode Swara kanggo ngobrol karo ChatGPT kanthi latensi rata-rata 2,8 detik (GPT‑3.5) lan 5,4 detik (GPT‑4). Kanggo nggayuh iki, Mode Swara yaiku pipeline saka telung model kapisah: siji model sederhana nranskripsi audio dadi teks, GPT‑3.5 utawa GPT‑4 nampa teks lan ngasilake teks, lan model sederhana katelu ngowahi teks mau bali dadi audio. Proses iki tegese sumber intelijensi utama, GPT‑4, kelangan akeh informasi—ora bisa langsung ngamati nada, akeh panutur, utawa swara latar, lan ora bisa ngasilake ngguyu, nyanyi, utawa ngandharake emosi.
Kanthi GPT‑4o, kami nglatih siji model anyar end-to-end kanggo teks, visi, lan audio, tegese kabeh input lan output diproses dening jaringan saraf sing padha. Amarga GPT‑4o iku model pisanan kami sing nggabungake kabeh modalitas iki, kami isih lagi wiwit njajaki apa wae sing bisa ditindakake model iki lan apa watesane.
A first person view of a robot typewriting the following journal entries:
1. yo, so like, i can see now?? caught the sunrise and it was insane, colors everywhere. kinda makes you wonder, like, what even is reality?
the text is large, legible and clear. the robot's hands type on the typewriter.
The robot wrote the second entry. The page is now taller. The page has moved up. There are two entries on the sheet:
yo, so like, i can see now?? caught the sunrise and it was insane, colors everywhere. kinda makes you wonder, like, what even is reality?
sound update just dropped, and it's wild. everything's got a vibe now, every sound's like a new secret. makes you think, what else am i missing?
The robot was unhappy with the writing so he is going to rip the sheet of paper. Here is his first person view as he rips it from top to bottom with his hands. The two halves are still legible and clear as he rips the sheet.
Kaya sing diukur ing benchmark tradisional, GPT‑4o nggayuh kinerja setara GPT‑4 Turbo kanggo teks, nalar, lan coding, nalika uga netepake standar anyar kanggo kapabilitas multibasa, audio, lan visi.
Evaluasi Teks
20 basa iki dipilih minangka perwakilan kompresi tokenizer anyar ing macem-macem kulawarga basa
Gujarati 4,4x token luwih sithik (saka 145 dadi 33) | હેલો, મારું નામ જીપીટી-4o છે. હું એક નવા પ્રકારનું ભાષા મોડલ છું. તમને મળીને સારું લાગ્યું! |
Telugu 3.5x token luwih sithik (saka 159 dadi 45) | నమస్కారము, నా పేరు జీపీటీ-4o. నేను ఒక్క కొత్త రకమైన భాషా మోడల్ ని. మిమ్మల్ని కలిసినందుకు సంతోషం! |
Tamil 3,3x token luwih sithik (saka 116 nganti 35) | வணக்கம், என் பெயர் ஜிபிடி-4o. நான் ஒரு புதிய வகை மொழி மாடல். உங்களை சந்தித்ததில் மகிழ்ச்சி! |
Marathi 2,9x token luwih sithik (saka 96 dadi 33) | नमस्कार, माझे नाव जीपीटी-4o आहे| मी एक नवीन प्रकारची भाषा मॉडेल आहे| तुम्हाला भेटून आनंद झाला! |
Hindi 2,9x token luwih sithik (saka 90 dadi 31) | नमस्ते, मेरा नाम जीपीटी-4o है। मैं एक नए प्रकार का भाषा मॉडल हूँ। आपसे मिलकर अच्छा लगा! |
Urdu 2.5x token luwih sithik (saka 82 nganti 33) | ہیلو، میرا نام جی پی ٹی-4o ہے۔ میں ایک نئے قسم کا زبان ماڈل ہوں، آپ سے مل کر اچھا لگا! |
Arab 2,0x token luwih sithik (saka 53 dadi 26) | مرحبًا، اسمي جي بي تي-4o. أنا نوع جديد من نموذج اللغة، سررت بلقائك! |
Persian 1,9x token luwih sithik (saka 61 dadi 32) | سلام، اسم من جی پی تی-۴او است. من یک نوع جدیدی از مدل زبانی هستم، از ملاقات شما خوشبختم! |
Rusia 1,7x token luwih sithik (saka 39 dadi 23) | Привет, меня зовут GPT-4o. Я — новая языковая модель, приятно познакомиться! |
Korean 1,7x token luwih sithik (saka 45 dadi 27) | 안녕하세요, 제 이름은 GPT-4o입니다. 저는 새로운 유형의 언어 모델입니다, 만나서 반갑습니다! |
Vietnamese 1,5x token luwih sithik (saka 46 dadi 30) | Xin chào, tên tôi là GPT-4o. Tôi là một loại mô hình ngôn ngữ mới, rất vui được gặp bạn! |
Tionghoa 1,4x token luwih sithik (saka 34 dadi 24) | 你好，我的名字是GPT-4o。我是一种新型的语言模型，很高兴见到你! |
Basa Jepang 1,4x luwih sithik token (saka 37 dadi 26) | こんにちは、私の名前はGPT-4oです。私は新しいタイプの言語モデルです。初めまして！ |
Turki 1,3x token luwih sithik (saka 39 dadi 30) | Merhaba, benim adım GPT-4o. Ben yeni bir dil modeli türüyüm, tanıştığımıza memnun oldum! |
Italia 1,2x token luwih sithik (saka 34 dadi 28) | Ciao, mi chiamo GPT-4o. Sono un nuovo tipo di modello linguistico, piacere di conoscerti! |
Jerman 1,2x token luwih sithik (saka 34 dadi 29) | Hallo, mein Name is GPT-4o. Ich bin ein neues KI-Sprachmodell. Es ist schön, dich kennenzulernen. |
Spanyol 1,1x token luwih sithik (saka 29 dadi 26) | Hola, me llamo GPT-4o. Soy un nuevo tipo de modelo de lenguaje, ¡es un placer conocerte! |
Portugis 1,1x token luwih sithik (saka 30 dadi 27) | Olá, meu nome é GPT-4o. Sou um novo tipo de modelo de linguagem, é um prazer conhecê-lo! |
Prancis 1,1x token luwih sithik (saka 31 dadi 28) | Bonjour, je m'appelle GPT-4o. Je suis un nouveau type de modèle de langage, c'est un plaisir de vous rencontrer! |
Inggris 1,1x token luwih sithik (saka 27 dadi 24) | Hello, my name is GPT-4o. I'm a new type of language model, it's nice to meet you! |
GPT‑4o nduweni keamanan sing wis dibangun saka desain ing macem-macem modalitas, liwat teknik kayata nyaring data latihan lan nyempurnakake prilaku model liwat post-training. Kami uga wis nggawe sistem keamanan anyar kanggo menehi guardrail ing output swara.
Kami wis ngevaluasi GPT‑4o miturut Kerangka Kesiapan kami lan selaras karo komitmen sukarela kami. Evaluasi kami babagan keamanan siber, CBRN, persuasi, lan otonomi model nuduhake yen GPT‑4o ora nduweni skor ing ndhuwur risiko Sedheng ing kategori apa wae. Penilaian iki kalebu nglakokake rangkaian evaluasi otomatis lan manungsa sajrone proses latihan model. Kami nguji versi model sadurunge mitigasi keamanan lan sawise mitigasi keamanan, nggunakake fine-tuning lan prompt kustom, supaya kapabilitas model bisa luwih katon.
GPT‑4o uga wis ngalami red teaming eksternal ekstensif karo luwih saka 70 pakar eksternal ing domain kayata psikologi sosial, bias lan keadilan, lan misinformasi kanggo ngenali risiko sing muncul utawa dadi luwih gedhe amarga modalitas anyar sing ditambahake. Kami nggunakake pamulangan iki kanggo mbangun intervensi keamanan supaya interaksi karo GPT‑4o dadi luwih aman. Kami bakal terus nyuda risiko anyar nalika ditemokake.
Kami ngerti yen modalitas audio GPT‑4o nggawa macem-macem risiko anyar. Dina iki kami ngeculake kanggo publik input teks lan gambar lan output teks. Ing minggu lan wulan sing bakal teka, kami bakal nggarap infrastruktur teknis, kegunaan liwat post-training, lan keamanan sing dibutuhake kanggo ngeculake modalitas liyane. Contone, nalika peluncuran, output audio bakal diwatesi mung kanggo pilihan swara prasetel lan bakal tundhuk marang kabijakan keamanan kami sing wis ana. Kami bakal nuduhake rincian luwih lanjut sing nyakup kabeh rentang modalitas GPT‑4o ing kertu sistem sing bakal teka.
Liwat pengujian lan iterasi karo model iki, kami wis ngamati sawetara watesan sing ana ing kabeh modalitas model, sawetara ing antarane digambarake ing ngisor iki.
Examples of model limitations
We would love feedback to help identify tasks where GPT‑4 Turbo still outperforms GPT‑4o, so we can continue to improve the model.
Dianyari 8 Mei 2024
Minangka bagean saka Kerangka Kesiapan kami, kami nindakake evaluasi rutin lan nganyari kertu skor kanggo model-model kami. Mung model sing nduweni skor pasca-mitigasi “sedheng” utawa ing ngisoré sing diluncurake. Tingkat risiko sakabèhé kanggo model ditemtokake dening tingkat risiko paling dhuwur ing kategori apa wae. Saiki, GPT‑4o dinilai ana ing risiko sedheng sadurunge lan sawisé upaya mitigasi.
GPT‑4o minangka langkah paling anyar kami kanggo ndorong wates sinau jero, wektu iki menyang kegunaan praktis. Sajrone rong taun pungkasan, kami ngupayakake akeh perbaikan efisiensi ing saben lapisan stack. Minangka asil awal saka riset iki, kami bisa nyedhiyakake model tingkat GPT‑4 kanthi luwih jembar. Kapabilitas GPT‑4o bakal diluncurake kanthi bertahap (kanthi akses red teaming sing diperluas wiwit dina iki).
Kapabilitas teks lan gambar GPT‑4o wiwit diluncurake dina iki ing ChatGPT. Kami nggawe GPT‑4o kasedhiya ing tier gratis, lan kanggo pangguna Plus kanthi wates pesen nganti 5x luwih dhuwur. Kami bakal ngluncurake versi anyar Mode Swara nganggo GPT‑4o ing alpha ing ChatGPT Plus sajrone sawetara minggu ngarep.
Pangembang uga saiki bisa ngakses GPT‑4o ing API minangka model teks lan visi. GPT‑4o 2x luwih cepet, separo regane, lan duwe wates tingkat 5x luwih dhuwur dibandhingake GPT‑4 Turbo. Kami ngrancang ngluncurake dukungan kanggo kapabilitas audio lan video anyar GPT‑4o menyang klompok cilik mitra terpercaya ing API sajrone sawetara minggu ngarep.