Helo GPT‑4o
Kami mengumumkan GPT‑4o, model perdana baharu kami yang boleh membuat penaakulan merentasi audio, penglihatan, dan teks dalam masa nyata.
Menjangka pengumuman pada 13 Mei.
GPT‑4o (“o” untuk “omni”) adalah langkah ke arah interaksi manusia-komputer yang lebih semula jadi - ia menerima sebagai Input sebarang gabungan teks, audio, imej, dan video dan menjana sebarang gabungan teks, audio, dan imej output. Ia boleh bertindak balas kepada input audio secepat 232 mili saat, dengan purata 320 mili saat, yang serupa dengan masa tindak balas manusia(dibuka dalam tetingkap baru) dalam perbualan. Ia sepadan dengan prestasi GPT‑4 Turbo pada teks dalam bahasa Inggeris dan kod, dengan peningkatan ketara pada teks dalam bahasa bukan Inggeris, malah ia juga jauh lebih pantas dan 50% lebih murah dalam API. GPT‑4o lebih baik dalam pemahaman penglihatan dan audio berbanding model sedia ada.
Keupayaan model
Dua GPT‑4os berinteraksi dan menyanyi.
Persediaan temu duga.
Batu Gunting Kertas.
Sarkasme.
Matematik dengan Sal dan Imran Khan.
Dua GPT‑4os sedang menyelaraskan.
Tunjuk dan belajar bahasa Sepanyol.
Mesyuarat AI.
Terjemahan masa sebenar.
Mendodoi.
Bercakap dengan pantas.
Selamat Hari Jadi.
Anjing.
Lawak bapa.
GPT‑4o dengan Andy, dari BeMyEyes di London.
Khidmat pelanggan bukti konsep.
Sebelum GPT‑4o, anda boleh menggunakan Mod Suara untuk bercakap dengan ChatGPT dengan kependaman 2.8 saat (GPT‑3.5) dan 5.4 saat (GPT‑4) secara purata. Untuk mencapai matlamat ini, Mod Suara adalah rangkaian tiga model berasingan: satu model mudah menyalin audio kepada teks, GPT‑3.5 atau GPT‑4 memproses teks dan output teks, dan model mudah ketiga menukar teks itu kembali kepada audio. Proses ini bermaksud sumber kecerdasan utama, GPT‑4, kehilangan banyak maklumat—ia tidak dapat memerhatikan nada secara langsung, pembesar suara berganda atau bunyi latar belakang, dan ia tidak dapat mengeluarkan output ketawa, nyanyian atau meluahkan emosi.
Dengan GPT‑4o, kami melatih satu model baharu secara menyeluruh merentas teks, penglihatan, dan audio, yang bermaksud semua input dan output diproses oleh rangkaian saraf yang sama. Kerana GPT‑4o adalah model pertama kami yang menggabungkan semua modaliti ini, kami masih baharu mula menerokai apa yang model ini boleh lakukan dan batasannya.
A first person view of a robot typewriting the following journal entries:
1. yo, so like, i can see now?? caught the sunrise and it was insane, colors everywhere. kinda makes you wonder, like, what even is reality?
the text is large, legible and clear. the robot's hands type on the typewriter.
The robot wrote the second entry. The page is now taller. The page has moved up. There are two entries on the sheet:
yo, so like, i can see now?? caught the sunrise and it was insane, colors everywhere. kinda makes you wonder, like, what even is reality?
sound update just dropped, and it's wild. everything's got a vibe now, every sound's like a new secret. makes you think, what else am i missing?
The robot was unhappy with the writing so he is going to rip the sheet of paper. Here is his first person view as he rips it from top to bottom with his hands. The two halves are still legible and clear as he rips the sheet.
Seperti yang diukur pada penanda aras tradisional, GPT‑4o mencapai prestasi tahap Turbo GPT‑4 dalam teks, penaakulan, dan kecerdasan pengekodan, sambil menetapkan penanda aras baharu dalam keupayaan berbilang bahasa, audio, dan penglihatan.
Penilaian Teks
20 bahasa ini dipilih sebagai perwakilan bagi mampatan tokenizer baharu merentasi pelbagai keluarga bahasa
Gujarati 4.4x lebih sedikit token (daripada 145 kepada 33) | હેલો, મારું નામ જીપીટી-4o છે. હું એક નવા પ્રકારનું ભાષા મોડલ છું. તમને મળીને સારું લાગ્યું! |
Telugu 3.5x lebih sedikit token (daripada 159 kepada 45) | నమస్కారము, నా పేరు జీపీటీ-4o. నేను ఒక్క కొత్త రకమైన భాషా మోడల్ ని. మిమ్మల్ని కలిసినందుకు సంతోషం! |
Bahasa Tamil 3.3x lebih sedikit token (daripada 116 kepada 35) | வணக்கம், என் பெயர் ஜிபிடி-4o. நான் ஒரு புதிய வகை மொழி மாடல். உங்களை சந்தித்ததில் மகிழ்ச்சி! |
Marathi 2.9x lebih sedikit token (daripada 96 kepada 33) | नमस्कार, माझे नाव जीपीटी-4o आहे| मी एक नवीन प्रकारची भाषा मॉडेल आहे| तुम्हाला भेटून आनंद झाला! |
Hindi 2.9x lebih sedikit token (daripada 90 kepada 31) | नमस्ते, मेरा नाम जीपीटी-4o है। मैं एक नए प्रकार का भाषा मॉडल हूँ। आपसे मिलकर अच्छा लगा! |
Urdu 2.5x lebih sedikit token (daripada 82 kepada 33) | ہیلو، میرا نام جی پی ٹی-4o ہے۔ میں ایک نئے قسم کا زبان ماڈل ہوں، آپ سے مل کر اچھا لگا! |
Bahasa Arab 2.0x lebih sedikit token (daripada 53 kepada 26) | مرحبًا، اسمي جي بي تي-4o. أنا نوع جديد من نموذج اللغة، سررت بلقائك! |
Bahasa Parsi 1.9x lebih sedikit token (daripada 61 ke 32) | سلام، اسم من جی پی تی-۴او است. من یک نوع جدیدی از مدل زبانی هستم، از ملاقات شما خوشبختم! |
Bahasa Rusia 1.7x lebih sedikit token (daripada 39 kepada 23) | Привет, меня зовут GPT-4o. Я — новая языковая модель, приятно познакомиться! |
Korea 1.7x lebih sedikit token (daripada 45 kepada 27) | 안녕하세요, 제 이름은 GPT-4o입니다. 저는 새로운 유형의 언어 모델입니다, 만나서 반갑습니다! |
Bahasa Vietnam 1.5x lebih sedikit token (daripada 46 kepada 30) | Xin chào, tên tôi là GPT-4o. Tôi là một loại mô hình ngôn ngữ mới, rất vui được gặp bạn! |
Cina 1.4x kurang token (daripada 34 kepada 24) | 你好，我的名字是GPT-4o。我是一种新型的语言模型，很高兴见到你! |
Bahasa Jepun 1.4x lebih sedikit token (daripada 37 kepada 26) | こんにちは、私の名前はGPT-4oです。私は新しいタイプの言語モデルです。初めまして！ |
Bahasa Turki 1.3x lebih sedikit token (daripada 39 kepada 30) | Merhaba, benim adım GPT-4o. Ben yeni bir dil modeli türüyüm, tanıştığımıza memnun oldum! |
Bahasa Itali 1.2x lebih sedikit token (daripada 34 kepada 28) | Ciao, mi chiamo GPT-4o. Sono un nuovo tipo di modello linguistico, piacere di conoscerti! |
Jerman 1.2x lebih sedikit token (daripada 34 kepada 29) | Hallo, mein Name is GPT-4o. Ich bin ein neues KI-Sprachmodell. Es ist schön, dich kennenzulernen. |
Bahasa Sepanyol 1.1x lebih sedikit token (daripada 29 kepada 26) | Hola, me llamo GPT-4o. Soy un nuevo tipo de modelo de lenguaje, ¡es un placer conocerte! |
Portugis 1.1x kurang token (daripada 30 kepada 27) | Olá, meu nome é GPT-4o. Sou um novo tipo de modelo de linguagem, é um prazer conhecê-lo! |
Bahasa Perancis 1.1x lebih sedikit token (daripada 31 kepada 28) | Bonjour, je m'appelle GPT-4o. Je suis un nouveau type de modèle de langage, c'est un plaisir de vous rencontrer! |
Bahasa Inggeris 1.1x kurang token (daripada 27 kepada 24) | Hello, my name is GPT-4o. I'm a new type of language model, it's nice to meet you! |
GPT‑4o mempunyai keselamatan yang dibina dalam reka bentuk merentas modaliti, melalui teknik seperti penapis data latihan dan memperhalusi tingkah laku model melalui latihan selepasnya. Kami juga telah mencipta sistem keselamatan baharu untuk menyediakan panduan pada output suara.
Kami telah menilai GPT‑4o mengikut Rangka Kerja Kesediaan kami dan selaras dengan komitmen sukarela kami. Penilaian kami terhadap keselamatan siber, CBRN, pujukan, dan autonomi model menunjukkan bahawa GPT‑4o tidak mendapat markah melebihi risiko Sederhana dalam mana-mana kategori ini. Penilaian ini melibatkan menjalankan satu set penilaian automatik dan manusia sepanjang proses latihan model. Kami menguji kedua-dua versi pra-mitigasi keselamatan dan pasca-mitigasi keselamatan model, menggunakan pelarasan halus dan templat prom, untuk lebih memahami keupayaan model.
GPT‑4o juga telah menjalani pengujian pasukan merah luaran yang meluas dengan lebih daripada 70 pakar luaran dalam domain seperti psikologi sosial, bias dan keadilan, dan maklumat salah untuk mengenal pasti risiko yang diperkenalkan atau diperkuatkan oleh modaliti yang baharu ditambah. Kami menggunakan pembelajaran ini untuk membangunkan intervensi keselamatan kami bagi meningkatkan keselamatan berinteraksi dengan GPT‑4o. Kami akan teruskan mengurangkan risiko baharu apabila ia ditemui.
Kami menyedari bahawa modaliti audio GPT‑4o mempersembahkan pelbagai risiko baharu. Hari ini kami secara terbuka melancarkan input teks dan imej serta output teks. Dalam minggu-minggu dan bulan-bulan yang akan datang, kami akan bekerja pada infrastruktur teknikal, kebolehgunaan melalui pasca latihan, dan keselamatan yang diperlukan untuk melancarkan modaliti lain. Sebagai contoh, semasa pelancaran, output audio akan terhad kepada pilihan suara pratetap dan akan mematuhi dasar keselamatan sedia ada kami. Kami akan berkongsi butiran lanjut mengenai pelbagai modaliti GPT‑4o dalam kad sistem yang akan datang.
Melalui ujian dan pengulangan kami dengan model, kami telah memerhatikan beberapa batasan yang wujud di semua modaliti model, beberapa daripadanya seperti yang digambarkan di bawah.
Contoh batasan model
Kami ingin mandapatkan maklum balas untuk membantu mengenal pasti tugas di mana GPT‑4 Turbo masih mengatasi GPT‑4o, supaya kami boleh teruskan memperbaiki model ini, terima kasih.
Dikemas kini pada 8 Mei 2024
Sebagai sebahagian daripada Rangka Kerja Kesediaan kami, kami menjalankan penilaian berkala dan mengemas kini kad skor untuk model kami. Hanya model dengan skor pasca mitigasi “sederhana” atau lebih rendah yang digunakan. Tahap risiko keseluruhan untuk model ditentukan oleh tahap risiko tertinggi dalam mana-mana kategori. Pada masa ini, GPT‑4o dinilai pada risiko sederhana sebelum dan selepas usaha mitigasi.
GPT‑4o ialah langkah terbaharu kami dalam meneroka sempadan pembelajaran mendalam, kali ini ke arah kebolehgunaan praktikal. Kami telah berusaha keras sejak dua tahun yang lalu untuk meningkatkan kecekapan di setiap lapisan timbunan. Sebagai hasil pertama penyelidikan ini, kami dapat menyediakan model setaraf GPT‑4 dengan lebih meluas. Keupayaan GPT‑4o akan dilancarkan secara berperingkat (dengan akses team merah lanjutan bermula hari ini).
Keupayaan teks dan imej GPT‑4o mula diperkenalkan hari ini di ChatGPT. Kami menyediakan GPT‑4o dalam pelan percuma, dan kepada pengguna Plus dengan had mesej sehingga 5x lebih tinggi. Kami akan melancarkan versi baharu Mod Suara dengan GPT‑4o dalam peringkat alfa dalam ChatGPT Plus dalam beberapa minggu akan datang.
Pembangun juga kini boleh mengakses GPT‑4o dalam API sebagai model teks dan penglihatan. GPT‑4o adalah 2x lebih pantas, separuh harga, dan mempunyai had kadar 5x lebih tinggi berbanding GPT‑4 Turbo. Kami merancang untuk melancarkan sokongan bagi keupayaan audio dan video baharu GPT‑4o kepada sekumpulan kecil rakan kongsi yang dipercayai dalam API dalam beberapa minggu akan datang.