Hello GPT‑4o
Qed inħabbru GPT‑4o, il-mudell flagship il-ġdid tagħna li jista’ jagħmel raġunament fuq awdjo, viżjoni u test f’ħin reali.
Qed naħsbu x’se titħabbar fit-13 ta’ Mejju.
GPT‑4o (“o” għal “omni”) huwa pass lejn interazzjoni bejn il-bniedem u l-kompjuter ħafna aktar naturali—jaċċetta bħala input kull kombinazzjoni ta’ test, awdjo, immaġni u vidjo u jiġġenera kull kombinazzjoni ta’ outputs ta’ test, awdjo u immaġni. Jista’ jwieġeb għal inputs tal-awdjo f’mhux aktar minn 232 millisekonda, b’medja ta’ 320 millisekonda, li hija simili għall-ħin ta’ rispons uman(jinfetaħ f’tieqa ġdida) f’konversazzjoni. Jaħbat mal-prestazzjoni ta’ GPT‑4 Turbo fit-test bl-Ingliż u fil-kodiċi, b’titjib sinifikanti fit-test f’lingwi mhux bl-Ingliż, filwaqt li huwa wkoll ħafna aktar mgħaġġel u 50% orħos fl-API. GPT‑4o huwa partikolarment aħjar fil-fehim tal-viżjoni u tal-awdjo meta mqabbel ma’ mudelli eżistenti.
Kapaċitajiet tal-mudell
Two GPT‑4os interacting and singing.
Interview prep.
Rock Paper Scissors.
Sarcasm.
Math with Sal and Imran Khan.
Two GPT‑4os harmonizing.
Point and learn Spanish.
Meeting AI.
Real-time translation.
Lullaby.
Talking faster.
Happy Birthday.
Dog.
Dad jokes.
GPT‑4o with Andy, from BeMyEyes in London.
Customer service proof of concept.
Qabel GPT‑4o, stajt tuża modalità tal-vuċi biex titkellem ma’ ChatGPT b’latenzi ta’ 2.8 sekondi (GPT‑3.5) u 5.4 sekondi (GPT‑4) bħala medja. Biex dan jinkiseb, il-modalità tal-vuċi hija pipeline ta’ tliet mudelli separati: mudell sempliċi wieħed jittraskrivi l-awdjo għal test, GPT‑3.5 jew GPT‑4 jieħu test u joħroġ test, u t-tielet mudell sempliċi jikkonverti dak it-test lura għal awdjo. Dan il-proċess ifisser li s-sors ewlieni tal-intelliġenza, GPT‑4, jitlef ħafna informazzjoni—ma jistax josserva direttament it-ton, kelliema multipli, jew ħsejjes fl-isfond, u ma jistax joħroġ daħk, kant, jew jesprimi emozzjoni.
Bil-GPT‑4o, ħarriġna mudell ġdid wieħed end-to-end fuq test, viżjoni u awdjo, li jfisser li l-inputs u l-outputs kollha jiġu pproċessati mill-istess network newrali. Minħabba li GPT‑4o huwa l-ewwel mudell tagħna li jgħaqqad dawn il-modalitajiet kollha, għadna biss qed nibdew nesploraw x’jista’ jagħmel il-mudell u l-limitazzjonijiet tiegħu.
A first person view of a robot typewriting the following journal entries:
1. yo, so like, i can see now?? caught the sunrise and it was insane, colors everywhere. kinda makes you wonder, like, what even is reality?
the text is large, legible and clear. the robot's hands type on the typewriter.
The robot wrote the second entry. The page is now taller. The page has moved up. There are two entries on the sheet:
yo, so like, i can see now?? caught the sunrise and it was insane, colors everywhere. kinda makes you wonder, like, what even is reality?
sound update just dropped, and it's wild. everything's got a vibe now, every sound's like a new secret. makes you think, what else am i missing?
The robot was unhappy with the writing so he is going to rip the sheet of paper. Here is his first person view as he rips it from top to bottom with his hands. The two halves are still legible and clear as he rips the sheet.
Kif imkejjel fuq benchmarks tradizzjonali, GPT‑4o jilħaq prestazzjoni fil-livell ta’ GPT‑4 Turbo fit-test, raġunament u coding intelligence, filwaqt li jistabbilixxi livelli ġodda għoljin fil-kapaċitajiet multilingwi, tal-awdjo u tal-viżjoni.
Valutazzjoni tat-test
Dawn l-20 lingwa ntgħażlu bħala rappreżentattivi tal-kompressjoni tat-tokenizer il-ġdid fost familji ta’ lingwi differenti
Gujarati 4.4x inqas tokens (minn 145 għal 33) | હેલો, મારું નામ જીપીટી-4o છે. હું એક નવા પ્રકારનું ભાષા મોડલ છું. તમને મળીને સારું લાગ્યું! |
Telugu 3.5x inqas tokens (minn 159 għal 45) | నమస్కారము, నా పేరు జీపీటీ-4o. నేను ఒక్క కొత్త రకమైన భాషా మోడల్ ని. మిమ్మల్ని కలిసినందుకు సంతోషం! |
Tamil 3.3x inqas tokens (minn 116 għal 35) | வணக்கம், என் பெயர் ஜிபிடி-4o. நான் ஒரு புதிய வகை மொழி மாடல். உங்களை சந்தித்ததில் மகிழ்ச்சி! |
Marathi 2.9x inqas tokens (minn 96 għal 33) | नमस्कार, माझे नाव जीपीटी-4o आहे| मी एक नवीन प्रकारची भाषा मॉडेल आहे| तुम्हाला भेटून आनंद झाला! |
Hindi 2.9x inqas tokens (minn 90 għal 31) | नमस्ते, मेरा नाम जीपीटी-4o है। मैं एक नए प्रकार का भाषा मॉडल हूँ। आपसे मिलकर अच्छा लगा! |
Urdu 2.5x inqas tokens (minn 82 għal 33) | ہیلو، میرا نام جی پی ٹی-4o ہے۔ میں ایک نئے قسم کا زبان ماڈل ہوں، آپ سے مل کر اچھا لگا! |
Għarbi 2.0x inqas tokens (minn 53 għal 26) | مرحبًا، اسمي جي بي تي-4o. أنا نوع جديد من نموذج اللغة، سررت بلقائك! |
Persian 1.9x inqas tokens (minn 61 għal 32) | سلام، اسم من جی پی تی-۴او است. من یک نوع جدیدی از مدل زبانی هستم، از ملاقات شما خوشبختم! |
Russu 1.7x inqas tokens (minn 39 għal 23) | Привет, меня зовут GPT-4o. Я — новая языковая модель, приятно познакомиться! |
Korejan 1.7x inqas tokens (minn 45 għal 27) | 안녕하세요, 제 이름은 GPT-4o입니다. 저는 새로운 유형의 언어 모델입니다, 만나서 반갑습니다! |
Vjetnamiż 1.5x inqas tokens (minn 46 għal 30) | Xin chào, tên tôi là GPT-4o. Tôi là một loại mô hình ngôn ngữ mới, rất vui được gặp bạn! |
Ċiniż 1.4x inqas tokens (minn 34 għal 24) | 你好，我的名字是GPT-4o。我是一种新型的语言模型，很高兴见到你! |
Ġappuniż 1.4x inqas tokens (minn 37 għal 26) | こんにちは、私の名前はGPT-4oです。私は新しいタイプの言語モデルです。初めまして！ |
It-Tork 1.3x inqas tokens (minn 39 għal 30) | Merhaba, benim adım GPT-4o. Ben yeni bir dil modeli türüyüm, tanıştığımıza memnun oldum! |
Taljan 1.2x inqas tokens (minn 34 għal 28) | Ciao, mi chiamo GPT-4o. Sono un nuovo tipo di modello linguistico, piacere di conoscerti! |
Ġermaniż 1.2x inqas tokens (minn 34 għal 29) | Hallo, mein Name is GPT-4o. Ich bin ein neues KI-Sprachmodell. Es ist schön, dich kennenzulernen. |
Spanjol 1.1x inqas tokens (minn 29 għal 26) | Hola, me llamo GPT-4o. Soy un nuevo tipo de modelo de lenguaje, ¡es un placer conocerte! |
Portugiż 1.1x inqas tokens (minn 30 għal 27) | Olá, meu nome é GPT-4o. Sou um novo tipo de modelo de linguagem, é um prazer conhecê-lo! |
Franċiż 1.1x inqas tokens (minn 31 għal 28) | Bonjour, je m'appelle GPT-4o. Je suis un nouveau type de modèle de langage, c'est un plaisir de vous rencontrer! |
Ingliż 1.1x inqas tokens (minn 27 sa 24) | Hello, my name is GPT-4o. I'm a new type of language model, it's nice to meet you! |
GPT‑4o għandu s-sikurezza integrata fid-disinn tiegħu fil-modalitajiet kollha, permezz ta’ tekniki bħall-iffiltrar tad-data tat-taħriġ u r-raffinar tal-imġiba tal-mudell permezz ta’ post-training. Ħloqna wkoll sistemi ġodda ta’ sikurezza biex jipprovdu guardrails fuq outputs tal-vuċi.
Evalwajna GPT‑4o skont il-Qafas tat-Tħejjija tagħna u f’konformità mal-impenji volontarji tagħna. L-evalwazzjonijiet tagħna taċ-ċibersigurtà, CBRN, persważjoni u awtonomija tal-mudell juru li GPT‑4o ma jiskorjax ’il fuq minn riskju Medju f’ebda waħda minn dawn il-kategoriji. Din il-valutazzjoni kienet tinvolvi t-tħaddim ta’ firxa ta’ evalwazzjonijiet awtomatizzati u umani matul il-proċess tat-taħriġ tal-mudell. Ittestjajna kemm verżjonijiet tal-mudell qabel il-mitigazzjoni tas-sikurezza kif ukoll wara l-mitigazzjoni tas-sikurezza, billi użajna fine-tuning personalizzat u prompts, biex noħorġu aħjar il-kapaċitajiet tal-mudell.
GPT‑4o għadda wkoll minn red teaming estensiv estern ma’ aktar minn 70 espert estern f’oqsma bħall-psikoloġija soċjali, il-preġudizzju u l-ġustizzja, u d-diżinformazzjoni biex jiġu identifikati riskji li jiddaħħlu jew jiżdiedu bil-modalitajiet li għadhom kif ġew miżjuda. Użajna dan it-tagħlim biex nibnu l-interventi tas-sikurezza tagħna sabiex intejbu s-sikurezza tal-interazzjoni ma’ GPT‑4o. Se nkomplu nimmitigaw riskji ġodda hekk kif jiġu skoperti.
Nagħrfu li l-modalitajiet tal-awdjo ta’ GPT‑4o jippreżentaw varjetà ta’ riskji ġodda. Illum qed noħorġu pubblikament inputs tat-test u tal-immaġni u outputs tat-test. Matul il-ġimgħat u x-xhur li ġejjin, se nkunu qed naħdmu fuq l-infrastruttura teknika, l-użabilità permezz ta’ post-training, u s-sikurezza meħtieġa biex noħorġu l-modalitajiet l-oħra. Pereżempju, mat-tnedija, l-outputs tal-awdjo se jkunu limitati għal għażla ta’ vuċijiet issettjati minn qabel u se josservaw il-politiki eżistenti tagħna dwar is-sikurezza. Se naqsmu aktar dettalji li jindirizzaw il-firxa sħiħa tal-modalitajiet ta’ GPT‑4o fil-kard tas-sistema li ġejja.
Permezz tal-ittestjar u l-iterazzjoni tagħna mal-mudell, osservajna diversi limitazzjonijiet li jeżistu fil-modalitajiet kollha tal-mudell, li ftit minnhom huma illustrati hawn taħt.
Examples of model limitations
We would love feedback to help identify tasks where GPT‑4 Turbo still outperforms GPT‑4o, so we can continue to improve the model.
Aġġornat fit-8 ta’ Mejju, 2024
Bħala parti mill-Qafas tat-Tħejjija tagħna, inwettqu evalwazzjonijiet regolari u naġġornaw scorecards għall-mudelli tagħna. Jitniedu biss mudelli bi score wara l-mitigazzjoni ta’ “medium” jew inqas.Il-livell ġenerali ta’ riskju għal mudell jiġi ddeterminat mill-ogħla livell ta’ riskju fi kwalunkwe kategorija. Bħalissa, GPT‑4o huwa evalwat b’riskju medju kemm qabel kif ukoll wara l-isforzi ta’ mitigazzjoni.
GPT‑4o huwa l-aħħar pass tagħna biex nimbuttaw il-konfini tal-apprendiment profond, din id-darba fid-direzzjoni tal-użabilità prattika. Fl-aħħar sentejn qattajna ħafna sforz naħdmu fuq titjib fl-effiċjenza f’kull saff tal-istack. Bħala l-ewwel frott ta’ din ir-riċerka, nistgħu nagħmlu mudell fil-livell ta’ GPT‑4 disponibbli ħafna aktar wiesa’. Il-kapaċitajiet ta’ GPT‑4o se jitniedu b’mod iterattiv (b’aċċess estiż għal red teaming li jibda llum).
Il-kapaċitajiet tat-test u tal-immaġni ta’ GPT‑4o qed jibdew jitniedu llum f’ChatGPT. Qed nagħmlu GPT‑4o disponibbli fil-livell b’xejn, u għall-utenti ta’ Plus b’limiti tal-messaġġi sa 5x ogħla. Se noħorġu verżjoni ġdida tal-modalità tal-vuċi b’GPT‑4o f’alpha fi ħdan ChatGPT Plus fil-ġimgħat li ġejjin.
L-iżviluppaturi issa jistgħu wkoll jaċċessaw GPT‑4o fl-API bħala mudell tat-test u tal-viżjoni. GPT‑4o huwa 2x aktar mgħaġġel, nofs il-prezz, u għandu limiti tar-rata 5x ogħla meta mqabbel ma’ GPT‑4 Turbo. Qed nippjanaw li nniedu appoġġ għall-kapaċitajiet ġodda tal-awdjo u tal-vidjo ta’ GPT‑4o għal grupp żgħir ta’ msieħba fdati fl-API fil-ġimgħat li ġejjin.