GPT‑Live‑ты таныстыру

Біз ЖИ-мен сөйлесуді шынайы әңгімеге әлдеқайда ұқсас ететін дауыс модельдерінің жаңа буынын — GPT‑Live‑ты іске қосып жатырмыз.

GPT‑Live толық дуплекс архитектурасына негізделген, яғни ол бір уақытта тыңдап та, сөйлей де алады. Әңгіме кезінде GPT‑Live назар аударып отырғанын «мм-хм» немесе «иә» сияқты тіркестермен көрсете алады, жылдам жауаптасуға қатыса алады немесе сізге ойлануға уақыт керек болса, жай ғана үнсіз тұра алады. Нәтижесінде сөйлесуге ерекше оңай дауыс тәжірибесі пайда болады.

GPT‑Live — осы уақытқа дейінгі ең ақылды дауыс моделіміз. Веб-іздеу, тереңірек ой қорыту немесе күрделірек жұмыс қажет болатын сұрақтарда ол тапсырманы фондық режимде ең жаңа озық моделімізге береді де, нәтиже дайын болғанда оны әңгімеге қайта қосады. Ол жұмыс істеп жатқанда, GPT‑Live сізбен сөйлесуді жалғастырып, әңгіме ағымын сақтай алады. Іске қосылған кезде GPT‑Live фондық режимде GPT‑5.5 қолданады. Жаңа озық модельдер шығарған сайын, GPT‑Live қолданатын модельді үздіксіз жаңартып отырамыз.

Бұл жетістіктер ChatGPT Voice тәжірибесін ақылдырақ әрі қолдануға табиғи етеді. Уақыт өте бұл зерттеу дауысты барған сайын күрделі, ұзаққа созылатын және агенттік сипаты басым жұмыстарға қолдануға жол ашады деп сенеміз.

Бүгін біз GPT‑Live‑тың екі нұсқасын — GPT‑Live‑1 және GPT‑Live‑1 mini — бүкіл әлемдегі ChatGPT пайдаланушыларына біртіндеп ұсына бастаймыз. Сондай-ақ оларды жақында API-ға қосуды жоспарлап отырмыз, ал әзірлеушілер мен кәсіпорындар хабарландыру алу үшін осы форманы⁠ пайдаланып тіркеле алады.

Біздің мақсатымыз — адам мен ЖИ арасындағы шынымен табиғи өзара әрекетті мүмкін ету: ЖИ-мен бірлесіп жұмыс істеу басқа адаммен жұмыс істегендей еркін әрі жедел жауап алатындай болатын, ал ой қорыту мен күрделі тапсырмаларды орындау фондық режимде бірқалыпты жүретін әлем.

Дауыс ЖИ жүйелерінің бұрынғы буындары бізді осы мақсатқа жақындатты, бірақ олардың елеулі шектеулері болды.

Каскадты дауыс жүйелері әр кезекті өңдеу үшін бірінен кейін бірі әрекет ететін модельдер тізбегіне сүйенеді. Түпнұсқа ChatGPT Voice үш модельді тізбектеді: сөзіңізді мәтінге түсіретін speech-to-text моделі, жауап жасайтын үлкен тілдік модель және оны қайтадан сөйлеуге айналдыратын text-to-speech моделі. Бұл тәсіл бізге алғаш рет озық ЖИ модельдерімен сөйлесуге мүмкіндік берді, бірақ күрделіліктің өз құны болды: модельдер арасында ақпарат жоғалуы мүмкін еді, ал жауаптар баяу әрі жасанды естілді.

ChatGPT‑дің жетілдірілген дауыс режимі сияқты кезекке негізделген дауыс модельдері аудионы бір модель ішінде өңдеп, генерациялады; бұл кідірісті азайтып, әңгімені бірқалыпты етті, бірақ олар бәрібір бөлек кезектер арқылы жұмыс істеді. Модель жауап бермес бұрын пайдаланушының сөйлеуді тоқтатуын күтуге мәжбүр болды, сондықтан әңгіме қатаң алма-кезек форматында жүрді. Бұған қоса, кезектің аяқталуын анықтау үнсіздікке негізделгендіктен, тіпті қысқа кідіріс немесе фондық шу кезектің соңы деп қате қабылданып, модельдің табиғи емес сәтте сөз бөлуіне әкелуі мүмкін еді.

GPT‑Live бұл шектеулерді архитектурадағы екі өзгеріс арқылы шешеді.

Біріншіден, біз GPT‑Live‑ты толық дуплексті архитектураға негізделген үздіксіз өзара әрекет үшін құрдық. Бөлек хабарламалар тізбегін өңдеудің орнына, GPT‑Live жауап жасап жатқан кезде де кіріс деректерді үздіксіз өңдейді. Сондықтан модель секундына бірнеше рет өзара әрекетке қатысты шешім қабылдай алады: сөйлеу, тыңдауды жалғастыру, кідіру, сөз бөлу немесе құрал шақыру.

Бұл модельге табиғирақ жауаптасуға, уақытты жақсырақ сезінуге және тіпті тікелей аударма жасауға мүмкіндік береді.

Екіншіден, үздіксіз өзара әрекетті басқаратын GPT‑Live‑ты тереңірек жұмыстан бөлдік. Сұрақ іздеуді, ой қорыту немесе агенттік мүмкіндіктерді қажет еткенде, GPT‑Live тапсырманы GPT‑5.5 сияқты басқа модельге бере алады. Осылайша ол фондық режимде бірнеше тапсырманы орындап жатқан кезде де әңгімені жалғастыра алады.

Бұл архитектуралық өзгеріс GPT‑Live‑қа ең жаңа модельдер мен агенттерді үздіксіз қолдануға да мүмкіндік береді, яғни озық интеллект табиғи өзара әрекетпен бірігеді.

Біз жағымдылық пен әңгіме ағымын өлшеу үшін адам қатысқан жаңа бағалаулар жасадық. Осы тікелей салыстыруларда GPT‑Live‑1 және GPT‑Live‑1 mini жалпы артық көруді, кезекпен сөйлеуді, сөз бөлуді, әңгіме ағымын және әр өзара әрекеттің қаншалықты табиғи сезілгенін өлшейтін сәйкес 5–10 минуттық әңгімелерде жетілдірілген дауыс режиміне қарағанда айқын басым таңдалды.

• GPQA: GPT‑Live‑1 биология, химия және физика бойынша сарапшы деңгейіндегі ғылыми ой қорыту қабілетін тексеретін GPQA-да жетілдірілген дауыс режимінен едәуір асып түседі.
• BrowseComp: GPT‑Live‑1 агенттік веб-іздеуді және табуы қиын ақпаратты табу қабілетін тексеретін BrowseComp-та жетілдірілген дауыс режимі мен салыстырғанда айтарлықтай жақсарған нәтиже көрсетеді.
• τ³-Voice Telecom**: GPT‑Live‑1 шынайы, көп кезекті телеком қолдау тапсырмаларында дауыс агенттерін тексеретін τ³-Voice Telecom-да жетілдірілген дауыс режимінен асып түседі.

Апта сайын 150 миллионнан астам адам ChatGPT‑мен Voice және Dictation сияқты мүмкіндіктер арқылы сөйлеседі. Олар оны күнделікті істерде қолмен басқармай көмек алу, тілдік дағдыларын жаттықтыру, ұйықтар алдында ертегі айтқызу немесе жолда жай ғана әңгімелесу үшін қолданады.

Бүгіннен бастап ChatGPT‑пен сөйлесу үшін Voice түймесін басқанда, GPT‑Live негізінде жақсартылған тәжірибе аласыз: әңгіме табиғирақ, жауаптар ақылдырақ, тыңдау сапасы жоғарырақ және жауаптар визуалды болады.

Енді ChatGPT‑пен сөйлесу шынайы әңгімеге әлдеқайда көбірек ұқсайды. Сұрақ қойып сөзін бөле аласыз, ойыңызды жинақтау үшін кідіре аласыз немесе ChatGPT‑тен баяуырақ сөйлеуді сұрай аласыз. Ол сөзіңізді тыңдап отырғанын білдіру үшін «мм-хм» немесе «түсіндім» сияқты тіркестермен табиғи түрде жауап береді. Сондай-ақ біз GPT‑Live үшін ChatGPT‑тегі тоғыз ерекше дауысты қайта өңдеп жақсарттық.

ChatGPT Voice енді ең жаңа озық модельдерімізге сүйеніп, қажет кезде сізге ақылдырақ жауаптар береді. Сондай-ақ қажеттілігіңізге сай ой қорыту деңгейін таңдай аласыз: жылдам жауап үшін Instant, ал ChatGPT көбірек ойланғанын қаласаңыз — Medium және High.

Ойлануға сәл кідірсеңіз, ChatGPT Voice енді сөзге араласып кетпей, күтеді. Одан үндемей тыңдап отыруды сұрасаңыз, солай істейді. Ал өтіп бара жатқан көлік немесе маңайдағы әңгіме сияқты фондық шу болғанда, ChatGPT алаңдамай, дауысыңызға жақсырақ назар аударады.

Кейбір жауаптарды көріп қабылдаған пайдалырақ. Сөйлесіп жатқанда ChatGPT енді ауа райы, акциялар, спорт және басқа тақырыптар бойынша мазмұнды визуалды карталарды көрсете алады. Voice іздеу, жад, суреттер және файл жүктеп салуды да қолдай береді.

Нәтижесінде ChatGPT Voice тәжірибесі күнделікті өмірде табиғирақ, қабілеттірек және пайдалырақ сезіледі.

GPT‑Live әдепкі бойынша қауіпсіз болатындай жобаланған. Ол ең жаңа модельдеріміздегі қауіпсіздік жетістіктеріне сүйенеді, негізгі тәуекел салалары бойынша қауіпсіздікке арнайы үйретуді және дауысқа арнайы жасалған жаңа қорғаныс шараларын қосады.

Адамдардың дауысты өмірдегі жағдайларда қалай қолданатынын дәлірек көрсету үшін қауіпсіздік тестілеуін жаңа аудиоға тән бағалаулармен кеңейтуден бастадық. Сондай-ақ жетілдірілген дауыс режимінен үйренгенімізге сүйеніп, негізгі қауіпсіздік салаларына тереңірек назар аударатын, генерацияланған аудио қолданатын синтетикалық бағалаулар жасадық. Бұл салаларға өзіне зиян келтіру, психоз және мания, ЖИ-ға эмоциялық тәуелділік, зорлық-зомбылық және сексуалдық контент жатады. Ішкі сарапшылар модельді дауысқа ғана тән тәуекелдер бойынша да red-team сынағынан өткізді.

Тестілеуімізде GPT‑Live біз бағалаған салалардың барлығына дерлік жетілдірілген дауыс режимі мен шамалас немесе одан жақсы нәтиже көрсетті. Тестілеуіміз бен қорғаныс шаралары туралы толығырақ GPT‑Live жүйе картасынан⁠(жаңа терезеде ашылады) оқи аласыз.

Дауыс арқылы әңгімелер нақты уақытта жүретіндіктен, модель сөйлеп жатқан кезде әрекет ете алатын қорғаныс шараларын да жасадық. Жүйе ықтимал қауіпті жауапты анықтағанда, модельді қауіпсіздеу жауапқа бағыттай алады, қосымша қауіпсіздік хабарламаларын немесе ресурстарды ұсына алады, ал тәуекелі жоғары жағдайларда дауыс арқылы әңгімені аяқтай алады. Өзіне зиян келтіру тақырыбы қозғалған әңгімелер үшін ChatGPT‑дің қолдау сценарийлерін дауысқа бейімдедік, соның ішінде сарапшылар тексерген дағдарыс желілеріне жүгінуді ұсыну мүмкіндігін қостық.

Жасөспірім пайдаланушыларды қолдау үшін қосымша қорғаныстар жасадық және орынсыз жауаптар қаупін азайту үшін жасқа сай мінез-құлықты модельдің өзіне тікелей үйреттік. Ата-аналар баласының ChatGPT Voice қолдана алуын ата-ана бақылауы арқылы таңдай алады, ал байланыстырылған ата-аналарға ықтимал өзіне зиян келтіру немесе суицидтік ниет белгілері бар тәуекелі жоғары жағдайларда хабарлама келуі мүмкін.

Түсінігімізді одан әрі жақсартып, қорғаныс шараларын нақтылау үшін эмоциялық тәуелділікке бағытталған ұзақ мерзімді өлшеу мен іске қосылғаннан кейінгі мониторингті де енгізіп жатырмыз. Аффективті қолдану және эмоциялық әл-ауқат туралы бұрынғы зерттеуімізге сүйене отырып, бұл бізге пайда болып жатқан заңдылықтарды анықтауға және жүйенің эмоциялық тұрғыдан сезімтал өзара әрекеттерге қалай жауап беретінін жақсартуға көмектеседі.

Соңында, GPT‑Live дауысқа еліктеуге емес, әңгімелесуге арналған. Ол ChatGPT‑тегі алдын ала белгіленген дауыстар жиынтығын қолданады және нақты адамның дауысына еліктеудің алдын алатын қорғаныс шаралары бар.

Біз қауіпсіздік пен әл-ауқатты қолдауға берікпіз және нақты қолданудан үйрене отырып, осы қорғаныстарды күшейте береміз.

GPT‑Live қазір iOS, Android және ChatGPT.com⁠(жаңа терезеде ашылады) арқылы бүкіл әлемдегі ChatGPT пайдаланушыларына біртіндеп ұсынылып жатыр. GPT‑Live‑1 Go, Plus және Pro пайдаланушылары үшін ChatGPT Voice-ты қолдайтын әдепкі модельге, ал GPT‑Live‑1 mini Free пайдаланушылары үшін әдепкі модельге айналады. Қолжетімділік туралы қосымша мәліметтерді Көмек көрсету орталығынан⁠(жаңа терезеде ашылады) таба аласыз.

Біз GPT‑Live‑ты ChatGPT‑дегі ең танымал тілдердің кейбіріне оңтайландырдық. Кейбір тілдерде модель жергілікті сөйлермен сияқты сөйлемеуі немесе еркін сөйлеуінде олқылықтар болуы мүмкін. Біз әртүрлі тілдердегі тәжірибені жақсарту үшін белсенді жұмыс істеп жатырмыз.

Іске қосылған кезде GPT‑Live ChatGPT ішінде бейне немесе экранды бөлісу мүмкіндігі бар дауыс режимін қолдамайды, бірақ бұл мүмкіндіктерді жақын арада енгізу үшін жұмыс істеп жатырмыз. Бұл мүмкіндіктер қолжетімді жерлерде ChatGPT Voice-тың стандартты және жетілдірілген дауыс режимі сияқты бұрынғы нұсқаларын әлі де қолдана аласыз.