Представляем GPT‑Live

Мы запускаем GPT‑Live — новое поколение голосовых моделей, которые делают общение с ИИ гораздо более похожим на настоящий разговор.

В основе GPT‑Live лежит полнодуплексная архитектура, что позволяет системе слушать и говорить одновременно. Во время разговоров GPT‑Live может показывать, что внимательно слушает, с помощью фраз вроде «угу» или «да», быстро обмениваться репликами или просто молчать, когда вам нужно немного подумать. В результате получается голосовой режим, с которым удивительно легко общаться.

GPT‑Live также является нашей самой умной голосовой моделью на сегодняшний день. Если вопрос требует поиска в интернете, глубоких рассуждений или выполнения более сложной задачи, GPT‑Live передаёт его нашей новейшей передовой модели в фоновом режиме, а когда результат готов — возвращает его в беседу. Во время работы GPT‑Live может продолжать разговаривать с вами и поддерживать ход беседы. На момент запуска GPT‑Live будет использовать GPT‑5.5 в фоновом режиме. По мере того как мы выпускаем новые передовые модели, мы будем постоянно обновлять модель, которую использует GPT‑Live.

Эти достижения стали основой для нового опыта в ChatGPT Разговор, который более интеллектуален и естественен в использовании. Со временем, как мы полагаем, это исследование также откроет возможность использовать голос для выполнения всё более сложных, более продолжительных задач с большей степенью автономности.

Сегодня мы начинаем развертывать две версии GPT‑Live — GPT‑Live‑1 и GPT‑Live‑1 mini — для пользователей ChatGPT по всему миру. Мы также планируем вскоре сделать их доступными через API, а разработчики и компании могут подписаться на уведомления, заполнив эту форму⁠.

Наша цель — обеспечить по-настоящему естественное взаимодействие человека и ИИ: мир, где сотрудничество с ИИ будет таким же плавным и отзывчивым, как работа с другим человеком, а рассуждения и выполнение сложных задач будут происходить незаметно в фоновом режиме.

Предыдущие поколения систем голосового ИИ приблизили нас к этому видению, но ценой существенных компромиссов.

Каскадные голосовые системы опираются на последовательность моделей, которые работают одна за другой для обработки каждой реплики. В Chat GPT Разговор были связаны три модели: модель преобразования речи в текст для расшифровки вашей речи, большая языковая модель для генерации ответа и модель преобразования текста в речь для обратного преобразования в речь. Этот подход впервые позволил нам взаимодействовать с передовыми моделями ИИ, но у этой сложности была своя цена: информация могла теряться при передаче между моделями, а ответы были медленными и неестественными.

Голосовые модели с поочерёдным обменом репликами, такие как Расширенный голосовой режим ChatGPT, обрабатывали и генерировали аудио в рамках одной модели, снижая задержку и делая разговоры более плавными — но они всё равно работали через отдельные реплики. Модель должна была ждать, пока пользователь закончит говорить, прежде чем ответить, что приводило к негибкому обмену репликами. Кроме того, поскольку определение конца реплики основано на тишине, даже короткая пауза или фоновый шум могут быть ошибочно приняты за завершение реплики — из-за чего модель будет перебивать в неестественные моменты.

GPT‑Live устраняет эти ограничения за счет двух изменений в архитектуре.

Сначала мы создали GPT‑Live для непрерывного взаимодействия с использованием полнодуплексной архитектуры. Вместо обработки последовательности отдельных сообщений GPT‑Live непрерывно обрабатывает входные данные, одновременно генерируя выходные данные. Следовательно, модель может принимать решения о взаимодействии много раз в секунду: говорить, продолжать слушать, делать паузу, прерывать или вызывать инструмент.

Это позволяет модели вести более естественный диалог, лучше ориентироваться во времени и даже выполнять перевод в реальном времени.

Во-вторых, мы отделили модель GPT‑Live, отвечающую за непрерывное взаимодействие, от выполнения более сложных задач. Когда запрос требует поиска, рассуждений или возможностей агентного выполнения задач, GPT‑Live может поручить его другой модели, например GPT‑5.5. Это позволяет продолжать диалог даже при выполнении нескольких задач в фоновом режиме.

Это изменение архитектуры также позволяет GPT‑Live постоянно использовать новейшие модели и агенты, сочетая передовой интеллект с естественным взаимодействием.

Мы разработали новые оценки с участием людей для измерения приятности и плавности хода беседы. В этих прямых сравнениях GPT‑Live‑1 и GPT‑Live‑1 mini явно предпочитают Расширенный голосовой режим в сопоставимых беседах длительностью 5–10 минут, где оцениваются общее предпочтение, порядок реплик, перебивания, плавность беседы и то, насколько естественным ощущалось каждое взаимодействие.

• GPQA: GPT‑Live‑1 значительно превосходит расширенный голосовой режим на GPQA, который проверяет научные рассуждения экспертного уровня в биологии, химии и физике.
• BrowseComp: GPT‑Live‑1 демонстрирует значительные улучшения по сравнению с расширенным голосовым режимом в BrowseComp, который проверяет агентный поиск в интернете и способность находить труднодоступную информацию.
• τ³-Voice Telecom**: GPT‑Live‑1 превосходит расширенный голосовой режим на τ³-Voice Telecom, где голосовые агенты тестируются на реалистичных многоходовых задачах поддержки в сфере телекоммуникаций.

Каждую неделю более 150 миллионов человек общаются с ChatGPT с помощью таких функций, как голосовой режим и диктовка. Они пользуются этими режимами, чтобы освободить руки при решении повседневных задач, практиковать языки, слушать сказки на ночь или просто общаться по дороге.

С сегодняшнего дня, когда вы нажимаете кнопку «Разговор», чтобы поговорить с ChatGPT, вас ждет улучшенный опыт общения на базе GPT‑Live: более естественные диалоги, более умные ответы, лучшее понимание речи и визуальные ответы.

Теперь общение с ChatGPT должно намного больше напоминать реальный разговор. Вы можете перебить вопросом, сделать паузу, чтобы собраться с мыслями, или попросить говорить медленнее. ChatGPT естественно реагирует на ваши слова фразами вроде «угу» или «понятно», чтобы было ясно, что модель следит за ходом беседы. Мы также переозвучили девять различных голосов в ChatGPT для GPT‑Live.

ChatGPT Разговор теперь может использовать наши новейшие передовые модели, чтобы давать вам более умные ответы, когда они вам нужны. Вы также можете выбрать уровень рассуждений, который соответствует вашим потребностям: «Быстрый» — для быстрых ответов, или «Средний» и «Высокий», если вы хотите, чтобы ChatGPT уделил больше времени обдумыванию.

Если вы берёте паузу, чтобы подумать, голосовой режим ChatGPT теперь ждёт, а не вмешивается и перебивает. Если вы попросите ChatGPT помолчать и послушать, модель так и сделает. А когда есть фоновый шум — например, проезжающий транспорт или разговоры поблизости, — ChatGPT лучше сосредотачивается на вашем голосе и меньше отвлекается.

Некоторые ответы полезнее, когда их можно увидеть. Во время разговора ChatGPT теперь может показывать насыщенные визуальные карточки на такие темы, как погода, биржевые котировки, спорт и многое другое. Голосовой режим также по-прежнему поддерживает поиск, память, изображения и загрузку файлов.

В результате голосовой режим ChatGPT становится более естественным, функциональным и полезным в повседневной жизни.

Модель GPT‑Live была разработана так, чтобы быть безопасной по умолчанию. Это решение опирается на улучшения в области безопасности, реализованные в наших новейших моделях, и дополняет их специализированным обучением безопасности по ключевым областям риска, а также новыми защитными мерами, разработанными специально для голосового взаимодействия.

Чтобы точнее учитывать, как люди используют голос в реальных условиях, мы начали с того, что расширили наше тестирование безопасности, включив в него новые оценки, разработанные специально для аудио. Мы также создали синтетические оценочные тесты, использующие сгенерированные аудиоматериалы, чтобы уделить более пристальное внимание ключевым аспектам безопасности на основе того, что мы узнали из опыта работы с расширенным голосовым режимом. К таким областям относятся самоповреждение, психоз и мания, эмоциональная зависимость от ИИ, насилие и сексуальный контент. Внутренние эксперты также протестировали модель методом red teaming на предмет рисков, специфичных для голосового режима.

В наших тестах GPT‑Live почти во всех оцененных нами областях работал не хуже расширенного голосового режима или превосходил его. Подробнее о нашем тестировании и мерах безопасности можно прочитать в в системной карте GPT‑Live⁠(открывается в новом окне).

Поскольку голосовые разговоры происходят в реальном времени, мы также создали защитные механизмы, которые могут срабатывать, пока модель говорит. Когда система обнаруживает потенциально небезопасный вывод, она может направить модель к более безопасному ответу, показать дополнительные сообщения или ресурсы по безопасности либо завершить голосовой разговор в случаях повышенного риска. Для разговоров, связанных с причинением себе вреда, мы адаптировали сценарии поддержки ChatGPT для голосового режима, в том числе добавили предложение помощи через кризисные горячие линии, проверенные экспертами.

Мы разработали дополнительные меры защиты для поддержки пользователей-подростков и непосредственно обучили модель поведению, соответствующему возрасту, чтобы снизить риск неприемлемых ответов. Родители могут с помощью родительского контроля выбирать, может ли их ребенок-подросток использовать Chat GPT Разговор, а родители, чьи учетные записи связаны, могут получать уведомления в ситуациях повышенного риска, связанных с признаками возможного самоповреждения или суицидальных намерений.

Мы также внедряем долгосрочную оценку и мониторинг после запуска с фокусом на эмоциональную зависимость, чтобы и дальше углублять наше понимание и совершенствовать меры защиты. Эта работа продолжает наше предыдущее исследование аффективного использования и эмоционального благополучия, и поможет нам выявлять новые закономерности, а также улучшать реакции системы в ситуациях, требующих особой деликатности.

Наконец, GPT‑Live предназначен для ведения беседы, а не для имитации голоса. В ChatGPT используется набор предустановленных голосов, а защитные механизмы не позволяют имитировать голос реального человека.

Мы стремимся поддерживать безопасность и благополучие и будем продолжать усиливать эти меры защиты по мере того, как будем получать опыт реального использования.

GPT‑Live уже становится доступен пользователям ChatGPT по всему миру на iOS, Android и ChatGPT.com⁠(открывается в новом окне). GPT‑Live‑1 станет моделью по умолчанию для ChatGPT Разговор у пользователей тарифных планов Go, Plus и Pro, а GPT‑Live‑1 mini станет моделью по умолчанию для пользователей плана Free. Дополнительные сведения о доступности можно найти в нашем Справочном центре⁠(открывается в новом окне).

Мы оптимизировали GPT‑Live для некоторых из самых популярных языков в ChatGPT. Для некоторых языков модель может иметь иностранный акцент или недостаточную беглость речи. Мы активно работаем над улучшением пользовательского опыта во всех языках.

На момент запуска GPT‑Live не будет поддерживать голосовое общение с видео или демонстрацией экрана в ChatGPT, но мы работаем над тем, чтобы вскоре добавить эти возможности. Вы по-прежнему можете пользоваться прежними версиями ChatGPT Разговор, включая стандартный и расширенный голосовой режим, в которых доступны эти функции.