Llancem GPT‑Live‑1 a l'API i oferim als desenvolupadors un model de veu potent i natural per crear aplicacions amb veu i fluxos de treball empresarials. Presentat inicialment al ChatGPT, GPT‑Live‑1 pot escoltar i parlar alhora i, com s'ha vist amb el Codex i ChatGPT Work⁠(s'obre en una finestra nova), pot delegar raonaments i accions més profunds als models i les eines amb què es combina.

Per al llançament de GPT‑Live‑1 a l'API, ens hem centrat en noves capacitats que permeten als desenvolupadors dirigir i personalitzar les experiències de veu en funció dels usuaris, els fluxos de treball i els objectius. Un dels punts forts principals de GPT‑Live‑1, la gestió fluida de les interrupcions, ja està tenint impacte empresarial: en les primeres avaluacions, Speak va observar que GPT‑Live‑1 donava als estudiants més temps per pensar abans no respongués el tutor de llengües, i reduïa gairebé un 80 % les interrupcions respecte dels sistemes anteriors basats en torns.

Punts forts de GPT‑Live‑1 a l'API:

• Gestió de les interrupcions: millora la gestió de les interrupcions mitjançant un únic model que raona conjuntament sobre l'àudio d'entrada i de sortida, cosa que evita la latència i les transferències fràgils de les arquitectures STT–LLM–TTS encadenades.

• Delegació de raonament i de crides a eines: GPT‑Live‑1 pot delegar el raonament i les crides a eines a un model de text del fons com GPT‑6 Astra o un model de tercers.

• To, ritme i estil: permet als desenvolupadors definir el to, el ritme i l'estil conversacional d'un agent mitjançant la indicació del sistema.

• Gestió silenciosa del context i soroll de fons: Gestiona millor el soroll de fons i els silencis sense interrompre la conversa ni narrar cada pas en veu alta.

• Fiabilitat en sessions llargues: Millora la retenció del context i la qualitat de la conversa en interaccions prolongades.

• Compatibilitat amb telefonia: Permet desplegar agents de veu full-duplex per a trucades telefòniques, des de reserves de restaurant fins a l'atenció al client.

Els agents de veu tradicionals encadenen la conversió de veu a text, un model de raonament i la conversió de text a veu. Cada transferència afegeix latència i crea més ocasions de perdre la sincronització, el context o el ritme natural de la conversa. Sovint, els desenvolupadors han de coordinar aquestes etapes, inclòs què passa quan algú interromp, fa una pausa o canvia de rumb.

GPT‑Live‑1 gestiona l'escolta i la parla en un únic model, cosa que simplifica la capa de veu. Pot respondre a les interrupcions i als senyals de confirmació de manera immediata, mentre delega el raonament més profund al fons. Això permet que la conversa continuï mentre la feina es fa en segon pla.

Els desenvolupadors trien els models, les eines i l'entorn d'execució de l'agent que hi ha darrere de la conversa. Per exemple, poden combinar GPT‑Live‑1 amb un model com Luna per a tasques de gran volum, com la planificació o l'actualització de comandes, i fer servir un model com Astra per a problemes complexos dels clients que requereixin raonament. Aquesta flexibilitat permet als desenvolupadors ajustar la profunditat del raonament, la velocitat i el cost a cada tasca.

GPT‑Live‑1 proporciona de manera nativa transcripcions ASR i text de resposta. També ofereix una gran comprensió alfanumèrica i admet la priorització de paraules clau. Tot i que GPT‑Live‑1 no és un model basat en torns, admet de manera nativa la detecció de torns, de manera que els desenvolupadors poden continuar desenvolupant-se al voltant de límits de torn explícits.

En les nostres avaluacions, GPT‑Live‑1 millora el rendiment a Full Duplex Bench en 30 punts percentuals respecte de GPT‑Realtime‑2.1, amb grans millores en la latència de l'alternança dels torns de conversa i el comportament interactiu. Combinat amb GPT‑6 Astra amb un esforç de raonament mitjà, també ocupa el primer lloc a Tau3, que mesura la intel·ligència d'avantguarda dels agents de veu en tasques d'extrem a extrem.

Els desenvolupadors necessiten veus que encaixin amb el seu producte i sonin naturals per a qui l'utilitza. Amb GPT‑Live‑1, passem d'un petit conjunt de veus en temps real a una selecció més àmplia d'accents, dialectes i llengües, perquè els desenvolupadors puguin triar millor com sonen els seus assistents.

Durant els pròxims mesos, continuarem ampliant les opcions de veu i la disponibilitat de llengües.

GPT‑Live‑1 ja està disponible a l'API avui⁠(s'obre en una finestra nova) a 0,05 $ per minut per a la capa de veu del front. Combina'l amb el model de fons i l'entorn d'execució de l'agent que s'adaptin al teu producte i crea una experiència de veu que pugui créixer d'acord amb la feina que hagi de fer.

Per accedir a veus personalitzades, contacta amb vendes per obtenir més informació sobre els requisits i el procés de sol·licitud.

Una altra manera de crear fluxos de treball de veu basats en GPT‑Live‑1 és amb OpenAI Presence, que utilitza el model per impulsar interaccions de veu en temps real. Presence ajuda les empreses a desplegar agents d'IA de confiança que poden respondre a preguntes, resoldre incidències, utilitzar sistemes de l'empresa, dur a terme accions aprovades i derivar a persones quan calgui. Posa't en contacte amb el teu director de compte d'OpenAI per obtenir-ne més informació.