[VIETTURIS: Publicēšanas datums vēl jāapstiprina.]
[VIETTURIS: Yelp atsauksmes videoklips — gala videoklips, sīktēls, subtitri un transkripts vēl nav gatavi.]
Šodien mēs ieviešam GPT‑Live‑1 API platformā, sniedzot izstrādātājiem jaudīgu balss modeli, ko savās lietotnēs apvienot ar robežšķirtnes intelektu. GPT‑Live‑1, kas pirmoreiz tika ieviests ChatGPT, spēj vienlaikus klausīties un runāt un, kā redzams Codex un ChatGPT Work piemērā(atveras jaunā logā), var uzticēt padziļinātu spriestspēju un darbības modeļiem un rīkiem, ar kuriem tas ir savienots.
Gatavojot GPT‑Live laidienu API platformā, mēs koncentrējāmies uz jaunām iespējām, kas ļauj izstrādātājiem pielāgot balss risinājumus saviem lietotājiem, darbplūsmām un mērķiem. Piemēram, valodu apguves lietotne Speak agrīnajos novērtējumos konstatēja, ka GPT‑Live‑1 mācību dalībnieku pārdomu paužu laikā samazināja pārtraukumus gandrīz par 80 % salīdzinājumā ar iepriekšējām secīgas runāšanas sistēmām, dodot vairāk laika atrast īstos vārdus, pirms iesaistās pasniedzējs.
API laidiens papildina šādas iespējas:
Pārtraukumu apstrāde: viens modelis kopā analizē ienākošo un izejošo audio, novēršot aizkavi un nedrošo datu nodošanu, kas raksturīga secīgi savienotām STT–LVM–TTS arhitektūrām.
Aģentu orķestrēšana: uzticamāk ievēro vairāku darbību norādes, izpilda pielāgotus rīku izsaukumus un deleģē padziļinātu spriestspēju vai darbības izstrādātāja izvēlētajam aizmugursistēmas modelim vai aģenta izpildes ietvaram.
Pielāgotas balsis: pievieno [XX — skaits vēl jānosaka] jaunas pielāgotas balsis [YY — valodas vēl jānosaka] valodās, palīdzot zīmoliem radīt dabiskus un atšķirīgus balss risinājumus dažādās valodās un dialektos.
Personības pielāgojamība: ļauj izstrādātājiem ar sistēmas uzvedni noteikt aģenta toni, tempu un sarunas stilu.
Klusā konteksta pārvaldība un fona troksnis: labāk apstrādā fona troksni un klusumu, nepārtraucot sarunu un skaļi nekomentējot katru darbību.
Elastīgs intelekts: ļauj izstrādātājiem izvēlēties jebkuru darbplūsmai piemērotu aizmugursistēmas modeli vai aģenta izpildes ietvaru.
Uzticamība ilgās sesijās: uzlabo konteksta saglabāšanu un sarunas kvalitāti ilgstošā mijiedarbībā.
Telefonijas atbalsts: ļauj tālruņa zvaniem ieviest pilndupleksa balss aģentus — no restorānu rezervācijām līdz klientu atbalstam.
[VIETTURIS: Interaktīva balss demonstrācija — parādīts avota makets; GPT‑Live‑1 gala risinājums vēl nav gatavs.]
Tradicionālie balss aģenti savieno runas pārveidi tekstā, spriestspējas modeli un teksta pārveidi runā. Katra datu nodošana rada aizkavi un palielina iespēju zaudēt pareizo laika izjūtu, kontekstu vai sarunas dabisko ritmu. Šie posmi bieži jākoordinē pašiem izstrādātājiem, tostarp jānosaka, kas notiek, kad kāds pārtrauc sarunu, ietur pauzi vai maina tās virzienu.
GPT‑Live‑1 klausīšanos un runāšanu apstrādā vienā modelī, vienkāršojot reāllaika balss slāni. Tas spēj uzreiz reaģēt uz pārtraukumiem un apstiprinājumiem, vienlaikus deleģējot padziļinātu spriestspēju aizmugursistēmai. Tādējādi saruna var turpināties, kamēr darbs norit fonā.
Izstrādātāji izvēlas sarunas pamatā izmantotos modeļus, rīkus un aģenta izpildes ietvaru. Piemēram, GPT‑Live‑1 var savienot ar tādu modeli kā Luna liela apjoma uzdevumiem, piemēram, plānošanai vai pasūtījumu atjaunināšanai, bet tādu modeli kā Astra izmantot sarežģītiem klientu jautājumiem, kam vajadzīga spriestspēja. Šī elastība ļauj izstrādātājiem katram uzdevumam pielāgot spriestspējas dziļumu, ātrumu un izmaksas.
GPT‑Llive‑1 sākotnēji nodrošina ASR transkriptus un atbilžu tekstu. Tas arī labi izprot burtciparu virknes un atbalsta atslēgvārdu prioritizēšanu. Lai gan GPT‑live nav secīgas runāšanas modelis, tas sākotnēji atbalsta runātāja kārtas noteikšanu, tāpēc izstrādātāji joprojām var veidot risinājumus, kuru pamatā ir skaidras runātāju kārtas robežas.
[VIETTURIS: GPT‑Live‑1 un kaskādes balss sistēmas audio salīdzinājums — audio faili un transkripti vēl nav gatavi.]
Mūsu novērtējumos GPT‑Live‑1 kopā ar GPT‑6 Astra un vidēju spriestspējas piepūli ieņem 1. vietu Tau3 testā, kas pilnos uzdevumos mēra robežšķirtnes balss aģentu intelektu, un 1. vietu Full Duplex Bench testā, kas vērtē interaktivitāti, runātāju maiņas aizkavi, rīku izsaukšanu un atbilžu kvalitāti.
Izstrādātājiem vajadzīgas balsis, kas atbilst viņu produktam un tā lietotājiem skan dabiski. Ar GPT‑Live‑1 mēs paplašinām nelielo reāllaika balsu klāstu, piedāvājot vairāk akcentu, dialektu un valodu, lai izstrādātāji varētu plašāk izvēlēties savu asistentu skanējumu.
Quartz — Austrālijas angļu valoda, sieviešu balss, ģenerēta
Ripple — Austrālijas angļu valoda, vīriešu balss, dabiska
Vesper — britu angļu valoda, vīriešu balss, dabiska
Willow — Īrijas angļu valoda, sieviešu balss, dabiska
Stone — Īrijas angļu valoda, vīriešu balss, dabiska
Gleam — Ziemeļamerikas angļu valoda, sieviešu balss, dabiska
Meridian — Ziemeļamerikas angļu valoda, vīriešu balss, dabiska
Bossa — Brazīlijas portugāļu valoda, sieviešu balss, dabiska
Tempo — Brazīlijas portugāļu valoda, vīriešu balss, dabiska
Aster — Indijas angļu valoda, sieviešu balss, ģenerēta
Beacon — Filipīnu angļu valoda, vīriešu balss, ģenerēta
Delta — ASV dienvidu angļu valoda, sieviešu balss, ģenerēta
Cinder — ASV dienvidu angļu valoda, vīriešu balss, ģenerēta
[VIETTURIS: Balss atlasītājs ar 3–5 cikliski atskaņotiem teikumu paraugiem katrai balsij — audio paraugi un interaktīvā pieredze vēl nav gatavi.]
Turpmākajos mēnešos mēs turpināsim paplašināt balsu un pieejamo valodu klāstu.
GPT‑Live‑1 jau šodien ir pieejams API par 0,05 USD minūtē priekšgala balss slānim. Savienojiet to ar savam produktam piemērotu aizmugursistēmas modeli un aģenta izpildes ietvaru, pēc tam veidojiet balss risinājumu, kas spēj augt līdzi veicamā darba apjomam.
Lai uzzinātu vairāk par pielāgotu balsu pieejamības kritērijiem un pieteikšanās procesu, sazinieties ar pārdošanas komandu.
Darbu ar GPT‑Live‑1 varat sākt ātrāk, izmantojot Presence, kas nodrošina reāllaika balss un tērzēšanas risinājumus, piemēram, klientu atbalstam, izejošajai pārdošanai un augsta riska iekšējām darbplūsmām. Lai uzzinātu vairāk, sazinieties ar savu OpenAI klientu direktoru.
