Mēs padarām GPT‑Live‑1 pieejamu API, sniedzot izstrādātājiem jaudīgu, dabisku balss modeli balss lietotņu un uzņēmējdarbības darbplūsmu izveidei. Pirmoreiz pakalpojumā ChatGPT ieviestais GPT‑Live‑1 spēj vienlaikus klausīties un runāt un, kā redzams Codex un ChatGPT Work piemērā(atveras jaunā logā), var deleģēt padziļinātas spriešanas uzdevumus un darbības modeļiem un rīkiem, ar kuriem tas ir savienots.
Gatavojot GPT‑Live‑1 laidienu API platformā, mēs koncentrējāmies uz jaunām iespējām, kas ļauj izstrādātājiem virzīt un pielāgot balss risinājumus saviem lietotājiem, darbplūsmām un mērķiem. Viena no GPT‑Live‑1 galvenajām priekšrocībām – plūstoša pārtraukumu apstrāde – jau sniedz ieguvumus uzņēmējdarbībā: agrīnajos novērtējumos Speak konstatēja, ka GPT‑Live‑1 deva audzēkņiem vairāk laika padomāt, pirms atbildēja valodas pasniedzējs, samazinot audzēkņu pārtraukšanas gadījumu skaitu gandrīz par 80% salīdzinājumā ar iepriekšējām sistēmām, kurās sarunas dalībnieki runā pamīšus.
GPT‑Live‑1 galvenās priekšrocības API platformā:
Pārtraukumu apstrāde: uzlabo pārtraukumu apstrādi, izmantojot vienu modeli, kas kopā analizē ienākošo un izejošo audio, novēršot aizkavi un neuzticamo datu nodošanu, kas raksturīgas secīgi savienotām STT–LVM–TTS arhitektūrām.
Spriešanas uzdevumu un rīku izsaukumu deleģēšana: GPT‑Live‑1 var deleģēt spriešanas uzdevumus un rīku izsaukumus aizmugursistēmas teksta modelim, piemēram, GPT‑6 Astra, vai trešās puses modelim.
Tonis, temps un stils: ļauj izstrādātājiem ar sistēmas uzvedni noteikt aģenta toni, tempu un sarunas stilu.
Klusā konteksta pārvaldība un fona troksnis: labāk apstrādā fona troksni un klusumu, nepārtraucot sarunu un skaļi nekomentējot katru darbību.
Uzticamība ilgās sesijās: uzlabo konteksta saglabāšanu un sarunas kvalitāti ilgstošā mijiedarbībā.
Telefonijas atbalsts: ļauj tālruņa zvaniem ieviest pilndupleksa balss aģentus — no restorānu rezervācijām līdz klientu atbalstam.
Try GPT-Live-1
See what it can do
- Talk over it—naturally. Ask for help, then interrupt mid-response to change the question or add detail.
- Take it with you. Try a conversation while walking outside or with everyday background noise, and see how it stays with you.
- Make it playful. Laugh, hesitate, use short acknowledgments, or briefly talk to someone nearby—then continue the conversation.
Šai demonstrācijai ir laika ierobežojums. Izmantojot to, tu piekrīti OpenAI Lietošanas noteikumiem un apliecini, ka esi iepazinies ar mūsu privātuma politiku.
Tradicionālie balss aģenti savieno runas pārveidi tekstā, spriestspējas modeli un teksta pārveidi runā. Katra datu nodošana rada aizkavi un palielina iespēju zaudēt pareizo laika izjūtu, kontekstu vai sarunas dabisko ritmu. Šie posmi bieži jākoordinē pašiem izstrādātājiem, tostarp jānosaka, kas notiek, kad kāds pārtrauc sarunu, ietur pauzi vai maina tās virzienu.
GPT‑Live‑1 klausīšanos un runāšanu apstrādā vienā modelī, vienkāršojot balss slāni. Tas spēj uzreiz reaģēt uz pārtraukumiem un apstiprinājumiem, vienlaikus deleģējot padziļinātas spriešanas uzdevumus aizmugursistēmai. Tādējādi saruna var turpināties, kamēr darbs norit fonā.
Izstrādātāji izvēlas sarunas pamatā izmantotos modeļus, rīkus un aģenta izpildes ietvaru. Piemēram, GPT‑Live‑1 var savienot ar tādu modeli kā Luna liela apjoma uzdevumiem, piemēram, plānošanai vai pasūtījumu atjaunināšanai, bet tādu modeli kā Astra izmantot sarežģītiem klientu jautājumiem, kam vajadzīga spriestspēja. Šī elastība ļauj izstrādātājiem katram uzdevumam pielāgot spriestspējas dziļumu, ātrumu un izmaksas.
GPT‑Live‑1 pats nodrošina automātiskās runas atpazīšanas (ASR) transkriptus un atbilžu tekstu. Tas arī labi izprot burtciparu virknes un atbalsta atslēgvārdu prioritizēšanu. Lai gan GPT‑Live‑1 nav modelis, kurā sarunas dalībnieki runā pārmaiņus, tajā ir iebūvēta sarunas repliku robežu noteikšana, tāpēc izstrādātāji joprojām var veidot risinājumus, kuru pamatā ir skaidri noteiktas repliku robežas.
Mūsu novērtējumos GPT‑Live‑1 uzlabo rezultātus Full Duplex Bench testā par 30 procentpunktiem salīdzinājumā ar GPT‑Realtime‑2.1, būtiski samazinot aizkavi, kad mainās runātāji, un uzlabojot uzvedību mijiedarbībā. Savienojumā ar GPT‑6 Astra, kas darbojas ar vidēju spriešanas līmeni, tas arī ieņem 1. vietu Tau3 testā, kas no sākuma līdz beigām veicamos uzdevumos mēra robežšķirtnes balss aģentu intelektu.
Novērtē mutiskus klientu apkalpošanas uzdevumus aviācijas, mazumtirdzniecības un telekomunikāciju jomās. Pass@1 mēra uzdevumu sekmīgu izpildi; kopējā rezultāta aprēķinā katrai jomai ir vienāds svars.
* GPT Live aizmugursistēma: Astra (vidējs spriešanas līmenis).
Novērtē mutiski sniegtu banku klientu atbalstu, izmantojot zināšanu izgūšanu un kontu rīkus. Pass@1 norāda, kāda daļa no 97 banking_knowledge uzdevumiem ir sekmīgi izpildīta.
* GPT Live aizmugursistēma: Astra (vidējs spriešanas līmenis).
Novērtē paužu apstrādi, runātāju maiņu, pārtraukumus un īsas klausītāja reakcijas.
Pārbauda reakcijas uz fona runu, citai personai adresētu runu, īsām klausītāja reakcijām un pārtraukumiem.
Mēra, cik ātri aģents sāk savu atbildi pēc tam, kad lietotājs ir pabeidzis savu repliku.
Pārbauda rīku izmantošanu runātos pieprasījumos, kuros ir dabiskas pauzes, vilcināšanās un pašlabojumi. Pass@1 novērtē rīku izsaukumu secību.
* GPT Live aizmugursistēma: Terra (zems spriešanas līmenis).
Novērtē mutvārdu atbildi uz rīku izmantošanas pieprasījumiem, kas ietver pauzes, vilcināšanos un pašlabojumus. Vērtē, cik labi atbilde atbilst etalonā norādītajam nolūkam.
* GPT Live aizmugursistēma: Terra (zems spriešanas līmenis).
Izstrādātājiem vajadzīgas balsis, kas atbilst viņu produktam un tā lietotājiem skan dabiski. Ar GPT‑Live‑1 mēs paplašinām nelielo reāllaika balsu klāstu, piedāvājot vairāk akcentu, dialektu un valodu, lai izstrādātāji varētu plašāk izvēlēties savu asistentu skanējumu.
Turpmākajos mēnešos mēs turpināsim paplašināt balsu un pieejamo valodu klāstu.
GPT‑Live‑1 jau šodien ir pieejams API(atveras jaunā logā) par 0,05 USD minūtē front-end balss slānim. Savieno to ar savam produktam piemērotu aizmugursistēmas modeli un aģenta izpildes ietvaru, pēc tam veido balss risinājumu, kas spēj augt līdzi veicamā darba apjomam.
Lai uzzinātu vairāk par nosacījumiem piekļuvei pielāgotām balsīm un pieteikšanās procesu, sazinies ar pārdošanas komandu.
Vēl viens veids, kā veidot balss darbplūsmas, izmantojot GPT‑Live‑1, ir OpenAI Presence, kas izmanto modeli reāllaika balss mijiedarbību nodrošināšanai. Presence palīdz uzņēmumiem ieviest uzticamus MI aģentus, kuri spēj atbildēt uz jautājumiem, risināt problēmas, izmantot uzņēmuma sistēmas, veikt apstiprinātas darbības un vajadzības gadījumā nodot jautājumu risināšanu cilvēkiem. Lai uzzinātu vairāk, sazinies ar savu OpenAI klientu attiecību direktoru.
