Inniu, táimid ag cur an Realtime API ar fáil go ginearálta le gnéithe nua a chuireann ar chumas forbróirí agus fiontar gníomhairí gutha iontaofa atá réidh don táirgeadh a thógáil. Tacaíonn an API anois le freastalaithe iargúlta MCP, ionchuir íomhá, agus glaonna gutháin trí Session Initiation Protocol (SIP), rud a fhágann go bhfuil gníomhairí gutha níos cumasaí trí rochtain ar uirlisí agus comhthéacs breise.
Táimid freisin ag scaoileadh ár samhail teanga go teanga is forbartha go dtí seo—gpt-realtime. Léiríonn an tsamhail nua feabhsuithe ar threoracha casta a leanúint, uirlisí a ghlaoch go beacht, agus urlabhra a tháirgeadh a fhuaimeann níos nádúrtha agus níos léirithe. Tá sí níos fearr ag léirmhíniú teachtaireachtaí córais agus leideanna forbróra—cibé acu scripteanna séanta a léamh focal ar fhocal ar ghlao tacaíochta, alfa-uimhreacha a athrá, nó aistriú go réidh idir teangacha i lár abairte. Táimid freisin ag scaoileadh dhá ghuth nua, Cedar agus Marin, atá ar fáil go heisiach sa Realtime API ag tosú inniu.
Ó thugamar isteach an Realtime API den chéad uair sa bhéite phoiblí i mí Dheireadh Fómhair seo caite, tá na mílte forbróir tar éis tógáil leis an API agus chabhraigh siad leis na feabhsuithe atá á scaoileadh againn inniu a mhúnlú—optamaithe don iontaofacht, don mhoill íseal agus don ardchaighdeán chun gníomhairí gutha a imscaradh go rathúil sa táirgeadh. Murab ionann agus píblínte traidisiúnta a nascann ilshamhlacha le chéile thar chaint-go-téacs agus téacs-go-caint, próiseálann agus gineann an Realtime API fuaim go díreach trí shamhail aonair agus API amháin. Laghdaíonn sé seo moill, caomhnaíonn sé miondifríochtaí san urlabhra, agus cruthaíonn sé freagraí níos nádúrtha agus níos léirithe.
“Léiríonn an tsamhail nua teanga go teanga in Realtime API OpenAI réasúnaíocht níos láidre agus urlabhra níos nádúrtha—rud a chuireann ar a cumas iarrataí casta ilchéime a láimhseáil, mar shampla liostuithe a chúngú de réir riachtanas stíl mhaireachtála nó pléanna inacmhainneachta a threorú le huirlisí cosúil lenár scór BuyAbility. D’fhéadfadh sé seo a dhéanamh go mbraithfeadh cuardach tí ar Zillow nó iniúchadh ar roghanna maoinithe chomh nádúrtha le comhrá le cara, rud a chabhródh le cinntí cosúil le teach a cheannach, a dhíol agus a fháil ar cíos a shimpliú.”
– Josh Weisberg, Ceann AI ag Zillow
Is í an tsamhail nua teanga go teanga—gpt-realtime—ár samhail gutha is forbartha, réidh don táirgeadh. Chuireamar oiliúint ar an tsamhail i ndlúthchomhar le custaiméirí chun barr feabhais a bhaint amach i dtascanna fíorshaoil cosúil le tacaíocht do chustaiméirí, cúnamh pearsanta agus oideachas—ag ailíniú na samhla leis an gcaoi a dtógann agus a n-imscarann forbróirí gníomhairí gutha. Léiríonn an tsamhail feabhsuithe ar cháilíocht fuaime, ar intleacht, ar threoracha a leanúint, agus ar ghlao feidhme.
Tá comhrá nádúrtha riachtanach chun gníomhairí gutha a imscaradh sa saol fíor. Ní mór do shamhlacha labhairt le tuin chainte, mothúchán agus luas duine chun eispéireas taitneamhach a chruthú agus comhrá leanúnach le húsáideoirí a spreagadh. Chuireamar oiliúint ar gpt-realtime chun urlabhra ar chaighdeán níos airde a tháirgeadh a fhuaimeann níos nádúrtha agus atá in ann treoracha mín a leanúint, mar shampla “labhair go tapa agus go gairmiúil” nó “labhair go hionbhách le blas Francach.”
Táimid ag scaoileadh dhá ghuth nua san API, Marin agus Cedar, leis na feabhsuithe is suntasaí ar urlabhra nádúrtha. Táimid freisin ag nuashonrú ár n-ocht nguth atá ann cheana chun tairbhe a bhaint as na feabhsuithe seo.
Léiríonn gpt-realtime intleacht níos airde agus is féidir léi fuaim dhúchasach a thuiscint le cruinneas níos fearr. Is féidir leis an tsamhail leideanna neamhbhriathartha a ghabháil (cosúil le gáire), teangacha a athrú i lár abairte, agus ton a oiriúnú (“gearr agus gairmiúil” vs. “cineálta agus ionbhách”). De réir meastóireachtaí inmheánacha, léiríonn an tsamhail feidhmíocht níos cruinne freisin maidir le seichimh alfa-uimhriúla (amhail uimhreacha gutháin, VINanna, etc.) a bhrath i dteangacha eile, lena n-áirítear an Spáinnis, an tSínis, an tSeapáinis agus an Fhraincis. Ar mheastóireacht Big Bench Audio a thomhaiseann cumais réasúnaíochta, scórálann gpt-realtime cruinneas 82.8%—ag sárú ár samhla roimhe seo ó mhí na Nollag 2024, a scórálann 65.6%.
Tacar sonraí meastóireachta é tagarmharc Big Bench Audio(osclaíonn i bhfuinneog nua) chun cumais réasúnaíochta samhlacha teanga a mheas a thacaíonn le hionchur fuaime. Oiriúnaíonn an tacar sonraí seo ceisteanna ó Big Bench Hard—atá roghnaithe mar gheall ar a thástáil dhian ar ard-réasúnaíocht—don réimse fuaime.
Agus feidhmchlár teanga go teanga á thógáil, tugann forbróirí sraith treoracha don tsamhail maidir leis an gcaoi le hiompar, lena n-áirítear conas labhairt, cad atá le rá i gcás áirithe, agus cad atá le déanamh nó gan a dhéanamh. Dhíríomar ár bhfeabhsuithe ar chloí leis na treoracha sin, ionas go n-iompraíonn fiú miontreoracha níos mó comhartha don tsamhail. Ar thagarmharc fuaime MultiChallenge a thomhaiseann cruinneas leanúint treoracha, scórálann gpt-realtime 30.5%, feabhas suntasach ar ár samhail roimhe seo ó mhí na Nollag 2024, a scórálann 20.6%.
MultiChallenge(osclaíonn i bhfuinneog nua) déanann sé measúnú ar cé chomh maith is a láimhseálann LLManna comhráite ilchasaidh le daoine. Díríonn sé ar cheithre chatagóir de dhúshláin réalaíocha a mbíonn deacracht ag samhlacha teorainn reatha leo. Éilíonn na dúshláin seo ar shamhlacha treoracha a leanúint, comhthéacs a bhainistiú agus réasúnaíocht sa chomhthéacs a chur le chéile ag an am céanna. D’athraíomar foghrúpa de na ceisteanna tástála, atá oiriúnach don fhuaim, ó théacs go hurlabhra chun leagan fuaime den mheastóireacht seo a chruthú.
Chun gníomhaire gutha cumasach a thógáil le samhail teanga go teanga, ní mór don tsamhail a bheith in ann na huirlisí cearta a ghlaoch ag an am ceart chun a bheith úsáideach sa táirgeadh. Tá feabhas curtha againn ar ghlao feidhme ar thrí ais: feidhmeanna ábhartha a ghlaoch, feidhmeanna a ghlaoch ag an am cuí, agus feidhmeanna a ghlaoch leis na hargóintí cuí (rud a fhágann cruinneas níos airde). Ar mheastóireacht fuaime ComplexFuncBench a thomhaiseann feidhmíocht glao feidhme, scórálann gpt-realtime 66.5%, agus scórálann ár samhail roimhe seo ó mhí na Nollag 2024 49.7%.
Tá feabhsuithe déanta againn freisin ar ghlao feidhme asincrónach(osclaíonn i bhfuinneog nua). Ní chuirfidh glaonna feidhme fadtéarmacha isteach ar shreabhadh seisiúin a thuilleadh—is féidir leis an tsamhail leanúint ar aghaidh le comhrá sreabhach agus í ag fanacht ar thorthaí. Tá an ghné seo ar fáil go dúchasach in gpt-realtime, mar sin ní gá d’fhorbróirí a gcód a nuashonrú.
ComplexFuncBench(osclaíonn i bhfuinneog nua) tomhaiseann sé cé chomh maith is a láimhseálann samhlacha tascanna dúshlánacha glao feidhme. Déanann sé feidhmíocht a mheas thar chásanna amhail glaonna ilchéime, réasúnaíocht faoi shrianta nó paraiméadair intuigthe, agus ionchuir an-fhada a láimhseáil. D’athraíomar na leideanna téacs bunaidh go hurlabhra chun an mheastóireacht seo a thógáil dár samhail.
Is féidir leat tacaíocht MCP a chumasú i seisiún Realtime API trí URL freastalaí iargúlta MCP a chur isteach i gcumraíocht an tseisiúin. Nuair a bheidh sé nasctha, láimhseálann an API na glaonna uirlise duit go huathoibríoch, mar sin ní gá comhtháthuithe a shreangú de láimh.
Fágann an socrú seo go bhfuil sé éasca do ghníomhaire a leathnú le cumais nua—ní gá ach an seisiún a dhíriú ar fhreastalaí MCP eile, agus beidh na huirlisí sin ar fáil láithreach. Chun tuilleadh a fhoghlaim faoi MCP a chumrú le Realtime, féach ar an treoir seo(osclaíonn i bhfuinneog nua).
Agus tacaíocht d’ionchuir íomhá anois in gpt-realtime, is féidir leat íomhánna, grianghraif agus seatanna scáileáin a chur le seisiún Realtime API taobh le fuaim nó téacs. Anois is féidir leis an tsamhail an comhrá a bhunú ar a bhfuil an t-úsáideoir ag feiceáil i ndáiríre, rud a chuireann ar chumas úsáideoirí ceisteanna a chur mar “cad a fheiceann tú?” nó “léigh an téacs sa seat scáileáin seo.”
In ionad íomhá a chóireáil mar shruth físe beo, déileálann an córas léi níos cosúla le pictiúr a chur isteach sa chomhrá. Féadfaidh d’aip cinneadh a dhéanamh cé na híomhánna atá le roinnt leis an tsamhail agus cathain is ceart iad a roinnt. Ar an mbealach seo, fanann tú i gceannas ar a bhfeiceann an tsamhail agus cathain a fhreagraíonn sí.
Féach ar ár ndoiciméid(osclaíonn i bhfuinneog nua) chun tosú le hionchur íomhá.
Tá roinnt gnéithe eile curtha againn leis chun an Realtime API a dhéanamh níos éasca a chomhtháthú agus níos solúbtha don úsáid sa táirgeadh.
- Tacaíocht do Session Initiation Protocol (SIP): Ceangail d’aipeanna leis an líonra poiblí gutháin, córais PBX, gutháin deisce, agus deireadhphointí SIP eile le tacaíocht dhíreach sa Realtime API. Léigh faoi sna doiciméid.(osclaíonn i bhfuinneog nua)
- Leideanna in-athúsáidte: Is féidir leat anois leideanna a shábháil agus a athúsáid—ina bhfuil teachtaireachtaí forbróra, uirlisí, athróga, agus samplaí de theachtaireachtaí úsáideora/cúntóra—thar sheisiúin Realtime API, mar atá san Responses API. Foghlaim níos mó sna doiciméid.(osclaíonn i bhfuinneog nua)
Ionchorpraíonn an Realtime API roinnt sraitheanna cosaintí agus maoluithe chun cabhrú le mí-úsáid a chosc. Is féidir leat tuilleadh a fhoghlaim faoinár gcur chuige sábháilteachta agus faoi shonraí an chárta córais sa bhlagfhógra béite. Úsáidimid aicmitheoirí gníomhacha thar sheisiúin Realtime API, rud a chiallaíonn gur féidir comhráite áirithe a stopadh má bhraitear go sáraíonn siad ár dtreoirlínte maidir le hábhar díobhálach. Is féidir le forbróirí a ráillí cosanta sábháilteachta breise féin a chur leis go héasca freisin ag úsáid an Agents SDK(osclaíonn i bhfuinneog nua).
Cuireann ár beartais úsáide cosc ar aschuir ónár seirbhísí a athúsáid nó a dháileadh le haghaidh turscair, meabhlóireachta, nó cuspóirí díobhálacha eile. Ní mór d’fhorbróirí a chur in iúl go soiléir d’úsáideoirí deiridh freisin nuair atá siad ag idirghníomhú le AI, mura bhfuil sé soiléir ón gcomhthéacs cheana féin. Úsáideann an Realtime API guthanna réamhshocraithe chun cuidiú le drochghníomhaithe cosc a chur ar dhaoine eile a phearsanú.
Tacaíonn an Realtime API go hiomlán le Cónaitheacht Sonraí AE(osclaíonn i bhfuinneog nua) d’fheidhmchláir atá lonnaithe san AE agus tá sé clúdaithe ag ár ngealltanais phríobháideachais fiontair.
Tá an Realtime API atá ar fáil go ginearálta agus an tsamhail nua gpt-realtime ar fáil do gach forbróir ag tosú inniu. Táimid ag laghdú praghsanna do gpt-realtime faoi 20% i gcomparáid le gpt-4o-realtime-preview—$32 / 1M téacschomhartha ionchuir fuaime ($0.40 do théacschomharthaí ionchuir i dtaisce) agus $64 / 1M téacschomhartha aschuir fuaime (féach praghsáil mhionsonraithe(osclaíonn i bhfuinneog nua)). Tá rialú mín curtha againn freisin ar chomhthéacs comhrá chun ligean d’fhorbróirí teorainneacha cliste téacschomharthaí a shocrú agus roinnt sealanna a theascadh ag an am céanna, rud a laghdaíonn costas go suntasach do sheisiúin fhada.
Chun tosú, tabhair cuairt ar ár ndoiciméadú Realtime API(osclaíonn i bhfuinneog nua), déan tástáil ar an tsamhail nua sa Playground(osclaíonn i bhfuinneog nua), agus féach ar ár treoir leideanna Realtime API(osclaíonn i bhfuinneog nua).
Údar
Lean ort ag léamh
