Pristatome naujos kartos garso modelius API

2025 m. rugpjūčio 28 d. atnaujinimas: paskelbėme apie bendrą „Realtime API“ prieinamumą. Sužinokite daugiau čia.

Per pastaruosius kelis mėnesius investavome į tekstinių agentų – sistemų, kurios savarankiškai atlieka užduotis naudotojų vardu, – intelekto, galimybių ir naudingumo tobulinimą, išleisdami tokius produktus kaip „Operator“, „Deep Research“, „Computer-Using Agents“ ir „Responses API“ su integruotais įrankiais. Tačiau tam, kad agentai būtų tikrai naudingi, žmonės turi turėti galimybę su jais bendrauti giliau ir intuityviau, ne tik tekstu – naudodami natūralią šnekamąją kalbą efektyviam bendravimui.

Šiandien API paleidžiame naujus kalbos vertimo į tekstą ir teksto vertimo į kalbą garso modelius, leidžiančius kurti galingesnius, labiau pritaikomus ir intelektualesnius balso agentus, teikiančius realią vertę. Mūsų naujausi kalbos vertimo į tekstą modeliai nustato naują pažangiausią etaloną, pranokdami esamus sprendimus tikslumu ir patikimumu – ypač sudėtingais scenarijais, apimančiais akcentus, triukšmingą aplinką ir kintantį kalbėjimo greitį. Šie patobulinimai padidina transkripcijos patikimumą, todėl modeliai ypač tinka tokiems naudojimo atvejams kaip klientų aptarnavimo centrai, susitikimų pastabų transkribavimas ir kt.

Pirmą kartą kūrėjai taip pat gali nurodyti teksto vertimo į kalbą modeliui kalbėti tam tikru būdu – pavyzdžiui, „talk like a sympathetic customer service agent“ (kalbėk kaip užjaučiantis klientų aptarnavimo agentas) – taip atverdami naują balso agentų pritaikymo lygį. Tai įgalina platų pritaikytų programų spektrą – nuo empatiškesnių ir dinamiškesnių klientų aptarnavimo balsų iki ekspresyvaus pasakojimo kūrybinėse patirtyse.

Pirmąjį garso modelį pristatėme 2022 m.⁠ ir nuo to laiko esame įsipareigoję tobulinti šių modelių intelektą, tikslumą ir patikimumą. Naudodami šiuos naujus garso modelius, kūrėjai gali kurti tikslesnes ir patikimesnes kalbos vertimo į tekstą sistemas bei ekspresyvius, charakteringus teksto vertimo į kalbą balsus – viską API ribose.

Šie nauji garso modeliai jau prieinami visiems kūrėjams – daugiau apie kūrimą su garsu skaitykite čia⁠(atsidaro naujame lange). Kūrėjams, jau kuriantiems pokalbių patirtis su tekstiniais modeliais, mūsų kalbos vertimo į tekstą ir teksto vertimo į kalbą modelių pridėjimas yra paprasčiausias būdas sukurti balso agentą. Išleidžiame integraciją su Agents SDK⁠(atsidaro naujame lange), kuri supaprastina šį kūrimo procesą. Kūrėjams, norintiems kurti mažos delsos kalbos vertimo į kalbą patirtis, rekomenduojame kurti naudojant mūsų kalbos vertimo į kalbą modelius „Realtime API“.

Žvelgdami į ateitį, planuojame ir toliau investuoti į savo garso modelių intelekto ir tikslumo tobulinimą bei tyrinėti būdus, kaip leisti kūrėjams naudoti savo pasirinktinius balsus kuriant dar labiau suasmenintas patirtis, atitinkančias mūsų saugos standartus. Be to, tęsiame⁠ pokalbius su politikos formuotojais, tyrėjais, kūrėjais ir kūrybininkais apie iššūkius ir galimybes, kuriuos gali sukelti sintetiniai balsai. Nekantraujame pamatyti inovatyvias ir kūrybingas programas, kurias kūrėjai sukurs naudodami šiuos patobulintus garso pajėgumus. Taip pat investuosime į kitas modalumo formas – įskaitant vaizdo įrašus – kad įgalintume kūrėjus kurti daugiarūšes agentines patirtis.