Prezantimi i modeleve audio të gjeneratës së ardhshme në API

Përditësim më 28.8.2025: Njoftuam disponueshmërinë e përgjithshme të Realtime API. Mëso më shumë këtu.

Gjatë muajve të fundit, kemi investuar në avancimin e inteligjencës, aftësive dhe dobishmërisë së agjentëve të bazuar në tekst—ose sistemeve që kryejnë në mënyrë të pavarur detyra në emër të përdoruesve—me publikime si Operator, Kërkim i thelluar, agjentë kompjuterpërdorues dhe Responses API me mjete të integruara. Megjithatë, që agjentët të jenë vërtet të dobishëm, njerëzit duhet të kenë mundësinë të kenë ndërveprime më të thella dhe më intuitive me agjentët përtej vetëm tekstit—duke përdorur gjuhën e folur natyrale për të komunikuar në mënyrë efektive.

Sot, po qarkullojmë modele të reja audio për konvertimin e të folurit në tekst dhe tekstit në të folur në API — duke e bërë të mundur ndërtimin e agjentëve zanorë më të fuqishëm, të personalizueshëm dhe inteligjentë që ofrojnë vlerë reale. Modelet tona më të fundit për konvertimin e të folurit në tekst vendosin një standard të ri të avancuar, duke tejkaluar zgjidhjet ekzistuese në saktësi dhe besueshmëri — veçanërisht në skenarë sfidues që përfshijnë thekse, mjedise me zhurmë dhe shpejtësi të ndryshme të të folurit. Këto përmirësime rrisin besueshmërinë e transkriptimit, duke i bërë modelet veçanërisht të përshtatshme për raste përdorimi si qendrat e thirrjeve të klientëve, transkriptimi i shënimeve të takimeve dhe më shumë.

Për herë të parë, zhvilluesit mund të udhëzojnë modelin tekst-në-zë të flasë në një mënyrë të caktuar—për shembull, “fol si një agjent i dhembshur i shërbimit ndaj klientit”—duke hapur një nivel të ri personalizimi për agjentët zanorë. Kjo mundëson një gamë të gjerë aplikacionesh të përshtatura, nga zëra më empatikë dhe dinamikë të shërbimit ndaj klientit deri te narracioni shprehës për përvoja krijuese të tregimit.

Ne lançuam modelin tonë të parë audio në 2022⁠ dhe që atëherë, jemi angazhuar të përmirësojmë inteligjencën, saktësinë dhe besueshmërinë e këtyre modeleve. Me këto modele të reja audio, zhvilluesit mund të ndërtojnë sisteme më të sakta dhe më të qëndrueshme për konvertimin e të folurit në tekst dhe zëra më ekspresivë e me karakter për konvertimin e tekstit në të folur—të gjitha brenda API.

Këto modele të reja audio janë të disponueshme tani për të gjithë zhvilluesit – më shumë rreth ndërtimit me audio këtu⁠(hapet në një dritare të re). Për zhvilluesit që tashmë po krijojnë përvoja bisedore me modele të bazuara në tekst, shtimi i modeleve tona për konvertimin e të folurit në tekst dhe tekstit në të folur është mënyra më e thjeshtë për të krijuar një agjent zanor. Po lëshojmë një integrim me Agents SDK⁠(hapet në një dritare të re) që e thjeshton këtë proces zhvillimi. Për zhvilluesit që kërkojnë të krijojnë përvoja të ligjëratë-ligjëratë me vonesë të ulët, ne rekomandojmë përdorimin e modeleve tona të ligjëratë-ligjëratë në Realtime API.

Duke parë përpara, planifikojmë të vazhdojmë të investojmë në përmirësimin e inteligjencës dhe saktësisë së modeleve tona audio dhe të eksplorojmë mënyra për t'u lejuar zhvilluesve të sjellin zërat e tyre të personalizuar për të krijuar përvoja edhe më të personalizuara në përputhje me standardet tona të sigurisë. Përveç kësaj, po vazhdojmë⁠ të angazhohemi në biseda me politikëbërës, studiues, zhvillues dhe krijues për sfidat dhe mundësitë që zërat sintetikë mund të paraqesin. Jemi të emocionuar të shohim aplikacionet inovative dhe krijuese që zhvilluesit do të ndërtojnë duke përdorur këto aftësi të përmirësuara audio. Ne gjithashtu do të investojmë në modalitete të tjera — duke përfshirë videon — për t'u mundësuar zhvilluesve të krijojnë përvoja agjentike multimodale.