പ്രധാന ഉള്ളടക്കത്തിലേക്ക് നീങ്ങുക
OpenAI

2026 മാർച്ച് 6

സ്റ്റാർട്ടപ്പ്

വൻതോതിൽ ബഹുഭാഷ വീഡിയോഡബ്ബിംഗ് Descriptഎഞ്ചിനീയർ എങ്ങനെ ചെയ്യുന്നു

OpenAI റീസണിംഗ് മോഡലുകൾ ഉപയോഗിച്ച്, ടൈമിംഗോ അർത്ഥമോ നഷ്ടപ്പെടാതെ വലിയ ഉള്ളടക്ക ലൈബ്രറികളുടെ ഓട്ടോമാറ്റിക് ലോക്കലൈസേഷൻ Descript സാധ്യമാക്കി.

പിങ്ക്, പർപ്പിൾ നിറങ്ങളുള്ള അമൂർത്തമായ വേവ്‌ഫോം പശ്ചാത്തലത്തിൽ Descript ലോഗോയും വേഡ്‌മാർക്കും.
കമ്പനിയുടെ വലിപ്പം: സ്റ്റാർട്ടപ്പ്
മേഖല: നോർത്ത് അമേരിക്ക
ഇൻഡസ്ട്രി: സാങ്കേതിക വിദ്യ
ഉൽപ്പന്നങ്ങൾ: API

ഫലങ്ങൾ

43

OpenAI ഉപയോഗിച്ചുള്ള ദൈർഘ്യ പാലനത്തിലെ ശതമാന പോയിന്റ് മെച്ചപ്പെടുത്തൽ

ഫലങ്ങൾ

15%

റോളൗട്ടിന് ശേഷം ഡബ്ബ് ചെയ്ത എക്‌സ്‌പോർട്ടുകളിൽ വർദ്ധനവ്

ലോഡിംഗ്…

Descript(പുതിയ വിൻഡോയിൽ തുറക്കുന്നു) ഒരു ലളിതമായ ആശയത്തെ ചുറ്റിപ്പറ്റി നിർമ്മിച്ച AI-നേറ്റീവ് വീഡിയോ എഡിറ്ററാണ്: നിങ്ങൾക്ക് ടെക്സ്റ്റ് എഡിറ്റ് ചെയ്യാൻ കഴിയുമെങ്കിൽ, വീഡിയോയും എഡിറ്റ് ചെയ്യാൻ കഴിയണം. Descript-ന്റെ പ്രാരംഭ കാലം മുതൽ, ഉൽപ്പന്നത്തിന്റെ എല്ലാ വശങ്ങളെയും AI ശക്തിപ്പെടുത്തിയിട്ടുണ്ട്: ട്രാൻസ്ക്രിപ്ഷൻ, എഡിറ്റിംഗ്, ഓഡിയോ ക്ലീൻഅപ്പ്, കൂടാതെ കൂടുതൽ സങ്കീർണ്ണമാകുന്ന സൃഷ്ടിപരമായ വർക്ക്ഫ്ലോകൾ. അവർ വർഷങ്ങളായി OpenAI-യെ അടിസ്ഥാനമാക്കി നിർമ്മിച്ചുവരുന്നു, ട്രാൻസ്ക്രിപ്ഷനായി Whisper ഉപയോഗിക്കുകയും അവരുടെ കോ-എഡിറ്റർ Underlord-ന്റെ ഉള്ളിൽ GPT സീരീസ് മോഡലുകൾ ഉപയോഗിക്കുകയും ചെയ്യുന്നു. 

വിവർത്തനം വേഗത്തിൽ ഉയർന്ന പ്രഭാവമുള്ള ഉപയോഗ കേസായി ഉയർന്നു വന്നു. പരമ്പരാഗതമായി, വീഡിയോ വിവർത്തനം മന്ദഗതിയിലും ചെലവേറിയതുമായിരിന്നു, പദ്ധതികൾ കൈകാര്യം ചെയ്യാനും, യാന്ത്രിക വിവർത്തനങ്ങൾ തയ്യാറാക്കാനും, ഗുണനിലവാര നിയന്ത്രണം കൈകാര്യം ചെയ്യാനും, അനുബന്ധ ഓഡിയോ സൃഷ്ടിക്കാനും ഭാഷാ വിദഗ്ധരെ ആവശ്യപ്പെടുകയായിരുന്നു. LLMs ആ പ്രവൃത്തി പ്രവാഹം ഗണ്യമായി ചുരുക്കുന്നു, അതിലൂടെ വലിയ തോതിൽ ഉയർന്ന നിലവാരമുള്ള വിവർത്തനം സാധ്യമാകുന്നു.

അടിക്കുറിപ്പുകളും ഡബ്ബിംഗും രണ്ടും അർത്ഥപരമായ വിശ്വാസ്യത ആവശ്യപ്പെടുന്നു: വിവർത്തനം യഥാർത്ഥ അർത്ഥം സംരക്ഷിക്കണം. എന്നാൽ ദൈർഘ്യം പാലിക്കൽ ഓരോന്നിലും വ്യത്യസ്തമായ പങ്ക് വഹിക്കുന്നു. അടിക്കുറിപ്പുകൾക്കായി, ഇത് ഉണ്ടായാൽ നല്ലതാണ്. ഡബ്ബിംഗിനായി, ഇത് നിർണായകമാണ്, കാരണം വിവർത്തനം ചെയ്ത സംഭാഷണം വളരെ നീളുകയോ വളരെ ചുരുങ്ങുകയോ ചെയ്താൽ, അർത്ഥം ശരിയായിരുന്നാലും അത് അസ്വാഭാവികമായി കേൾക്കും.

ഇത് പരിഹരിക്കാൻ, Descript സൃഷ്ടിക്കുമ്പോൾ തന്നെ (ശേഷമല്ല) അർത്ഥപരമായ വിശ്വാസ്യതയും ദൈർഘ്യ പാലനവും മെച്ചപ്പെടുത്തുന്നതിനായി OpenAI റീസണിംഗ് മോഡലുകൾ ഉപയോഗിച്ച് വിവർത്തന പൈപ്പ്‌ലൈൻ പുനർരൂപകൽപ്പന ചെയ്തു. റോളൗട്ടിന് ശേഷമുള്ള ആദ്യ 30 ദിവസങ്ങളിൽ, ഡബ്ബിംഗ് സഹിതമുള്ള വിവർത്തനം ചെയ്ത വീഡിയോകളുടെ എക്സ്പോർട്ടുകൾ 15% വർധിച്ചു, കൂടാതെ ഭാഷയെ ആശ്രയിച്ച് ദൈർഘ്യ പാലനം 13 മുതൽ 43 ശതമാന പോയിന്റുകൾ വരെ മെച്ചപ്പെട്ടു.

“Descript-നായി ഡബ്ബിംഗ് കൂടുതൽ കൂടുതൽ ജനപ്രിയമായ ഒരു ഉപയോഗ കേസാണ്, അതിനാൽ മുഴുവൻ ലൈബ്രറികൾ വിവർത്തനം ചെയ്യാനും ലിപ്പ്-സിങ്ക് ചെയ്യാനും ആഗ്രഹിക്കുന്ന കമ്പനികൾക്കായി അത് ബാച്ചായി ചെയ്യാനുള്ള മാർഗങ്ങൾ ഞങ്ങൾ നിർമ്മിക്കുകയാണ്,” CEO ലോറ ബർഖൗസർ പറഞ്ഞു.

ഡബ്ബിംഗ് തകരാൻ ആരംഭിച്ച സ്ഥലം എവിടെയാണ്?

വിവർത്തനം Descript-ന്റെ ആദ്യകാലത്തെയും ഏറ്റവും കൂടുതൽ ആവശ്യപ്പെട്ടതുമായ സവിശേഷതകളിലൊന്നായിരുന്നു. അവർ ക്യാപ്ഷനുകൾ മാത്രം വിവർത്തനം ചെയ്യുന്നതോടെ ആരംഭിച്ചു, അത് നന്നായി പ്രവർത്തിച്ചു—എന്നാൽ പല ഉപയോക്താക്കൾക്കും അതിനപ്പുറം പോകാനും ലക്ഷ്യഭാഷയിൽ സംസാരിക്കുന്ന ഓഡിയോ (ഡബ്ബിംഗ്) ലഭിക്കാനും ആഗ്രഹമുണ്ടായിരുന്നു.

എന്നിരുന്നാലും, ഒരു പ്രശ്നം തുടർച്ചയായി ഉയർന്നുവന്നു: ഡബ് ചെയ്ത ഓഡിയോ എല്ലായ്പ്പോഴും ശരിയായി കേൾക്കുമായിരുന്നില്ല. “വിവർത്തനം ചെയ്ത ഭാഷയിൽ സംസാരത്തിന്റെ വേഗം സ്വാഭാവികമല്ലായിരുന്നു എന്നതാണ് ഞങ്ങൾ കേട്ട ഏറ്റവും പ്രധാനപ്പെട്ട പരാതി,” എന്ന് Descriptയിലെ AI ഉൽപ്പന്നങ്ങളുടെ തലവൻ അലക്സ മിസ്ട്രാറ്റോവ് പറഞ്ഞു.

പ്രശ്നം ഒടുവിൽ എത്തിയത്, ഒരേ ആശയം പ്രകടിപ്പിക്കാൻ വ്യത്യസ്ത ഭാഷകൾക്ക് വ്യത്യസ്തമായ സമയം ആവശ്യമാണ് എന്ന വസ്തുതയിലേക്കാണ്. Descript നിരീക്ഷിച്ചത്, ഉദാഹരണത്തിന്, ശരാശരിയിൽ ജർമ്മൻ ഇംഗ്ലീഷിനെക്കാൾ “കൂടുതൽ നീളമുള്ള” ഭാഷയാണെന്ന്. സ്ഥിരമായ വീഡിയോ സെഗ്മെൻറുകളിൽ ഒതുങ്ങുന്നതിനായി, വിവർത്തനം ചെയ്ത സംസാരഭാഗം പലപ്പോഴും കൃത്രിമമായി വേഗത്തിലാക്കുകയോ മന്ദഗതിയിലാക്കുകയോ ചെയ്യേണ്ടിവന്നു. “അങ്ങനെ ചെയ്താൽ ചിപ്പ്മങ്കുകൾ പോലെ, അല്ലെങ്കിൽ ഉറക്കമുള്ള ഒരു ഭീമനെ പോലെ, കേൾക്കുന്ന ഒന്നായിരിക്കും,” മിസ്ട്രാറ്റോവ് വിശദീകരിച്ചു.

ഇംഗ്ലീഷ്:

ജർമ്മൻ:

“മെഷീൻ പ്രവർത്തിപ്പിക്കുന്നതിന് മുമ്പ് ദയവായി സുരക്ഷാ മാർഗ്ഗനിർദ്ദേശങ്ങൾ അവലോകനം ചെയ്യുക.”

അക്ഷരമാത്രകൾ: 18

“യന്ത്രം പ്രവർത്തിപ്പിക്കുന്നതിന് മുമ്പ് സുരക്ഷാ മാർഗ്ഗനിർദ്ദേശങ്ങൾ ദയവായി പരിശോധിക്കുക.”

അക്ഷരമാത്രകൾ: 24 (40% വർധന)

ഈ സാഹചര്യത്തിൽ, ജർമ്മൻ ഓഡിയോയെ അസ്വാഭാവികമായി വേഗത്തിലാക്കേണ്ടിവരും, അല്ലെങ്കിൽ സമയ ബജറ്റിനൊത്ത് പൊരുത്തപ്പെടാൻ വിവർത്തനം പുനരെഴുതേണ്ടിവരും.

ഉപയോക്താക്കൾക്ക് രണ്ട് ഓപ്ഷനുകൾ മാത്രമേ ശേഷിച്ചിരുന്നുള്ളൂ: ഓഡിയോയെ സെഗ്മെന്റ് വീതം കൈമാറി വീണ്ടും ടൈമിംഗ് ക്രമീകരിക്കുക, അല്ലെങ്കിൽ അത് പൊരുത്തപ്പെടാൻ വിവർത്തനം തന്നെ പുനരെഴുതുക. ഇരു സമീപനങ്ങൾക്കും ടൈംലൈനിൽ ആഴത്തിലുള്ള തിരുത്തലുകളും, പലപ്പോഴും, ലക്ഷ്യഭാഷയിൽ സമീപ-സ്വദേശീയ പ്രാവീണ്യവും ആവശ്യമായിരുന്നു. ഇത് സൃഷ്ടാക്കൾക്ക് ബുദ്ധിമുട്ടേറിയതായിരുന്നു, കൂടാതെ വലിയ എന്റർപ്രൈസ് ലോക്കലൈസേഷൻ പ്രോജക്റ്റുകളിലേക്ക് ഈ സവിശേഷതയെ സ്കെയിൽ ചെയ്യുന്നതിന് ഒരു തടസ്സമായി മാറി.

സമയക്രമത്തിനായി വിവർത്തനങ്ങൾ മെച്ചപ്പെടുത്തുക, അർത്ഥത്തിനായി മാത്രമല്ല

ഡബ്ബിംഗ് പ്രവർത്തനക്ഷമമാക്കാൻ എന്തെല്ലാം വേണ്ടിവരുമെന്ന് സംബന്ധിച്ച് ടീമിന് വ്യക്തമായ സിദ്ധാന്തം ഉണ്ടായിരുന്നു. സിസ്റ്റം അർത്ഥപരമായ അർത്ഥത്തിനായി മാത്രമല്ല, സമയപരിധി നിയന്ത്രണങ്ങളെക്കുറിച്ചും ബോധവാനായിരിക്കണം. ഉദാഹരണത്തിന്, ഇംഗ്ലീഷിൽ നിന്ന് ജർമ്മനിലേക്കു പരിഭാഷ ചെയ്യുമ്പോൾ, ഡബ്ബ് ചെയ്ത ഓഡിയോ സ്വാഭാവികമായി നിലനിൽക്കാൻ കുറച്ച് വാക്കുകൾ ഉപയോഗിക്കാനോ ആശയം ലളിതമാക്കാനോ മോഡൽ മനസ്സിലാക്കേണ്ടതുണ്ട്.

മുൻകാല സമീപനങ്ങൾ ആദ്യം അർത്ഥപരമായ വിശ്വസ്തത ഒപ്റ്റിമൈസ് ചെയ്യുകയും തുടർന്ന് സമയക്രമം ശരിയാക്കാൻ ശ്രമിക്കുകയും ചെയ്തു. പരിഭാഷകൾ പലപ്പോഴും അർത്ഥപരമായി ശരിയായിരുന്നെങ്കിലും, അവ പതിവായി ദൈർഘ്യ നിയന്ത്രണങ്ങൾ പാലിക്കാതെ പോയി, കൂടാതെ മൊത്തത്തിലുള്ള ഗുണനിലവാരം ഇപ്പോഴും മതിയായിരുന്നില്ല. 

“ഞങ്ങൾ ഇൻക്രിമെന്റൽ ടെസ്റ്റുകൾ നടത്തി, ഒന്നും ജനറേറ്റ് ചെയ്യാതെയായിരുന്നു, വെറും ടെക്സ്റ്റിന്റെ ഒരു ഭാഗത്തിലെ അക്ഷരമാത്രകളുടെ എണ്ണം ഔട്ട്പുട്ട് ചെയ്യാൻ മോഡലിനോട് ചോദിച്ചതേയുള്ളൂ,” മിസ്ട്രാറ്റോവ് പറഞ്ഞു. “മുമ്പത്തെ മോഡലുകൾക്ക് അതിൽ അത്ര നല്ലതാകാൻ കഴിഞ്ഞിരുന്നില്ല.”

വിശ്വസനീയമായ അക്ഷരമാത്ര-സമയം എണ്ണൽ നിർണായകമാണെന്ന് തെളിഞ്ഞു. മോഡലിന് സ്ഥിരമായി അക്ഷരമാത്രകൾ കണക്കാക്കാൻ കഴിയാതിരുന്നാൽ, ഒരു നിർദ്ദിഷ്ട ദൈർഘ്യ വിൻഡോയെ വിശ്വസനീയമായി ലക്ഷ്യമിടാൻ അതിന് കഴിയില്ല.

GPT‑5 സീരീസ് മോഡലുകൾ മുൻകാല മോഡലുകളിൽ ഇല്ലാതിരുന്ന റീസണിംഗ് സ്ഥിരതയുടെ ഒരു നില കൊണ്ടുവന്നു, പ്രത്യേകിച്ച് അക്ഷരമാത്രാ എണ്ണൽ, നിയന്ത്രണ ട്രാക്കിംഗ് പോലുള്ള ടാസ്കുകളിൽ. ആ മെച്ചപ്പെടുത്തലോടെ, Descript അതിന്റെ വിവർത്തനവും ഡബ്ബിംഗും പൈപ്പ്‌ലൈൻ പുനർരൂപകൽപ്പന ചെയ്തു.

ആദ്യം, Descript സിസ്റ്റം ട്രാൻസ്‌ക്രിപ്റ്റിനെ വാക്യ അതിരുകൾ, സ്വാഭാവിക ഇടവേളകൾ, ഒറിജിനൽ റെക്കോർഡിംഗിലെ സംസാര പാറ്റേണുകൾ എന്നിവയെ അടിസ്ഥാനമാക്കി ചങ്കുകളായി വിഭജിക്കുന്നു. ഓരോ ചങ്കും സെമാന്റിക് തുടർച്ച നിലനിർത്തുന്നു, പക്ഷേ ഒരു ടൈമിംഗ് യൂണിറ്റായി ചിന്തിക്കാൻ കഴിയുന്നത്ര ചെറുതാണ്.

അവിടെ നിന്ന്, മോഡൽ ചങ്കിലെ അക്ഷരമാത്രകളുടെ എണ്ണം കണക്കാക്കുന്നു. ഭാഷാ-വിശിഷ്ടമായ സംസാര-വേഗ അനുമാനങ്ങൾ ഉപയോഗിച്ച്, സ്വാഭാവികമായ പേസിംഗ് നിലനിർത്താൻ (“duration adherence”) വിവർത്തനം ചെയ്ത ചങ്ക് ലക്ഷ്യമിടേണ്ട അക്ഷരങ്ങളുടെ എണ്ണം എത്രയെന്ന് സിസ്റ്റം കണക്കാക്കുന്നു. പ്രോംപ്റ്റ് മോഡലിനോട് ദൈർഘ്യ പാലനവും അർത്ഥ സംരക്ഷണവും രണ്ടും ഒരുപോലെ ഓപ്റ്റിമൈസ് ചെയ്യാൻ ആവശ്യപ്പെടുന്നു. ചുറ്റുമുള്ള ചങ്കുകൾ സന്ദർഭമായി പാസ് ചെയ്യപ്പെടുന്നു, അതുവഴി മോഡൽ സെഗ്മെന്റുകളിലുടനീളം അർത്ഥപരമായ ഏകോപിതത്വം നിലനിർത്തുന്നു.

ദൈർഘ്യ പാലനം, അർത്ഥപരമായ വിശ്വാസ്യത, ലാറ്റൻസി, ചെലവ് എന്നിവ സന്തുലിതമാക്കുന്നതിനായി ടീം നിരവധി കോൺഫിഗറേഷനുകൾ വിലയിരുത്തി. തിരഞ്ഞെടുത്ത സെറ്റപ്പ് പ്രൊഡക്ഷൻ വേഗതയിൽ ശക്തമായ നിയന്ത്രണ-പാലനം നൽകുകയും, മാനുവൽ റിടൈമിംഗ് ഇല്ലാതെ ഉയർന്ന വോളിയം വിവർത്തനം സാധ്യമാക്കുകയും ചെയ്തു. ഫലം, പേസിംഗിനെ പിന്നീട് തിരുത്തുന്ന ഒന്നായി കാണുന്നതിന് പകരം പ്രഥമഗണനീയമായ ഒരു വ്യത്യാസമായി പരിഗണിക്കുന്ന ഒരു വിവർത്തന പൈപ്പ്‌ലൈൻ ആണ്.

സ്വാഭാവിക വേഗത നിർവചിക്കുകയും അളക്കുകയും ചെയ്യുക.

Evals-നുള്ള അംഗീകാര മാനദണ്ഡങ്ങൾ വികസിപ്പിക്കുന്നതിനായി, ടീം ലിസണിംഗ് ടെസ്റ്റുകൾ നടത്തി: അവർ വിവർത്തനം ചെയ്ത ഓഡിയോ സാമ്പിളുകൾ സൃഷ്ടിക്കുകയും പ്ലേബാക്ക് വേഗത ചെറിയ വർധനകളിൽ ക്രമീകരിക്കുകയും ചെയ്തു, സംസാരണം അസ്വാഭാവികമാകുന്നത് എപ്പോഴാണെന്ന് ഉപയോക്താക്കളോട് റേറ്റ് ചെയ്യാൻ ആവശ്യപ്പെട്ടു. 

“പത്ത് ശതമാനം മന്ദഗതിയാക്കിയതോ, ഇരുപത് ശതമാനം വേഗത്തിലാക്കിയതോ ആയ ഏതൊന്നും, പൊതുവെ, ഇപ്പോഴും സ്വാഭാവികമായി കേട്ടിരുന്നു,” മിസ്ട്രാറ്റോവ് പറഞ്ഞു. ഈ പരിധിക്ക് അപ്പുറം, പ്രസംഗം വളരെ വികൃതമായി മാറി. 

മുൻകാല സിസ്റ്റങ്ങൾ ആ അളവുകോലിൽ മോശമായി പ്രവർത്തിച്ചിരുന്നു. ഭാഷയെ ആശ്രയിച്ച്, സെഗ്മെന്റുകളിൽ 40% മുതൽ 60% വരെ മാത്രമാണ് അംഗീകരിക്കാവുന്ന പേസിംഗ് വിൻഡോയിൽ ഉണ്ടായത്. പുനർരൂപകൽപ്പന ചെയ്ത പൈപ്പ്‌ലൈൻ ഉപയോഗിച്ച്, ഭാഷയെ ആശ്രയിച്ച്, ആ സംഖ്യ 40%–60% ൽ നിന്ന് 73%നും 83%നും ഇടയിലേക്ക് ഉയർന്നു.

ടീം 1 മുതൽ 5 വരെ ഉള്ള സ്കെയിലിൽ (“പൂർണ്ണമായും വ്യത്യസ്തം” മുതൽ “സെമാന്റിക് തുല്യം” വരെ), വേറൊരു മോഡൽ-ആസ്-ജഡ്ജ് റേറ്റിംഗ് ഉപയോഗിച്ച് സെമാന്റിക് ഫിഡെലിറ്റിയും വിലയിരുത്തി.  ഡബ്ബിംഗിനായി, ദൈർഘ്യ നിയന്ത്രണങ്ങൾ പ്രസക്തമല്ലാത്ത അടിക്കുറിപ്പ്-മാത്രം വിവർത്തനത്തേക്കാൾ കുറവ് അർത്ഥപരമായ പരിധി സ്വീകരിക്കാൻ അവർ തീരുമാനിച്ചു. ആ വിട്ടുവീഴ്ചയുണ്ടായിട്ടും, 85.5% സെഗ്മെന്റുകൾക്ക് അർത്ഥപരമായ അനുസരണത്തിൽ 4 അല്ലെങ്കിൽ 5 എന്ന റേറ്റിംഗ് ലഭിച്ചു.

ഫലം അളക്കാവുന്ന ആത്മവിശ്വാസത്തോടെ സമയക്രമവും അർത്ഥവും എന്നീ രണ്ട് മത്സരിക്കുന്ന നിയന്ത്രണങ്ങളെ സന്തുലിതമാക്കാൻ കഴിയുന്ന ഒരു സിസ്റ്റമായിരുന്നു. രണ്ട് മെട്രിക്കുകളും ഓട്ടോമേറ്റഡ് ആയതിനാൽ, അതേ ബെഞ്ച്മാർക്കുകളെതിരെ പുതിയ മോഡൽ റിലീസുകളും പ്രോംപ്റ്റ് വ്യതിയാനങ്ങളും Descript തുടർച്ചയായി വിലയിരുത്താൻ കഴിയും.

വലിയ തോതിലുള്ള വീഡിയോ ലോക്കലൈസേഷൻ ചെയ്യാം.

വിവർത്തനം ഒറ്റ വീഡിയോകളിൽ നിന്ന് വലിയ ഉള്ളടക്ക ലൈബ്രറികളിലേക്കു നീങ്ങുമ്പോൾ, ആവശ്യമായപ്പോൾ കൂടുതൽ കർശനമായ അർത്ഥപരമായ വിശ്വസ്തതയ്ക്ക് മുൻഗണന നൽകാനുള്ള കഴിവ് ഉൾപ്പെടെ, വിവർത്തനങ്ങൾ എങ്ങനെ ട്യൂൺ ചെയ്യപ്പെടുന്നു എന്നതിൽ കൂടുതൽ നിയന്ത്രണം Descript നിർമ്മിച്ചുകൊണ്ടിരിക്കുന്നു.

Descript-ലുള്ള വിവർത്തനം, കൂടുതൽ വിപുലമായ ഒരു മൾട്ടിമോഡൽ സംവിധാനത്തിലെ ഒരു തലം മാത്രമാണ്. വിവർത്തനം ചെയ്ത ടെക്സ്റ്റ് സ്പീച്ച് ജനറേഷനിലേക്ക് പോകുന്നു, അത് തുടർന്ന് ലിപ്പ് സിങ്കിനെയും അന്തിമ വീഡിയോ റെൻഡറിംഗിനെയും നയിക്കുന്നു. 

ടെക്സ്റ്റ് ലെയറിലെ മെച്ചപ്പെടുത്തലുകൾ സ്വാഭാവികമായ പേസിംഗ് സാധ്യമാക്കുന്നു, എന്നാൽ മൊത്തത്തിലുള്ള അനുഭവം ഓഡിയോ മോഡൽ സംസാരത്തിന്റെ ടോൺ, കാഡൻസ്, വാക്കുകളല്ലാത്ത സവിശേഷതകൾ എന്നിവ എത്രത്തോളം നന്നായി സംരക്ഷിക്കുന്നു എന്നതിലും ആശ്രയിച്ചിരിക്കുന്നു. അവിടെയാണ് ടീം അടുത്ത അത്യാധുനിക സാധ്യത കാണുന്നത്. 

“വിവർത്തന ഔട്ട്‌പുട്ട് മെച്ചപ്പെടുത്തുന്നതിൽ വലിയൊരു പങ്ക് പൈപ്പ്‌ലൈൻ കൂടുതൽ മൾട്ടിമോഡൽ ആക്കുന്നതിലൂടെയാണ്: വിവർത്തനം എങ്ങനെ ചെയ്യണമെന്ന് തീരുമാനിക്കുമ്പോൾ ഓഡിയോ, വീഡിയോ, ടെക്സ്റ്റ് എന്നിവയെ ഒരുമിച്ച് ഉൾപ്പെടുത്തുക,” എന്ന് മിസ്ട്രാറ്റോവ് പറഞ്ഞു. “അത് ശബ്ദത്തിന്റെ ടോൺ, ഊന്നൽ എന്നിവ പോലുള്ള സംസാരത്തിന്റെ വാചകേതര സവിശേഷതകൾ കൂടുതൽ നന്നായി നിലനിർത്താനും, യഥാർത്ഥ അവതരണത്തിന്റെ കൂടുതൽ ഭാഗം പോലും സംരക്ഷിക്കാനും സഹായിക്കും.”

Descript-നായി, ശക്തമായ റീസണിംഗ് മോഡലുകൾ ഡബ്ബിംഗ് പ്രക്രിയയുടെ സങ്കീർണ്ണത കൈകാര്യം ചെയ്യാൻ സഹായിച്ചു. പേസിംഗും അർത്ഥവും തമ്മിലുള്ള ട്രേഡ്ഓഫുകൾ വിശ്വസനീയമായി ബാലൻസ് ചെയ്യാൻ മോഡലുകൾക്ക് കഴിയുന്ന പരിധി കടന്നതോടെ, വിവർത്തനം ടീം സിസ്റ്റമാറ്റിക്കായി മെച്ചപ്പെടുത്തുകയും, വലിയ തോതിൽ വിന്യസിക്കുകയും ചെയ്തു.