Descript က ဘာသာစုံ ဗီဒီယိုအသံသွင်းကို စကေးဖြင့် ဘယ်လိုတည်ဆောက်သလဲ

Descript⁠(ဝင်းဒိုးအသစ်တွင် ဖွင့်မည်) သည် ရိုးရှင်းသော အယူအဆတစ်ခုအပေါ် အခြေခံတည်ဆောက်ထားသော AI-အခြေပြု ဗီဒီယိုတည်းဖြတ်ကိရိယာတစ်ခုဖြစ်သည်။ စာသားကို တည်းဖြတ်နိုင်လျှင် ဗီဒီယိုကိုလည်း တည်းဖြတ်နိုင်သင့်သည်ဟု ယူဆထားသည်။ Descript ၏ အစောပိုင်းကာလများကတည်းက AI သည် ထုတ်ကုန်၏ ကဏ္ဍတိုင်းကို မောင်းနှင်ပေးခဲ့သည်။ စာတမ်းပြောင်းလဲခြင်း၊ တည်းဖြတ်ခြင်း၊ အသံသန့်ရှင်းရေးနှင့် ပိုမိုရှုပ်ထွေးလာသော ဖန်တီးမှုဆိုင်ရာ workflow များအထိ ပါဝင်သည်။ ၎င်းတို့သည် နှစ်များစွာ OpenAI ကို အခြေခံတည်ဆောက်ခဲ့ပြီး စာတမ်းပြောင်းလဲရန် Whisper နှင့် ၎င်းတို့၏ ပူးတွဲတည်းဖြတ်ကိရိယာ Underlord အတွင်း GPT စီးရီး မော်ဒယ်များကို အသုံးပြုခဲ့သည်။ 

ဘာသာပြန်ခြင်းသည် လျင်မြန်စွာ သက်ရောက်မှုကြီးမားသော အသုံးပြုမှုကဏ္ဍတစ်ခုအဖြစ် ပေါ်ထွက်လာခဲ့သည်။ ရိုးရာနည်းလမ်းအရ ဗီဒီယိုဘာသာပြန်ခြင်းသည် နှေးကွေးပြီး ကုန်ကျစရိတ်များကာ ဘာသာစကားကျွမ်းကျင်သူများက ပရောဂျက်စီမံခန့်ခွဲခြင်း၊ ပုံသေဘာသာပြန်များ ပြုလုပ်ခြင်း၊ အရည်အသွေးစစ်ဆေးထိန်းချုပ်ခြင်းနှင့် ကိုက်ညီသောအသံဖိုင်များ ထုတ်လုပ်ခြင်းတို့ လိုအပ်သည်။ LLM များက ထို workflow ကို သိသိသာသာ ကျစ်လျစ်စေပြီး စကေးဖြင့် အရည်အသွေးမြင့် ဘာသာပြန်ခြင်းကို ဖြစ်နိုင်စေသည်။

စာတန်းထိုးနှင့် အသံသွင်းဘာသာပြန်ခြင်း နှစ်မျိုးလုံးတွင် အဓိပ္ပာယ်ဆိုင်ရာ တိကျညီညွတ်မှု လိုအပ်သည်။ ဘာသာပြန်ချက်သည် မူရင်းအဓိပ္ပာယ်ကို ထိန်းသိမ်းထားရမည်။ သို့သော် ကြာချိန်လိုက်နာညီညွတ်မှုသည် နှစ်မျိုးတွင် အခန်းကဏ္ဍမတူပါ။ စာတန်းထိုးအတွက် ၎င်းသည် ရှိရင်ကောင်းသောအရာတစ်ခုဖြစ်သည်။ အသံသွင်းအတွက်တော့ အလွန်အရေးကြီးသည်၊ အဘယ်ကြောင့်ဆိုသော် ဘာသာပြန်ထားသော စကားသံသည် ရှည်လွန်းသော်လည်းကောင်း တိုလွန်းသော်လည်းကောင်း အဓိပ္ပာယ်မှန်နေစေကာမူ မသဘာဝကျဘဲ ကြားရမည်ဖြစ်သောကြောင့် ဖြစ်သည်။

ဤပြဿနာကို ဖြေရှင်းရန် Descript သည် ဘာသာပြန် pipeline ကို OpenAI ၏ ကျိုးကြောင်းသင့်လျော်စွာ စဉ်းစားပေးသော မော်ဒယ်များဖြင့် ပြန်လည်ဒီဇိုင်းဆွဲကာ အဓိပ္ပာယ်ဆိုင်ရာ တိကျညီညွတ်မှုနှင့် ကြာချိန်လိုက်နာညီညွတ်မှုကို နောက်မှမဟုတ်ဘဲ ထုတ်လုပ်နေစဉ်အတွင်းပင် အကောင်းဆုံးဖြစ်အောင် ဆောင်ရွက်ခဲ့သည်။ စတင်အသုံးပြုပြီး ပထမရက် 30 အတွင်း အသံသွင်းပါသော ဘာသာပြန်ဗီဒီယို export များသည် 15% တိုးလာပြီး ဘာသာစကားအလိုက် ကြာချိန်လိုက်နာညီညွတ်မှုမှာ 13 မှ 43 percentage points အထိ တိုးတက်လာခဲ့သည်။

“အသံသွင်းဘာသာပြန်ခြင်းက Descript အတွက် ပိုမိုလူကြိုက်များလာသော အသုံးပြုမှုတစ်ခုဖြစ်လို့ ကုမ္ပဏီများက စာကြည့်တိုက်တစ်ခုလုံးကို ဘာသာပြန်ပြီး နှုတ်ခမ်းလှုပ်ရှားမှုညှိချင်တဲ့အခါ အစုလိုက်လုပ်နိုင်မယ့် နည်းလမ်းတွေကို တည်ဆောက်နေပါတယ်” ဟု CEO Laura Burkhauser က ပြောကြားခဲ့သည်။

ဘာသာပြန်ခြင်းသည် Descript ၏ အစောဆုံးနှင့် အများဆုံး တောင်းဆိုခံရသော feature များထဲမှ တစ်ခုဖြစ်သည်။ ၎င်းတို့သည် စာတန်းထိုးသာပါသော ဘာသာပြန်မှုဖြင့် စတင်ခဲ့ပြီး ကောင်းစွာ အလုပ်လုပ်ခဲ့သည်—သို့သော် အသုံးပြုသူများစွာက ၎င်းထက် ပိုသွားလိုပြီး ရည်မှန်းဘာသာစကားဖြင့် ပြောထားသောအသံ (အသံသွင်း) ကို လိုချင်ခဲ့ကြသည်။

သို့သော် ပြဿနာတစ်ခုက အမြဲ ထပ်မံပေါ်လာခဲ့သည်။ အသံသွင်းထားသော အသံသည် အမြဲတမ်း မှန်ကန်မသံမကြားတတ်ခဲ့ပါ။ “ကျွန်တော်တို့ ကြားရတဲ့ နံပါတ်တစ် တိုင်ကြားချက်က ဘာသာပြန်ထားတဲ့ ဘာသာစကားထဲမှာ ပြောဆိုနှုန်းက မသဘာဝကျဘူးဆိုတာပါပဲ” ဟု Descript ၏ AI Product Head ဖြစ်သူ Aleks Mistratov က ပြောသည်။

ပြဿနာ၏ အဓိကအကြောင်းရင်းမှာ မတူညီသော ဘာသာစကားများသည် အယူအဆတူတစ်ခုကို ဖော်ပြရန် အချိန်မတူညီစွာ လိုအပ်ကြခြင်းဖြစ်သည်။ ဥပမာအားဖြင့် ပျမ်းမျှအားဖြင့် ဂျာမန်ဘာသာစကားသည် အင်္ဂလိပ်ထက် “ပိုရှည်” သော ဘာသာစကားဖြစ်ကြောင်း Descript က တွေ့ရှိခဲ့သည်။ သတ်မှတ်ထားသော ဗီဒီယိုအပိုင်းများထဲ ဝင်ဆံ့စေရန် ဘာသာပြန်ထားသော စကားသံကို အတုလုပ်ပြီး မြန်စေခြင်း သို့မဟုတ် နှေးစေခြင်း လုပ်ရတတ်သည်။ “နောက်ဆုံးမှာ ကြွက်ကလေးသံလိုမျိုး၊ ဒါမှမဟုတ် အိပ်ငိုက်နေတဲ့ အကောင်ကြီးလိုမျိုး အသံထွက်သွားတတ်ပါတယ်” ဟု Mistratov က ရှင်းပြခဲ့သည်။

အသုံးပြုသူများအတွက် ရွေးချယ်ခွင့်နှစ်ခုသာ ကျန်ရစ်ခဲ့သည်။ အသံကို အပိုင်းလိုက် လက်ဖြင့် အချိန်ပြန်ညှိခြင်း သို့မဟုတ် ကိုက်ညီအောင် ဘာသာပြန်စာသားကို ကိုယ်တိုင်ပြန်ရေးခြင်းဖြစ်သည်။ နည်းလမ်းနှစ်ခုစလုံးသည် timeline ကို နက်နက်ရှိုင်းရှိုင်း တည်းဖြတ်ရန်လိုအပ်ပြီး မကြာခဏဆိုသလို ရည်မှန်းဘာသာစကားအပေါ် မူလဘာသာစကားနီးပါး ကျွမ်းကျင်မှုလည်း လိုအပ်သည်။ ၎င်းသည် ဖန်တီးရှင်များအတွက် ပင်ပန်းရှုပ်ထွေးပြီး feature ကို enterprise localization ပရောဂျက်ကြီးများအထိ စကေးချဲ့ရန် အတားအဆီးတစ်ခု ဖြစ်လာခဲ့သည်။

အသံသွင်းဘာသာပြန်ခြင်း အလုပ်လုပ်စေရန် ဘာလိုမည်ကို အဖွဲ့တွင် ရှင်းလင်းသော သဘောတရားတစ်ခု ရှိခဲ့သည်။ စနစ်သည် အဓိပ္ပာယ်ဆိုင်ရာ အကြောင်းအရာကိုသာ အကောင်းဆုံးဖြစ်အောင် မလုပ်ဘဲ အချိန်ကန့်သတ်ချက်များကိုလည်း သိရှိနားလည်ရမည်ဖြစ်သည်။ ဥပမာအားဖြင့် အင်္ဂလိပ်မှ ဂျာမန်သို့ ဘာသာပြန်ရာတွင် မော်ဒယ်သည် စကားလုံးအရေအတွက်ကို လျှော့သုံးရမည်ဆိုတာ သို့မဟုတ် အယူအဆကို ရိုးရှင်းစေရမည်ဆိုတာ နားလည်ရမည်၊ ဒါမှ အသံသွင်းထားသော စကားသံသည် သဘာဝကျနေမည်ဖြစ်သည်။

အစောပိုင်းနည်းလမ်းများသည် ပထမဦးစွာ အဓိပ္ပာယ်ဆိုင်ရာ တိကျညီညွတ်မှုကို အကောင်းဆုံးဖြစ်အောင် လုပ်ပြီး ထို့နောက် အချိန်ညှိမှုကို ပြင်ဆင်ရန် ကြိုးစားခဲ့သည်။ ဘာသာပြန်ချက်များသည် မကြာခဏ အဓိပ္ပာယ်အရ မှန်ကန်သော်လည်း ကြာချိန်ကန့်သတ်ချက်များကို ပုံမှန် လွတ်ချော်ခဲ့ပြီး စုစုပေါင်း အရည်အသွေးမှာလည်း လုံလောက်အောင် မကောင်းသေးပါ။ 

“ကျွန်တော်တို့က အဆင့်လိုက် စမ်းသပ်မှုတွေ လုပ်ခဲ့တယ်၊ ဘာမှတောင် မထုတ်လုပ်သေးဘဲ စာသားအပိုင်းတစ်ခုထဲက syllable အရေအတွက်ကိုပဲ မော်ဒယ်က ထုတ်ပေးဖို့ မေးခဲ့တယ်” ဟု Mistratov က ပြောသည်။ “အစောပိုင်း မော်ဒယ်တွေက အဲဒီအလုပ်မှာ တကယ် မကျွမ်းကျင်ခဲ့ဘူး။”

ယုံကြည်စိတ်ချရသော syllable ရေတွက်နိုင်မှုသည် အလွန်အရေးကြီးကြောင်း ထင်ရှားလာခဲ့သည်။ မော်ဒယ်က syllable များကို တသမတ်တည်း မတွက်နိုင်ပါက သတ်မှတ်ထားသော ကြာချိန်အကွာအဝေးတစ်ခုကိုလည်း ယုံကြည်စိတ်ချစွာ မရည်မှန်းနိုင်ပါ။

GPT‑5 စီးရီး မော်ဒယ်များသည် အထူးသဖြင့် syllable ရေတွက်ခြင်းနှင့် ကန့်သတ်ချက်လိုက်နာမှု ခြေရာခံခြင်းကဲ့သို့သော တာဝန်များတွင် အစောပိုင်း မော်ဒယ်များ မရှိခဲ့သော ကျိုးကြောင်းသင့်လျော်စွာ စဉ်းစားပေးသော တသမတ်တည်းမှုအဆင့်တစ်ခုကို ယူဆောင်လာခဲ့သည်။ ထိုတိုးတက်မှုနှင့်အတူ Descript သည် ၎င်း၏ ဘာသာပြန်နှင့် အသံသွင်း pipeline ကို ပြန်လည်ဒီဇိုင်းဆွဲခဲ့သည်။

ပထမဦးစွာ Descript ၏ စနစ်သည် transcript ကို ဝါကျနယ်နိမိတ်များ၊ သဘာဝရပ်နားမှုများနှင့် မူရင်းအသံသွင်းထဲရှိ ပြောဆိုပုံစံများအပေါ် မူတည်၍ အပိုင်းများအဖြစ် ခွဲပေးသည်။ အပိုင်းတစ်ခုချင်းစီသည် အဓိပ္ပာယ်ဆက်စပ်မှုကို ထိန်းထားသော်လည်း အချိန်ယူနစ်အဖြစ် ကျိုးကြောင်းဆင်ခြင်နိုင်လောက်အောင် သေးငယ်သည်။

ထို့နောက် မော်ဒယ်သည် ထိုအပိုင်းထဲရှိ syllable အရေအတွက်ကို တွက်ချက်သည်။ ဘာသာစကားအလိုက် ပြောဆိုနှုန်းဆိုင်ရာ ယူဆချက်များကို အသုံးပြု၍ စနစ်သည် သဘာဝကျသော ပြောဆိုနှုန်း (“duration adherence”) ကို ထိန်းသိမ်းရန် ဘာသာပြန်အပိုင်းက ရည်မှန်းသင့်သော syllable အရေအတွက်ကို ခန့်မှန်းတွက်ချက်သည်။ တုံ့ပြန်ညွှန်ကြားချက်က မော်ဒယ်အား duration adherence နှင့် အဓိပ္ပာယ်ထိန်းသိမ်းမှု နှစ်ခုလုံးအတွက် အကောင်းဆုံးဖြစ်အောင် လုပ်ရန် တောင်းဆိုသည်။ ပတ်ဝန်းကျင်အပိုင်းများကို context အဖြစ် ထည့်ပေးထားသောကြောင့် မော်ဒယ်သည် segment များတစ်လျှောက် အဓိပ္ပာယ်ဆိုင်ရာ ညီညွတ်မှုကို ထိန်းသိမ်းနိုင်သည်။

အဖွဲ့သည် duration adherence၊ အဓိပ္ပာယ်ဆိုင်ရာ တိကျညီညွတ်မှု၊ latency နှင့် ကုန်ကျစရိတ်တို့ကို ချိန်ညှိနိုင်ရန် configuration အများအပြားကို အကဲဖြတ်ခဲ့သည်။ ရွေးချယ်ထားသော setup သည် production speed ဖြင့် ကန့်သတ်ချက်လိုက်နာမှုကောင်းမွန်စွာ ပေးနိုင်ခဲ့ပြီး လက်ဖြင့် အချိန်ပြန်ညှိစရာမလိုဘဲ ပမာဏမြင့် ဘာသာပြန်ခြင်းကို လုပ်ဆောင်နိုင်စေခဲ့သည်။ ရလဒ်အနေဖြင့် pacing ကို နောက်မှ ပြင်ဆင်ရသည့်အရာမဟုတ်ဘဲ အဓိက variable တစ်ခုအဖြစ် သဘောထားသည့် ဘာသာပြန် pipeline တစ်ခု ရရှိလာခဲ့သည်။

evals အတွက် လက်ခံနိုင်မှု စံနှုန်းများကို ဖန်တီးရန် အဖွဲ့သည် နားထောင်စမ်းသပ်မှုများ လုပ်ဆောင်ခဲ့သည်။ ၎င်းတို့သည် ဘာသာပြန်ထားသော အသံနမူနာများကို ဖန်တီးပြီး playback speed ကို အနည်းငယ်စီ ချိန်ညှိကာ မည်သည့်အချိန်မှ စကားသံသည် မသဘာဝကျလာသည်ကို အသုံးပြုသူများအား အဆင့်သတ်မှတ်ခိုင်းခဲ့သည်။ 

“10% နှေးသွားတာ၊ ဒါမှမဟုတ် 20% မြန်သွားတာမျိုးဆို ယေဘုယျအားဖြင့် သဘာဝကျနေဆဲပါပဲ” ဟု Mistratov က ပြောသည်။ ဤအကွာအဝေးကို ကျော်လွန်သွားပါက စကားသံသည် အလွန်ပုံပျက်သွားသည်။ 

အစောပိုင်း စနစ်များသည် ထိုစံနှုန်းအရ စွမ်းဆောင်ရည်နိမ့်ခဲ့သည်။ ဘာသာစကားအလိုက် ကြည့်လျှင် အပိုင်းများ၏ 40% မှ 60% သာ လက်ခံနိုင်သော pacing window အတွင်း ရှိခဲ့သည်။ ပြန်လည်ဒီဇိုင်းဆွဲထားသော pipeline ဖြင့် ထိုကိန်းဂဏန်းသည် 40%–60% မှ 73% နှင့် 83% ကြားအထိ တိုးလာခဲ့သည်။

အဖွဲ့သည် 1 (“လုံးဝ ကွာခြားသည်”) မှ 5 (“အဓိပ္ပာယ်တူညီသည်”) အထိ scale တစ်ခုဖြင့် သီးခြား model-as-judge အဆင့်သတ်မှတ်မှုကို အသုံးပြုကာ အဓိပ္ပာယ်ဆိုင်ရာ တိကျညီညွတ်မှုကိုလည်း အကဲဖြတ်ခဲ့သည်။  အသံသွင်းအတွက် ၎င်းတို့သည် ကြာချိန်ကန့်သတ်ချက်များ မသက်ဆိုင်သော စာတန်းထိုးသာပါသော ဘာသာပြန်မှုထက် အဓိပ္ပာယ်ဆိုင်ရာ သတ်မှတ်ချက်ကို အနည်းငယ် နိမ့်စွာ လက်ခံရန် ဆုံးဖြတ်ခဲ့သည်။ ထိုအလျော့အတင်းရှိသော်လည်း အပိုင်းများ၏ 85.5% ကို အဓိပ္ပာယ်လိုက်နာမှုတွင် ငါးမှတ်အနက် လေးမှတ် သို့မဟုတ် ငါးမှတ် ရရှိခဲ့သည်။

ရလဒ်အနေဖြင့် အချိန်ညှိမှုနှင့် အဓိပ္ပာယ် ဟူသော တစ်ခုနှင့်တစ်ခု ယှဉ်ပြိုင်နေသော ကန့်သတ်ချက်နှစ်ခုကို တိုင်းတာနိုင်သော ယုံကြည်မှုဖြင့် ချိန်ညှိနိုင်သည့် စနစ်တစ်ခု ရရှိလာခဲ့သည်။ ထို့အပြင် မက်ထရစ်နှစ်ခုစလုံးသည် အလိုအလျောက်ဖြစ်သောကြောင့် Descript သည် မော်ဒယ်ဗားရှင်းသစ်များနှင့် တုံ့ပြန်ညွှန်ကြားချက် အမျိုးမျိုးကို တူညီသော benchmark များအပေါ် ဆက်လက်အကဲဖြတ်နိုင်သည်။

ဘာသာပြန်ခြင်းသည် ဗီဒီယိုတစ်ခုချင်းစီမှ အကြောင်းအရာစာကြည့်တိုက်ကြီးများသို့ ရွှေ့ပြောင်းလာသည့်အခါ Descript သည် လိုအပ်သည့်အချိန်တွင် ပိုမိုတင်းကျပ်သော အဓိပ္ပာယ်ဆိုင်ရာ တိကျညီညွတ်မှုကို ဦးစားပေးနိုင်စွမ်းအပါအဝင် ဘာသာပြန်ချက်များကို မည်သို့ချိန်ညှိမည်ဆိုသည့် ထိန်းချုပ်မှုများကို ပိုမိုတည်ဆောက်နေသည်။

Descript အတွင်းရှိ ဘာသာပြန်ခြင်းသည် ပိုမိုကျယ်ပြန့်သော multimodal စနစ်တစ်ခု၏ အလွှာတစ်ခုပဲ ဖြစ်သည်။ ဘာသာပြန်ထားသော စာသားသည် စကားသံထုတ်လုပ်မှုသို့ ဝင်ရောက်ပြီး ထို့နောက် lip sync နှင့် နောက်ဆုံး ဗီဒီယို rendering ကို မောင်းနှင်ပေးသည်။ 

စာသားအလွှာတွင် တိုးတက်မှုများက သဘာဝကျသော pacing ကို ဖြစ်နိုင်စေသော်လည်း စုစုပေါင်း အတွေ့အကြုံသည် အသံမော်ဒယ်က အသံအရောင်၊ cadence နှင့် စကားပြောမှု၏ စကားမဟုတ်သော လက္ခဏာများကို ဘယ်လောက်ကောင်းကောင်း ထိန်းသိမ်းပေးနိုင်သလဲ ဆိုသည့်အပေါ်လည်း မူတည်နေသည်။ အဖွဲ့က နောက်ထပ် စွမ်းဆောင်ရည်အမြင့်ဆုံး နယ်ပယ်ကို ထိုနေရာတွင် မြင်ထားသည်။ 

“ဘာသာပြန် output ကို တိုးတက်စေမယ့် အရာအများစုက pipeline ကို ပိုမို multimodal ဖြစ်အောင် လုပ်ခြင်းပါပဲ—ဘာသာပြန်ဖို့ ဆုံးဖြတ်တဲ့အခါ audio, video, text တို့ကို အတူတကွ ထည့်သွင်းစဉ်းစားတာမျိုး” ဟု Mistratov က ပြောသည်။ “အဲဒါက အသံအရောင်နဲ့ အလေးပေးမှုလို စကားပြောမှုရဲ့ စကားမဟုတ်သော လက္ခဏာတွေကို ပိုကောင်းအောင် ထိန်းသိမ်းပေးနိုင်ပြီး မူရင်းတင်ဆက်ပုံကို ပိုမိုထိန်းထားနိုင်မှာပါ။”

Descript အတွက်တော့ ပိုမိုအားကောင်းသော ကျိုးကြောင်းသင့်လျော်စွာ စဉ်းစားပေးသော မော်ဒယ်များက အသံသွင်းဘာသာပြန်ခြင်း၏ ရှုပ်ထွေးမှုကို ကိုင်တွယ်နိုင်စေခဲ့သည်။ မော်ဒယ်များက pacing နှင့် meaning အကြား အလျော့အတင်းများကို ယုံကြည်စိတ်ချစွာ ချိန်ညှိနိုင်သည့် အဆင့်ကို ကျော်ဖြတ်လာသည့်အခါ ဘာသာပြန်ခြင်းသည် အဖွဲ့က စနစ်တကျ ဆက်လက်တိုးတက်အောင် လုပ်နိုင်ပြီး စကေးဖြင့် ဖြန့်ချိနိုင်သည့် အရာတစ်ခု ဖြစ်လာခဲ့သည်။