Олон хэл дээр видео хийх инженерүүдийг хэрхэн тайлбарлах вэ

Descript⁠(шинэ цонхонд нээгдэнэ) бол энгийн санаан дээр суурилсан хиймэл оюун ухаанд суурилсан видео засварлагч юм: хэрэв та текст засварлаж чадвал видео засварлаж чадвал та үүнийг хийх боломжтой болно. Descript-ийн эхэн үеэс хойш хиймэл оюун ухаан нь бүтээгдэхүүний бүх талыг, тухайлбал транскрипт, засварлалт, аудио цэвэрлэгээ болон улам бүр төвөгтэй болж буй бүтээлч ажлын урсгалыг эрчимжүүлж ирсэн. Тэд хамтран редакторлосон Underlord доторх транскрипцийн хувьд Whisper болон GPT цувралын загваруудыг ашиглан OpenAI дээр олон жилийн турш ажиллаж ирсэн. 

Орчуулга нь өндөр нөлөө бүхий хэрэглээний тохиолдол болж хурдан гарч ирсэн. Уламжлал ёсоор видео орчуулга нь удаан бөгөөд үнэтэй байсан тул төслүүдийг удирдах, цээжилсэн орчуулга хийх, чанарын хяналтыг хариуцах, харгалзах аудиог гаргах зэрэгт хэлний мэргэжилтнүүдийг шаарддаг байв. LLM нь ажлын урсгалыг эрс шахаж, өндөр чанартай орчуулгыг өргөн хүрээнд хийх боломжтой болгодог.

Тайлбар болон дубляж хоёулаа утга зүйн үнэн зөв байдлыг шаарддаг: орчуулга нь анхны утгыг хадгалах ёстой. Гэхдээ үргэлжлэх хугацааг баримтлах нь тус бүрт өөр өөр үүрэг гүйцэтгэдэг. Тайлбарын хувьд энэ нь хэрэгтэй зүйл юм. Дуу бичлэгийн хувьд энэ нь маш чухал учир орчуулсан яриа хэт урт эсвэл хэт богино байвал утга нь зөв байсан ч гэсэн байгалийн бус сонсогдоно.

Үүнийг шийдвэрлэхийн тулд Descript нь OpenAI үндэслэлтэй загваруудыг ашиглан орчуулгын шугамаа дахин зохион бүтээсэн бөгөөд үүний дараа биш харин үеийн үед семантик үнэнч байдал болон үргэлжлэх хугацааг баримтлах байдлыг оновчтой болгосон. Хэрэгжүүлснээс хойшхи эхний 30 хоногт орчуулсан, дубляжтай видеонуудын экспорт 15%-иар өссөн бөгөөд үргэлжлэх хугацааны баримтлал нь хэлнээс хамааран 13-43 хувиар сайжирсан.

"Дубляж хийх нь Descript-ийн хэрэглээний улам бүр түгээмэл болж байгаа тул бид бүхэл бүтэн номын санг орчуулж, уруулын синк хийхийг хүсч буй компаниудад зориулж үүнийг багцаар хийх аргуудыг боловсруулж байна" гэж Гүйцэтгэх захирал Лаура Буркаузер хэлэв.

Орчуулга нь Descript-ийн хамгийн эртний ба эрэлттэй онцлогуудын нэг. Тэд зөвхөн тайлбартай орчуулгаар эхэлсэн бөгөөд энэ нь сайн ажилласан — гэхдээ олон хэрэглэгчид Go илүү гүнзгийрүүлж, зорилтот хэл дээр дууны орчуулга (дубляж) хийхийг хүссэн.

Гэсэн хэдий ч нэг асуудал гарч ирсээр байв: давхардсан аудио үргэлж зөв сонсогддоггүй байв. "Бидний сонссон хамгийн том гомдол бол орчуулгын хэл дээрх ярианы хурд нь байгалийн бус байсан явдал байсан байх" гэж Descript компанийн хиймэл оюун ухааны бүтээгдэхүүний хэлтсийн дарга Алекс Мистратов хэлэв.

Асуудал нь өөр өөр хэлнүүд ижил санааг илэрхийлэхдээ өөр өөр хугацаа шаарддагт оршино. Жишээлбэл, Герман хэл нь дунджаар Англи хэлнээс "урт" хэл гэдгийг тайлбарласан. Тогтмол видео хэсгүүдэд багтахын тулд орчуулсан яриаг ихэвчлэн хиймлээр хурдасгах эсвэл удаашруулах шаардлагатай болдог байв. "Чи эцэст нь чипмунк эсвэл нойрмог аварга том амьтан шиг сонсогдох болно" гэж Мистратов тайлбарлав.

Хэрэглэгчид хоёр сонголттой үлдсэн: аудио хэсгийг хэсэг хэсгээр нь гараар дахин бичих, эсвэл орчуулгыг өөрөө дахин бичиж, тохируулан өөрчлөх. Хоёр арга хоёулаа цагийн хуваарийн гүнзгий засварлалт, ихэвчлэн зорилтот хэлээр бараг л төрөлх хэлээрээ чөлөөтэй ярихыг шаарддаг байв. Энэ нь бүтээгчдэд төвөгтэй байсан бөгөөд томоохон аж ахуйн нэгжийн локализацийн төслүүдэд өргөжүүлэхэд саад болсон.

Дуу орлуулах ажлыг амжилттай болгохын тулд юу хийх шаардлагатай талаар баг тодорхой онолтой байсан. Систем нь зөвхөн семантик утгыг оновчтой болгохоос гадна цаг хугацааны хязгаарлалтыг мэдэж байх шаардлагатай. Жишээлбэл, Англи хэлнээс Герман хэл рүү орчуулахдаа загвар нь цөөн үг ашиглах эсвэл ойлголтыг хялбаршуулахыг ойлгох шаардлагатай бөгөөд ингэснээр дубляжлагдсан аудио нь байгалийн хэвээр үлдэнэ.

Өмнөх аргууд нь эхлээд семантик үнэн зөвийг оновчтой болгож, дараа нь цаг хугацааг засахыг оролдсон. Орчуулга нь ихэвчлэн утга зүйн хувьд зөв байсан ч үргэлжлэх хугацааны хязгаарлалтыг байнга алдаж, нийт чанар нь хангалтгүй хэвээр байв. 

"Бид нэмэлт туршилтуудыг хийсэн, юу ч үүсгээгүй, зүгээр л загвараас текстийн хэсэг дэх үеүүдийн тоог гаргахыг хүссэн" гэж Мистратов хэлэв. "Өмнөх загварууд үүнд сайн байгаагүй."

Үгсийн тооллогын найдвартай байдал маш чухал болж хувирсан. Хэрэв загвар нь үгсийн тооллогыг тууштай тооцоолж чадахгүй бол тодорхой үргэлжлэх хугацааны цонхыг найдвартай зорилтот болгох боломжгүй юм.

GPT‑5 цувралын загварууд нь өмнөх загваруудад дутагдаж байсан сэтгэн бодох тогтвортой байдлын түвшнийг бий болгосон, ялангуяа үений тоо тоолох болон хязгаарлалтыг хянах зэрэг даалгавруудад. Энэхүү сайжруулалтаар Descript нь орчуулга болон дуу оруулах явцаа шинэчилсэн.

Нэгдүгээрт, Descript-ийн систем нь өгүүлбэрийн хил хязгаар, байгалийн түр зогсолт, анхны бичлэг дэх ярианы хэв маягийг харгалзан бичлэгийг хэсэг болгон хуваадаг. Хэсэг бүр нь семантик тасралтгүй байдлыг хадгалдаг боловч цаг хугацааны нэгж гэж үзэхэд хангалттай жижиг юм.

Тэндээс загвар нь хэсэг дэх дуут үеүүдийн тоог тооцоолно. Хэлний онцлогт тохирсон ярианы хурдны таамаглалыг ашиглан систем нь орчуулсан хэсэг нь байгалийн хэмнэлийг («үргэлжлэх хугацааг баримтлах») хадгалахын тулд хэдэн дуут үе рүү чиглүүлэх ёстойг тооцоолдог. Өгөгдөл нь загвараас үргэлжлэх хугацааг баримтлах болон утгыг хадгалахыг хоёуланг нь оновчтой болгохыг хүсдэг. Хүрээлэн буй хэсгүүдийг контекст болгон дамжуулдаг тул загвар нь сегментүүдийн хооронд семантик уялдаа холбоог хадгалдаг.

Баг нь үргэлжлэх хугацааны баримтлал, семантик үнэнч байдал, хоцрогдол болон өртгийг тэнцвэржүүлэхийн тулд олон тохиргоог үнэлсэн. Сонгосон тохиргоо нь үйлдвэрлэлийн хурдтайгаар хязгаарлалтыг чанд мөрдөх чадварыг өндөр түвшинд хангаж, гараар цагийг дахин тохируулах шаардлагагүйгээр их хэмжээний орчуулга хийх боломж олгосон. Үр дүн нь орчуулгын хоолойд хурдны хэмнэлийг дараа нь засдаг зүйл биш, харин нэгдүгээр зэрэглэлийн хувьсагч гэж үздэг.

Үнэлгээний хүлээн авах шалгуурыг боловсруулахын тулд баг сонсох туршилтуудыг явуулсан: тэд орчуулсан аудио дээжүүдийг үүсгэж, тоглуулах хурдыг бага багаар тохируулан, хэрэглэгчдээс яриа хэвийн бус болсон үеийг үнэлэхийг хүссэн. 

"10%-иар удааширсан эсвэл 20%-иар хурдасгасан аливаа зүйл ерөнхийдөө байгалийн сонсогдож байсан" гэж Мистратов хэлэв. Энэ хүрээнээс хэтэрсэн үед яриа хэтэрхий гажуудсан. 

Өмнөх системүүд энэ хэмжүүрээр муу ажилласан. Хэлнээс хамааран сегментүүдийн зөвхөн 40%-60% нь хүлээн зөвшөөрөгдөх хэмнэлтэй хугацаанд багтаж байв. Шинэчилсэн дамжуулах хоолойгоор энэ тоо хэлнээс хамааран 40%-60%-иас 73%-83% болж өссөн.

Мөн баг нь 1 ("бүрэн өөр")-ээс 5 ("утга зүйн хувьд тэнцүү") хүртэлх шатлалаар тусдаа загварын шүүгч үнэлгээг ашиглан семантик үнэнч байдлыг үнэлсэн.  Дубляжийн хувьд тэд зөвхөн тайлбартай орчуулгаас бага утга зүйн босгыг хүлээн авахаар шийдсэн бөгөөд үргэлжлэх хугацааны хязгаарлалт хамааралгүй юм. Энэхүү буулттай байсан ч сегментүүдийн 85.5% нь семантик баримтлалын хувьд таваас дөрөв эсвэл тав оноо авсан.

Үр дүн нь цаг хугацаа болон утга учир гэсэн хоёр өрсөлдөгч хязгаарлалтыг хэмжигдэхүйц итгэлтэйгээр тэнцвэржүүлж чадах систем байв. Мөн хоёр хэмжүүр хоёулаа автоматжуулагдсан тул Descript нь загварын шинэ хувилбарууд болон оруулгын хувилбаруудыг ижил жишиг шалгууртай харьцуулан тасралтгүй үнэлэх боломжтой.

Орчуулга ганц видеоноос том контентын сан руу шилжих тусам Descript нь орчуулгыг хэрхэн тохируулах талаар илүү их хяналт тавьж байгаа бөгөөд шаардлагатай үед илүү хатуу утга зүйн үнэн зөвийг тэргүүлэх боломжийг бий болгож байна.

Descript доторх орчуулга нь илүү өргөн хүрээтэй олон горимт системийн зөвхөн нэг давхарга юм. Орчуулсан текст нь яриа үүсгэхэд орж, дараа нь уруулын хөдөлгөөний нийцүүлэлт болон эцсийн видео бичлэгийг хөтөлдөг. 

Текстийн давхаргын сайжруулалт нь байгалийн хэмнэлийг боломжтой болгодог боловч нийт туршлага нь аудио загвар ярианы өнгө аяс, хэмнэл болон үгэн бус шинж чанарыг хэр сайн хадгалж байгаагаас хамаарна. Тэнд багийнхан дараагийн хил хязгаарыг харж байна. 

"Орчуулгын гаралтыг сайжруулах олон зүйл бол дамжуулах хоолойг илүү олон талт болгох явдал юм: хэрхэн орчуулахаа шийдэхдээ аудио, видео, текстийг хамтад нь оруулах" гэж Мистратов хэлэв. "Энэ нь ярианы өнгө аяс, өргөлт гэх мэт үгэн бус шинж чанарыг илүү сайн хадгалж, анхны дамжуулалтыг бүр ч илүү хадгалах ёстой."

Descript-ийн хувьд илүү хүчирхэг сэтгэн бодох загварууд дуу оруулалтын нарийн төвөгтэй байдлыг шийдвэрлэх боломжтой болгосон. Загварууд хэмнэл болон утгын хоорондох тэнцвэрийг найдвартай тэнцвэржүүлж чадах босгыг давснаар, орчуулгыг баг системтэйгээр сайжруулж, өргөн хүрээнд хэрэгжүүлэх боломжтой болсон.