Ako Descript rieši viacjazyčný dabing videa vo veľkom rozsahu

Descript⁠(otvorí sa v novom okne) je video editor s umelou inteligenciou, ktorý je postavený na jednoduchej myšlienke: ak vie3 upravovať text, mal/-a by si vedieť upravovať aj video. Od počiatkov spoločnosti Descript poháňala umelá inteligencia každý aspekt produktu: prepis, úpravu, čistenie zvuku a čoraz komplexnejšie kreatívne pracovné postupy. Spoločnosť roky stavala na OpenAI, pričom na transkripciu používala Whisper a modely série GPT v rámci svojho spolueditora Underlord. 

Preklad sa rýchlo ukázal ako prípad použitia s vysokým dopadom. Tradične bol preklad videa pomalý a drahý, čo si vyžadovalo od jazykových expertov riadenie projektov, vytváranie mechanických prekladov, kontrolu kvality a generovanie zodpovedajúceho zvuku. LLM dramaticky skomprimujú tento pracovný postup, čím umožňujú vysokokvalitný preklad vo veľkom meradle.

Titulky aj dabing si vyžadujú sémantickú vernosť: preklad musí zachovať pôvodný význam. Dodržiavanie trvania však v každom z nich zohráva inú úlohu. To je dobré na titulky. Na dabing je to kritické, pretože ak je preložená reč príliš dlhá alebo príliš krátka, bude znieť neprirodzene, aj keď je význam správny.

Aby sa tento problém vyriešil, spoločnosť Descript prepracovala svoj prekladový proces pomocou uvažovacích modelov OpenAI s cieľom optimalizovať sémantickú vernosť a dodržiavanie trvania počas generovania, nie po ňom. V prvých 30 dňoch po zavedení sa export preložených videí s dabingom zvýšil o 15 % a dodržiavanie trvania sa zlepšilo o 13 až 43 percentuálnych bodov v závislosti od jazyka.

„Dabing je pre Descript čoraz populárnejším prípadom použitia, takže vytvárame spôsoby, ako to robiť hromadne pre spoločnosti, ktoré chcú prekladať a synchronizovať celé knižnice,“ povedala Laura Burkhauser, generálna riaditeľka.

Preklad bol jednou z prvých a najžiadanejších funkcií Descriptu. Začali len s prekladom titulkov, čo fungovalo dobre, no mnohí používatelia chceli ísť ďalej a mať hovorený zvuk (dabing) v cieľovom jazyku.

Jeden problém sa však stále vynáral: dabovaný zvuk neznel vždy správne. „Pravdepodobne najčastejšou sťažnosťou, ktorú sme počuli, bola neprirodzené tempo reči v preloženom jazyku,“ povedal Aleks Mistratov, vedúci oddelenia umelej inteligencie v spoločnosti Descript.

Problém spočíval v tom, že rôzne jazyky potrebujú rôzne množstvo času na vyjadrenie tej istej myšlienky. Descript napríklad pozoroval, že v priemere je nemčina „dlhším“ jazykom ako angličtina. Aby sa preložená reč zmestila do fixných video segmentov, musela byť často umelo zrýchlená alebo spomalená. „Nakoniec by to znelo ako veveričky, alebo ako ospalý obor,“ vysvetlil Mistratov.

Používatelia mali dve možnosti: manuálne prečasovať zvuk segment po segmente alebo prepísať samotný preklad tak, aby sa zmestil. Oba prístupy si vyžadovali rozsiahle úpravy časovej osi a často aj takmer rodenú plynulosť v cieľovom jazyku. Pre tvorcov to bolo zdĺhavé a stalo sa to prekážkou pri škálovaní funkcie na veľké podnikové lokalizačné projekty.

Tím mal jasnú predstavu o tom, čo bude potrebné na to, aby dabing fungoval. Systém by musel nielen optimalizovať sémantický význam, ale byť si aj vedomý časových obmedzení. Napríklad pri preklade z angličtiny do nemčiny by model musel pochopiť, ako použiť menej slov alebo zjednodušiť koncept, aby dabovaný zvuk zostal prirodzený.

Skoršie prístupy najprv optimalizovali sémantickú vernosť a až potom sa pokúšali o korekciu načasovania. Preklady boli často sémanticky správne, ale bežne nedodržiavali obmedzenia dĺžky a celková kvalita stále nebola dostatočne dobrá. 

„Spustili sme prírastkové testy, pričom sme nič negenerovali, len sme model požiadali, aby vypísal počet slabík v bloku textu,“ povedal Mistratov. „Skoršie modely v tom jednoducho neboli dobré.“

Ukázalo sa, že spoľahlivé počítanie slabík bolo kľúčové. Ak by model nedokázal konzistentne vypočítať slabiky, nemohol by spoľahlivo zacieliť na konkrétne okno trvania.

Modely série GPT‑5 priniesli úroveň konzistencie uvažovania, ktorá skorším modelom chýbala, najmä pri úlohách ako počítanie slabík a sledovanie obmedzení. Vďaka tomuto vylepšeniu spoločnosť Descript prepracovala svoj prekladový a dabingový proces.

Po prvé, systém Descript rozdelí prepis na časti, pričom sa riadi hranicami viet, prirodzenými pauzami a rečovými vzormi v pôvodnej nahrávke. Každý blok si zachováva sémantickú kontinuitu, ale je dostatočne malý na to, aby sa dal považovať za časovú jednotku.

Na základe toho model vypočíta počet slabík v bloku. Systém pomocou predpokladov o rýchlosti reči špecifických pre daný jazyk odhaduje, na koľko slabík by sa mal preložený blok zamerať, aby sa zachovalo prirodzené tempo („dodržiavanie trvania“). Príkaz žiada model, aby optimalizoval pre dodržiavanie trvania aj zachovanie významu. Okolité bloky sa odovzdávajú ako kontext, aby model zachoval sémantickú koherenciu naprieč segmentmi.

Tím vyhodnotil viacero konfigurácií, aby vyvážil dodržiavanie trvania, sémantickú vernosť, latenciu a náklady. Zvolené nastavenie zabezpečilo silné sledovanie obmedzení pri produkčnej rýchlosti, čo umožnilo veľkoobjemový preklad bez manuálneho načasovania. Výsledkom je prekladový kanál, kde sa tempo spracovania považuje za prvotriednu premennú namiesto toho, aby sa s ním niečo opravilo dodatočne.

Aby tím vypracoval kritériá prijatia pre hodnotenia, vykonal posluchové testy: generoval preložené zvukové vzorky a upravoval rýchlosť prehrávania v malých krokoch, pričom používateľov požiadal, aby ohodnotili, kedy sa reč stala neprirodzenou. 

„Všetko, čo bolo spomalené o 10 % alebo zrýchlené o 20 %, vo všeobecnosti stále znelo prirodzene,“ povedal Mistratov. Mimo tohto rozsahu sa reč stala príliš skreslenou. 

Skoršie systémy si v tomto smere viedli zle. V závislosti od jazyka sa do prijateľného časového okna tempa zmestilo len 40% až 60% segmentov. S prepracovaným kanálom sa toto číslo zvýšilo zo 40 % – 60 % na 73 % až 83 % v závislosti od jazyka.

Tím tiež hodnotil sémantickú vernosť pomocou samostatného hodnotenia modelu ako posudzovateľa na stupnici od 1 („úplne odlišné“) do 5 („sémanticky ekvivalentné“).  Pre dabing sa rozhodol akceptovať nižší sémantický prah ako pre preklad iba s titulkami, kde sú obmedzenia trvania irelevantné. Aj napriek tomuto kompromisu bolo 85,5 % segmentov hodnotených štyrmi alebo piatimi bodmi z hľadiska sémantickej zhody.

Výsledkom bol systém, ktorý dokázal s merateľnou istotou vyvážiť dve protichodné obmedzenia – načasovanie a význam. A keďže obe metriky boli automatizované, Descript dokáže priebežne vyhodnocovať vydania nových modelov a porovnávať ich s rovnakými benchmarkmi.

Keďže preklad prechádza z jednotlivých videí do rozsiahlych knižníc obsahu, Descript si buduje väčšiu kontrolu nad tým, ako sú preklady ladené, vrátane možnosti uprednostniť prísnejšiu sémantickú vernosť v prípade potreby.

Preklad v Descripte je len jednou vrstvou širšieho multimodálneho systému. Preložený text sa používa na generovanie reči, ktorá následne riadi synchronizáciu pier a finálne vykresľovanie videa. 

Vylepšenia v textovej vrstve umožňujú prirodzené tempo, ale celkový zážitok závisí aj od toho, ako dobre zvukový model zachováva tón, kadenciu a neverbálne charakteristiky reči. Tam tím vidí ďalšiu prelomovú hranicu. 

„Veľa z toho, čo zlepší prekladový výstup, mení spôsob spracovania na multimodálnejší: spoločné začlenenie zvuku, videa a textu pri rozhodovaní o spôsobe prekladu,“ povedal Mistratov. „To by malo lepšie zachovať neverbálne charakteristiky reči, ako je tón a dôraz, a zachovať ešte viac z pôvodného podania.“

Pre Descript umožnili silnejšie uvažovacie modely zvládnuť zložitosť dabingu. Prekročením prahu, kde modely dokázali spoľahlivo vyvážiť kompromisy medzi tempom a významom, sa preklad stal niečím, čo mohol tím systematicky vylepšovať a nasadzovať vo veľkom meradle.