Jak Descript řeší vícejazyčný dabing videí ve velkém měřítku

Descript⁠(otevře se v novém okně) je editor videa nativně postavený na umělé inteligenci, založený na jednoduché myšlence: pokud můžete upravovat text, měli byste zvládnout upravovat i video. Od počátků nástroje Descript stály všechny aspekty produktu na umělé inteligenci: přepis, střih, čištění zvuku a stále složitější kreativní pracovní postupy. Na OpenAI staví už léta, pro transkripci se používá Whisper a v koeditoru Underlord modely řady GPT. 

Překlad se rychle ukázal jako případ použití s vysokým dopadem. Tradičně byl překlad videa pomalý a nákladný, vyžadoval jazykové odborníky, kteří řídili projekty, vytvářeli rutinní překlady, zajišťovali kontrolu kvality a generovali odpovídající zvuk. Velké jazykové modely dramaticky zkracují tento pracovní postup, takže je možné provádět velmi kvalitní překlady ve velkém měřítku.

Titulky i dabing vyžadují sémantickou věrnost: překlad musí zachovat původní význam. Dodržování délky ale v každém z nich hraje jinou roli. U titulků je to příjemný bonus. U dabingu je to zásadní, protože pokud přeložená řeč trvá příliš dlouho nebo příliš krátce, bude znít nepřirozeně, i když je význam správný.

Aby se tento problém vyřešil, Descript přepracoval svůj překladový proces s využitím modelů uvažování OpenAI pro optimalizaci sémantické věrnosti a dodržování délky během generování, nikoli po něm. Během prvních 30 dnů po zavedení se export přeložených videí s dabingem zvýšil o 15 % a dodržování délky se v závislosti na jazyce zlepšilo o 13 až 43 procentních bodů.

„Dabing je pro Descript stále populárnějším případem použití, takže vytváříme způsoby, jak to dělat hromadně pro firmy, které chtějí překládat a synchronizovat celé knihovny,“ uvedla Laura Burkhauser, generální ředitelka.

Překlad byl jednou z nejranějších a nejžádanějších funkcí nástroje Descript. Začínalo se s překladem pouze s titulky, což fungovalo dobře – ale mnoho uživatelů chtělo jít dál a mít mluvený zvuk (dabing) v cílovém jazyce.

Jeden problém se však stále objevoval: dabovaný zvuk nezněl vždy správně. „Pravděpodobně největší stížností, kterou jsme slyšeli, bylo, že tempo řeči bylo v přeloženém jazyce nepřirozené,“ řekl Aleks Mistratov, vedoucí oddělení umělé inteligence ve společnosti Descript.

Problém spočíval v tom, že různé jazyky potřebují k vyjádření stejné myšlenky různě dlouhou dobu. Společnost Descript si například všimla, že v průměru je němčina „delším“ jazykem než angličtina. Aby se přeložená řeč vešla do pevných segmentů videa, musela být často uměle zrychlována nebo zpomalována. „Nakonec by z toho bylo něco, co by znělo jako veverky nebo ospalý obr,“ vysvětlil Mistratov.

Uživatelé měli dvě možnosti: ručně znovu načasovat zvuk po jednotlivých segmentech, nebo přepsat samotný překlad, aby se vešel. Oba přístupy vyžadovaly rozsáhlé úpravy časování a často plynnost téměř na úrovni rodilého mluvčího cílového jazyce. Pro tvůrce to bylo zdlouhavé a stalo se překážkou pro škálování této funkce na rozsáhlé podnikové lokalizační projekty.

Tým měl jasnou představu o tom, co bude potřeba, aby dabing fungoval. Systém by musel nejen optimalizovat sémantický význam, ale také zohledňovat omezení časování. Například při překladu z angličtiny do němčiny by model musel pochopit, jak použít méně slov nebo zjednodušit koncept, aby dabovaný zvuk zůstal přirozený.

Dřívější přístupy nejprve optimalizovaly sémantickou věrnost a až poté se pokoušely o korekci časování. Překlady byly často sémanticky správné, ale běžně nedodržovaly omezení délky a celková kvalita stále nebyla dostatečně vysoká. 

„Prováděli jsme inkrementální testy, ani jsme nic negenerovali, jen jsme model požádali, aby vypsal počet slabik v části textu,“ řekl Mistratov. „Dřívější modely v tom prostě nebyly dobré.“

Ukázalo se, že spolehlivé počítání slabik je zásadní. Pokud by model nedokázal konzistentně počítat slabiky, nemohl by spolehlivě zacílit na konkrétní časové okno.

Modely řady GPT‑5 přinesly úroveň konzistence uvažování, která dřívějším modelům chyběla, zejména u úloh, jako je počítání slabik a sledování omezení. Díky tomuto zlepšení Descript přepracoval svůj postup překladu a dabingu.

Systém Descript nejprve rozdělí přepis na části, přičemž se řídí hranicemi vět, přirozenými pauzami a řečovými vzorci v původní nahrávce. Každý blok si zachovává sémantickou kontinuitu, ale je dostatečně malý na to, aby se dal považovat za časovou jednotku.

Odtud model vypočítá počet slabik v úseku. Systém na základě předpokladů o rychlosti řeči specifických pro daný jazyk odhaduje, na kolik slabik by se měl přeložený blok zaměřit, aby se zachovalo přirozené tempo („dodržování délky“). Prompt žádá model, aby optimalizoval jak dodržování délky, tak zachování významu. Okolní úseky se předávají jako kontext, aby model zachoval sémantickou soudržnost napříč segmenty.

Tým vyhodnotil několik konfigurací, aby vyvážil dodržování délky trvání, sémantickou věrnost, latenci a náklady. Zvolené nastavení zajistilo silné dodržování omezení při produkční rychlosti, což umožnilo velkoobjemový překlad bez ručního přenastavování časování. Výsledkem je postup překladu, kde je tempo považováno za proměnnou první třídy, nikoli za něco, co je opraveno dodatečně.

Aby tým vypracoval kritéria pro přijetí hodnocení, provedl poslechové testy: generoval přeložené zvukové vzorky a v malých krocích upravoval rychlost přehrávání, přičemž uživatele požádal, aby ohodnotili, kdy řeč přestala znít přirozeně. 

„Všechno zpomalené o 10 % nebo zrychlené o 20 %, obecně stále znělo přirozeně,“ řekl Mistratov. Mimo tento rozsah řeč zněla příliš zkresleně. 

Starší systémy si podle tohoto měřítka nevedly příliš dobře. V závislosti na jazyce spadalo do přijatelného časového okna tempa pouze 40 % až 60 % segmentů. S přepracovaným procesem se toto číslo v závislosti na jazyce zvýšilo z 40 % – 60 % na 73 % až 83 %.

Tým také vyhodnotil sémantickou věrnost pomocí samostatného hodnocení modelem jako hodnotitelem na škále od 1 („zcela odlišné“) do 5 („sémanticky ekvivalentní“).  Pro dabing se rozhodl přijmout nižší sémantický práh než u překladu pouze titulků, kde časová omezení nejsou relevantní. I přes tento kompromis bylo 85,5 % segmentů z hlediska sémantické shody hodnoceno čtyři nebo pět z pěti.

Výsledkem byl systém, který dokázal vyvážit dvě soupeřící omezení – časování a význam – s měřitelnou jistotou. A protože obě metriky byly automatizované, Descript je schopen průběžně vyhodnocovat vydání nových modelů a porovnávat je s jinými verzemi oproti stejným srovnávacím testům.

Jak se překlad posouvá od jednotlivých videí k rozsáhlým knihovnám obsahu, Descript získává větší kontrolu nad laděním překladů, včetně možnosti upřednostnit přísnější sémantickou věrnost, pokud je to potřeba.

Překlad v nástroji Descript je pouze jednou vrstvou širšího multimodálního systému. Přeložený text se používá pro generování řeči, které následně řídí synchronizaci rtů a finální vykreslování videa. 

Vylepšení textové vrstvy umožňují přirozené tempo, ale celkový dojem závisí také na tom, jak dobře zvukový model zachovává tón, kadenci a neverbální charakteristiky řeči. Právě tam tým vidí další průkopnickou oblast. 

„Hodně z toho, co zlepší výstup překladu, spočívá v multimodálnějším procesu: začlenění zvuku, videa a textu dohromady při rozhodování o tom, jak překládat,“ řekl Mistratov. „To by mělo vést k lepšímu zachování neverbálních charakteristik řeči, jako je tón a důraz, a zachovat ještě více původního projevu.“

Pro Descript silnější modely s uvažováním učinily složitost dabingu zvládnutelnou. Překročením prahu, kdy modely dokázaly spolehlivě vyvažovat kompromisy mezi tempem a významem, se překlad stal něčím, co mohl tým systematicky vylepšovat a nasazovat ve velkém měřítku.