Descript tworzy wielojęzyczny dubbing wideo na dużą skalę

Descript⁠(otwiera nowe okno) to edytor wideo stworzony od podstaw z myślą o AI i zbudowany wokół prostej idei: skoro da się edytować tekst, powinno dać się też edytować wideo. Od początku projektu Descript sztuczna inteligencja napędzała każdy aspekt produktu: transkrypcję, edycję, oczyszczanie dźwięku oraz coraz bardziej złożone procesy twórcze. Od lat tworzą rozwiązania w oparciu o OpenAI, używając Whisper do transkrypcji oraz modeli z serii GPT w swoim współedytorze Underlord. 

Tłumaczenie szybko stało się przypadkiem użycia o wysokim wpływie. Tradycyjnie tłumaczenie materiałów wideo było powolne i kosztowne. Wymagało od ekspertów językowych zarządzania projektami, tworzenia rutynowych tłumaczeń, przeprowadzania kontroli jakości i generowania odpowiadających im nagrań audio. LLM-y radykalnie skracają ten proces, umożliwiając tłumaczenie wysokiej jakości na dużą skalę.

Zarówno napisy, jak i dubbing wymagają wierności semantycznej: tłumaczenie musi zachować oryginalne znaczenie. Jednak zgodność z czasem trwania odgrywa nagrania w każdym z nich inną rolę. Jeśli chodzi o napisy, to miły, ale niekonieczny dodatek. W przypadku dubbingu ma to kluczowe znaczenie, ponieważ jeśli przetłumaczona wypowiedź trwa zbyt długo lub zbyt krótko, będzie brzmieć nienaturalnie, nawet jeśli sens jest poprawny.

Aby temu zaradzić, firma Descript przeprojektowała swój potok tłumaczeniowy, wykorzystując modele rozumujące OpenAI do optymalizacji wierności semantycznej i zgodności z czasem trwania już podczas generowania, a nie po jego zakończeniu. W pierwszych 30 dniach po wdrożeniu liczba eksportów przetłumaczonych filmów z dubbingiem wzrosła o 15%, a zgodność czasu trwania poprawiła się o 13–43 pkt. procentowe, w zależności od języka.

„Dubbing jest coraz popularniejszym zastosowaniem Descript, dlatego tworzymy sposoby, by firmy, które chcą tłumaczyć i synchronizować ruch ust w całych bibliotekach materiałów, mogły robić to wsadowo” — powiedziała Laura Burkhauser, dyrektorka generalna.

Tłumaczenie było jedną z pierwszych i najczęściej zgłaszanych przez użytkowników funkcji w Descript. Zaczęli od tłumaczenia samych napisów, które dobrze się sprawdzało — ale wielu użytkowników oczekiwało większych możliwości i chciało mieć mówioną ścieżkę dźwiękową (dubbing) w języku docelowym.

Jednak wciąż powracał jeden problem: dźwięk z dubbingiem nie zawsze brzmiał naturalnie. „Prawdopodobnie najczęściej słyszanym zarzutem było to, że tempo mowy w języku docelowym brzmiało nienaturalnie” — powiedział Aleks Mistratov, dyrektor ds. produktu AI w Descript.

Problem sprowadzał się do tego, że w różnych językach wyrażenie tej samej myśli zajmuje różną ilość czasu. W Descript zauważono na przykład, że język niemiecki jest średnio „dłuższy” niż angielski. Aby zmieścić się w stałych fragmentach wideo, tłumaczona mowa często musiała być sztucznie przyspieszana lub spowalniana. „W efekcie wyszłoby coś, co brzmiałoby jak mowa wiewiórki albo jak zaspanego olbrzyma” — wyjaśnił Mistratov.

Użytkownikom pozostawały dwie opcje: ręcznie dostosowywać synchronizację czasową dźwięku segment po segmencie albo przeredagować samo tłumaczenie, aby dopasować je do ograniczeń czasowych. Oba podejścia wymagały zaawansowanej edycji osi czasu oraz, często, niemal natywnej biegłości w języku docelowym. Było to żmudne dla twórców i stało się przeszkodą w skalowaniu tej funkcji na potrzeby dużych projektów lokalizacyjnych w przedsiębiorstwach.

Zespół miał jasno określoną koncepcję tego, czego potrzeba, aby dubbing się udał. System musiałby optymalizować nie tylko pod kątem znaczenia semantycznego, ale także uwzględniać ograniczenia czasowe. Na przykład podczas tłumaczenia z angielskiego na niemiecki model musiałby wiedzieć, jak użyć mniejszej liczby słów lub uprościć daną koncepcję, aby dubbing brzmiał naturalnie.

Wcześniejsze podejścia najpierw optymalizowały wierność semantyczną, a następnie próbowały skorygować synchronizację. Tłumaczenia często były poprawne semantycznie, ale regularnie nie spełniały ograniczeń dotyczących czasu trwania, a ogólna jakość nadal nie była wystarczająca. 

„Przeprowadzaliśmy testy przyrostowe, nawet niczego nie generując, po prostu prosząc model, aby zwrócił liczbę sylab we fragmencie tekstu” — powiedział Mistratov. „Wcześniejsze modele po prostu nie radziły sobie z tym dobrze”.

Niezawodne liczenie sylab okazało się kluczowe. Gdyby model nie potrafił spójnie kalkulować liczby sylab, nie mógłby niezawodnie dopasować się do określonego przedziału czasowego.

Modele z serii GPT‑5 zapewniły poziom spójności rozumowania, którego brakowało wcześniejszym modelom, zwłaszcza w zadaniach takich jak liczenie sylab i śledzenie ograniczeń. Dzięki temu usprawnieniu firma Descript przeprojektowała swój proces tłumaczenia i dubbingu.

Najpierw system Descript dzieli transkrypcję na fragmenty, kierując się granicami zdań, naturalnymi pauzami oraz wzorcami mowy w oryginalnym nagraniu. Każdy fragment zachowuje ciągłość semantyczną, ale jest na tyle krótki, że można go analizować jako jednostkę czasową.

Następnie model oblicza liczbę sylab w fragmencie. Na podstawie założeń dotyczących tempa mówienia właściwych dla danego języka system szacuje, ile sylab powinien mieć docelowo przetłumaczony fragment, aby zachować naturalne tempo („zgodność z czasem trwania”). Polecenie wymaga od modelu optymalizacji zarówno pod kątem przestrzegania czasu trwania, jak i zachowania znaczenia. Otaczające fragmenty są przekazywane jako kontekst, aby model zachowywał spójność semantyczną między segmentami.

Zespół ocenił wiele konfiguracji, aby zrównoważyć zgodność z czasem trwania, wierność semantyczną, opóźnienie i koszt. Wybrana konfiguracja zapewniła skuteczne przestrzeganie ograniczeń w tempie produkcyjnym, umożliwiając tłumaczenie na wysoką skalę bez ręcznej korekty czasowania. Efektem jest potok tłumaczeniowy, w którym tempo traktuje się jako pełnoprawną zmienną, a nie aspekt korygowany po fakcie.

Aby opracować kryteria akceptacji dla ocen ewaluacyjnych, zespół przeprowadził testy odsłuchowe: wygenerowano przetłumaczone próbki audio i regulowano prędkość odtwarzania małymi krokami, prosząc użytkowników o ocenę, kiedy mowa zaczynała brzmieć nienaturalnie. 

„Wypowiedzi, które spowolniono o 10% lub przyspieszono o 20%, na ogół nadal brzmiały naturalnie” — powiedział Mistratov. Poza tym zakresem mowa stawała się zbyt zniekształcona. 

Wcześniejsze systemy osiągały słabe wyniki według tej miary. W zależności od języka tylko od 40% do 60% segmentów mieściło się w akceptowalnym przedziale tempa. Dzięki przeprojektowanemu potokowi ta wartość wzrosła z 40%–60% do 73%–83% w zależności od języka.

Zespół ocenił również wierność semantyczną za pomocą osobnej oceny dokonywanej przez model w roli sędziego, w skali od 1 („zupełnie różne”) do 5 („równoważne semantycznie”).  W przypadku dubbingu zdecydowano się przyjąć niższy próg zgodności semantycznej niż przy tłumaczeniu wyłącznie w formie napisów, gdzie ograniczenia dotyczące czasu trwania nie mają znaczenia. Nawet przy takim kompromisie 85,5% segmentów oceniono na cztery lub pięć punktów na pięć pod względem zgodności semantycznej.

Rezultatem był system, który potrafił równoważyć dwa konkurujące ograniczenia — czas i znaczenie — z mierzalnym poziomem ufności. A ponieważ oba wskaźniki zostały zautomatyzowane, Descript może na bieżąco oceniać nowe wersje modelu i warianty poleceń względem tych samych testów porównawczych.

W miarę jak tłumaczenia obejmują już nie pojedyncze filmy, lecz rozbudowane biblioteki treści, Descript wprowadza bardziej rozbudowane mechanizmy kontroli nad dostrajaniem tłumaczeń, w tym możliwość nadawania priorytetu ściślejszej wierności semantycznej, gdy jest to potrzebne.

Tłumaczenie w Descript to tylko jedna warstwa szerszego systemu multimodalnego. Przetłumaczony tekst jest przekazywany do generowania mowy, która następnie steruje synchronizacją ruchu ust i końcowym renderowaniem wideo. 

Ulepszenia w warstwie tekstowej umożliwiają naturalne tempo wypowiedzi, ale ogólne wrażenia zależą również od tego, jak dobrze model audio zachowuje ton, tempo i niewerbalne cechy mowy. To właśnie w tych obszarach zespół widzi kolejną granicę do przekroczenia. 

„W dużej mierze zakres funkcji poprawiających wyniki tłumaczenia czyni proces przetwarzania bardziej multimodalnym: mam na myśli uwzględnianie dźwięku, wideo i tekstu przy podejmowaniu decyzji o tym, jak tłumaczyć”, powiedział Mistratov. „System powinien lepiej zachować niewerbalne cechy mowy, takie jak ton i akcentowanie, oraz jeszcze wierniej oddać oryginalny sposób wypowiedzi.”

W przypadku Descript silniejsze modele rozumujące sprawiły, że złożoność dubbingu stała się możliwa do opanowania. Po przekroczeniu progu przy którym modele mogły niezawodnie równoważyć kompromisy między tempem a znaczeniem, tłumaczenie stało się zadaniem, które zespół mógł systematycznie ulepszać i wdrażać na dużą skalę.