Kuidas Descript arendab mastaapset mitmekeelset videodubleerimist

Descript⁠(avaneb uues aknas) on TI-põhine videoredaktor, mis on üles ehitatud lihtsale ideele: kui sa oskad teksti redigeerida, peaksid sa suutma ka videot redigeerida. Alates Descripti algusaegadest on tehisintellekt toetanud toote kõiki aspekte: transkribeerimist, toimetamist, heli puhastamist ja üha keerukamaid loomingulisi töövooge. Nad on aastaid OpenAI platvormi peal ehitanud, kasutades transkriptsiooniks Whisperit ja oma kaasredaktoris Underlord GPT seeria mudeleid. 

Tõlkimine kujunes kiiresti kõrge mõjuga kasutusjuhtumiks. Traditsiooniliselt on video tõlkimine olnud aeglane ja kallis, nõudes keeleekspertidelt projektide haldamist, rutiinsete tõlgete tegemist, kvaliteedikontrolli ja vastava heli genereerimist. LLM-id tihendavad seda töövoogu märkimisväärselt, muutes kõrgekvaliteedilise tõlkimise mastaabis võimalikuks.

Nii subtiitrid kui ka dubleerimine nõuavad semantilist täpsust: tõlge peab säilitama algse tähenduse. Aga kestuse järgimine mängib kummaski erinevat rolli. Subtiitrite puhul on see tore lisavõimalus. Dubleerimise puhul on see kriitiline, sest kui tõlgitud kõne kestab liiga kaua või liiga lühikest aega, kõlab see ebaloomulikult isegi siis, kui tähendus on õige.

Selle lahendamiseks kujundas Descript oma tõlkeprotsessi ümber, kasutades OpenAI arutlusmudeleid, et optimeerida genereerimise ajal semantilist täpsust ja kestusest kinnipidamist, mitte pärast. Esimese 30 päeva jooksul pärast kasutuselevõttu suurenes dubleeringuga tõlgitud videote eksport 15% ning kestuse järgimine paranes 13 kuni 43 protsendipunkti võrra, sõltuvalt keelest.

“Dubleerimine on Descripti jaoks üha populaarsem kasutusjuhtum, seega loome võimalusi seda ettevõtetele, kes soovivad tõlkida ja huulte sünkroonida terveid teegikogusid, teha partiina,” ütles tegevjuht Laura Burkhauser.

Tõlkimine oli üks Descripti varasemaid ja enim soovitud funktsioone. Nad alustasid ainult subtiitrite tõlkimisest, mis toimis hästi—kuid paljud kasutajad soovisid minna kaugemale ja saada sihtkeeles räägitud heli (dubleerimise).

Siiski kerkis üks probleem ikka ja jälle esile: dubleeritud heli ei kõlanud alati õigesti. “Tõenäoliselt number üks kaebus, mida me kuulsime, oli see, et kõne tempo oli tõlgitud keeles ebaloomulik,” ütles Descripti TI-toote juht Aleks Mistratov.

Probleem taandus sellele, et eri keeltes kulub sama mõtte väljendamiseks erinev hulk aega. Descript täheldas näiteks, et keskmiselt on saksa keel „pikem“ kui inglise keel. Fikseeritud videosegmentidesse mahtumiseks tuli tõlgitud kõnet sageli kunstlikult kiirendada või aeglustada. “Sa jõuaksid lõpuks millegini, mis kõlaks nagu vöötoravad või unine hiiglane,” selgitas Mistratov.

Kasutajatele jäi kaks võimalust: ajasta heli käsitsi segment segmendi haaval või kirjuta tõlge ise ümber, et see sobiks. Mõlemad lähenemisviisid nõudsid põhjalikke ajaskaala muudatusi ja sageli peaaegu emakeele tasemel soravust sihtkeeles. See oli loojatele tüütu ja muutus takistuseks funktsiooni skaleerimisel suurte ettevõtete lokaliseerimisprojektide jaoks.

Meeskonnal oli selge teooria selle kohta, mida oleks vaja, et dubleerimine toimiks. Süsteem peaks mitte ainult optimeerima semantilist tähendust, vaid olema teadlik ka ajastuspiirangutest. Näiteks inglise keelest saksa keelde tõlkides peaks mudel mõistma, kuidas kasutada vähem sõnu või kontseptsiooni lihtsustada, et dubleeritud heli jääks loomulik kõlama.

Varasemad lähenemised optimeerisid esmalt semantilist täpsust ja püüdsid seejärel ajastust korrigeerida. Tõlked olid sageli semantiliselt korrektsed, kuid need eirasid järjepidevalt kestuse piiranguid ja üldine kvaliteet ei olnud ikka veel piisavalt hea. 

“Me tegime inkrementaalseid teste, ei genereerinud isegi midagi, vaid palusime mudelil väljastada tekstilõigu silpide arvu,” ütles Mistratov. “Varasemad mudelid lihtsalt ei olnud selles head.”

Usaldusväärne silpide loendamine osutus kriitiliseks. Kui mudel ei suutnud silpe järjepidevalt arvutada, ei suutnud see usaldusväärselt sihtida konkreetset kestuse vahemikku.

GPT‑5 seeria mudelid tõid arutlusse järjepidevuse, mida varasematel mudelitel polnud, eriti ülesannetega nagu silpide loendamine ja piirangute jälgimine. Selle täiustuse järel tegi Descript oma tõlke- ja dubleerimisprotsessi ümber.

Esiteks jaotab Descripti süsteem transkriptsiooni osadeks, lähtudes lausepiiridest, loomulikest pausidest ja algse salvestuse kõnemustritest. Iga tükk säilitab semantilise järjepidevuse, kuid on piisavalt väike, et selle üle ajastuse ühikuna arutleda.

Sealt edasi arvutab mudel segmendis olevate silpide arvu. Kasutades keelespetsiifilisi kõnetempo eeldusi, hindab süsteem, kui paljudele silpidele peaks tõlgitud lõik sihtima, et säilitada loomulik tempo ("kestuse järgimine"). Viip palub mudelil optimeerida nii kestuse järgimise kui ka tähenduse säilitamise jaoks. Ümbritsevad tükid edastatakse kontekstina, et mudel säilitaks segmentide vahel semantilise sidususe.

Meeskond hindas mitut konfiguratsiooni, et tasakaalustada kestuse järgimist, semantilist täpsust, viivitust ja kulu. Valitud seadistus tagas tugeva piirangute järgimise tootmiskiirusel, võimaldades suuremahulist tõlkimist ilma käsitsi ajastuse kohandamiseta. Tulemuseks on tõlketorustik, kus tempot käsitletakse esmase muutujana, mitte sellena, mida hiljem parandatakse.

Hindamiste vastuvõtukriteeriumide loomiseks viis meeskond läbi kuulamistestid: nad lõid tõlgitud helinäidised ja kohandasid taasesituskiirust väikeste sammudena, paludes kasutajatel hinnata, millal kõne muutus ebaloomulikuks. 

„Kõik, mida aeglustati 10% võrra või kiirendati 20% võrra, kõlas üldiselt endiselt loomulikult,” ütles Mistratov. Väljaspool seda vahemikku muutus kõne liiga moonutatuks. 

Varasematel süsteemidel oli selle mõõdiku järgi raskusi. Sõltuvalt keelest jäi ainult 40% kuni 60% segmentidest vastuvõetava tempo vahemikku. Ümberkujundatud töövooga kasvas see näitaja 40%–60% pealt 73% ja 83% vahele, olenevalt keelest.

Meeskond hindas semantilist vastavust ka eraldi mudel-kui-kohtunik hinnanguga skaalal 1 („täiesti erinev”) kuni 5 („semantiliselt samaväärne”).  Dubleerimise puhul otsustasid nad aktsepteerida madalamat semantilist lävendit kui ainult subtiitrite tõlke puhul, kus kestuse piirangud ei ole asjakohased. Isegi selle kompromissiga hinnati 85,5% lõikudest semantilise vastavuse poolest nelja või viie punktiga viiest.

Tulemuseks oli süsteem, mis suutis tasakaalustada kahte konkureerivat piirangut—ajastust ja tähendust—mõõdetava kindlusega. Ja kuna mõlemad mõõdikud olid automatiseeritud, saab Descript pidevalt hinnata uute mudeliversioonide ja viipade variatsioonide toimivust samade võrdlusaluste alusel.

Kuna tõlkimine liigub üksikutelt videotelt suurte sisukogudeni, lisab Descript rohkem kontrolli selle üle, kuidas tõlkeid häälestatakse, sealhulgas võimaluse seada vajaduse korral prioriteediks rangem semantiline täpsus.

Descripti-sisene tõlge on vaid üks kiht laiemas multimodaalses süsteemis. Tõlgitud tekst suunatakse kõne loomisesse, mis omakorda juhib huulte sünkroonimist ja lõplikku video renderdamist. 

Tekstikihi täiustused võimaldavad loomulikku tempot, kuid üldine kogemus sõltub ka sellest, kui hästi helimudel säilitab kõne tooni, rütmi ja mitteverbaalsed omadused. Seal näeb meeskond järgmist teesihti. 

„Suur osa sellest, mis tõlke väljundit parandab, on tõlketoru muutmine multimodaalsemaks: heli, video ja teksti koos kaasamine, kui otsustatakse, kuidas tõlkida,“ ütles Mistratov. „See peaks paremini säilitama kõne mitteverbaalseid omadusi, nagu toon ja rõhuasetus, ning säilitama veelgi rohkem algsest esitusviisist.”

Descripti jaoks muutsid tugevamad arutlusmudelid dubleerimise keerukuse hallatavaks. Ületades lävendi, kus mudelid suutsid usaldusväärselt tasakaalustada kompromisse tempo ja tähenduse vahel, muutus tõlkimine millekski, mida meeskond sai süstemaatiliselt täiustada ja suurel skaalal kasutusele võtta.