Slik utvikler Descript flerspråklig dubbing i stor skala

Descript⁠(åpnes i et nytt vindu) er et KI-basert videoredigeringsprogram som bygger på en enkel idé: Hvis du kan redigere tekst, bør du også kunne redigere video. Helt siden Descript ble lansert, har KI vært drivkraften bak alle deler av produktet: transkripsjon, redigering, lydrensing og stadig mer komplekse kreative arbeidsflyter. De har bygget videre på OpenAI i flere år, og har brukt Whisper til transkripsjon og modeller fra GPT‑serien i sin samarbeidsredigerer Underlord. 

Oversettelse vokste raskt frem som et bruksområde med stor innvirkning. Tradisjonelt har oversettelse av video vært tregt og kostbart, og har krevd språkeksperter for å administrere prosjekter, produsere rutineoversettelser, håndtere kvalitetskontroll og generere tilhørende lyd. LLM-er komprimerer denne arbeidsflyten dramatisk, noe som gjør det mulig å oppnå oversettelse av høy kvalitet i stor skala.

Både undertekster og dubbing krever semantisk nøyaktighet da oversettelsen må bevare den opprinnelige betydningen. Men i hvert av tilfellene spiller overholdelse av behandlingsvarigheten en annen rolle. For undertekster er dette en fin tilleggsfunksjon. Når det gjelder dubbing, er dette avgjørende, for hvis den oversatte talen blir for lang eller for kort, vil den høres unaturlig ut, selv om meningen er riktig.

For å løse dette, redesignet Descript oversettelsesrørledningen sin ved å bruke OpenAI Resonneringsmodeller for å optimalisere for semantisk trofasthet og varighetsoverholdelse under generering, ikke etter. I løpet av de første 30 dagene etter utrulling økte eksporten av oversatte videoer med dubbing med 15 %, og varighetsetterlevelsen ble forbedret med 13 til 43 prosentpoeng, avhengig av språket.

«Dubbing er et stadig mer populært bruksområde for Descript. Derfor utvikler vi måter å gjøre det på i batch for selskaper som ønsker å oversette og leppesynkronisere hele biblioteker,» sa administrerende direktør Laura Burkhauser.

Oversettelse var blant Descripts tidligste og mest etterspurte funksjoner. De startet med oversettelse av kun undertekster, noe som fungerte bra—men mange brukere ønsket å gå videre og få talelyd (dubbing) på målspråket.

Det dukket imidlertid opp ett problem stadig opp: dubbet lyd hørtes ikke alltid riktig ut. «Sannsynligvis den aller vanligste klagen vi hørte, var at tempoet i talen var unaturlig på det oversatte språket», sa Aleks Mistratov, Head of AI Product at Descript.

Problemet kokte ned til at ulike språk bruker ulik lang tid på å uttrykke den samme ideen. Descript observerte for eksempel at tysk i gjennomsnitt er et «lengre» språk enn engelsk. For å passe inn i faste videosegmenter måtte oversatt tale ofte få hastigheten kunstig økt eller forkortes. «Du ville endt opp med noe som hørtes ut som jordekorn eller en søvnig kjempe», forklarte Mistratov.

Brukere satt igjen med to alternativer: å justere tiden på lyden manuelt, segment for segment, eller å omskrive selve oversettelsen slik at den passet. Begge tilnærmingene krevde omfattende redigeringer i tidslinjen og ofte nesten flyt på morsmålsnivå i målspråket. Det var tidkrevende for skapere, og ble en hindring for å skalere funksjonen til store bedriftslokaliseringsprosjekter.

Teamet hadde en klar teori om hva som skulle til for å få dubbing til å fungere. Systemet måtte ikke bare optimalisere for semantisk betydning, men også følge tidsbegrensninger. Når man for eksempel oversetter fra engelsk til tysk, må modellen forstå hvordan den kan bruke færre ord eller forenkle konseptet, slik at den dubbede lyden forblir naturlig.

Tidligere tilnærminger optimaliserte først semantisk troskap og forsøkte å korrigere timing etterpå. Oversettelsene var ofte semantisk korrekte, men de bommet rutinemessig på varighetsbegrensningene, og den overordnede kvaliteten var fortsatt ikke god nok. 

«Vi kjørte inkrementelle tester uten engang å generere noe. Vi ba bare modellen om å gi ut antall stavelser i en tekstbit», sa Mistratov. «Tidligere modeller var rett og slett ikke gode til det.»

Pålitelig talling av stavelser viste seg å være kritisk. Hvis modellen konsekvent ikke kunne beregne stavelser, kunne den ikke sikte mot et bestemt varighetsvindu på en pålitelig måte.

GPT‑5‑seriemodeller brakte et nivå av konsistens i resonnering som tidligere modeller manglet, spesielt på oppgaver som telling av stavelser og sporing av begrensninger. Med den forbedringen omdesigned Descript oversettelses- og dubbingprosessen.

Først deler Descripts system transkripsjonen inn i biter, styrt av setningsgrenser, naturlige pauser og talemønstre i det opprinnelige opptaket. Hver del opprettholder semantisk kontinuitet, men er liten nok til å resonnere om som en tidsenhet.

Derfra beregner modellen antall stavelser i den delen. Ved å bruke språkspesifikke antakelser om talehastighet anslår systemet hvor mange stavelser den oversatte delen bør sikte mot for å bevare naturlig tempo («varighetsetterlevelse»). Prompten ber modellen om å optimalisere for både overholdelse av varighet og bevaring av mening. Omgivende biter sendes inn som kontekst slik at modellen opprettholder semantisk sammenheng på tvers av segmenter.

Teamet evaluerte flere konfigurasjoner for å balansere overholdelse av varighet, semantisk nøyaktighet, ventetid og kostnad. Det valgte oppsettet leverte sterk etterlevelse av begrensninger i produksjonshastighet, noe som muliggjorde oversettelse i høyt volum uten manuell justering av tid. Resultatet er en oversettelsespipeline der tempo behandles som en førsteklasses variabel i stedet for noe som korrigeres i etterkant.

For å utvikle akseptkriteriene for evalueringer, kjørte teamet lyttetester: De genererte oversatte lydprøver og justerte avspillingshastigheten i små trinn, og ba brukerne vurdere når talen ble unaturlig. 

«Alt som ble redusert i hastighet med 10 % eller økt i hastighet med 20 %, hørtes generelt fortsatt naturlig ut», sa Mistratov. Utover dette området ble talen forvrengt i for stor grad. 

Tidligere systemer presterte dårlig etter det målet. Avhengig av språket falt bare 40% til 60% av segmentene innenfor det akseptable tempo-vinduet. Med den redesignede pipelinen økte dette tallet fra 40 %–60 % til mellom 73 % og 83 %, avhengig av språk.

Teamet evaluerte også semantisk troskap ved hjelp av en separat modell-som-dommer-vurdering på en skala fra 1 («helt forskjellig») til 5 («semantisk ekvivalent»).  For dubbing bestemte de seg for å akseptere en lavere semantisk terskel enn for oversettelse kun av undertekster, der varighetsbegrensninger er irrelevante. Selv med det kompromisset ble 85,5 % av segmentene vurdert til fire eller fem av fem for semantisk samsvar.

Resultatet var et system som kunne balansere to konkurrerende begrensninger—timing og mening—med målbar tillit. Siden begge målingene var automatiserte, kan også Descript kontinuerlig evaluere nye modellutgivelser og prompt-variasjoner mot de samme referansemålingene.

Etter hvert som oversettelse går fra enkeltvideoer til store innholdsbiblioteker, bygger Descript inn mer kontroll i hvordan oversettelser finjusteres, inkludert muligheten til å prioritere strengere semantisk troskap når det trengs.

Oversettelse i Descript er bare ett lag i et bredere multimodalt system. Oversatt tekst mates inn i talegenerering, som deretter styrer leppesynkronisering og endelig videogjengivelse. 

Forbedringer i tekstlaget gjør naturlig tempo mulig, men den samlede opplevelsen avhenger også av hvor godt lydmodellen bevarer tone, kadens og ikke-verbale kjennetegn ved tale. Det er der teamet ser den neste banebrytende grensen. 

«Mye av det som vil forbedre oversettelsesresultatene, handler om å gjøre prosessen mer multimodal: å integrere lyd, video og tekst når man skal bestemme hvordan oversettelsen skal utformes,» sa Mistratov. «Det bør bidra til å bevare de ikke-verbale egenskapene ved talen, som tonefall og vektlegging, og gjengi den opprinnelige fremføringen enda bedre.»

For Descript gjorde sterkere resonneringsmodeller kompleksiteten ved dubbing håndterbar. Ved å krysse terskelen der modeller kunne balansere avveininger mellom tempo og mening på en pålitelig måte, ble oversettelse noe teamet kunne forbedre systematisk, og rulle ut i stor skala.