Hoe Descript meertalige videodubbing op schaal technisch uitwerkt

Descript⁠(opent in een nieuw venster) is een AI-native video-editor die is gebaseerd op een eenvoudig idee: als je tekst kunt bewerken, moet je ook video kunnen bewerken. Sinds de begindagen van Descript speelt AI een centrale rol in elk aspect van het product: transcriptie, bewerking, audio-opschoning en steeds complexere creatieve workflows. Descript maakt al jaren gebruik van OpenAI, met Whisper voor transcriptie en modellen uit de GPT‑serie in de co-editor Underlord. 

Vertalen groeide al snel uit tot een toepassing met grote impact. Traditioneel is het vertalen van video traag en duur. Taalexperts moeten projecten beheren, standaardvertalingen maken, kwaliteitscontroles uitvoeren en de bijbehorende audio produceren. LLM's verkorten die workflow drastisch en maken hoogwaardige vertalingen op schaal mogelijk.

Ondertiteling en nasynchronisatie vereisen beide semantische getrouwheid: de vertaling moet de oorspronkelijke betekenis behouden. Het belang van de juiste tijdsduur verschilt echter. Voor ondertiteling is dit mooi meegenomen. Voor nasynchronisatie is het cruciaal. Als de vertaalde spraak te lang of te kort duurt, klinkt deze onnatuurlijk, zelfs als de betekenis klopt.

Om dit probleem aan te pakken, heeft Descript de vertaalpipeline opnieuw ontworpen. Daarbij worden redenerende modellen van OpenAI gebruikt om al tijdens het genereren te optimaliseren voor semantische getrouwheid en duurconformiteit, in plaats van pas achteraf. In de eerste 30 dagen na de uitrol nam het aantal exports van vertaalde video's met nasynchronisatie met 15% toe. Afhankelijk van de taal verbeterde de duurconformiteit met 13 tot 43 procentpunten.

“Nasynchronisatie is een steeds populairdere toepassing van Descript. Daarom ontwikkelen we mogelijkheden om dit in batches te doen voor bedrijven die volledige contentbibliotheken willen vertalen en lipsynchroniseren,” aldus Laura Burkhauser, CEO.

Vertalen was een van de eerste en meest gevraagde functies van Descript. Descript begon met het vertalen van uitsluitend ondertiteling. Dat werkte goed, maar veel gebruikers wilden een stap verder gaan en ook gesproken audio (nasynchronisatie) in de doeltaal toevoegen.

Toch bleef één probleem terugkomen: nagesynchroniseerde audio klonk niet altijd goed. “Waarschijnlijk was de meestgehoorde klacht dat het spreektempo in de vertaalde taal onnatuurlijk klonk,” aldus Aleks Mistratov, Head of AI Product bij Descript.

Het probleem was dat verschillende talen niet evenveel tijd nodig hebben om hetzelfde idee uit te drukken. Descript stelde bijvoorbeeld vast dat Duits gemiddeld een ‘langere’ taal is dan Engels. Om binnen vaste videosegmenten te passen, moest vertaalde spraak vaak kunstmatig worden versneld of vertraagd. “Het resultaat klonk dan als een eekhoorntje of een slaperige reus,” legt Mistratov uit.

Gebruikers hadden twee opties: de timing van de audio handmatig per segment aanpassen of de vertaling zelf herschrijven zodat deze binnen de beschikbare tijd paste. Beide aanpakken vereisten ingrijpende bewerkingen in de tijdlijn en vaak een bijna moedertaalachtige beheersing van de doeltaal. Dit was omslachtig voor makers en stond het opschalen van de functie naar grote lokalisatieprojecten voor bedrijven in de weg.

Het team had een duidelijke theorie over wat er nodig zou zijn om nasynchronisatie te laten slagen. Het systeem zou niet alleen moeten optimaliseren voor semantische betekenis, maar ook rekening moeten houden met tijdsbeperkingen. Bij het vertalen van Engels naar Duits zou het model bijvoorbeeld moeten begrijpen hoe het minder woorden kan gebruiken of het concept kan vereenvoudigen, zodat de nagesynchroniseerde audio natuurlijk blijft klinken.

Eerdere benaderingen optimaliseerden eerst de semantische getrouwheid en probeerden de timing vervolgens te corrigeren. De vertalingen waren vaak semantisch correct, maar voldeden stelselmatig niet aan de duurbeperkingen. Daardoor was de algehele kwaliteit nog steeds onvoldoende. 

"We voerden stapsgewijze tests uit, zonder zelfs maar iets te genereren; we vroegen het model alleen om het aantal lettergrepen in een stuk tekst te geven," zei Mistratov. "Eerdere modellen waren daar gewoon niet goed in."

Het betrouwbaar tellen van lettergrepen bleek cruciaal. Als het model het aantal lettergrepen niet consistent kon berekenen, kon het niet betrouwbaar binnen een specifiek tijdvenster blijven.

Modellen uit de GPT‑5‑serie boden een mate van consistent redeneervermogen die eerdere modellen niet hadden, vooral bij taken zoals het tellen van lettergrepen en het bewaken van randvoorwaarden. Dankzij die verbetering heeft Descript de vertaal- en nasynchronisatiepipeline opnieuw ontworpen.

Eerst splitst het systeem van Descript het transcript op in segmenten, aan de hand van zinsgrenzen, natuurlijke pauzes en spreekpatronen in de oorspronkelijke opname. Elk segment behoudt de semantische samenhang, maar is klein genoeg om als afzonderlijke timingseenheid te behandelen.

Vervolgens berekent het model het aantal lettergrepen in het segment. Op basis van taalspecifieke aannames over de spreeksnelheid schat het systeem hoeveel lettergrepen het vertaalde segment idealiter moet bevatten om een natuurlijk spreektempo te behouden (‘duurconformiteit’). De prompt vraagt het model om zowel de duurconformiteit als het behoud van de betekenis te optimaliseren. Omliggende segmenten worden als context meegegeven, zodat het model de semantische samenhang tussen de segmenten behoudt.

Het team evalueerde meerdere configuraties om duurconformiteit, semantische getrouwheid, latentie en kosten met elkaar in balans te brengen. Hierdoor konden grote volumes worden vertaald zonder de timing handmatig te hoeven aanpassen. Het resultaat is een vertaalpipeline waarin het spreektempo als een volwaardige variabele wordt behandeld, in plaats van als iets dat achteraf moet worden gecorrigeerd.

Om de acceptatiecriteria voor de evaluaties te ontwikkelen, voerde het team luistertests uit. Het genereerde vertaalde audiofragmenten, paste de afspeelsnelheid in kleine stappen aan en vroeg gebruikers aan te geven wanneer de spraak onnatuurlijk begon te klinken. 

“Alles wat met 10% was vertraagd of met 20% was versneld, klonk over het algemeen nog natuurlijk,” aldus Mistratov. Buiten dit bereik klonk de spraak te vervormd. 

Eerdere systemen presteerden volgens die maatstaf slecht. Afhankelijk van de taal viel slechts 40% tot 60% van de segmenten binnen het acceptabele tempo-interval. Met de opnieuw ontworpen pipeline steeg dat percentage van 40–60% tot 73–83%, afhankelijk van de taal.

Het team evalueerde de semantische getrouwheid ook afzonderlijk met behulp van een beoordelingsmodel, op een schaal van 1 (‘volledig verschillend’) tot 5 (‘semantisch equivalent’). Voor nasynchronisatie besloot het team een lagere semantische drempel te hanteren dan voor vertalingen die uitsluitend voor ondertiteling zijn bedoeld, omdat duurbeperkingen daarbij niet relevant zijn. Ondanks die afweging kreeg 85,5% van de segmenten voor semantische getrouwheid een score van vier of vijf op vijf.

Het resultaat was een systeem dat twee concurrerende randvoorwaarden, timing en betekenis, aantoonbaar in balans kon brengen. Omdat beide meetwaarden zijn geautomatiseerd, kan Descript nieuwe modelreleases en promptvarianten continu aan dezelfde benchmarks toetsen.

Nu vertalingen verschuiven van afzonderlijke video's naar grote contentbibliotheken, biedt Descript meer mogelijkheden om te bepalen hoe vertalingen worden afgestemd. Zo kan waar nodig prioriteit worden gegeven aan een striktere semantische getrouwheid.

Vertalen binnen Descript is slechts één laag van een breder multimodaal systeem. De vertaalde tekst dient als invoer voor spraakgeneratie, die vervolgens de lipsynchronisatie en uiteindelijke videorendering aanstuurt. 

Verbeteringen in de tekstlaag maken een natuurlijk spreektempo mogelijk, maar de algehele ervaring hangt ook af van hoe goed het audiomodel de toon, cadans en non-verbale kenmerken van spraak behoudt. Daar ziet het team de volgende grote doorbraak. 

“Een groot deel van de verdere verbetering van de vertaaloutput zal voortkomen uit een multimodalere pipeline, waarin audio, video en tekst gezamenlijk worden meegenomen bij het bepalen van de vertaling,” aldus Mistratov. “Hierdoor zouden non-verbale kenmerken van spraak, zoals toon en nadruk, beter behouden moeten blijven en zou de oorspronkelijke voordracht nog getrouwer kunnen worden weergegeven.”

Dankzij krachtigere redenerende modellen werd de complexiteit van nasynchronisatie voor Descript beheersbaar. Toen modellen eenmaal betrouwbaar een balans konden vinden tussen spreektempo en betekenis, kon het team vertalingen systematisch verbeteren en op grote schaal implementeren.