Comment Descript déploie le doublage multilingue à grande échelle

Descript⁠(ouverture dans une nouvelle fenêtre) est un éditeur vidéo conçu nativement pour l’IA, qui repose sur une idée simple : si vous pouvez modifier du texte, vous devriez pouvoir modifier une vidéo. Depuis les débuts de Descript, l’IA est au cœur de chaque aspect du produit : transcription, montage, nettoyage audio et flux de travail créatifs de plus en plus complexes. Ils s’appuient sur OpenAI depuis des années, utilisant Whisper pour la transcription et des modèles de la série GPT au sein de leur co-éditeur Underlord. 

La traduction s’est rapidement imposée comme un cas d’utilisation à impact élevé. Traditionnellement, la traduction de vidéos était lente et coûteuse : elle nécessitait l’intervention d’experts linguistiques pour gérer les projets, produire des traductions de routine, assurer le contrôle qualité et générer l’audio correspondant. Les LLM réduisent considérablement ce flux de travail, rendant possible la traduction de qualité élevée à grande échelle.

Le sous-titrage et le doublage exigent tous deux une fidélité sémantique : la traduction doit préserver le sens original. Mais le respect de la durée joue un rôle différent dans chacun d’eux. Pour les sous-titres, c’est un plus. Dans le doublage, c’est crucial, car si les répliques traduites sont trop longues ou trop courtes, elles paraîtront peu naturelles même si le sens est correct.

Pour y remédier, Descript a repensé son pipeline de traduction à l’aide des modèles de raisonnement d’OpenAI afin d’optimiser la fidélité sémantique et le respect de la durée pendant la génération, et non après coup. Au cours des 30 premiers jours suivant le déploiement, les exportations de vidéos traduites avec doublage ont augmenté de 15 %, et le respect de la durée s’est amélioré de 13 à 43 points de pourcentage, selon la langue.

« Le doublage est un cas d’utilisation de plus en plus demandé pour Descript ; nous développons donc des fonctionnalités permettant de le proposer par lots pour les entreprises qui souhaitent traduire et synchroniser labialement des catalogues entiers », raconte Laura Burkhauser, PDG.

La traduction a été l’une des toutes premières fonctionnalités de Descript, et l’une des plus demandées. Ils ont commencé par proposer une traduction limitée aux sous-titres, qui fonctionnait bien, mais de nombreux utilisateurs voulaient aller plus loin et disposer d’une piste audio parlée (doublage) dans la langue cible.

Cependant, un problème revenait sans cesse : l’audio doublé ne sonnait pas toujours naturel. « La principale remarque que nous recevions était que le débit de parole n’était pas naturel dans la langue traduite », raconte Aleks Mistratov, responsable produit IA chez Descript.

Le problème tenait au fait que les langues n’ont pas toutes besoin du même temps pour exprimer la même idée. Descript a par exemple constaté qu’en moyenne, l’allemand est une langue « plus longue » que l’anglais. Pour tenir dans des segments vidéo de durée fixe, la piste vocale traduite devait souvent être artificiellement accélérée ou ralentie. « On se retrouverait avec quelque chose qui sonnerait comme des tamias, ou comme un géant assoupi », explique Mistratov.

Les utilisateurs n’avaient plus que deux options : resynchroniser manuellement l’audio segment par segment, ou réécrire la traduction elle-même pour la faire correspondre. Les deux approches nécessitaient des modifications approfondies de la timeline et souvent une maîtrise quasi native de la langue cible. Cela s’avérait fastidieux pour les créateurs et devenait un obstacle à la mise à l’échelle de la fonctionnalité pour de grands projets de localisation d’entreprise.

L’équipe avait une idée claire de ce qu’il faudrait pour que le doublage fonctionne. Le système devrait non seulement optimiser en fonction de la signification sémantique, mais aussi tenir compte des contraintes temporelles. Lorsque l’on traduit de l’anglais vers l’allemand, par exemple, le modèle doit comprendre comment utiliser moins de mots ou simplifier le concept, afin que l’audio doublé reste naturel.

Les approches antérieures optimisaient d’abord la fidélité sémantique et tentaient ensuite de corriger la synchronisation. Les traductions étaient souvent correctes sur le plan sémantique, mais elles ne respectaient pas systématiquement les contraintes de durée, et la qualité globale n’était toujours pas suffisante. 

« Nous avons mené des tests incrémentiels, sans même générer quoi que ce soit, en demandant simplement au modèle d’indiquer le nombre de syllabes dans un segment de texte », raconte Mistratov. « Les modèles précédents n’étaient tout simplement pas performants dans ce domaine. »

Le comptage fiable des syllabes s’est avéré essentiel. Si le modèle ne pouvait pas calculer systématiquement le nombre de syllabes, il ne pouvait pas cibler de manière fiable une plage de durée spécifique.

Les modèles de la série GPT‑5 ont apporté un niveau de cohérence du raisonnement qui faisait défaut aux modèles précédents, en particulier sur des tâches telles que le comptage des syllabes et le suivi des contraintes. Grâce à cette amélioration, Descript a repensé sa chaîne de traitement de traduction et de doublage.

Tout d’abord, le système de Descript découpe la transcription en segments, en s’appuyant sur les limites des phrases, les pauses naturelles et les schémas de parole dans l’enregistrement original. Chaque segment conserve une continuité sémantique, tout en étant suffisamment petit pour être analysé comme une unité temporelle.

À partir de là, le modèle calcule le nombre de syllabes dans le segment. À l’aide d’hypothèses de débit de parole propres à chaque langue, le système estime le nombre de syllabes que le segment traduit doit viser afin de préserver un rythme naturel (« respect de la durée »). Le prompt indique au modèle d’optimiser à la fois le respect de la durée et la préservation du sens. Les blocs environnants sont transmis comme contexte afin que le modèle conserve une cohérence sémantique entre les segments.

L’équipe a évalué plusieurs configurations afin d’équilibrer le respect de la durée, la fidélité sémantique, la latence et le coût. La configuration retenue a assuré un respect strict des contraintes à une cadence de production, permettant la traduction de volumes élevés sans réajustement manuel du minutage. Il en résulte un pipeline de traduction dans lequel le rythme est traité comme une variable à part entière, plutôt que comme un élément corrigé après coup.

Pour élaborer les critères d’acceptation des évaluations, l’équipe a mené des tests d’écoute : elle a généré des échantillons audio traduits et ajusté la vitesse de lecture par petits paliers, en demandant aux utilisateurs d’indiquer à partir de quel moment la parole devenait peu naturelle. 

« Tout ce qui avait été ralenti de 10 % ou accéléré de 20 %, continuait généralement à sonner naturel », indique Mistratov. Au-delà de cette plage, la parole devenait trop déformée. 

Les systèmes antérieurs obtenaient de mauvais résultats selon ce critère. Selon la langue, seuls 40 % à 60 % des segments se situaient dans la plage de rythme acceptable. Avec le pipeline repensé, ce chiffre est passé d’une fourchette de 40 % à 60 % à une fourchette comprise entre 73 % et 83 %, selon la langue.

L’équipe a également évalué la fidélité sémantique à l’aide d’une notation distincte : un modèle juge a attribué une note sur une échelle allant de 1 (« complètement différent ») à 5 (« sémantiquement équivalent »).  Pour le doublage, ils ont décidé d’accepter un seuil de fidélité sémantique plus faible que pour la traduction destinée uniquement aux sous-titres, où les contraintes de durée sont sans objet. Même avec ce compromis, 85,5 % des segments ont été notés quatre ou cinq sur cinq pour leur fidélité sémantique.

Il en a résulté un système capable de concilier deux contraintes concurrentes, le temps et le sens, avec un niveau de confiance mesurable. Et, comme les deux indicateurs étaient automatisés, Descript peut évaluer en continu les nouvelles versions de modèles et les variations de prompts par rapport aux mêmes benchmarks.

À mesure que la traduction passe de vidéos isolées à de vastes bibliothèques de contenus, Descript intègre davantage de contrôle dans l’ajustement des traductions, notamment la possibilité de privilégier une fidélité sémantique plus stricte lorsque nécessaire.

La traduction au sein de Descript n’est qu’une couche d’un système multimodal plus vaste. Le texte traduit alimente la génération vocale, qui pilote ensuite la synchronisation labiale et le rendu vidéo final. 

Les améliorations apportées à la couche textuelle permettent un rythme naturel, mais l’expérience globale dépend également de la capacité du modèle audio à préserver le ton, la cadence et les caractéristiques non verbales de la parole. C’est là que l’équipe voit la prochaine grande avancée. 

« Une grande partie de ce qui améliorera la qualité des traductions consistera à rendre la chaîne de traitement plus multimodale : prendre en compte simultanément l’audio, la vidéo et le texte au moment de décider comment traduire », explique Mistratov. « Cela devrait mieux préserver les caractéristiques non verbales de la parole, comme le ton et l’accentuation, et restituer encore plus fidèlement la manière dont le message est délivré à l’origine. »

Pour Descript, des modèles de raisonnement plus puissants ont rendu la complexité du doublage maîtrisable. En franchissant le seuil à partir duquel les modèles pouvaient équilibrer de manière fiable les compromis entre rythme et sens, la traduction est devenue un processus que l’équipe pouvait améliorer systématiquement et déployer à grande échelle.