Comment Descript déploie le doublage multilingue à grande échelle

Descript⁠(s'ouvre dans une nouvelle fenêtre) est un outil de montage vidéo fondé sur l’IA et reposant sur une idée simple : si vous pouvez modifier du texte, vous devriez pouvoir modifier une vidéo. Depuis les débuts de Descript, l’IA est au cœur de tous les aspects du produit : transcription, montage, nettoyage audio et processus créatifs de plus en plus complexes. L’entreprise utilise les technologies d’OpenAI depuis des années, notamment Whisper pour la transcription et les modèles de la série GPT dans son assistant de montage Underlord. 

La traduction s’est rapidement imposée comme un cas d’utilisation à fort impact. Traditionnellement, la traduction de vidéos est un processus lent et coûteux qui nécessite l’intervention de spécialistes linguistiques pour gérer les projets, effectuer des traductions répétitives, assurer le contrôle de la qualité et produire les pistes audio correspondantes. Les LLM simplifient considérablement ce processus, permettant ainsi de produire à grande échelle des traductions de haute qualité.

Les sous-titres comme le doublage exigent une grande fidélité sémantique : la traduction doit préserver le sens original. Toutefois, le respect de la durée joue un rôle différent dans chacun des deux. Pour les sous-titres, c’est un plus. Pour le doublage, il est essentiel, car si la traduction audio est trop longue ou trop courte, elle semblera artificielle, même si le sens est respecté.

Pour y remédier, Descript a repensé son processus de traduction à l’aide des modèles de raisonnement d’OpenAI afin d’optimiser la fidélité sémantique et le respect de la durée dès la génération, plutôt qu’après coup. Dans les 30 premiers jours suivant le déploiement, les exportations de vidéos traduites et doublées ont augmenté de 15 %, tandis que le respect de la durée s’est amélioré de 13 à 43 points de pourcentage, selon la langue.

« Le doublage est un cas d’utilisation de plus en plus populaire dans Descript. Nous développons donc des fonctionnalités de traitement par lots pour les entreprises qui souhaitent traduire et synchroniser les mouvements des lèvres dans des bibliothèques entières », explique Laura Burkhauser, PDG.

La traduction a été l’une des toutes premières fonctionnalités de Descript, et l’une des plus demandées. L’entreprise a commencé par proposer la traduction des sous-titres, qui fonctionnait bien. Toutefois, de nombreuses personnes souhaitaient aller plus loin et obtenir une piste audio parlée (un doublage) dans la langue cible.

Cependant, un problème revenait sans cesse : l’audio doublé ne sonnait pas toujours naturel. « La principale remarque que nous recevions était que le débit de parole n’était pas naturel dans la langue cible », raconte Aleks Mistratov, responsable produit d'IA chez Descript.

Le problème venait du fait que l’expression d’une même idée ne prend pas le même temps dans toutes les langues. Descript a constaté, par exemple, que l’allemand est en moyenne une langue plus « longue » que l’anglais. Pour respecter la durée fixe des segments vidéo, il fallait souvent accélérer ou ralentir artificiellement le débit de la traduction audio. « On se retrouvait avec une voix de tamia ou de géant endormi », explique Mistratov.

Les utilisateurs n’avaient que deux options : ajuster manuellement la durée de chaque segment audio ou reformuler la traduction pour qu’elle respecte le temps alloué. Les deux approches exigeaient des modifications poussées dans la ligne de temps et, souvent, une maîtrise quasi native de la langue cible. Le processus était fastidieux pour les créateurs et freinait le déploiement à grande échelle de cette fonctionnalité dans le cadre d’importants projets de localisation d’entreprise.

L’équipe avait une idée précise de ce qu’il fallait faire pour assurer la qualité du doublage. Le système devrait non seulement optimiser en fonction de la signification sémantique, mais aussi tenir compte des contraintes de durée. Par exemple, pour traduire de l’anglais vers l’allemand, le modèle devait comprendre comment utiliser moins de mots ou simplifier l’idée afin que le doublage reste naturel.

Les approches précédentes optimisaient d’abord la fidélité sémantique, puis tentaient d’ajuster la synchronisation après coup. Les traductions étaient souvent correctes sur le plan sémantique, mais elles ne respectaient pas systématiquement les contraintes de durée, et la qualité globale demeurait insuffisante. 

« Nous avons effectué des tests progressifs sans même générer quoi que ce soit, simplement en demandant au modèle d’indiquer le nombre de syllabes dans un extrait de texte », explique M. Mistratov. « Les modèles précédents n’étaient tout simplement pas performants dans ce domaine. »

Le comptage fiable des syllabes s’est avéré essentiel. Si le modèle n’était pas capable de calculer systématiquement le nombre de syllabes, il ne pouvait pas respecter de façon fiable une plage de durée précise.

Les modèles de la série GPT‑5 ont apporté une constance de raisonnement qui faisait défaut aux modèles précédents, en particulier pour des tâches comme le décompte des syllabes et le suivi des contraintes. Grâce à cette amélioration, Descript a repensé son processus de traduction et de doublage.

Tout d’abord, le système de Descript divise la transcription en segments en fonction des limites de phrases, des pauses naturelles et du rythme de parole de l’enregistrement original. Chaque segment préserve la continuité sémantique, tout en étant suffisamment court pour être traité comme une unité de durée.

Le modèle calcule ensuite le nombre de syllabes dans le segment. En fonction du débit de parole propre à chaque langue, le système estime le nombre de syllabes que le segment traduit devrait contenir pour conserver un rythme naturel (« respect de la durée »). L’invite demande au modèle d’optimiser à la fois le respect de la durée et la préservation du sens. Les segments adjacents sont fournis comme contexte afin que le modèle maintienne une cohérence sémantique d’un segment à l’autre.

L’équipe a évalué plusieurs configurations afin d’équilibrer le respect de la durée, la fidélité sémantique, la latence et les coûts. La configuration retenue assurait un excellent respect des contraintes à la vitesse requise en production, permettant ainsi de traduire de grands volumes sans ajustement manuel de la durée. Il en résulte un processus de traduction où le rythme est traité comme un paramètre central, plutôt que comme un élément à corriger après coup.

Afin d’établir les critères d’acceptation des évaluations, l’équipe a mené des tests d’écoute : elle a généré des échantillons audio traduits, puis ajusté leur vitesse de lecture par petits paliers, en demandant aux utilisateurs d’indiquer à quel moment le débit devenait artificiel. 

« Tout ce qui était ralenti de 10 % ou accéléré de 20 % semblait généralement encore naturel », explique M. Mistratov. Au-delà de cette plage, la parole devenait trop déformée. 

Les systèmes antérieurs obtenaient de mauvais résultats selon ce critère. Selon la langue, seuls 40 % à 60 % des segments se situaient dans la plage de rythme acceptable. Avec le pipeline repensé, ce chiffre est passé d’une fourchette de 40 % à 60 % à une fourchette comprise entre 73 % et 83 %, selon la langue.

L’équipe a également évalué la fidélité sémantique au moyen d’une notation distincte effectuée par un modèle agissant comme juge, sur une échelle de 1 (« complètement différent ») à 5 (« sémantiquement équivalent »). Pour le doublage, l’équipe a décidé d’accepter un seuil de fidélité sémantique inférieur à celui appliqué à la traduction des sous-titres uniquement, où les contraintes de durée n’entrent pas en ligne. Même avec ce compromis, 85,5 % des segments ont obtenu une note de quatre ou cinq sur cinq pour leur fidélité sémantique.

Il en a résulté un système capable de concilier deux contraintes concurrentes, le temps et le sens, avec un niveau de confiance mesurable.Avec la chaîne de traitement repensée, cette proportion est passée de 40 à 60 % à une plage de 73 à 83 %, selon la langue. Et, comme les deux indicateurs étaient automatisés, Descript peut évaluer en continu les nouvelles versions de modèles et les variations de prompts par rapport aux mêmes benchmarks.

À mesure que la traduction passe de vidéos isolées à de vastes bibliothèques de contenus, Descript intègre davantage de contrôle dans l’ajustement des traductions, notamment la possibilité de privilégier une fidélité sémantique plus stricte lorsque nécessaire.

La traduction dans Descript n’est qu’une composante d’un système multimodal plus vaste. Le texte traduit est ensuite utilisé pour générer la parole, qui sert à son tour à synchroniser les mouvements des lèvres et à produire le rendu vidéo final. 

Les améliorations apportées au texte permettent d’obtenir un rythme naturel, mais l’expérience globale dépend aussi de la capacité du modèle audio à préserver le ton, la cadence et les caractéristiques non verbales de la parole. C’est là que l’équipe entrevoit la prochaine avancée majeure. 

« Pour améliorer les traductions, il faudra surtout rendre le processus plus multimodal, c’est-à-dire combiner l’audio, la vidéo et le texte au moment de déterminer comment traduire », explique M. Mistratov. « Cela devrait permettre de mieux conserver les caractéristiques non verbales de la parole, comme le ton et l’accentuation, et de préserver encore davantage la façon de s’exprimer de la personne. »

Pour Descript, des modèles de raisonnement plus performants ont permis de mieux maîtriser la complexité du doublage. En franchissant le seuil à partir duquel les modèles pouvaient équilibrer de manière fiable les compromis entre rythme et sens, la traduction est devenue un processus que l’équipe pouvait améliorer systématiquement et déployer à grande échelle.