Como a Descript cria dublagem multilíngue de vídeos em escala

O Descript⁠(abre em uma nova janela) é um editor de vídeo nativo de IA baseado em uma ideia simples: se você consegue editar texto, também deve conseguir editar vídeo. Desde os primeiros dias da Descript, a IA impulsiona todos os aspectos do produto: transcrição, edição, limpeza de áudio e fluxos de trabalho criativos cada vez mais complexos. Há anos, a Descript desenvolve soluções com base nas tecnologias da OpenAI, usando o Whisper para transcrição e modelos da série GPT no Underlord, seu coeditor. 

A tradução logo se destacou como um caso de uso de alto impacto. Tradicionalmente, traduzir vídeos é um processo lento e caro, que exige especialistas em idiomas para gerenciar projetos, realizar o trabalho mecânico de tradução, cuidar do controle de qualidade e gerar o áudio correspondente. Os LLMs simplificam drasticamente esse fluxo de trabalho, viabilizando traduções de alta qualidade em escala.

Tanto as legendas quanto a dublagem exigem fidelidade semântica: a tradução precisa preservar o significado original. Mas a aderência à duração desempenha um papel diferente em cada caso. Para as legendas, ela é desejável. Para a dublagem, ela é essencial, pois, se a fala traduzida ficar longa ou curta demais, não soará natural mesmo que o significado esteja correto.

Para resolver esse problema, a Descript reformulou seu pipeline de tradução usando modelos de raciocínio da OpenAI para otimizar a fidelidade semântica e a aderência à duração durante a geração, e não depois. Nos primeiros 30 dias após o lançamento, as exportações de vídeos traduzidos com dublagem aumentaram 15%, e a aderência à duração melhorou entre 13 e 43 pontos percentuais, dependendo do idioma.

“A dublagem é um caso de uso cada vez mais popular no Descript e, por isso, estamos desenvolvendo formas de fazer isso em lote para empresas que querem traduzir bibliotecas inteiras de vídeos e aplicar sincronização labial”, disse Laura Burkhauser, CEO.

A tradução foi um dos primeiros recursos da Descript e também um dos mais solicitados. A empresa começou oferecendo apenas a tradução de legendas, o que funcionou bem — mas muitos usuários queriam ir além e ter áudio falado (dublagem) no idioma de destino.

No entanto, um problema persistia: o áudio dublado nem sempre soava bem. “Provavelmente, a principal reclamação que recebíamos era que o ritmo da fala não soava natural no idioma de destino”, disse Aleks Mistratov, diretor de produto de IA da Descript.

O problema era que idiomas diferentes levam tempos diferentes para expressar a mesma ideia. A Descript observou, por exemplo, que o alemão é, em média, um idioma “mais longo” do que o inglês. Para caber em segmentos de vídeo com duração fixa, muitas vezes era preciso acelerar ou desacelerar artificialmente a fala traduzida. “O resultado acabava soando como esquilos ou um gigante sonolento”, explicou Mistratov.

Os usuários tinham apenas duas opções: reajustar manualmente a duração do áudio, segmento por segmento, ou reescrever a própria tradução para que coubesse. As duas abordagens exigiam intervenções complexas na linha do tempo e, muitas vezes, fluência quase nativa no idioma de destino. O processo era trabalhoso para os criadores e se tornou um obstáculo à expansão do recurso para grandes projetos de localização corporativa.

A equipe tinha uma hipótese clara sobre o que seria necessário para a dublagem funcionar. O sistema precisaria otimizar não apenas a fidelidade semântica, mas também levar em conta as restrições de duração. Ao traduzir do inglês para o alemão, por exemplo, o modelo precisaria saber como usar menos palavras ou simplificar o conceito para que o áudio dublado continuasse natural.

As abordagens anteriores priorizavam a fidelidade semântica e tentavam corrigir a duração depois. As traduções costumavam estar semanticamente corretas, mas com frequência não atendiam às restrições de duração, e a qualidade geral ainda era insuficiente. 

“Fizemos testes incrementais sem sequer gerar nada; apenas pedíamos ao modelo que informasse o número de sílabas em um trecho de texto”, disse Mistratov. “Os modelos anteriores simplesmente não eram bons nisso.”

A contagem confiável de sílabas se mostrou essencial. Se o modelo não conseguisse contar sílabas de forma consistente, também não conseguiria atingir de forma confiável uma janela de duração específica.

Os modelos da série GPT‑5 trouxeram um nível de consistência de raciocínio que faltava aos modelos anteriores, especialmente em tarefas como contagem de sílabas e acompanhamento de restrições. Com essa melhoria, a Descript reformulou seu pipeline de tradução e dublagem.

Primeiro, o sistema da Descript divide a transcrição em trechos com base nos limites entre frases, nas pausas naturais e nos padrões de fala da gravação original. Cada trecho mantém a continuidade semântica, mas é pequeno o suficiente para ser analisado como uma unidade de duração.

A partir daí, o modelo calcula o número de sílabas do trecho. Com base em premissas sobre a velocidade de fala em cada idioma, o sistema estima quantas sílabas o trecho traduzido deve ter para preservar um ritmo natural (“aderência à duração”). O prompt pede ao modelo que otimize tanto a aderência à duração quanto a preservação do significado. Os trechos adjacentes são fornecidos como contexto para que o modelo mantenha a coerência semântica entre os segmentos.

A equipe avaliou várias configurações para equilibrar aderência à duração, fidelidade semântica, latência e custo. A configuração escolhida apresentou alta aderência às restrições, com velocidade suficiente para uso em produção, permitindo traduções em grande volume sem reajuste manual de duração. O resultado é um pipeline de tradução em que o ritmo é tratado como uma variável central, e não como algo a ser corrigido depois.

Para definir os critérios de aceitação usados nas avaliações, a equipe realizou testes de escuta: gerou amostras de áudio traduzidas e ajustou a velocidade de reprodução em pequenos incrementos, pedindo aos usuários que indicassem em que ponto a fala deixava de soar natural. 

“Em geral, qualquer fala desacelerada em 10% ou acelerada em 20% ainda soava natural”, disse Mistratov. Fora desse intervalo, a fala ficava distorcida demais. 

Os sistemas anteriores apresentavam baixo desempenho segundo essa métrica. Dependendo do idioma, apenas 40% a 60% dos segmentos ficavam dentro da faixa aceitável de ritmo. Com o pipeline reformulado, esse número passou da faixa de 40% a 60% para a faixa de 73% a 83%, dependendo do idioma.

A equipe também mediu a fidelidade semântica por meio de uma avaliação separada feita por um modelo avaliador, em uma escala de 1 (“completamente diferente”) a 5 (“semanticamente equivalente”).  Para a dublagem, a equipe decidiu aceitar um limiar de fidelidade semântica mais baixo do que para a tradução apenas de legendas, em que as restrições de duração são irrelevantes. Mesmo com essa concessão, 85,5% dos segmentos receberam nota quatro ou cinco de um total de cinco quanto à aderência semântica.

O resultado foi um sistema capaz de conciliar duas restrições concorrentes — duração e significado — com um grau de confiança mensurável. Como a medição das duas métricas era automatizada, a Descript consegue avaliar continuamente novos lançamentos de modelos e variações de prompts segundo os mesmos parâmetros de referência.

À medida que a tradução passa de vídeos individuais para grandes bibliotecas de conteúdo, a Descript está ampliando o controle sobre como as traduções são ajustadas, inclusive com a possibilidade de priorizar uma fidelidade semântica mais rigorosa quando necessário.

A tradução no Descript é apenas uma camada de um sistema multimodal mais amplo. O texto traduzido alimenta a geração de fala, que, por sua vez, serve de base para a sincronização labial e a renderização final do vídeo. 

As melhorias na camada de texto possibilitam um ritmo natural, mas a experiência como um todo também depende da capacidade do modelo de áudio de preservar o tom, a cadência e as características não verbais da fala. É aí que a equipe enxerga a próxima fronteira. 

“Grande parte da melhoria nos resultados de tradução virá de tornar o pipeline mais multimodal: incorporar áudio, vídeo e texto ao decidir como traduzir”, disse Mistratov. “Isso deve preservar melhor as características não verbais da fala, como tom e ênfase, e manter ainda mais a forma original de falar.”

Para a Descript, modelos de raciocínio mais avançados permitiram lidar com a complexidade da dublagem. Ao ultrapassar o limiar em que os modelos conseguiam conciliar ritmo e significado de forma confiável, a equipe pôde aprimorar sistematicamente a tradução e implementá-la em escala.