Como a Descript concebe a dobragem de vídeo multilingue em escala

Descript⁠(abre numa nova janela) é um editor de vídeo nativo de IA criado com base numa ideia simples: se consegue editar texto, também deve conseguir editar vídeo. Desde os primeiros dias da Descript, a IA tem impulsionado todos os aspetos do produto: transcrição, edição, limpeza de áudio e fluxos de trabalho criativos cada vez mais complexos. Há anos que desenvolvem com base nas tecnologias da OpenAI, usando o Whisper para transcrição e modelos da série GPT no Underlord, o seu coeditor. 

A tradução rapidamente se afirmou como um caso de utilização de elevado impacto. Tradicionalmente, a tradução de vídeo tem sido lenta e dispendiosa, exigindo especialistas linguísticos para gerir projetos, realizar o trabalho mecânico de tradução, assegurar o controlo de qualidade e gerar o áudio correspondente. Os LLMs reduzem drasticamente esse fluxo de trabalho, tornando possível a tradução de elevada qualidade em grande escala.

Legendas e dobragem exigem fidelidade semântica: a tradução deve preservar o significado original. Mas o cumprimento da duração desempenha um papel diferente em cada caso. Para legendas, é algo desejável, mas não essencial. Na dobragem, é crucial, porque se as falas traduzidas forem demasiado longas ou demasiado curtas soarão pouco naturais, mesmo que o significado esteja correto.

Para resolver esta questão, a Descript reformulou o seu pipeline de tradução, utilizando modelos de raciocínio da OpenAI para otimizar a fidelidade semântica e o cumprimento da duração durante a geração, e não posteriormente. Nos primeiros 30 dias após o lançamento, as exportações de vídeos traduzidos com dobragem aumentaram 15%, e o cumprimento da duração melhorou entre 13 e 43 pontos percentuais, consoante o idioma.

«A dobragem é um caso de utilização cada vez mais popular no Descript, por isso estamos a criar formas de a fazer em lote para empresas que queiram traduzir bibliotecas inteiras de vídeos e aplicar sincronização labial», disse Laura Burkhauser, CEO.

A tradução foi uma das primeiras e mais solicitadas funcionalidades do Descript. Começaram com a tradução apenas das legendas, o que funcionou bem — mas muitos utilizadores queriam ir mais longe e ter áudio falado (dobragem) na língua de destino.

No entanto, havia um problema que continuava a surgir: o áudio dobrado nem sempre soava bem. «Provavelmente, a principal queixa que ouvimos foi de que o ritmo da fala soava pouco natural na língua traduzida», afirmou Aleks Mistratov, Diretor de Produto de IA da Descript.

O problema resumia-se ao facto de que línguas diferentes demoram tempos diferentes a expressar a mesma ideia. A Descript constatou, por exemplo, que, em média, o alemão é uma língua «mais longa» do que o inglês. Para se ajustar a segmentos de vídeo fixos, a fala traduzida tinha frequentemente de ser acelerada ou desacelerada artificialmente. «Acabaríamos por ficar com algo que soava a esquilos ou a um gigante sonolento», explicou Mistratov.

Os utilizadores ficavam com duas opções: reajustar manualmente a temporização do áudio, segmento a segmento, ou reescrever a própria tradução para que coubesse. Ambas as abordagens exigiam edições profundas na linha temporal e, muitas vezes, fluência quase nativa na língua de destino. Era trabalhoso para os criadores e tornou-se um obstáculo à expansão da funcionalidade para grandes projetos de localização empresarial.

A equipa tinha uma teoria clara sobre o que seria necessário para que a dobragem funcionasse. O sistema teria de não só otimizar em função do significado semântico, mas também estar ciente das restrições temporais. Ao traduzir de inglês para alemão, por exemplo, o modelo teria de compreender como usar menos palavras ou simplificar o conceito, para que o áudio dobrado continuasse natural.

Abordagens anteriores otimizavam primeiro a fidelidade semântica e tentavam corrigir a sincronização temporal posteriormente. As traduções eram frequentemente semanticamente corretas, mas falhavam sistematicamente no cumprimento das restrições de duração, e a qualidade geral continuava a não ser suficiente. 

«Fizemos testes incrementais, sem sequer gerar nada, apenas pedindo ao modelo que indicasse o número de sílabas num fragmento de texto», disse Mistratov. «Os modelos anteriores simplesmente não eram bons nisso.»

A contagem fiável de sílabas revelou-se crucial. Se o modelo não conseguisse calcular sílabas de forma consistente, não conseguiria fidedignamente alcançar uma janela de duração específica.

Os modelos da série GPT‑5 trouxeram um nível de consistência no raciocínio que faltava aos modelos anteriores, especialmente em tarefas como a contagem de sílabas e o acompanhamento de restrições. Com essa melhoria, a Descript reformulou o seu pipeline de tradução e dobragem.

Primeiro, o sistema da Descript divide a transcrição em segmentos, orientado pelos limites das frases, pelas pausas naturais e pelos padrões de fala na gravação original. Cada segmento mantém a continuidade semântica, mas é suficientemente pequeno para ser analisado como uma unidade de temporização.

A partir daí, o modelo calcula o número de sílabas no segmento. Utilizando pressupostos de velocidade de fala específicos de cada língua, o sistema estima o número de sílabas que o segmento traduzido deve procurar atingir para preservar uma cadência natural («cumprimento da duração»). O prompt pede ao modelo que otimize tanto o cumprimento da duração como a preservação do significado. Os segmentos adjacentes são fornecidos como contexto para que o modelo mantenha a coerência semântica entre segmentos.

A equipa avaliou várias configurações para equilibrar o cumprimento da duração, a fidelidade semântica, a latência e o custo. A configuração selecionada proporcionou um forte cumprimento das restrições à velocidade de produção, permitindo tradução de elevado volume sem reajuste manual do tempo. O resultado é um pipeline de tradução em que o ritmo é tratado como uma variável central, e não como algo a ser corrigido depois.

Para desenvolver os critérios de aceitação das avaliações, a equipa realizou testes de escuta: gerou amostras de áudio traduzido e ajustou a velocidade de reprodução em pequenos incrementos, pedindo aos utilizadores que classificassem a partir de que ponto a fala se tornava pouco natural. 

«Em geral, qualquer fala desacelerada em 10% ou acelerada em 20% ainda soava natural», disse Mistratov. Para além deste intervalo, a fala tornava-se demasiado distorcida. 

Os sistemas anteriores tiveram um mau desempenho segundo essa métrica. Consoante a língua, apenas entre 40% e 60% dos segmentos se enquadraram no intervalo de ritmo aceitável. Com a reformulação do pipeline, esse valor aumentou de 40% a 60% para entre 73% e 83%, dependendo da língua.

A equipa também avaliou a fidelidade semântica através de uma classificação independente feita por um modelo avaliador, numa escala de 1 (“completamente diferente”) a 5 (“semanticamente equivalente”).  Para a dobragem, decidiram aceitar um limiar semântico mais baixo do que na tradução apenas para legendas, em que as restrições de duração são irrelevantes. Mesmo com esse compromisso, 85,5% dos segmentos foram classificados com quatro ou cinco em cinco, em termos de aderência semântica.

O resultado foi um sistema capaz de equilibrar duas restrições concorrentes — temporização e significado — com um grau de confiança mensurável. E, uma vez que ambas as métricas foram automatizadas, o Descript consegue avaliar continuamente novos lançamentos de modelos e variações de prompts com base nos mesmos parâmetros de referência.

À medida que a tradução passa de vídeos individuais para grandes bibliotecas de conteúdos, a Descript está a incorporar mais controlo na forma como as traduções são ajustadas, incluindo a capacidade de dar prioridade a uma fidelidade semântica mais rigorosa quando necessário.

A tradução no Descript é apenas uma camada de um sistema multimodal mais amplo. O texto traduzido alimenta a geração de voz que, por sua vez, aciona a sincronização labial e a renderização final do vídeo. 

As melhorias na camada de texto tornam possível um ritmo natural, mas a experiência global também depende da forma como o modelo de áudio preserva o tom, a cadência e as características não verbais da fala. É aí que a equipa vê a próxima fronteira. 

«Grande parte do que irá melhorar os resultados da tradução passa por tornar o pipeline mais multimodal: incorporar áudio, vídeo e texto em conjunto ao decidir como traduzir», disse Mistratov. «Isso deverá preservar melhor as características não verbais da fala, como o tom e a ênfase, e conservar ainda mais a forma de expressão original.»

Para a Descript, modelos de raciocínio mais fortes tornaram gerível a complexidade da dobragem. Ao ultrapassar o limiar em que os modelos conseguiam equilibrar de forma fiável os compromissos entre ritmo e significado, a tradução passou a ser algo que a equipa podia melhorar sistematicamente e implementar em larga escala.