Come Descript progetta il doppiaggio multilingue su larga scala

Descript⁠(si apre in una nuova finestra) è un editor video basato nativamente sull'IA, costruito attorno a un'idea semplice: se puoi modificare un testo, dovresti poter modificare anche un video. Fin dagli esordi di Descript, l’IA è stata alla base di ogni aspetto del prodotto: trascrizione, editing, pulizia dell’audio e flussi di lavoro creativi sempre più complessi. Da anni sviluppano su OpenAI, utilizzando Whisper per la trascrizione e i modelli della serie GPT all’interno del loro co-editor Underlord. 

La traduzione si è rapidamente affermata come caso d’uso ad alto impatto. Tradizionalmente, tradurre video è stato lento e costoso e ha richiesto esperti linguistici per gestire i progetti, produrre traduzioni automatiche, occuparsi del controllo qualità e generare l’audio corrispondente. Gli LLM riducono drasticamente quel flusso di lavoro, rendendo possibile la traduzione di alta qualità su larga scala.

Sottotitoli e doppiaggio richiedono entrambi fedeltà semantica: la traduzione deve preservare il significato originale. Tuttavia, il rispetto della durata svolge un ruolo diverso in ciascuno di essi. Per i sottotitoli, è utile ma non indispensabile. Nel doppiaggio è fondamentale, perché se il parlato tradotto risulta troppo lungo o troppo breve, sembrerà innaturale anche se il significato è corretto.

Per affrontare questo problema, Descript ha riprogettato la propria pipeline di traduzione utilizzando modelli di ragionamento OpenAI per ottimizzare la fedeltà semantica e il rispetto della durata durante la generazione, non in una fase successiva. Nei primi 30 giorni dopo il lancio, le esportazioni di video tradotti con doppiaggio sono aumentate del 15% e il rispetto della durata è migliorato da 13 a 43 punti percentuali, a seconda della lingua.

"Il doppiaggio è un caso d’uso sempre più popolare per Descript, quindi stiamo sviluppando modi per farlo in blocco per le aziende che vogliono tradurre e sincronizzare il labiale di intere raccolte", ha dichiarato Laura Burkhauser, CEO.

La traduzione è stata una delle prime funzionalità di Descript e una delle più richieste. Hanno iniziato con la traduzione dei soli sottotitoli, che funzionava bene, ma molti utenti volevano andare oltre e avere l’audio parlato (doppiaggio) nella lingua di destinazione.

Tuttavia, continuava a emergere un problema: l’audio doppiato non suonava sempre naturale. “Probabilmente la lamentela più frequente che abbiamo ricevuto era che il ritmo del parlato risultava innaturale nella lingua tradotta,” ha dichiarato Aleks Mistratov, responsabile del prodotto IA presso Descript.

Il problema era dovuto al fatto che lingue diverse richiedono tempi diversi per esprimere la stessa idea. Descript ha osservato, ad esempio, che in media il tedesco è una lingua "più lunga" dell’inglese. Per rientrare in segmenti video di durata prestabilita, il parlato tradotto doveva spesso essere accelerato o rallentato artificialmente. "Finiresti per ottenere qualcosa che suonerebbe come dei tamia, o un gigante assonnato", ha spiegato Mistratov.

Agli utenti restavano due opzioni: ricalibrare manualmente la temporizzazione dell’audio segmento per segmento, oppure riscrivere la traduzione stessa per farla rientrare. Entrambi gli approcci richiedevano interventi approfonditi sulla timeline e, spesso, una padronanza quasi da madrelingua della lingua di destinazione. Era un’attività tediosa per gli autori ed è diventata un ostacolo all’estensione della funzionalità a grandi progetti di localizzazione per grandi aziende.

Il team aveva una teoria chiara su ciò che sarebbe servito per far funzionare il doppiaggio. Il sistema dovrebbe non solo ottimizzare in funzione del significato semantico, ma anche tenere conto dei vincoli temporali. Quando si traduce dall’inglese al tedesco, ad esempio, il modello dovrebbe capire come usare meno parole o semplificare il concetto, in modo che l’audio doppiato rimanga naturale.

Gli approcci precedenti ottimizzavano innanzitutto la fedeltà semantica e tentavano di correggere la temporizzazione in seguito. Le traduzioni erano spesso corrette dal punto di vista semantico, ma non rispettavano regolarmente i vincoli di durata e la qualità complessiva non era ancora sufficiente. 

"Abbiamo eseguito test incrementali, senza nemmeno generare nulla, chiedendo semplicemente al modello di restituire il numero di sillabe in un segmento di testo", ha detto Mistratov. "I modelli precedenti semplicemente non erano in grado di farlo bene."

Il conteggio affidabile delle sillabe si è rivelato fondamentale. Se il modello non riusciva a calcolare le sillabe in modo coerente, non poteva puntare in modo affidabile a uno specifico intervallo di durata.

I modelli della serie GPT‑5 hanno introdotto un livello di coerenza del ragionamento di cui i modelli precedenti erano privi, soprattutto in attività come il conteggio delle sillabe e il monitoraggio dei vincoli. Grazie a questo miglioramento, Descript ha riprogettato la sua pipeline di traduzione e doppiaggio.

Innanzitutto, il sistema di Descript suddivide la trascrizione in segmenti, basandosi sui limiti delle frasi, sulle pause naturali e sui modelli di parlato presenti nella registrazione originale. Ogni segmento mantiene la continuità semantica, ma è abbastanza piccolo da poter essere analizzato come unità temporale.

Da lì, il modello calcola il numero di sillabe nel segmento. Utilizzando ipotesi sulla velocità di parlato specifiche della lingua, il sistema stima il numero di sillabe a cui il segmento tradotto dovrebbe puntare per preservare un ritmo naturale (“aderenza alla durata”). Il prompt chiede al modello di ottimizzare sia l'aderenza alla durata sia la preservazione del significato. I blocchi circostanti vengono passati come contesto affinché il modello mantenga la coerenza semantica tra i segmenti.

Il team ha valutato più configurazioni per bilanciare aderenza alla durata, fedeltà semantica, latenza e costo. La configurazione selezionata ha garantito una solida aderenza ai vincoli alla velocità di produzione, consentendo la traduzione ad alto volume senza risincronizzazione manuale. Il risultato è una pipeline di traduzione in cui il ritmo viene trattato come una variabile di prima classe, anziché come qualcosa da correggere a posteriori.

Per sviluppare i criteri di accettazione per le valutazioni, il team ha condotto test di ascolto: ha generato campioni audio tradotti e regolato la velocità di riproduzione a piccoli incrementi, chiedendo agli utenti di indicare quando il parlato diventava innaturale. 

"Tutto ciò che veniva rallentato del 10% o accelerato del 20%, in genere risultava comunque naturale", ha detto Mistratov. Oltre questo intervallo, il parlato diventava troppo distorto. 

I sistemi precedenti ottenevano risultati scarsi secondo quella metrica. A seconda della lingua, solo una percentuale compresa tra il 40% e il 60% dei segmenti rientrava nell'intervallo di ritmo accettabile. Con la pipeline riprogettata, quel valore è aumentato, passando dal 40%–60% a un valore compreso tra il 73% e l’83%, a seconda della lingua.

Il team ha inoltre valutato la fedeltà semantica tramite una valutazione separata da parte di un modello-giudice su una scala da 1 (“completamente diverso”) a 5 (“semanticamente equivalente”).  Per il doppiaggio, hanno deciso di accettare una soglia semantica più bassa rispetto alla traduzione solo con sottotitoli, in cui i vincoli di durata sono irrilevanti. Anche con questo compromesso, l'85,5% dei segmenti è stato valutato con un punteggio di quattro o cinque su cinque in termini di aderenza semantica.

Il risultato è stato un sistema in grado di bilanciare due vincoli contrapposti, tempi e significato, con una fiducia misurabile. E poiché entrambe le metriche erano automatizzate, Descript è in grado di valutare continuamente le nuove versioni del modello e le variazioni dei prompt rispetto agli stessi benchmark.

Man mano che la traduzione si sposta dai singoli video a grandi librerie di contenuti, Descript sta implementando un maggiore controllo su come vengono regolate le traduzioni, inclusa la possibilità di dare priorità a una fedeltà semantica più rigorosa quando necessario.

La traduzione all’interno di Descript è solo uno dei livelli di un sistema multimodale più ampio. Il testo tradotto viene inviato al processo di generazione vocale, che a sua volta gestisce la sincronizzazione labiale e il rendering video finale. 

I miglioramenti a livello testuale rendono possibile un ritmo naturale, ma l’esperienza complessiva dipende anche dalla capacità del modello audio di preservare tono, cadenza e caratteristiche non verbali del parlato. È lì che il team intravede la prossima frontiera. 

"Gran parte di ciò che migliorerà l’output della traduzione consiste nel rendere la pipeline più multimodale: integrare audio, video e testo insieme nel decidere come tradurre", ha detto Mistratov. “Questo dovrebbe mantenere meglio le caratteristiche non verbali del parlato, come il tono e l’enfasi, e preservare ancora di più la resa originale.”

Per Descript, modelli di ragionamento più potenti hanno reso gestibile la complessità del doppiaggio. Una volta superata la soglia oltre la quale i modelli potevano bilanciare in modo affidabile i compromessi tra ritmo e significato, la traduzione è diventata qualcosa che il team poteva migliorare sistematicamente e distribuire su larga scala.