Cara Descript merekayasa dubbing video multibahasa skala besar

Descript⁠(terbuka di jendela baru) adalah editor video berbasis AI yang dibangun berdasarkan ide sederhana: jika Anda dapat mengedit teks, Anda seharusnya dapat mengedit video. Sejak masa-masa awal Descript, AI telah menjadi penggerak di setiap aspek produk: transkripsi, pengeditan, pembersihan audio, dan alur kerja kreatif yang semakin kompleks. Mereka telah membangun solusi berbasis teknologi OpenAI selama bertahun-tahun, menggunakan Whisper untuk transkripsi dan model seri GPT di dalam co-editor mereka, Underlord. 

Penerjemahan dengan cepat muncul sebagai kasus penggunaan yang berdampak tinggi. Biasanya, penerjemahan video berlangsung lambat dan mahal, karena membutuhkan pakar bahasa untuk mengelola proyek, menghasilkan terjemahan rutin, menangani kontrol kualitas, dan membuat audio yang sesuai. Model LLM secara drastis mempersingkat alur kerja tersebut, sehingga memungkinkan penerjemahan berkualitas tinggi dalam skala besar.

Takarir dan sulih suara sama-sama memerlukan kesetiaan semantik: terjemahan harus mempertahankan makna aslinya. Namun, kepatuhan terhadap durasi memainkan peran yang berbeda pada masing-masing hal. Untuk takarir, ini merupakan nilai tambah. Untuk sulih suara, hal ini sangat penting, karena jika tuturan hasil terjemahan terlalu panjang atau terlalu pendek, hasilnya akan terdengar tidak alami meskipun maknanya sudah benar.

Untuk mengatasi hal ini, Descript merancang ulang alur penerjemahannya menggunakan model penalaran OpenAI untuk mengoptimalkan kesetiaan semantik dan kesesuaian durasi selama proses pembuatan, bukan setelahnya. Dalam 30 hari pertama setelah peluncuran, ekspor video terjemahan dengan sulih suara meningkat 15%, dan kesesuaian durasi meningkat sebesar 13 hingga 43 poin persentase, bergantung pada bahasanya.

“Sulih suara adalah kasus penggunaan yang semakin populer untuk Descript, jadi kami sedang membangun cara untuk melakukannya secara massal bagi perusahaan yang ingin menerjemahkan dan melakukan sinkronisasi bibir untuk seluruh pustaka konten,” kata Laura Burkhauser, CEO.

Terjemahan merupakan salah satu fitur Descript yang paling awal hadir dan paling banyak diminta. Mereka memulai dengan terjemahan teks saja, yang berjalan dengan baik—tetapi banyak pengguna ingin melangkah lebih jauh dan memiliki audio suara (sulih suara) dalam bahasa target.

Namun, ada satu masalah yang terus muncul: audio sulih suara tidak selalu terdengar pas. “Kemungkinan besar, keluhan utama yang kami dengar adalah bahwa tempo bicara terdengar tidak alami dalam bahasa hasil terjemahan,” kata Aleks Mistratov, Kepala Produk AI di Descript.

Masalahnya bermuara pada fakta bahwa bahasa yang berbeda membutuhkan durasi yang berbeda untuk mengungkapkan gagasan yang sama. Misalnya, Descript mencatat bahwa secara rata-rata bahasa Jerman adalah bahasa yang “lebih panjang” daripada bahasa Inggris. Agar pas dengan segmen video yang durasinya tetap, tuturan hasil terjemahan sering kali harus dipercepat atau diperlambat secara artifisial. “Hasil akhirnya akan terdengar seperti tupai, atau raksasa mengantuk,” jelas Mistratov.

Pengguna hanya memiliki dua opsi: menyesuaikan ulang pengaturan waktu audio secara manual segmen demi segmen, atau menulis ulang terjemahan itu sendiri agar sesuai. Kedua pendekatan tersebut membutuhkan pengeditan linimasa secara mendalam dan, sering kali, kefasihan dalam bahasa target yang nyaris setara penutur asli. Hal ini merepotkan bagi kreator, dan menjadi penghambat untuk meningkatkan skala fitur tersebut ke proyek pelokalan enterprise berskala besar.

Tim ini memiliki teori yang jelas tentang apa yang diperlukan agar sulih suara berhasil. Sistemnya tidak hanya perlu mengoptimalkan makna semantik, tetapi juga memperhatikan batasan waktu. Saat menerjemahkan dari bahasa Inggris ke bahasa Jerman, misalnya, model perlu memahami cara menggunakan lebih sedikit kata atau menyederhanakan konsepnya, agar audio sulih suara tetap terdengar alami.

Pendekatan sebelumnya terlebih dahulu mengoptimalkan kesetiaan semantik dan mencoba memperbaiki penggunaan waktu setelahnya. Terjemahannya sering kali benar secara semantik, tetapi kerap tidak memenuhi batasan durasi, dan kualitas keseluruhannya masih belum cukup baik. 

“Kami menjalankan pengujian bertahap, bahkan tidak menghasilkan apa pun, hanya meminta model untuk mengeluarkan jumlah suku kata dalam sebuah potongan teks,” kata Mistratov. “Model-model sebelumnya memang tidak begitu baik dalam hal itu.”

Penghitungan suku kata yang andal ternyata sangat penting. Jika model tidak dapat menghitung suku kata secara konsisten, model tersebut tidak dapat secara andal menargetkan rentang durasi tertentu.

Model seri GPT‑5 menghadirkan tingkat konsistensi penalaran yang tidak dimiliki model sebelumnya, terutama pada tugas seperti penghitungan suku kata dan pelacakan batasan. Dengan peningkatan tersebut, Descript merancang ulang alur kerja penerjemahan dan sulih suaranya.

Pertama, sistem Descript memecah transkrip menjadi beberapa potongan, dengan mengacu pada batas kalimat, jeda alami, dan pola bicara dalam rekaman asli. Setiap potongan mempertahankan kesinambungan semantik, tetapi cukup kecil untuk dianalisis sebagai unit penggunaan waktu.

Dari situ, model menghitung jumlah suku kata dalam potongan tersebut. Dengan menggunakan asumsi laju bicara khusus bahasa, sistem memperkirakan jumlah suku kata yang sebaiknya menjadi target untuk potongan terjemahan agar tempo alami tetap terjaga (“kesesuaian durasi”). Prompt meminta model untuk mengoptimalkan kepatuhan terhadap durasi sekaligus preservasi makna. Potongan di sekitarnya diteruskan sebagai konteks agar model mempertahankan koherensi semantik di seluruh segmen.

Tim mengevaluasi berbagai konfigurasi untuk menyeimbangkan kepatuhan terhadap durasi, kesetiaan semantik, latensi, dan biaya. Konfigurasi yang dipilih menghasilkan kepatuhan yang kuat terhadap batasan pada kecepatan produksi, sehingga memungkinkan terjemahan bervolume tinggi tanpa penyesuaian ulang waktu secara manual. Hasilnya adalah alur kerja penerjemahan di mana ritme diperlakukan sebagai variabel utama, bukan sesuatu yang dikoreksi belakangan.

Untuk mengembangkan kriteria penerimaan bagi evaluasi, tim menjalankan uji mendengarkan: mereka membuat sampel audio terjemahan dan menyesuaikan kecepatan pemutaran dalam kenaikan kecil, lalu meminta pengguna menilai kapan tuturan mulai terdengar tidak alami. 

“Apa pun yang diperlambat sebesar 10%, atau dipercepat sebesar 20%, umumnya masih terdengar alami,” kata Mistratov. Di luar rentang ini, ucapan menjadi terlalu terdistorsi. 

Sistem-sistem sebelumnya berkinerja buruk berdasarkan tolok ukur tersebut. Tergantung pada bahasanya, hanya 40% hingga 60% segmen yang berada dalam rentang tempo yang dapat diterima. Dengan alur yang didesain ulang, angka tersebut meningkat dari 40%–60% menjadi antara 73% dan 83%, bergantung pada bahasanya.

Tim ini juga mengevaluasi kesetiaan semantik menggunakan penilaian model-sebagai-juri terpisah pada skala dari 1 (“sama sekali berbeda”) hingga 5 (“setara secara semantik”).  Untuk sulih suara, mereka memutuskan untuk menerima ambang semantik yang lebih rendah dibandingkan terjemahan khusus takarir, di mana batasan durasi tidak relevan. Bahkan dengan kompromi tersebut, 85,5% segmen dinilai empat atau lima dari lima dalam hal kesesuaian semantik.

Hasilnya adalah sebuah sistem yang dapat menyeimbangkan dua kendala yang saling bertentangan—penggunaan waktu dan makna—dengan tingkat keyakinan yang terukur. Dan karena kedua metrik tersebut diotomatisasi, Descript dapat terus mengevaluasi rilis model baru dan variasi prompt terhadap tolok ukur yang sama.

Seiring penerjemahan berkembang dari video tunggal ke pustaka konten berskala besar, Descript membangun lebih banyak kontrol atas cara terjemahan disesuaikan, termasuk kemampuan untuk memprioritaskan kesetiaan semantik yang lebih ketat bila diperlukan.

Terjemahan di dalam Descript hanyalah satu lapisan dari sistem multimodal yang lebih luas. Teks terjemahan dimasukkan ke dalam pembuatan ucapan, yang kemudian menjadi dasar untuk sinkronisasi bibir dan rendering video akhir. 

Peningkatan pada lapisan teks memungkinkan tempo yang alami, tetapi pengalaman secara keseluruhan juga bergantung pada seberapa baik model audio mempertahankan nada, irama, dan karakteristik nonverbal ujaran. Di situlah tim melihat ranah terdepan berikutnya. 

“Banyak hal yang akan meningkatkan keluaran terjemahan adalah dengan membuat alurnya menjadi lebih multimodal: menggabungkan audio, video, dan teks secara bersama-sama saat menentukan cara menerjemahkan,” kata Mistratov. “Itu seharusnya dapat menjaga karakteristik nonverbal dalam tuturan dengan lebih baik, seperti nada dan penekanan, serta mempertahankan lebih banyak lagi penyampaian aslinya.”

Bagi Descript, model penalaran yang lebih kuat membuat kompleksitas sulih suara menjadi dapat ditangani. Dengan melampaui ambang di mana model dapat secara andal menyeimbangkan kompromi antara ritme dan makna, penerjemahan menjadi sesuatu yang dapat ditingkatkan secara sistematis oleh tim dan diterapkan dalam skala besar.