Descript, çok dilli video dublajını nasıl ölçekli hale getiriyor?

Descript⁠(yeni bir pencerede açılır), basit bir fikir üzerine kurulu yapay zeka odaklı bir video düzenleyicidir: Metni düzenleyebiliyorsanız videoyu da düzenleyebilmelisiniz. Descript'in ilk günlerinden bu yana yapay zeka, ürünün her alanında kullanılıyor: transkripsiyon, düzenleme, ses temizleme ve giderek daha karmaşık hale gelen yaratıcı iş akışları. Descript, yıllardır OpenAI üzerine geliştirme yapıyor; transkripsiyon için Whisper'ı, ortak düzenleyicisi Underlord içinde ise GPT serisi modelleri kullanıyor.

Çeviri, kısa sürede yüksek etkili bir kullanım alanı olarak öne çıktı. Geleneksel olarak video çevirisi yavaş ve maliyetliydi. Dil uzmanlarının projeleri yönetmesini, mekanik çeviriler üretmesini, kalite kontrolü yapmasını ve buna karşılık gelen sesi oluşturmasını gerektiriyordu. Büyük dil modelleri (LLM) bu iş akışını önemli ölçüde kısaltarak yüksek kaliteli çevirinin ölçekli şekilde yapılmasını mümkün kılıyor.

Altyazı ve dublajın ikisi de anlamsal doğruluk gerektirir: Çeviri, özgün anlamı korumalıdır. Ancak süreye uyum, her ikisinde farklı bir rol oynar. Altyazı için bu, olması iyi olan bir özelliktir. Dublajda ise kritiktir. Çünkü çevrilen konuşma çok uzun ya da çok kısa sürerse, anlam doğru olsa bile doğal duyulmaz.

Descript, bunu çözmek için çeviri hattını OpenAI akıl yürütme modelleriyle yeniden tasarladı. Amaç, anlamsal doğruluğu ve süreye uyumu sonradan değil, üretim sırasında optimize etmekti. Kullanıma sunulduktan sonraki ilk 30 günde, dublajlı çevrilmiş video dışa aktarımları %15 arttı; süreye uyum ise dile bağlı olarak yüzde 13 ila 43 puan iyileşti.

"Dublaj, Descript için giderek daha popüler bir kullanım alanı haline geliyor. Bu yüzden, tüm içerik arşivlerini çevirip dudak senkronizasyonu eklemek isteyen şirketler için bunu toplu şekilde yapmanın yollarını geliştiriyoruz," dedi CEO Laura Burkhauser.

Çeviri, Descript'in en eski ve en çok talep edilen özelliklerinden biriydi. Önce yalnızca altyazı çevirisiyle başladılar. Bu iyi çalışıyordu, ancak birçok kullanıcı daha ileri giderek hedef dilde sesli dublaj da oluşturmak istiyordu.

Ancak bir sorun sürekli gündeme geliyordu: Dublajlı ses her zaman doğal duyulmuyordu. "En sık duyduğumuz şikayet muhtemelen şuydu: Çevrilen dilde konuşmanın temposu doğal gelmiyordu," dedi Descript Yapay Zeka Ürünleri Başkanı Aleks Mistratov.

Sorunun temelinde, farklı dillerin aynı fikri ifade etmek için farklı süreler gerektirmesi vardı. Descript, örneğin Almanca'nın İngilizce'ye göre ortalama olarak "daha uzun" bir dil olduğunu gözlemledi. Sabit video bölümlerine sığması için çevrilmiş konuşmanın çoğu zaman yapay şekilde hızlandırılması veya yavaşlatılması gerekiyordu. Mistratov bunu, "Sonunda sincap gibi ya da uykulu bir dev gibi duyulan bir şey ortaya çıkıyordu," diye açıkladı.

Kullanıcıların önünde iki seçenek kalıyordu: Sesi parça parça elle yeniden zamanlamak veya çevirinin kendisini süreye uyacak şekilde yeniden yazmak. Her iki yaklaşım da zaman çizelgesinde kapsamlı düzenlemeler ve çoğu zaman hedef dile ana dile yakın hakimiyet gerektiriyordu. Bu süreç, içerik üreticiler için zahmetliydi ve özelliğin büyük kurumsal yerelleştirme projelerine ölçeklenmesinin önünde engel oluşturuyordu.

Ekibin, dublajın işe yaraması için ne gerektiğine dair net bir yaklaşımı vardı. Sistemin yalnızca anlamsal doğruluğu optimize etmesi yetmezdi; zamanlama kısıtlarını da dikkate alması gerekiyordu. Örneğin, İngilizce'den Almanca'ya çeviri yaparken modelin daha az kelime kullanmayı veya kavramı sadeleştirmeyi bilmesi gerekiyordu. Böylece dublajlı ses doğal kalabilirdi.

Önceki yaklaşımlar önce anlamsal doğruluğu optimize ediyor, zamanlamayı ise sonradan düzeltmeye çalışıyordu. Çeviriler çoğu zaman anlam açısından doğruydu; ancak düzenli olarak süre kısıtlarını kaçırıyor ve genel kalite yine de yeterli seviyeye ulaşmıyordu.

"Kademeli testler yaptık; modelden herhangi bir şey üretmesini bile istemedik, yalnızca bir metin parçasındaki hece sayısını vermesini istedik," dedi Mistratov. "Önceki modeller bu konuda yeterince iyi değildi."

Güvenilir hece sayımı kritik hale geldi. Model, hece sayısını tutarlı şekilde hesaplayamıyorsa belirli bir süre aralığını da güvenilir biçimde hedefleyemiyordu.

GPT‑5 serisi modeller, özellikle hece sayımı ve kısıt takibi gibi görevlerde önceki modellerde eksik olan bir akıl yürütme tutarlılığı sağladı. Bu iyileştirmeyle Descript, çeviri ve dublaj hattını yeniden tasarladı.

Önce Descript'in sistemi, orijinal kayıttaki cümle sınırlarını, doğal duraklamaları ve konuşma örüntülerini dikkate alarak konuşmanın yazılı dökümünü parçalara ayırır. Her parça anlamsal bütünlüğünü korur, ancak süre birimi olarak değerlendirilebilecek kadar küçüktür.

Ardından model, her parçadaki hece sayısını hesaplar. Sistem, dile özgü konuşma hızı varsayımlarını kullanarak doğal akışı korumak için çevrilmiş parçanın kaç hece hedeflemesi gerektiğini tahmin eder ("süreye uyum"). Prompt, modelden hem süreye uyumu hem de anlamın korunmasını optimize etmesini ister. Çevredeki parçalar da bağlam olarak verilir; böylece model, bölümler arasında anlamsal tutarlılığı korur.

Ekip; süreye uyum, anlamsal doğruluk, gecikme ve maliyet dengesini kurmak için birden fazla yapılandırmayı değerlendirdi. Seçilen kurulum, üretim hızında güçlü kısıt takibi sağladı ve manuel zamanlama düzeltmesine gerek kalmadan yüksek hacimli çeviriyi mümkün kıldı. Sonuçta, konuşma temposunu sonradan düzeltilecek bir unsur olarak değil, baştan itibaren temel bir değişken olarak ele alan bir çeviri hattı elde edildi.

Ekip, değerlendirmeler için kabul kriterlerini belirlemek amacıyla dinleme testleri yürüttü: Çevrilmiş ses örnekleri oluşturdu, oynatma hızını küçük adımlarla değiştirdi ve kullanıcılardan konuşmanın ne zaman doğal olmaktan çıktığını değerlendirmelerini istedi.

"Genel olarak %10 yavaşlatılan veya %20 hızlandırılan konuşmalar halen doğal duyuluyordu," dedi Mistratov. Bu aralığın ötesinde konuşma fazla bozuluyordu.

Önceki sistemler bu ölçüte göre zayıf performans gösteriyordu. Dile bağlı olarak, parçaların yalnızca %40 ila %60'ı kabul edilebilir tempo aralığında kalıyordu. Yeniden tasarlanan hatla birlikte bu oran, dile bağlı olarak %40-%60 seviyesinden %73-%83 aralığına yükseldi.

Ekip ayrıca anlamsal doğruluğu, 1 ("tamamen farklı") ila 5 ("anlamsal olarak eşdeğer") arasında ayrı bir hakem model puanlamasıyla değerlendirdi.Dublaj için, süre kısıtlarının önemli olmadığı yalnızca altyazı çevirisine kıyasla daha düşük bir anlamsal doğruluk eşiği kabul etmeye karar verdiler. Bu ödüne rağmen, parçaların %85,5'i anlamsal uyum açısından 5 üzerinden 4 veya 5 puan aldı.

Sonuçta, birbiriyle rekabet eden iki kısıtı, yani zamanlama ve anlamı, ölçülebilir bir güven düzeyiyle dengeleyebilen bir sistem ortaya çıktı. Her iki ölçüt de otomatikleştirildiği için Descript, yeni model sürümlerini ve prompt varyasyonlarını aynı kıyaslamalara göre sürekli değerlendirebiliyor.

Çeviri tekil videolardan büyük içerik arşivlerine doğru ilerledikçe Descript, çevirilerin nasıl ayarlanacağı konusunda daha fazla kontrol geliştiriyor. Buna, gerektiğinde daha sıkı anlamsal doğruluğa öncelik verme olanağı da dahil.

Descript içindeki çeviri, daha geniş bir çok modlu sistemin yalnızca bir katmanıdır. Çevrilen metin, konuşma üretimine aktarılır; bu da dudak senkronizasyonunu ve nihai video oluşturmayı yönlendirir.

Metin katmanındaki iyileştirmeler doğal tempoyu mümkün kılar. Ancak genel deneyim, ses modelinin konuşmadaki tonu, ritmi ve sözel olmayan özellikleri ne kadar iyi koruduğuna da bağlıdır. Ekip bir sonraki sınırı burada görüyor.

"Çeviri çıktısını iyileştirecek en önemli şeylerden biri, hattı daha çok modlu hale getirmek: neyin nasıl çevrileceğine karar verirken ses, video ve metni birlikte kullanmak," dedi Mistratov. "Bu yaklaşımın; tonlama ve vurgu gibi konuşmanın sözel olmayan özelliklerini daha iyi koruması ve özgün ifade biçimini daha fazla muhafaza etmesi bekleniyor."

Descript için daha güçlü akıl yürütme modelleri, dublajdaki karmaşıklığı yönetilebilir hale getirdi. Modellerin tempo ve anlam arasındaki ödünleri güvenilir şekilde dengeleyebildiği eşiğin aşılmasıyla çeviri, ekibin sistematik olarak iyileştirebildiği ve büyük ölçekte devreye alabildiği bir sürece dönüştü.