Descript बड़े पैमाने पर कई भाषाओं में वीडियो डबिंग कैसे करता है
OpenAI रीज़निंग मॉडल्स के उपयोग से, Descript ने टाइमिंग या अर्थ खोए बिना बड़े कंटेंट लाइब्रेरीज़ का स्वचालित लोकलाइज़ेशन संभव किया.
नतीजे
43
OpenAI के साथ वीडियो की तय लंबाई से डबिंग के मेल में हुए सुधार का प्रतिशत
नतीजे
15%
रोलआउट के बाद डबिंग के एक्सपोर्ट्स में बढ़ोतरी
Descript(एक नई विंडो में खुलेगा) एक AI-नेटिव वीडियो एडिटर है, जो एक आसान सोच पर बना है. अगर आप टेक्स्ट एडिट कर सकते हैं, तो आप वीडियो भी उतनी ही आसानी से एडिट कर पाएँ. Descript के शुरुआती दिनों से ही, AI उसके हर काम का हिस्सा रहा है. इसमें ट्रांसक्रिप्शन, एडिटिंग, ऑडियो क्लीनअप और लगातार एडवांस होते क्रिएटिव वर्कफ़्लोज़ शामिल हैं. Descript कई सालों से OpenAI की टेक्नोलॉजी इस्तेमाल कर रहा है. ट्रांसक्रिप्शन के लिए Whisper और अपने Underlord को-एडिटर में GPT सीरीज़ के मॉडल्स का इस्तेमाल करता आया है.
जल्द ही ट्रांसलेशन ऐसा यूज़-केस बन गया, जिसका असर सबसे ज़्यादा दिखने लगा. पहले वीडियो ट्रांसलेशन करना धीमा और महँगा काम था. इसमें लैंग्वेज एक्सपर्ट्स की ज़रूरत पड़ती थी, जो प्रोजेक्ट संभालते थे, ट्रांसलेशन तैयार करते थे, क्वालिटी चेक करते थे और उससे जुड़ा ऑडियो भी बनाते थे. LLM ने इस पूरे वर्कफ़्लो को काफ़ी छोटा कर दिया. जिससे बड़े पैमाने पर अच्छी क्वालिटी का ट्रांसलेशन करना संभव हुआ है.
कैप्शन्स और डबिंग, दोनों में सही मतलब बनाए रखना ज़रूरी होता है. यानी ट्रांसलेशन से असली मतलब नहीं बदलना चाहिए. लेकिन वीडियो की तय लंबाई से मेल रखने की अहमियत दोनों में अलग होती है. कैप्शंस के मामले में यह हो जाए तो अच्छा है. लेकिन डबिंग के लिए यह बेहद ज़रूरी है. अगर ट्रांसलेट की गई आवाज़ बहुत लंबी या बहुत छोटी हो जाए, तो सही मतलब होने के बावजूद वह नेचुरल नहीं लगेगी.
इसी वजह से Descript ने OpenAI के रीज़निंग मॉडल्स का इस्तेमाल करके अपनी ट्रांसलेशन पाइपलाइन को फिर से डिज़ाइन किया. अब मॉडल ट्रांसलेशन बनाते समय ही सही मतलब और तय ड्यूरेशन, दोनों का ध्यान रखता है. बाद में उसे ठीक करने की ज़रूरत नहीं पड़ती. रोलआउट के पहले 30 दिनों में, डबिंग वाले ट्रांसलेटेड वीडियो के एक्सपोर्ट्स में 15% की बढ़ोतरी हुई. साथ ही, भाषा के हिसाब से डबिंग को वीडियो की तय लंबाई से मेल कराने में 13 से 43 प्रतिशत अंकों तक सुधार हुआ.
Descript की CEO लौरा बर्कहाउज़र ने कहा, "डबिंग, Descript का तेज़ी से लोकप्रिय होता यूज़-केस है. इसलिए हम ऐसे तरीके बना रहे हैं, जिनसे कंपनियाँ एक साथ बड़ी संख्या में वीडियो का ट्रांसलेशन और लिप-सिंक कर सकें."
ट्रांसलेशन, Descript के सबसे शुरुआती और सबसे ज़्यादा माँगे जाने वाले फ़ीचर्स में से एक था. शुरुआत में उन्होंने सिर्फ़ कैप्शन्स का ट्रांसलेशन दिया, जो अच्छी तरह काम करता था—लेकिन कई यूज़र्स चाहते थे कि वीडियो में बोली गई आवाज़ (डबिंग) भी दूसरी भाषा में सुनाई दे.
यहीं से एक दिक्कत बार-बार सामने आने लगी. डब किया गया ऑडियो हमेशा नेचुरल नहीं लगता था. Descript में AI प्रोडक्ट के प्रमुख अलेक्स मिस्त्रातोव ने कहा, "सबसे बड़ी शिकायत यही थी कि ट्रांसलेट की गई भाषा में बोलने की स्पीड नेचुरल नहीं लगती थी."
असल वजह यह थी कि अलग-अलग भाषाओं में एक ही बात कहने में अलग-अलग समय लगता है. उदाहरण के लिए, Descript ने देखा कि औसतन जर्मन, अंग्रेज़ी से ज़्यादा "लंबी" भाषा है. वीडियो के तय हिस्से में ऑडियो फिट करने के लिए, ट्रांसलेट की गई आवाज़ को कई बार ज़बरदस्ती तेज़ या धीमा करना पड़ता था. मिस्त्रातोव ने कहा, "आखिर में आवाज़ या तो कार्टून कैरेक्टर जैसी लगती थी, या बहुत सुस्त."
अंग्रेज़ी: | जर्मन: |
“Please review the safety guidelines before operating the machine.” सिलेबल्स: 18 | “Bitte überprüfen Sie die Sicherheitsrichtlinien, bevor Sie die Maschine bedienen.” सिलेबल्स: 24 (40% बढ़त) |
इस मामले में, जर्मन ऑडियो को या तो ज़बरदस्ती तेज़ चलाना पड़ता, या फिर तय समय के हिसाब से फ़िट करने के लिए ट्रांसलेशन को दोबारा लिखना पड़ता.
यूज़र्स के पास दो ही विकल्प बचते थे. या तो वे हर ऑडियो सेगमेंट का टाइम मैन्युअली एडजस्ट करें, या ट्रांसलेशन को दोबारा लिखें ताकि वह तय समय में फ़िट हो जाए. दोनों तरीकों में टाइमलाइन पर काफ़ी एडिटिंग करनी पड़ती थी. साथ ही, टारगेट भाषा पर लगभग नेटिव स्तर की पकड़ भी चाहिए होती थी. यह क्रिएटर्स के लिए समय लेने वाला काम था और बड़े एंटरप्राइज़ लोकलाइज़ेशन प्रोजेक्ट्स तक इस फ़ीचर को ले जाने में बड़ी रुकावट बन रहा था.
टीम को साफ़ पता था कि अच्छी डबिंग के लिए क्या करना होगा. सिस्टम को सिर्फ़ सही मतलब वाला ट्रांसलेशन नहीं करना था. उसे टाइमिंग की सीमाओं का भी ध्यान रखना था. उदाहरण के लिए, अंग्रेज़ी से जर्मन में ट्रांसलेट करते समय मॉडल को समझना होता कि कम शब्दों में या आसान तरीके से वही बात कैसे कही जाए, ताकि डब किया गया ऑडियो नेचुरल लगे.
पहले के तरीकों में पहले सही मतलब पर फ़ोकस किया जाता था और बाद में टाइमिंग ठीक करने की कोशिश होती थी. ऐसे ट्रांसलेशन मतलब के हिसाब से सही होते थे, लेकिन अक्सर तय ड्यूरेशन में फिट नहीं बैठते थे. इसलिए कुल मिलाकर क्वालिटी उतनी अच्छी नहीं होती थी.
मिस्त्रातोव ने कहा, "हमने छोटे-छोटे टेस्ट किए. हमने मॉडल से नया कंटेंट भी नहीं बनवाया. सिर्फ़ उससे पूछा कि टेक्स्ट के एक हिस्से में कितने सिलेबल्स हैं." उन्होंने कहा, "पहले के मॉडल्स यह काम अच्छी तरह नहीं कर पाते थे."
भरोसेमंद तरीके से सिलेबल की गिनती करना सबसे ज़रूरी हिस्सा था. अगर मॉडल हर बार सही सिलेबल नहीं गिन पाता, तो वह किसी तय ड्यूरेशन का लगातार सही तरीके से खयाल नहीं रख सकता था.
GPT‑5 सीरीज़ के मॉडल्स ने रीज़निंग में वह स्थिरता दी, जो पहले के मॉडल्स में नहीं थी. खासकर सिलेबल गिनने और कई शर्तों का एक साथ ध्यान रखने जैसे कामों में. इसी सुधार के बाद Descript ने अपनी ट्रांसलेशन और डबिंग पाइपलाइन को फिर से डिज़ाइन किया.
सबसे पहले, Descript का सिस्टम ट्रांसक्रिप्ट को छोटे-छोटे हिस्सों में बाँटता है. इसके लिए वह वाक्यों की सीमा, बोलते समय आने वाले सामान्य ठहराव और बोलने के पैटर्न का ध्यान रखता है. हर हिस्सा अपने पूरे मतलब को बनाए रखता है, लेकिन इतना छोटा होता है कि उसे टाइमिंग की एक अलग यूनिट की तरह प्रोसेस किया जा सके.
इसके बाद मॉडल उस हिस्से में मौजूद सिलेबल्स की गिनती करता है. हर भाषा में बोलने की औसत स्पीड के आधार पर सिस्टम यह अनुमान लगाता है कि ट्रांसलेट किए गए हिस्से में कितने सिलेबल होने चाहिए, ताकि बोलने की स्पीड (ड्यूरेशन अडहियरंस) नेचुरल रहे और डबिंग वीडियो की तय लंबाई से मेल खाए. इसके बाद मॉडल को ऐसा प्रॉम्प्ट दिया जाता है, जिसमें उसे एक साथ दो बातों पर फ़ोकस करना होता है. वीडियो की तय लंबाई से डबिंग का मेल बनाए रखना और मूल मतलब को भी बरकरार रखना. मॉडल को आगे और पीछे के हिस्से भी कॉन्टेक्स्ट के तौर पर दिए जाते हैं, ताकि पूरे वीडियो में मतलब एक जैसा बना रहे.
टीम ने अलग-अलग सेटअप्स को परखा, ताकि वीडियो की तय लंबाई से डबिंग का मेल, सही मतलब, लेटेंसी और लागत के बीच सही संतुलन मिल सके. आखिर में चुना गया सेटअप, प्रोडक्शन स्पीड पर भी नियमों का अच्छी तरह पालन करता था. इससे मैन्युअली टाइम को एडजस्ट किए बिना बड़ी संख्या में ट्रांसलेशन करना संभव हो गया. नतीजा यह रहा कि इस नई ट्रांसलेशन पाइपलाइन में बोलने की स्पीड को बाद में ठीक करने वाली चीज़ नहीं, बल्कि शुरुआत से ही एक अहम हिस्सा माना गया.
इवैल्यूएशन के लिए स्वीकार किए जाने वाले स्टैंडर्ड तय करने के मकसद से टीम ने कई लिसनिंग टेस्ट किए. उन्होंने ट्रांसलेटेड ऑडियो सैंपल तैयार किए और उनकी प्लेबैक स्पीड को थोड़ा-थोड़ा बदलते हुए यूज़र्स से पूछा कि किस बिंदु पर आवाज़ नेचुरल लगनी बंद हो जाती है.
मिस्त्रातोव ने कहा, "अगर स्पीड 10% तक धीमी या 20% तक तेज़ की जाए, तो ज़्यादातर मामलों में आवाज़ फिर भी नेचुरल लगती थी." इस सीमा से आगे जाने पर आवाज़ काफ़ी बिगड़ने लगती थी.
पहले के सिस्टम इस पैमाने पर अच्छा प्रदर्शन नहीं कर पाते थे. भाषा के आधार पर, सिर्फ़ 40% से 60% सेगमेंट ही स्पीड की स्वीकार की गई सीमा के अंदर आते थे. नई पाइपलाइन के बाद यह आँकड़ा 40%–60% से बढ़कर भाषा के हिसाब से 73% से 83% के बीच पहुँच गया.
टीम ने सही मतलब बनाए रखने की भी अलग से जाँच की. इसके लिए एक दूसरे मॉडल को जज की तरह इस्तेमाल किया गया, जिसने 1 से 5 के स्केल पर रेटिंग दी. इसमें 1 का मतलब था "पूरी तरह अलग" और 5 का मतलब था "पूरी तरह समान". डबिंग के लिए टीम ने कैप्शन-ओनली ट्रांसलेशन की तुलना में सही मतलब की थोड़ी कम सख्त सीमा स्वीकार की, क्योंकि वहाँ वीडियो की तय लंबाई से मेल रखने की ज़रूरत नहीं होती. इसके बावजूद, 85.5% सेगमेंट्स को सही मतलब बनाए रखने के लिए 5 में से 4 या 5 की रेटिंग मिली.
इस तरह टीम ऐसा सिस्टम बनाने में सफल रही, जो दो अहम बातों—वीडियो की टाइमिंग और सही मतलब—के बीच भरोसेमंद संतुलन बना सके. और क्योंकि दोनों मेट्रिक्स अपने-आप मापे जाते हैं, Descript अब नए मॉडल्स और अलग-अलग प्रॉम्प्ट्स को लगातार उसी बेंचमार्क पर परख सकता है.
जैसे-जैसे ट्रांसलेशन एक वीडियो से बढ़कर बड़ी कंटेंट लाइब्रेरी तक पहुँच रहा है, Descript अपने सिस्टम में और ज़्यादा कंट्रोल जोड़ रहा है. इसमें ज़रूरत पड़ने पर सही मतलब को ज़्यादा प्राथमिकता देने का विकल्प भी शामिल है.
Descript में ट्रांसलेशन, एक बड़े मल्टीमॉडल सिस्टम की सिर्फ़ एक लेयर है. ट्रांसलेट किया गया टेक्स्ट पहले स्पीच जेनरेशन में जाता है. उसके बाद उसी के आधार पर लिप-सिंक और आखिर में वीडियो रेंडरिंग होती है.
टेक्स्ट लेयर में हुए सुधारों से बोलने की सामान्य स्पीड बनाए रखना आसान हो जाता है. लेकिन पूरा अनुभव इस बात पर भी निर्भर करता है कि ऑडियो मॉडल आवाज़ की टोन, बोलने का अंदाज़ और बिना शब्दों के व्यक्त होने वाले भाव कितनी अच्छी तरह बरकरार रखता है. टीम का मानना है कि अगला अत्याधुनिक सुधार इसी दिशा में होगा.
मिस्त्रातोव ने कहा, "ट्रांसलेशन को और बेहतर बनाने का बड़ा हिस्सा यह है कि पूरी पाइपलाइन को और ज़्यादा मल्टीमॉडल बनाया जाए. यानी ट्रांसलेशन तय करते समय ऑडियो, वीडियो और टेक्स्ट तीनों को साथ में देखा जाए." उन्होंने कहा, "इससे आवाज़ की टोन, ज़ोर देने का तरीका और बिना शब्दों के दिखने वाले भाव बेहतर तरीके से बने रहेंगे. साथ ही, बोलने का वही अंदाज़ भी पहले से ज़्यादा बना रहेगा.
Descript के लिए, बेहतर रीज़निंग मॉडल्स ने डबिंग जैसी जटिल चुनौती को काफ़ी आसान बना दिया. जब मॉडल्स बोलने की स्पीड और सही मतलब के बीच भरोसेमंद संतुलन बनाने लगे, तब ट्रांसलेशन ऐसा काम बन गया जिसे टीम लगातार बेहतर कर सकती है और बड़े पैमाने पर लागू भी कर सकती है.
