كيف تُهندس Descript دبلجة الفيديو متعددة اللغات على نطاق واسع

Descript⁠(يفتح في نافذة جديدة) هو محرر فيديو قائم على الذكاء الاصطناعي بُني حول فكرة بسيطة: إذا كان بإمكانك تحرير النصوص، فينبغي أن تتمكن من تحرير الفيديو. منذ الأيام الأولى لـ Descript، كان الذكاء الاصطناعي يدعم كل جانب من جوانب المنتج: النسخ، والتحرير، وتنقية الصوت، وسير العمل الإبداعية المتزايدة التعقيد. لقد اعتمدوا على OpenAI لسنوات، مستخدمين Whisper للنسخ ونماذج سلسلة GPT داخل محررهم المشارك Underlord. 

سرعان ما برزت الترجمة كحالة استخدام ذات تأثير عالٍ. تقليديًا، كانت ترجمة مقاطع الفيديو بطيئة ومكلفة، إذ كانت تتطلب خبراء لغويين لإدارة المشاريع، وإنتاج ترجمات رتيبة، وتولّي ضبط الجودة، وإنشاء الصوت المقابل. وتختصر النماذج اللغوية الكبيرة سير العمل هذا بدرجة كبيرة، مما يجعل الترجمة عالية الجودة على نطاق واسع ممكنة.

تتطلب كلٌّ من الترجمات المصاحبة والدبلجة أمانةً دلالية: إذ يجب أن تحافظ الترجمة على المعنى الأصلي. لكن الالتزام بالمدة يؤدي دورًا مختلفًا في كل منها. وبالنسبة إلى التسميات التوضيحية، يُعدّ ذلك ميزة إضافية مفيدة. في الدبلجة، يُعد ذلك أمرًا بالغ الأهمية، لأنه إذا طال الكلام المترجم أكثر من اللازم أو قصر أكثر من اللازم، فسيبدو غير طبيعي حتى لو كان المعنى صحيحًا.

لمعالجة ذلك، أعادت Descript تصميم مسار معالجة الترجمة لديها باستخدام نماذج الاستدلال من OpenAI لتحسين الأمانة الدلالية والالتزام بالمدة أثناء التوليد، وليس بعده. خلال أول 30 يومًا بعد الطرح، زادت عمليات تصدير مقاطع الفيديو المترجمة والمدبلجة بنسبة 15%، وتحسّن الالتزام بالمدة بمقدار يتراوح بين 13 و43 نقطة مئوية، حسب اللغة.

قالت لورا بوركهاوزر، الرئيسة التنفيذية: "تُعدّ الدبلجة حالة استخدام تزداد شعبيتها في Descript، لذلك نعمل على تطوير طرق لتنفيذها على دفعات للشركات التي ترغب في ترجمة مكتبات كاملة ومزامنتها مع حركة الشفاه".

كانت الترجمة من أوائل الميزات التي قدّمتها Descript وأكثرها طلبًا. حيث بدأوا بترجمة تقتصر على التسميات التوضيحية، وقد نجح ذلك جيدًا، لكن كثيرًا من المستخدمين أرادوا الانتقال إلى أبعد من ذلك والحصول على صوت منطوق (دبلجة) باللغة المستهدفة.

ومع ذلك، ظلّت مشكلة واحدة تطفو على السطح: لم يكن الصوت المدبلج يبدو طبيعيًا دائمًا. يقول أليكس ميستراتوف، رئيس منتجات الذكاء الاصطناعي في Descript: "ربما كانت الشكوى الأولى التي سمعناها هي أن وتيرة الكلام كانت غير طبيعية في اللغة المترجم إليها."

تمثّلت المشكلة في أن اللغات المختلفة تستغرق مددًا زمنية مختلفة للتعبير عن الفكرة نفسها. لاحظت Descript، على سبيل المثال، أن الألمانية في المتوسط لغة "أطول" من الإنجليزية. لكي يتناسب الكلام المترجم مع مقاطع فيديو ثابتة المدة، كان غالبًا ما يتعين تسريعه أو إبطاؤه اصطناعيًا. ويوضح ميستراتوف "ستنتهي إلى شيء يشبه صوت السناجب الصغيرة، أو عملاق نعسان".

لم يتبقَّ أمام المستخدمين سوى خيارين: إعادة ضبط توقيت الصوت يدويًا مقطعًا تلو الآخر، أو إعادة صياغة الترجمة نفسها لتتلاءم. كان كلا النهجين يتطلب تعديلات معمّقة على الخط الزمني، وغالبًا طلاقة تقارب مستوى الناطقين الأصليين في اللغة المستهدفة. كان ذلك شاقًا على منشئي المحتوى، وأصبح عائقًا أمام توسيع نطاق الميزة لتشمل مشاريع التوطين المؤسسية الكبيرة.

كان لدى الفريق تصور واضح لما يلزم لإنجاح الدبلجة. سيحتاج النظام إلى تحسين المعنى الدلالي فحسب، وأيضًا إلى مراعاة قيود التوقيت. وعند الترجمة من الإنجليزية إلى الألمانية، على سبيل المثال، سيحتاج النموذج إلى فهم كيفية استخدام عدد أقل من الكلمات أو تبسيط المفهوم، بحيث يظل الصوت المدبلج طبيعيًا.

كانت الطرق السابقة تعطي الأولوية للدقة الدلالية أولًا، ثم تحاول تصحيح التوقيت لاحقًا. فقد كانت الترجمات غالبًا صحيحة من الناحية الدلالية، لكنها كانت تخفق بانتظام في الالتزام بقيود المدة، ولم تكن الجودة الإجمالية جيدة بما يكفي بعد. 

يقول ميستراتوف: "أجرينا اختبارات تدريجية، من دون حتى توليد أي شيء، بل اكتفينا بأن نطلب من النموذج إخراج عدد المقاطع الصوتية في مقطع من النص. ببساطة، لم تكن النماذج السابقة بارعة في ذلك."

تبيّن أن عدّ المقاطع الصوتية بشكل موثوق بالغ الأهمية. إذا لم يتمكن النموذج من حساب المقاطع الصوتية باستمرار، فلن يتمكن من استهداف نطاق زمني محدد بشكل موثوق.

قدّمت نماذج سلسلة GPT‑5 مستوى من اتساق الاستدلال افتقرت إليه النماذج السابقة، خاصةً في مهام مثل عدّ المقاطع الصوتية وتتبّع القيود. وبفضل هذا التحسين، أعادت Descript تصميم مسار عمل الترجمة والدبلجة لديها.

أولًا، يقسّم نظام Descript النص المُفرَّغ إلى مقاطع، مسترشدًا بحدود الجمل والوقفات الطبيعية وأنماط الكلام في التسجيل الأصلي. ويحافظ كل مقطع على الاستمرارية الدلالية، لكنه صغير بما يكفي لتحليله بوصفه وحدة توقيت.

بعد ذلك، يحسب النموذج عدد المقاطع الصوتية في الجزء. وباستخدام افتراضات معدل الكلام الخاصة بكل لغة، يقدّر النظام عدد المقاطع الصوتية التي يجب أن يستهدفها المقطع المترجم للحفاظ على وتيرة طبيعية ("الالتزام بالمدة"). تطلب المطالبة من النموذج تحسين كلٍّ من الالتزام بالمدة والحفاظ على المعنى. وتُمرَّر الأجزاء المحيطة كسياق حتى يحافظ النموذج على الاتساق الدلالي عبر المقاطع.

قيّم الفريق تكوينات متعددة للموازنة بين الالتزام بالمدة الزمنية، والدقة الدلالية، وزمن الاستجابة، والتكلفة. وقدّم الإعداد المحدد اتباعًا قويًا للقيود بسرعة الإنتاج، مما أتاح ترجمة بحجم عالٍ دون الحاجة إلى إعادة ضبط التوقيت يدويًا. والنتيجة هي مسار عمل للترجمة تُعامَل فيه الوتيرة باعتبارها متغيرًا من الدرجة الأولى، بدلًا من كونها شيئًا يُصحَّح بعد وقوع الأمر.

لتطوير معايير القبول للتقييمات، أجرى الفريق اختبارات استماع: أنشأوا عينات صوتية مترجمة وعدّلوا سرعة التشغيل بزيادات صغيرة، وطلبوا من المستخدمين تقييم اللحظة التي يصبح فيها الكلام غير طبيعي. 

يقول ميستراتوف "أي شيء أُبطئ بنسبة 10%، أو سُرِّع بنسبة 20%، كان لا يزال يبدو طبيعيًا عمومًا". وخارج هذا النطاق، أصبح الكلام مشوّهًا للغاية. 

كان أداء الأنظمة السابقة ضعيفًا وفقًا لذلك المقياس. وحسب اللغة، وقع ما بين 40٪ و60٪ فقط من المقاطع ضمن النطاق المقبول للوتيرة. مع مسار المعالجة المُعاد تصميمه، ارتفعت تلك النسبة من 40%–60% إلى ما بين 73% و83%، بحسب اللغة.

قيّم الفريق أيضًا الأمانة الدلالية باستخدام تقييم منفصل يعتمد على نموذج بوصفه حكمًا، على مقياس يتراوح من 1 ("مختلف تمامًا") إلى 5 ("مكافئ دلاليًا").  بالنسبة إلى الدبلجة، قرروا قبول عتبة دلالية أدنى مقارنة بالترجمة المقتصرة على التسميات التوضيحية، حيث لا تكون قيود المدة الزمنية ذات صلة. وحتى مع تلك المفاضلة، حصلت 85.5% من المقاطع على تقييم أربعة أو خمسة من أصل خمسة في الالتزام الدلالي.

كانت النتيجة نظامًا قادرًا على الموازنة بين قيدين متنافسين—التوقيت والمعنى—بدرجة ثقة قابلة للقياس. وبما أن المقياسين كليهما كانا مؤتمَتَين، تستطيع Descript تقييم إصدارات النماذج الجديدة وتنويعات المطالبات باستمرار وفق المعايير المرجعية نفسها.

مع انتقال الترجمة من مقاطع فيديو منفردة إلى مكتبات محتوى كبيرة، تعمل Descript على إضافة مزيد من التحكم في طريقة ضبط الترجمات، بما في ذلك إمكانية إعطاء الأولوية لأمانة دلالية أكثر صرامة عند الحاجة.

الترجمة داخل Descript ليست سوى طبقة واحدة من نظام متعدد الوسائط أوسع نطاقًا. يُستخدم النص المترجم في توليد الصوت، الذي يُستخدم بدوره لمزامنة حركة الشفاه وإخراج الفيديو النهائي. 

تتيح التحسينات على طبقة النص تحقيق وتيرة طبيعية، لكن التجربة الكلية تعتمد أيضًا على مدى محافظة نموذج الصوت على النبرة والإيقاع والخصائص غير اللفظية للكلام. وهنا يرى الفريق آفاق المرحلة المقبلة من الابتكار. 

يقول ميستراتوف: "إن جزءًا كبيرًا مما سيُحسّن مخرجات الترجمة يتمثل في جعل مسار المعالجة أكثر تعددًا للوسائط: أي دمج الصوت والفيديو والنص معًا عند تحديد كيفية الترجمة. ومن شأن ذلك أن يحافظ بشكل أفضل على السمات غير اللفظية للكلام، مثل نبرة الصوت والتوكيد، وأن يصون قدرًا أكبر من طريقة الإلقاء الأصلية."

بالنسبة إلى Descript، جعلت نماذج الاستدلال الأقوى تعقيد الدبلجة قابلاً للإدارة. وبعد تجاوز العتبة التي باتت عندها النماذج قادرةً بشكل موثوق على الموازنة بين المفاضلات المتعلقة بالإيقاع والمعنى، أصبحت الترجمة أمرًا يمكن للفريق تحسينه منهجيًا ونشره على نطاق واسع.