Descript چگونه دوبلهٔ انبوه ویدیوها به چند زبان را امکان‌پذیر کرد

Descript⁠(در یک پنجره جدید باز می‌شود) ویرایشگر ویدیویی است که از پایه بر اساس هوش مصنوعی و با یک ایدهٔ ساده طراحی شده است: ویرایش ویدیو باید به آسانی ویرایش متن باشد. از همان روزهای آغازین Descript، هوش مصنوعی نیروی محرک همهٔ قابلیت‌های این محصول بوده است: از(ترنسکریپشن) ترانوشت، ویرایش و پاک‌سازی صدا گرفته تا فرایندهای خلاقانه‌ای که روزبه‌روز پیچیده‌تر می‌شوند. آن‌ها سال‌هاست محصولاتشان را با فناوری‌های OpenAI توسعه می‌دهند و از Whisper برای (ترنسکریپشن) ترانوشت و از مدل‌های خانوادهٔ GPT در دستیار ویرایششان، Underlord، استفاده می‌کنند.

ترجمه به‌سرعت به‌عنوان یک مورد کاربری با تأثیر بالا ظاهر شد. به‌طور سنتی، ترجمهٔ ویدئو فرایندی زمان‌بر و پرهزینه بوده است؛ زیرا نیاز داشت متخصصان زبان پروژه را مدیریت کنند، ترجمه‌های مستقیم تهیه کنند، کنترل کیفیت انجام دهند و صدای متناظر را تولید کنند. LLMs (مدل‌های زبانی بزرگ) آن گردش‌کار را به‌طور چشمگیری فشرده می‌کنند و ترجمه با کیفیت بالا را در مقیاس ممکن می‌سازند.

زیرنویس و دوبله هر دو باید به معنای متن اصلی وفادار باشند؛ ترجمه باید مفهوم متن مبدأ را حفظ کند. اما هماهنگی با مدت‌زمان تعیین‌شده، در زیرنویس و دوبله کارکرد متفاوتی دارد. در زیرنویس، هماهنگی با مدت‌زمان تعیین‌شده مطلوب است، اما ضروری نیست. در دوبله، رعایت مدت‌زمان اهمیت حیاتی دارد؛ چون طولانی یا کوتاه شدن بیش از حد گفتار ترجمه‌شده، حتی با وجود انتقال درست معنا، غیرطبیعی به گوش می‌رسد.

برای حل این مشکل، Descript فرایند ترجمهٔ خود را با استفاده از مدل‌های استدلالی OpenAI از نو طراحی کرد تا از همان مرحلهٔ تولید، هم دقت معنایی ترجمه حفظ شود و هم مدت‌زمان آن با نسخهٔ اصلی هماهنگ بماند، نه اینکه این موارد بعداً اصلاح شوند. در ۳۰ روز نخست پس از عرضه، میزان خروجی‌گرفتن از ویدئوهای ترجمه‌شده با دوبله ۱۵٪ افزایش یافت و رعایت مدت‌زمان بسته به زبان، ۱۳ تا ۴۳ واحد درصد بهبود پیدا کرد.

Laura Burkhauser، مدیر عامل، گفت: «دوبله به یک مورد استفاده هرچه محبوب‌تر برای Descript تبدیل شده است، بنابراین ما در حال ساخت راه‌هایی هستیم تا شرکت‌هایی که می‌خواهند کل کتابخانه‌ها را ترجمه و لب‌خوانی کنند، بتوانند این کار را به‌صورت دسته‌ای انجام دهند.»

ترجمه یکی از اولین و پرتقاضاترین ویژگی‌های Descript بود. آن‌ها با ترجمه فقط زیرنویس شروع کردند که خوب جواب داد—اما بسیاری از کاربران می‌خواستند یک قدم جلوتر بروند و صوت گفتاری (دوبله) را هم به زبان مقصد داشته باشند.

با این حال، یک مشکل مدام سر برمی‌آورد: صدای دوبله‌شده همیشه درست به گوش نمی‌رسید. Aleks Mistratov، رئیس محصول هوش مصنوعی در Descript گفت: «احتمالاً مهم‌ترین شکایتی که می‌شنیدیم این بود که سرعت گفتار در زبان ترجمه‌شده غیرطبیعی بود.»

مشکل در نهایت به این واقعیت برمی‌گشت که زبان‌های مختلف برای بیان یک ایده یکسان به زمان‌های متفاوتی نیاز دارند. مثلاً Descript مشاهده کرد که به طور میانگین زبان آلمانی نسبت به انگلیسی زبانی «طولانی‌تر» است. برای جا شدن در بخش‌های ثابت ویدئو، گفتار ترجمه‌شده اغلب مجبور بود به‌طور مصنوعی سریع‌تر یا کندتر شود. Mistratov شرح داد: «در نهایت چیزی از آب درمی‌آمد که شبیه صدای سنجاب‌ها بود، یا یک غول خواب‌آلود».

کاربران در نهایت با دو گزینه روبه‌رو می‌شدند: یا صدا را بخش‌به‌بخش به‌صورت دستی دوباره زمان‌بندی کنند، یا خودِ ترجمه را بازنویسی کنند تا با زمان ویدئو هماهنگ شود. هر دو روش نیازمند ویرایش‌های عمیق در خط زمانی بودند و اغلب نیز به تسلطی نزدیک به زبان مادری در زبان مقصد نیاز داشتند. این کار برای سازندگان خسته‌کننده بود و به مانعی برای مقیاس‌پذیر کردن این ویژگی در پروژه‌های بزرگ بومی‌سازی سازمانی تبدیل شد.

تیم دیدگاه روشنی داشت دربارهٔ اینکه برای عملی و مؤثر شدن دوبله چه چیزهایی لازم است. این سیستم باید نه‌تنها برای معنای مفهومی بهینه‌سازی کند، بلکه از محدودیت‌های زمانی نیز آگاه باشد. مثلاً هنگام ترجمه از انگلیسی به آلمانی، مدل باید درک کند که چگونه از کلمات کمتری استفاده کند یا مفهوم را ساده‌تر کند تا صدای دوبله‌شده طبیعی باقی بماند.

رویکردهای پیشین ابتدا وفاداری معنایی را بهینه می‌کردند و سپس تلاش می‌کردند زمان‌بندی را اصلاح کنند. ترجمه‌ها اغلب از نظر معنایی درست بودند، اما به‌طور معمول محدودیت‌های مدت‌زمان را رعایت نمی‌کردند و کیفیت کلی همچنان به اندازه کافی خوب نبود. 

Mistratov گفت: «ما آزمایش‌های تدریجی انجام دادیم؛ حتی چیزی هم تولید نمی‌کردیم، فقط از مدل می‌خواستیم تعداد هجاهای یک بخش از متن را اعلام کند». «مدل‌های قبلی اساساً در انجام این کار چندان خوب نبودند.»

مشخص شد که شمارش قابل اعتماد هجاها حیاتی است. اگر مدل نمی‌توانست به‌طور پیوسته هجاها را محاسبه کند، نمی‌توانست به‌طور قابل‌اعتماد یک بازهٔ زمانی مشخص را درنظر بگیرد.

مدل‌های سری GPT‑5 سطحی از ثبات در استدلال را فراهم کردند که در مدل‌های قبلی وجود نداشت، به‌ویژه در کارهایی مانند شمارش هجاها و دنبال کردن محدودیت‌ها. با این پیشرفت، Descript فرایند ترجمه و دوبلهٔ خود را از نو طراحی کرد.

ابتدا، سیستم Descript متن پیاده‌شدهٔ گفتار را به بخش‌های کوچک‌تر تقسیم می‌کند؛ این کار بر اساس مرزهای جمله، مکث‌های طبیعی و الگوهای گفتاری موجود در ضبط اصلی انجام می‌شود. هر بخش پیوستگی معنایی خود را حفظ می‌کند، اما در عین حال آن‌قدر کوچک است که بتوان آن را به‌عنوان یک واحد زمانی تحلیل و مدیریت کرد.

از آنجا، مدل تعداد هجاها را در بخش محاسبه می‌کند. سیستم با استفاده از فرض‌هایی دربارهٔ سرعت گفتار در هر زبان، برآورد می‌کند که بخش ترجمه‌شده باید تقریباً چند هجا داشته باشد تا ریتم طبیعی گفتار حفظ شود («هماهنگی با مدت‌زمان»). در این دستور از مدل خواسته می‌شود که هم هماهنگی با مدت‌زمان را رعایت کند و هم معنای اصلی را حفظ کند. بخش‌های اطراف نیز به‌عنوان بافت متنی در اختیار مدل قرار داده می‌شوند تا پیوستگی معنایی میان بخش‌های مختلف حفظ شود.

تیم چندین پیکربندی را ارزیابی کرد تا میان پایبندی به مدت‌زمان، وفاداری معنایی، تأخیر و هزینه توازن برقرار کند. پیکربندی انتخاب‌شده توانست با سرعتی مناسب برای محیط تولید، محدودیت‌ها را به‌خوبی رعایت کند و ترجمه در حجم بالا را بدون نیاز به تنظیم مجدد زمان‌بندی به‌صورت دستی ممکن سازد. در نتیجه، یک فرایند ترجمه شکل گرفت که در آن ریتم و زمان‌بندی از همان ابتدا به‌عنوان یک عامل اصلی در نظر گرفته می‌شود، نه چیزی که بعداً اصلاح شود.

برای تعیین معیارهای پذیرش در ارزیابی‌ها، تیم آزمایش‌های شنیداری انجام داد: آن‌ها نمونه‌های صوتی ترجمه‌شده تولید کردند و سرعت پخش را در گام‌های کوچک تغییر دادند و از کاربران خواستند مشخص کنند در چه نقطه‌ای گفتار غیرطبیعی به نظر می‌رسد. 

Mistratov گفت: «هر چیزی که حدود ۱۰٪ آهسته‌تر یا تا ۲۰٪ سریع‌تر پخش می‌شد، معمولاً هنوز طبیعی به نظر می‌رسید». فراتر از این محدوده، گفتار بیش از حد دچار اعوجاج می‌شد. 

سیستم‌های پیشین بر اساس آن معیار عملکرد ضعیفی داشتند. بسته به زبان، فقط ۴۰٪ تا ۶۰٪ از بخش‌ها در بازه زمانی قابل‌قبولِ سرعت گفتار قرار می‌گرفتند. با بازطراحی این فرایند، این میزان از ۴۰٪ تا ۶۰٪ به حدود ۷۳٪ تا ۸۳٪ افزایش یافت، که بسته به زبان متفاوت است.

تیم همچنین میزان وفاداری معنایی را با استفاده از یک مدلِ داورِ جداگانه ارزیابی کرد؛ این ارزیابی در مقیاسی از ۱ («کاملاً متفاوت») تا ۵ («از نظر معنایی معادل») انجام شد. برای دوبله، آن‌ها تصمیم گرفتند آستانهٔ پایین‌تری برای دقت معنایی در نظر بگیرند؛ زیرا در ترجمه‌ای که فقط برای زیرنویس است، محدودیت‌های زمانی اهمیتی ندارند. حتی با در نظر گرفتن این موازنه، ۸۵٫۵٪ از بخش‌ها از نظر پایبندی معنایی امتیاز ۴ یا ۵ از ۵ را دریافت کردند.

نتیجه، سیستمی بود که می‌توانست دو محدودیتِ به‌ظاهر متعارض—زمان‌بندی و معنا—را با اطمینان قابل اندازه‌گیری متعادل کند. و از آنجا که هر دو معیار به‌صورت خودکار اندازه‌گیری می‌شوند، Descript می‌تواند نسخه‌های جدید مدل‌ها و تغییرات در دستورها را به‌طور مداوم بر اساس همان معیارهای سنجش ارزیابی کند.

با گسترش ترجمه از ویدئوهای تکی به مجموعه‌های بزرگ محتوا، Descript در حال افزودن کنترل‌های بیشتری برای تنظیم ترجمه‌هاست؛ از جمله این امکان که در صورت نیاز، اولویت بیشتری به دقت و وفاداری معنایی داده شود.

ترجمه در Descript فقط یک لایه از یک سیستم چندوجهی گسترده‌تر است. متنِ ترجمه‌شده وارد مرحلهٔ تولید گفتار می‌شود و سپس از آن برای هماهنگ‌سازی حرکت لب‌ها و در نهایت رندر نهایی ویدئو استفاده می‌شود. 

بهبودها در لایهٔ متن امکان حفظ ریتم طبیعی گفتار را فراهم می‌کنند، اما تجربهٔ کلی همچنین به این بستگی دارد که مدل صوتی تا چه اندازه بتواند لحن، آهنگ گفتار و ویژگی‌های غیرکلامی صدا را حفظ کند. اینجاست که تیم افق بعدی پیشرفت را می‌بیند. 

Mistratov گفت: «بخش عمده‌ای از بهبود خروجی ترجمه در گرو چندوجهی‌تر کردن فرایند است؛ یعنی هنگام تصمیم‌گیری دربارهٔ نحوهٔ ترجمه، صدا، ویدیو و متن را هم‌زمان در نظر بگیریم.» این کار باید به حفظ بهتر ویژگی‌های غیرکلامی گفتار، مانند لحن و تأکید، و بازآفرینی دقیق‌تر شیوهٔ بیان گوینده در نسخهٔ اصلی کمک کند.

برای Descript، مدل‌های استدلال قوی‌تر پیچیدگی دوبله را قابل مدیریت کردند. با عبور از نقطه‌ای که در آن مدل‌ها می‌توانند به‌طور قابل‌اعتماد میان ریتم گفتار و حفظ معنا تعادل برقرار کنند، ترجمه به فرایندی تبدیل شد که تیم می‌تواند آن را به‌صورت نظام‌مند بهبود دهد و در مقیاس گسترده به کار بگیرد.