Descript が多言語動画の吹き替えを大規模に実現する方法

Descript⁠（新しいウィンドウで開く）は、「テキストを編集できるなら、動画も編集できるはず」というシンプルな発想に基づいて設計された AI ネイティブの動画編集ツールです。Descript の立ち上げ当初から、文字起こし、編集、音声のクリーンアップ、さらに高度化するクリエイティブワークフローに至るまで、AI が製品のあらゆる側面を支えてきました。同社は長年にわたり OpenAI を基盤に製品開発を進め、文字起こしには Whisper を、AI 編集アシスタントである Underlord には GPT シリーズのモデルを組み込んでいます。

翻訳はすぐに、大きな効果をもたらすユースケースとして注目されるようになりました。従来、動画の翻訳には時間とコストがかかり、言語の専門家がプロジェクトの管理、型どおりの翻訳の作成、品質管理、訳文に対応する音声の生成を担う必要がありました。LLM はこのワークフローを大幅に効率化し、高品質な翻訳を大規模に実現します。

字幕と吹き替えのどちらにも、意味の忠実性が求められます。つまり、翻訳では原文の意味を保つ必要があります。ただし、音声の長さを所定の尺に合わせることの重要性は、それぞれで異なります。字幕では、表示時間に合わせることは必須ではありませんが、できれば望ましいものです。一方、吹き替えでは音声尺への適合が極めて重要です。翻訳後の音声が長すぎたり短すぎたりすると、意味が正しくても不自然に聞こえてしまうためです。

これに対処するため、Descript は OpenAI のリーズニングモデルを活用して翻訳パイプラインを再設計し、生成後に調整するのではなく、生成時点で意味の正確性と音声尺への適合性を最適化しました。ロールアウト後の最初の 30 日間で、吹き替え付き翻訳動画のエクスポート数は 15% 増加し、音声尺への適合率は言語によって 13〜43 パーセントポイント改善しました。

「吹き替えは Descript でますます人気の高いユースケースになっています。そのため、コンテンツライブラリ全体を翻訳してリップシンクしたい企業向けに、一括処理できる仕組みを開発しています」と、CEO の Laura Burkhauser 氏は述べました。

翻訳は、Descript の初期から特に要望の多かった機能の一つです。当初は字幕のみの翻訳から始めました。これはうまく機能しましたが、多くのユーザーはさらに一歩進んで、翻訳先の言語による音声、つまり吹き替えも求めていました。

しかし、ある問題が繰り返し浮上していました。吹き替え音声が必ずしも自然に聞こえるとは限らない、という点です。「寄せられた不満で最も多かったのは、おそらく翻訳先の言語で発話のテンポが不自然になることでした」と、Descript の AI プロダクト責任者である Aleks Mistratov 氏は述べました。

問題は、言語によって同じ考えを表現するのにかかる時間が異なるという点にありました。たとえば Descript は、同じ内容を表現する場合、ドイツ語は平均すると英語よりも発話時間が長くなることを確認しました。決められた長さの動画セグメントに収めるため、翻訳後の音声を不自然に速めたり遅くしたりしなければならないことがよくありました。「その結果、シマリスのような声や、眠そうな巨人のような声になってしまいます」と、Mistratov 氏は説明しました。

ユーザーに残された選択肢は2つでした。音声のタイミングをセグメントごとに手作業で調整するか、所定の尺に収まるよう翻訳そのものを書き直すかです。どちらの方法でもタイムラインを大幅に編集する必要があり、多くの場合、対象言語をネイティブに近いレベルで使いこなす能力も求められました。これはクリエイターにとって手間のかかる作業であり、この機能を大企業の大規模なローカリゼーションプロジェクトに展開するうえでの障害となっていました。

チームには、吹き替えをうまく機能させるために何が必要かについて、明確な見立てがありました。システムは、意味の正確さだけでなく、時間的な制約も考慮して最適化する必要がありました。たとえば英語からドイツ語に翻訳する場合、吹き替え音声が自然に聞こえるよう、モデルは語数を減らしたり、内容を簡潔に言い換えたりする方法を理解する必要がありました。

従来のアプローチでは、まず意味の忠実性を優先して最適化し、その後でタイミングを修正しようとしていました。翻訳の意味は正確でも、音声尺の制約を満たせないことが多く、全体的な品質もまだ十分ではありませんでした。

「私たちは段階的なテストを実施しました。何も生成させず、テキストの一部に含まれる音節数をモデルに出力させただけです」と Mistratov 氏は述べました。「従来のモデルは、こうした処理が得意ではありませんでした」

音節数を安定して数えられることが、極めて重要だと分かりました。モデルが音節数を一貫して算出できなければ、所定の音声尺に確実に合わせることはできません。

GPT‑5 シリーズのモデルは、特に音節数のカウントや制約の追跡といったタスクで、従来のモデルにはなかった一貫した推論能力を実現しました。その改善により、Descript は翻訳および吹き替えのパイプラインを再設計しました。

まず、Descript のシステムは、元の録音における文の切れ目、自然な間、話し方のパターンに基づいて、文字起こしをチャンクに分割します。各チャンクは意味のつながりを維持しつつ、タイミングの単位としてモデルが扱える程度の長さに分割されます。

次に、モデルが各チャンクの音節数を計算します。言語ごとの発話速度の想定に基づき、システムは自然なペースを保つために、翻訳後のチャンクが目標とすべき音節数を推定します（「音声尺への適合」）。プロンプトでは、音声尺への適合と意味の保持を両立するようモデルに求めます。前後のチャンクもコンテキストとして渡されるため、モデルはセグメントをまたいで意味の一貫性を維持できます。

チームは、音声尺への適合、意味の忠実性、レイテンシ、コストのバランスを取るため、複数の構成を評価しました。採用された構成は、本番環境で求められる速度を維持しながら高い制約遵守能力を発揮し、手作業でタイミングを再調整することなく、大量の翻訳処理を可能にしました。その結果、ペースを事後的に修正するのではなく、最初から重要な変数として扱う翻訳パイプラインが実現しました。

評価（evals）の許容基準を策定するため、チームは聴取テストを実施しました。翻訳音声のサンプルを生成し、再生速度を少しずつ調整しながら、どの時点で音声が不自然に聞こえるようになるかをユーザーに評価してもらいました。

「10%遅くした音声も、20%速くした音声も、概ね自然に聞こえました」と、Mistratov 氏は述べました。この範囲を超えると、音声の歪みが大きくなりすぎました。

その基準で見ると、従来のシステムの性能は低いものでした。言語によって異なりますが、自然に聞こえる速度の許容範囲に収まったセグメントは、わずか40%〜60%でした。パイプラインの再設計により、その割合は言語に応じて40%〜60%から73%〜83%に上昇しました。

チームはさらに、モデルを判定者として用いた別の評価を実施し、1（「まったく異なる」）から5（「意味的に同等」）までの尺度で、意味の忠実性を評価しました。吹き替えでは、尺の制約がない字幕のみの翻訳と比べて、意味の忠実性に関する許容基準を低く設定することにしました。そのトレードオフがあるにもかかわらず、セグメントの85.5%は、意味的忠実性について5段階評価で4または5と評価されました。

その結果、タイミングと意味という相反する2つの制約を両立させ、そのバランスを定量的に検証できるシステムが実現しました。また、両方の指標による評価が自動化されているため、Descript は新たにリリースされたモデルやプロンプトのバリエーションを、同じベンチマークに照らして継続的に評価できます。

翻訳対象が単一の動画から大規模なコンテンツライブラリへと広がる中、Descript は、必要に応じて意味の忠実性をより重視できるようにするなど、翻訳の調整方法をより細かく制御できる仕組みを構築しています。

Descript 内の翻訳は、より広範なマルチモーダルシステムを構成する一つのレイヤーにすぎません。翻訳されたテキストは音声生成に送られ、生成された音声をもとにリップシンクと最終的な動画レンダリングが行われます。

テキスト層の改善によって自然な話すペースを実現できますが、全体としての品質は、音声モデルが声のトーンやリズム、発話に含まれる非言語的な特徴をどの程度適切に維持できるかにも左右されます。チームは、そこが次に取り組むべき領域だと考えています。

「翻訳結果の改善に大きく貢献するのは、パイプラインをよりマルチモーダルにし、どのように翻訳するかを判断する際に、音声、動画、テキストをまとめて取り込むことです」と、Mistratov 氏は述べました。「それにより、声のトーンや強調といった発話の非言語的な特徴をより適切に保ち、元の話し方をさらに忠実に再現できるはずです」

Descript は、より強力なリーズニングモデルによって、複雑な吹き替え処理を扱えるようになりました。モデルが話すペースと意味の間のトレードオフを安定して調整できる水準に達したことで、翻訳は、チームが体系的に改善し、大規模に展開できるものになりました。