Wie Descript mehrsprachige Videosynchronisation skaliert

Descript⁠(wird in einem neuen Fenster geöffnet) ist ein KI-nativer Video-Editor, der auf einer einfachen Idee basiert: Wer Text bearbeiten kann, sollte auch Videos bearbeiten können. Seit den Anfängen von Descript treibt KI jeden Aspekt des Produkts an: Transkription, Bearbeitung, Audiobereinigung und zunehmend komplexe kreative Workflows. Sie bauen seit Jahren auf OpenAI auf und nutzen Whisper für Transkriptionen sowie Modelle der GPT‑Reihe in ihrem Co-Editor Underlord. 

Übersetzung etablierte sich schnell als Anwendungsfall mit hoher Wirkung. Traditionell war es langsam und kostspielig, Videos zu übersetzen, da Sprachexpert:innen Projekte verwalten, manuelle Übersetzungen erstellen, die Qualitätskontrolle übernehmen und entsprechende Audiospuren generieren mussten. LLMs verkürzen diesen Workflow drastisch und ermöglichen so hochwertige Übersetzungen in großem Maßstab.

Sowohl Untertitel als auch Synchronisation erfordern semantische Treue: Die Übersetzung muss die ursprüngliche Bedeutung bewahren. Doch die Einhaltung der Dauer spielt in beiden eine unterschiedliche Rolle. Bei Untertiteln ist sie wünschenswert, aber nicht zwingend erforderlich. Für die Synchronisation ist das entscheidend, denn wenn die übersetzte Sprechfassung zu lang oder zu kurz ist, klingt sie unnatürlich, selbst wenn die Bedeutung korrekt ist.

Um dieses Problem anzugehen, gestaltete Descript seine Übersetzungspipeline unter Einsatz von Reasoning-Modellen von OpenAI neu, um bereits während der Generierung – und nicht erst im Nachhinein – auf semantische Treue und die Einhaltung der Dauer zu optimieren. In den ersten 30 Tagen nach dem Rollout stiegen die Exporte übersetzter Videos mit Synchronisation um 15 %, und die Einhaltung der Dauer verbesserte sich je nach Sprache um 13 bis 43 Prozentpunkte.

„Synchronisation ist ein immer beliebterer Anwendungsfall für Descript. Deshalb entwickeln wir Möglichkeiten, sie für Unternehmen, die ganze Bibliotheken übersetzen und lippensynchronisieren möchten, im Batch durchzuführen“, so Laura Burkhauser, CEO.

Die Übersetzung war eine der frühesten und meistgefragten Funktionen von Descript. Sie begannen mit einer reinen Untertitelübersetzung, die gut funktionierte – doch viele Nutzer:innen wollten noch einen Schritt weiter gehen und eine gesprochene Audiospur (Synchronisation) in der Zielsprache haben.

Doch ein Problem tauchte immer wieder auf: synchronisierte Audiospuren klangen nicht immer richtig. „Die wohl häufigste Beschwerde, die wir gehört haben, war, dass das Sprechtempo in der übersetzten Sprache unnatürlich wirkte“, sagte Aleks Mistratov, Head of AI Product bei Descript.

Das Problem lief darauf hinaus, dass es in verschiedenen Sprachen unterschiedlich lange dauert, denselben Gedanken auszudrücken. Descript stellte beispielsweise fest, dass Deutsch im Durchschnitt eine „längere“ Sprache ist als Englisch. Um in fest vorgegebene Videosegmente zu passen, mussten übersetzte Sprachaufnahmen häufig künstlich beschleunigt oder verlangsamt werden. „Am Ende hatte man etwas, das wie die Chipmunks oder ein schläfriger Riese klang“, erklärte Mistratov.

Den Nutzer:innen blieben zwei Optionen: die Audiospur Segment für Segment manuell neu zu timen, oder die Übersetzung selbst umzuschreiben, damit sie passte. Beide Ansätze erforderten tiefgreifende Bearbeitungen an der Timeline und häufig nahezu muttersprachliche Kenntnisse der Zielsprache. Für Ersteller:innen war es mühsam und wurde zu einem Hindernis für die Skalierung der Funktion auf große Lokalisierungsprojekte im Unternehmensmaßstab.

Das Team hatte eine klare Vorstellung davon, was nötig wäre, damit Synchronisation funktioniert. Das System müsste nicht nur die semantische Bedeutung optimieren, sondern auch zeitliche Beschränkungen berücksichtigen. Beim Übersetzen aus dem Englischen ins Deutsche müsste das Modell beispielsweise verstehen, wie es mit weniger Worten auskommt oder das Konzept vereinfacht, damit die synchronisierte Audiospur natürlich klingt.

Frühere Ansätze optimierten zunächst die semantische Treue und versuchten anschließend, das Timing zu korrigieren. Die Übersetzungen waren oft semantisch korrekt, aber die Zeitvorgaben wurden regelmäßig verfehlt, und die Qualität war insgesamt weiterhin nicht ausreichend. 

„Wir führten inkrementelle Tests durch, ohne überhaupt etwas zu generieren; wir baten das Modell lediglich, die Anzahl der Silben in einem Textabschnitt auszugeben“, sagte Mistratov. „Frühere Modelle waren darin einfach nicht gut.“

Eine zuverlässige Silbenzählung erwies sich als entscheidend. Wenn das Modell die Silbenzahl nicht konsistent berechnen konnte, konnte es nicht zuverlässig auf ein bestimmtes Zeitfenster abzielen.

Modelle der GPT‑5‑Serie brachten ein Maß an Reasoning-Konsistenz mit sich, das früheren Modellen fehlte, insbesondere bei Aufgaben wie der Silbenzählung und der Nachverfolgung von Einschränkungen. Dank dieser Verbesserung hat Descript seine Pipeline für Übersetzung und Synchronisation neu gestaltet.

Zunächst unterteilt das System von Descript das Transkript in Abschnitte und orientiert sich dabei an Satzgrenzen, natürlichen Pausen und Sprechmustern in der Originalaufnahme. Jeder Abschnitt wahrt die semantische Kontinuität, ist aber klein genug, um als Timingeinheit betrachtet zu werden.

Von dort aus berechnet das Modell die Anzahl der Silben im Block (Chunk). Auf Grundlage sprachspezifischer Annahmen zur Sprechgeschwindigkeit schätzt das System, wie viele Silben das übersetzte Segment anstreben sollte, um ein natürliches Sprechtempo beizubehalten („Dauertreue“). Der Prompt weist das Modell an, sowohl die Einhaltung der Dauer als auch die Bewahrung der Bedeutung zu optimieren. Umgebende Chunks werden als Kontext übergeben, damit das Modell die semantische Kohärenz über Segmente hinweg beibehält.

Das Team bewertete mehrere Konfigurationen, um die Einhaltung der vorgegebenen Dauer, semantische Genauigkeit, Latenz und Kosten auszubalancieren. Die ausgewählte Konfiguration lieferte eine hohe Vorgabentreue bei Produktionsgeschwindigkeit und ermöglichte so Übersetzungen mit hohem Volumen ohne manuelle Neusynchronisierung. Das Ergebnis ist ein Übersetzungsablauf, in dem das Tempo als Variable erster Klasse behandelt wird, statt erst im Nachhinein korrigiert zu werden.

Um die Akzeptanzkriterien für Evals zu entwickeln, führte das Team Hörtests durch: Es erstellte übersetzte Audiobeispiele und passte die Wiedergabegeschwindigkeit in kleinen Schritten an, wobei die Nutzer:innen gebeten wurden zu bewerten, ab wann die Sprache unnatürlich klang. 

„Alles, was um 10 % verlangsamt oder um 20 % beschleunigt wurde, klang im Allgemeinen immer noch natürlich“, sagte Mistratov. Außerhalb dieses Bereichs wurde die Sprache zu stark verzerrt. 

Frühere Systeme schnitten gemessen an diesem Maßstab schlecht ab. Je nach Sprache lagen nur 40 % bis 60 % der Segmente innerhalb des akzeptablen Tempobereichs Durch die neu gestaltete Pipeline stieg dieser Wert von 40 % bis 60 % auf 73 % bis 83 %, je nach Sprache.

Das Team bewertete außerdem die semantische Treue mithilfe einer separaten „Model-as-Judge“-Bewertung auf einer Skala von 1 („völlig unterschiedlich“) bis 5 („semantisch äquivalent“).  Für die Synchronisation entschieden sie, einen niedrigeren semantischen Schwellenwert zu akzeptieren als bei der reinen Untertitelübersetzung, bei der Zeitbeschränkungen keine Rolle spielen. Selbst mit diesem Kompromiss wurden 85,5 % der Segmente in Bezug auf semantische Übereinstimmung mit vier oder fünf von fünf Punkten bewertet.

Das Ergebnis war ein System, das zwei konkurrierende Randbedingungen – Timing und Bedeutung – mit messbarer Souveränität ausbalancieren konnte. Und weil beide Metriken automatisiert waren, kann Descript neue Modellversionen und Prompt-Variationen kontinuierlich anhand derselben Benchmarks evaluieren.

Da sich die Übersetzung von einzelnen Videos hin zu umfangreichen Inhaltsbibliotheken entwickelt, baut Descript mehr Steuerungsmöglichkeiten ein, um Übersetzungen zu optimieren, einschließlich der Möglichkeit, bei Bedarf eine strengere semantische Genauigkeit zu priorisieren.

Die Übersetzung innerhalb von Descript ist nur eine Ebene eines umfassenderen multimodalen Systems. Der übersetzte Text fließt in die Sprachgenerierung ein, die anschließend die Lippensynchronisation und das finale Video-Rendering steuert. 

Verbesserungen auf der Textebene ermöglichen einen natürlichen Sprechrhythmus, aber das Gesamterlebnis hängt auch davon ab, wie gut das Audiomodell Tonfall, Kadenz und nonverbale Merkmale gesprochener Sprache bewahrt. Dort sieht das Team die nächste große Herausforderung. 

„Ein Großteil dessen, was die Übersetzungsergebnisse verbessern wird, besteht darin, die Pipeline multimodaler zu machen: Audio, Video und Text gemeinsam einzubeziehen, wenn entschieden wird, wie übersetzt werden soll“, sagt Mistratov. „Dadurch sollten die nonverbalen Merkmale des Sprechens, wie Tonfall und Betonung, besser erhalten bleiben und noch mehr von der ursprünglichen Vortragsweise bewahrt werden.“

Für Descript machten leistungsfähigere Reasoning-Modelle die Komplexität der Synchronisation beherrschbar. Nachdem die Schwelle überschritten war, ab der Modelle zuverlässig Kompromisse zwischen Tempo und Bedeutung ausbalancieren konnten, wurde die Übersetzung zu einem Prozess, den das Team systematisch verbessern und in großem Maßstab bereitstellen konnte.