Πώς η Descript κλιμακώνει την πολυγλωσσική μεταγλώττιση βίντεο

Το Descript⁠(ανοίγει σε νέο παράθυρο) είναι ένα πρόγραμμα επεξεργασίας βίντεο σχεδιασμένο εξαρχής με βάση την ΤΝ που βασίζεται σε μια απλή ιδέα: αν μπορείτε να επεξεργαστείτε κείμενο, θα πρέπει να μπορείτε να επεξεργαστείτε και βίντεο. Από τα πρώτα βήματα της Descript, η ΤΝ έχει υποστηρίξει κάθε πτυχή του προϊόντος: τη μεταγραφή, την επεξεργασία, τον καθαρισμό ήχου και ολοένα πιο σύνθετες δημιουργικές ροές εργασίας. Εδώ και χρόνια βασίζεται στην OpenAI, χρησιμοποιώντας το Whisper για μεταγραφή και μοντέλα της σειράς GPT μέσα στον συνεργατικό επεξεργαστή τους, το Underlord.

Η μετάφραση αναδείχθηκε γρήγορα ως σενάριο χρήσης με υψηλό αντίκτυπο. Παραδοσιακά, η μετάφραση βίντεο ήταν αργή και δαπανηρή διαδικασία, καθώς απαιτούσε από γλωσσικούς ειδικούς να διαχειρίζονται έργα, να παράγουν τυποποιημένες μεταφράσεις, να αναλαμβάνουν τον έλεγχο ποιότητας και να δημιουργούν τον αντίστοιχο ήχο. Τα LLM συμπιέζουν δραστικά αυτήν τη ροή εργασίας, καθιστώντας εφικτή τη μετάφραση υψηλής ποιότητας σε μεγάλη κλίμακα.

Τόσο οι υπότιτλοι όσο και η μεταγλώττιση απαιτούν σημασιολογική πιστότητα: η μετάφραση πρέπει να διατηρεί το αρχικό νόημα. Όμως, η τήρηση της διάρκειας παίζει διαφορετικό ρόλο σε καθένα από αυτά. Για τους υπότιτλους, είναι επιθυμητό. Στη μεταγλώττιση, είναι κρίσιμο, επειδή αν ο μεταφρασμένος λόγος διαρκεί υπερβολικά πολύ ή υπερβολικά λίγο, θα ακούγεται αφύσικος ακόμη κι αν το νόημα είναι σωστό.

Για να το αντιμετωπίσει αυτό, η Descript επανασχεδίασε το ροή επεξεργασίας μετάφρασής της χρησιμοποιώντας μοντέλα συλλογιστικής της OpenAI, ώστε να βελτιστοποιεί τη σημασιολογική πιστότητα και την τήρηση της διάρκειας κατά τη δημιουργία, όχι εκ των υστέρων. Στις πρώτες 30 ημέρες μετά τη διάθεση, οι εξαγωγές μεταφρασμένων βίντεο με μεταγλώττιση αυξήθηκαν κατά 15%, ενώ η τήρηση της διάρκειας βελτιώθηκε κατά 13 έως 43 ποσοστιαίες μονάδες, ανάλογα με τη γλώσσα.

«Η μεταγλώττιση είναι ένα ολοένα και πιο δημοφιλές σενάριο χρήσης για το Descript, γι’ αυτό δημιουργούμε τρόπους ώστε οι εταιρείες που θέλουν να μεταφράσουν και να συγχρονίσουν την κίνηση των χειλιών σε ολόκληρες βιβλιοθήκες να μπορούν να το κάνουν μαζικά», δήλωσε η Λόρα Μαρκχάουζερ, CEO.

Η μετάφραση ήταν μία από τις πρώτες και πιο συχνά ζητούμενες λειτουργίες του Descript. Ξεκίνησαν με μετάφραση μόνο των υποτίτλων, η οποία λειτούργησε καλά — αλλά πολλοί χρήστες ήθελαν να προχωρήσουν περισσότερο και να έχουν εκφωνημένο ήχο (μεταγλώττιση) στη γλώσσα-στόχο.

Ωστόσο, ένα πρόβλημα εμφανιζόταν επανειλημμένα: ο μεταγλωττισμένος ήχος δεν ακουγόταν πάντα σωστά. «Πιθανότατα, το κυριότερο παράπονο που ακούσαμε ήταν ότι ο ρυθμός της ομιλίας ακουγόταν αφύσικος στη γλώσσα της μετάφρασης», δήλωσε ο Άλεξ Μιστράτοφ, Επικεφαλής Προϊόντων ΤΝ στην Descript.

Το πρόβλημα τελικά οφειλόταν στο γεγονός ότι οι διαφορετικές γλώσσες απαιτούν διαφορετικό χρόνο για να εκφράσουν την ίδια ιδέα. Η Descript παρατήρησε, για παράδειγμα, ότι στα γερμανικά απαιτείται κατά μέσο όρο περισσότερος χρόνος από ό,τι στα αγγλικά για να εκφραστεί η ίδια ιδέα. Για να χωρέσει σε προκαθορισμένα τμήματα βίντεο, η μεταφρασμένη ομιλία συχνά έπρεπε να επιταχύνεται ή να επιβραδύνεται τεχνητά. «Το αποτέλεσμα θα ακουγόταν σαν σκιουράκια ή σαν νυσταγμένος γίγαντας», εξήγησε ο Μιστράτοφ.

Οι χρήστες είχαν δύο επιλογές: να επαναχρονίσουν χειροκίνητα τον ήχο τμήμα προς τμήμα ή να ξαναγράψουν την ίδια τη μετάφραση ώστε να ταιριάζει. Και οι δύο προσεγγίσεις απαιτούσαν εκτεταμένες επεξεργασίες στη γραμμή χρόνου και, συχνά, ευχέρεια σχεδόν επιπέδου φυσικού ομιλητή στη γλώσσα-στόχο. Ήταν κουραστικό για τους δημιουργούς και αποτέλεσε εμπόδιο στην κλιμάκωση της λειτουργίας για μεγάλα εταιρικά έργα τοπικοποίησης.

Η ομάδα είχε μια σαφή θεωρία για το τι θα χρειαζόταν ώστε η μεταγλώττιση να πετύχει. Το σύστημα θα χρειαζόταν όχι μόνο να βελτιστοποιεί με βάση το σημασιολογικό νόημα, αλλά και να λαμβάνει υπόψη τους χρονικούς περιορισμούς. Κατά τη μετάφραση από τα αγγλικά στα γερμανικά, για παράδειγμα, το μοντέλο θα έπρεπε να κατανοεί πώς να χρησιμοποιεί λιγότερες λέξεις ή να απλοποιεί την έννοια, ώστε ο μεταγλωττισμένος ήχος να παραμένει φυσικός.

Παλαιότερες προσεγγίσεις βελτιστοποιούσαν πρώτα τη σημασιολογική πιστότητα και επιχειρούσαν να διορθώσουν τον χρονισμό εκ των υστέρων. Οι μεταφράσεις ήταν συχνά σημασιολογικά σωστές, αλλά συστηματικά δεν τηρούσαν τους περιορισμούς διάρκειας, και η συνολική ποιότητα εξακολουθούσε να μην είναι αρκετά καλή.

«Πραγματοποιήσαμε σταδιακές δοκιμές, χωρίς καν να παράγουμε τίποτα, ζητώντας απλώς από το μοντέλο να εξάγει τον αριθμό των συλλαβών σε ένα τμήμα κειμένου», δήλωσε ο Μιστράτοφ. «Τα παλαιότερα μοντέλα απλώς δεν ήταν καλά σε αυτό.»

Η αξιόπιστη καταμέτρηση συλλαβών αποδείχθηκε κρίσιμη. Αν το μοντέλο δεν μπορούσε να υπολογίζει με συνέπεια τις συλλαβές, δεν θα μπορούσε να στοχεύσει αξιόπιστα ένα συγκεκριμένο παράθυρο διάρκειας.

Τα μοντέλα της σειράς GPT‑5 έφεραν ένα επίπεδο συνέπειας στη συλλογιστική που έλειπε από προηγούμενα μοντέλα, ειδικά σε εργασίες όπως η μέτρηση συλλαβών και η παρακολούθηση περιορισμών. Με αυτή τη βελτίωση, η Descript επανασχεδίασε τη ροή εργασίας μετάφρασης και μεταγλώττισής της.

Αρχικά, το σύστημα της Descript χωρίζει τη μεταγραφή σε τμήματα, με βάση τα όρια των προτάσεων, τις φυσικές παύσεις και τα μοτίβα ομιλίας στην αρχική ηχογράφηση. Κάθε τμήμα διατηρεί τη σημασιολογική συνέχεια, αλλά είναι αρκετά μικρό ώστε να μπορεί να αναλυθεί ως μονάδα χρονισμού.

Στη συνέχεια, το μοντέλο υπολογίζει τον αριθμό των συλλαβών στο τμήμα. Χρησιμοποιώντας παραδοχές για τον ρυθμό ομιλίας ανά γλώσσα, το σύστημα εκτιμά πόσες συλλαβές πρέπει να έχει το μεταφρασμένο τμήμα, ώστε να διατηρείται ο φυσικός ρυθμός εκφοράς («τήρηση διάρκειας»). Η προτροπή ζητά από το μοντέλο να βελτιστοποιήσει τόσο την τήρηση της διάρκειας όσο και τη διατήρηση του νοήματος. Τα γειτονικά τμήματα παρέχονται ως συμφραζόμενα, ώστε το μοντέλο να διατηρεί τη σημασιολογική συνοχή μεταξύ των τμημάτων.

Η ομάδα αξιολόγησε πολλαπλές διαμορφώσεις για την εξισορρόπηση της τήρησης της διάρκειας, της σημασιολογικής πιστότητας, της καθυστέρησης και του κόστους. Η επιλεγμένη διαμόρφωση παρείχε αυστηρή τήρηση περιορισμών με ταχύτητα κατάλληλη για περιβάλλον παραγωγής, επιτρέποντας τη μετάφραση υψηλού όγκου χωρίς χειροκίνητο επαναχρονισμό. Το αποτέλεσμα είναι μια ροή εργασίας μετάφρασης όπου ο ρυθμός αντιμετωπίζεται ως μεταβλητή πρώτης τάξης, αντί ως κάτι που διορθώνεται εκ των υστέρων.

Για να αναπτύξει τα κριτήρια αποδοχής για τις αξιολογήσεις, η ομάδα διεξήγαγε δοκιμές ακρόασης: δημιούργησε δείγματα μεταφρασμένου ήχου και προσάρμοσε την ταχύτητα αναπαραγωγής σε μικρά βήματα, ζητώντας από τους χρήστες να αξιολογήσουν πότε η ομιλία άρχιζε να ακούγεται αφύσικη.

«Οτιδήποτε επιβραδύνθηκε κατά 10% ή επιταχύνθηκε κατά 20% γενικά εξακολουθούσε να ακούγεται φυσικό», είπε ο Μιστράτοφ. Πέρα από αυτό το εύρος, η ομιλία παραμορφωνόταν υπερβολικά.

Τα παλαιότερα συστήματα είχαν χαμηλές επιδόσεις με βάση αυτό το κριτήριο. Ανάλογα με τη γλώσσα, μόνο το 40% έως 60% των τμημάτων βρισκόταν εντός του αποδεκτού εύρους ρυθμού. Με την επανασχεδιασμένη ροή επεξεργασίας, το ποσοστό αυτό αυξήθηκε από 40%–60% σε τιμές μεταξύ 73% και 83%, ανάλογα με τη γλώσσα.

Η ομάδα αξιολόγησε επίσης τη σημασιολογική πιστότητα χρησιμοποιώντας μια ξεχωριστή βαθμολόγηση με ξεχωριστό μοντέλο ως κριτή σε κλίμακα που κυμαίνεται από 1 («εντελώς διαφορετικό») έως 5 («σημασιολογικά ισοδύναμο»).  Για τη μεταγλώττιση, αποφάσισαν να αποδεχθούν χαμηλότερο σημασιολογικό κατώφλι από ό,τι στη μετάφραση αποκλειστικά για υπότιτλους, όπου οι περιορισμοί διάρκειας δεν έχουν σημασία. Ακόμη και με αυτόν τον συμβιβασμό, το 85,5% των τμημάτων βαθμολογήθηκε με τέσσερα ή πέντε στα πέντε ως προς τη σημασιολογική πιστότητα.

Το αποτέλεσμα ήταν ένα σύστημα που μπορούσε να εξισορροπεί δύο ανταγωνιστικούς περιορισμούς —τον χρονισμό και το νόημα— με μετρήσιμο επίπεδο βεβαιότητας. Και επειδή και οι δύο μετρικές είναι αυτοματοποιημένες, η Descript μπορεί να αξιολογεί συνεχώς νέες εκδόσεις μοντέλων και παραλλαγές προτροπών με βάση τα ίδια σημεία αναφοράς.

Καθώς η μετάφραση περνά από μεμονωμένα βίντεο σε μεγάλες βιβλιοθήκες περιεχομένου, η Descript ενσωματώνει περισσότερο έλεγχο στον τρόπο με τον οποίο ρυθμίζονται οι μεταφράσεις, συμπεριλαμβανομένης της δυνατότητας να δίνεται προτεραιότητα σε αυστηρότερη σημασιολογική πιστότητα όταν χρειάζεται.

Η μετάφραση στο Descript είναι ένα μόνο επίπεδο ενός ευρύτερου πολυτροπικού συστήματος. Το μεταφρασμένο κείμενο τροφοδοτεί την παραγωγή ομιλίας, η οποία στη συνέχεια καθοδηγεί τον συγχρονισμό χειλιών και την τελική απόδοση βίντεο.

Οι βελτιώσεις στο επίπεδο κειμένου καθιστούν δυνατό τον φυσικό ρυθμό, αλλά η συνολική εμπειρία εξαρτάται επίσης από το πόσο καλά το μοντέλο ήχου διατηρεί τον τόνο, τη ρυθμικότητα και τα μη λεκτικά χαρακτηριστικά της ομιλίας. Εκεί εντοπίζει η ομάδα το επόμενο πεδίο εξέλιξης.

«Αυτό που θα βελτιώσει σε μεγάλο βαθμό το αποτέλεσμα των μεταφράσεων είναι να γίνει η ροή εργασίας πιο πολυτροπική: να ενσωματώνονται ήχος, βίντεο και κείμενο μαζί όταν αποφασίζεται ο τρόπος μετάφρασης», δήλωσε ο Μιστράτοφ. «Αυτό θα πρέπει να διατηρεί καλύτερα τα μη λεκτικά χαρακτηριστικά της ομιλίας, όπως τον τόνο και την έμφαση, και να διαφυλάσσει ακόμη περισσότερο την αρχική εκφορά.»

Για την Descript, τα ισχυρότερα μοντέλα συλλογιστικής κατέστησαν διαχειρίσιμη την πολυπλοκότητα της μεταγλώττισης. Με την υπέρβαση του ορίου όπου τα μοντέλα μπορούσαν να εξισορροπούν αξιόπιστα τους συμβιβασμούς μεταξύ ρυθμού και νοήματος, η μετάφραση έγινε κάτι που η ομάδα μπορούσε να βελτιώσει συστηματικά, και να διαθέσει σε μεγάλη κλίμακα.