Descript toteuttaa monikielistä videodubbausta skaalautuvasti

Descript⁠(avautuu uudessa ikkunassa) on tekoälyyn pohjautuva videoeditori, joka perustuu yksinkertaiseen ideaan: jos osaat muokata tekstiä, sinun pitäisi pystyä muokkaamaan myös videota. Descriptin alkuaikojen jälkeen tekoäly on mahdollistanut tuotteen jokaisen osa-alueen: litteroinnin, editoinnin, äänen puhdistuksen ja yhä monimutkaisemmat luovat työnkulut. He ovat jo vuosien ajan hyödyntäneet OpenAI:n tekniikkaa ja käyttäneet Whisperia tekstin litteroinnissa sekä GPT‑sarjan malleja yhteistoiminnallisessa Underlord-editorissaan. 

Käännös nousi nopeasti esiin vaikuttavana käyttötapauksena. Perinteisesti videon kääntäminen on ollut hidasta ja kallista, ja se on edellyttänyt kieliasiantuntijoita hallinnoimaan projekteja, tuottamaan rutiininomaisia käännöksiä, hoitamaan laadunvalvontaa ja tuottamaan vastaavan äänen. LLM:t tiivistävät työnkulkua merkittävästi, mikä mahdollistaa korkealaatuisen kääntämisen suuressa mittakaavassa.

Sekä tekstitys että dubbaus edellyttävät semanttista uskollisuutta: käännöksen on säilytettävä alkuperäinen merkitys. Mutta keston noudattamisella on erilainen rooli kussakin. Tekstityksen osalta se on kiva lisä. Dubbauksen osalta se on kriittistä, koska jos käännetty puhe kestää liian kauan tai liian vähän, se kuulostaa epäluonnolliselta, vaikka merkitys olisi oikea.

Tämän ongelman ratkaisemiseksi Descript uudisti käännösprosessinsa hyödyntämällä OpenAI:n päättelymalleja, jotta semanttinen tarkkuus ja kesto saataisiin optimoitua jo tuotantovaiheessa, ei vasta sen jälkeen. Käyttöönoton jälkeisten 30 ensimmäisen päivän aikana dubattujen ja käännettyjen videoiden vienti kasvoi 15 %, ja katseluaika parani kielestä riippuen 13–43 prosenttiyksikköä.

“Dubbauksesta on tullut Descriptin yhä suositumpi käyttötapaus, joten kehitämme ratkaisuja yrityksille, jotka haluavat kääntää ja synkronoida kokonaisten kirjastojen huuliliikkeet eräajona.” sanoi toimitusjohtaja Laura Burkhauser.

Käännös oli yksi Descriptin ensimmäisistä ja kysytyimmistä ominaisuuksista. He aloittivat kääntämällä vain tekstitykset, mikä toimi hyvin – mutta monet käyttäjät halusivat mennä pidemmälle ja saada puhutun äänen (dubbaus) kohdekielellä.

Yksi asia nousi kuitenkin jatkuvasti esiin: dubattu ääni ei aina kuulostanut hyvältä. ”Yleisin valitus, jonka kuulimme, oli se, että puheen rytmi kuulosti käännetyllä kielellä luonnottomalta”, sanoi Descriptin tekoälytuotteista vastaava johtaja Aleks Mistratov.

Ongelma johtui siitä, että saman ajatuksen ilmaiseminen vie eri kielillä eri verran aikaa. Descript totesi esimerkiksi, että saksan kieli on keskimäärin ”pidempisanaista” kuin englanti. Jotta käännetty puhe mahtuisi ennalta määriteltyihin videokohteisiin, sitä jouduttiin usein nopeuttamaan tai hidastamaan keinotekoisesti. ”Lopputuloksena olisi ääni, mikä kuulostaisi maaoravilta tai uneliaalta jättiläiseltä”, Mistratov selitti.

Käyttäjille jäi kaksi vaihtoehtoa: ajoittaa ääni manuaalisesti segmentti segmentiltä uudelleen tai kirjoittaa itse käännös uudelleen, jotta se sopisi. Molemmat lähestymistavat edellyttivät perusteellisia aikajanan muokkauksia ja usein lähes äidinkielen tasoista kielitaitoa kohdekielessä. Se oli työlästä sisällöntuottajille ja siitä tuli este ominaisuuden laajentamiselle suurten yritysten lokalisointiprojekteihin.

Tiimillä oli selkeä käsitys siitä, mitä dubbauksen onnistuminen edellyttäisi. Järjestelmän olisi optimoitava semanttista merkitystä ja oltava tietoinen ajoitusrajoitteista. Kun käännetään esimerkiksi englannista saksaan, mallin olisi ymmärrettävä, miten käyttää vähemmän sanoja tai yksinkertaistaa käsitettä, jotta dubattu ääni kuulostaisi luonnolliselta.

Aikaisemmissa lähestymistavoissa optimoitiin ensin semanttinen tarkkuus ja yritettiin korjata ajoitus vasta sen jälkeen. Käännökset olivat usein merkitykseltään oikeita, mutta niissä jätettiin säännöllisesti huomiotta kestoon liittyvät rajoitukset, eikä niiden yleinen laatu ollut vieläkään riittävän hyvä. 

”Teimme inkrementaalisia testejä, joissa emme edes tuottaneet mitään, vaan pyysimme mallia vain laskemaan tekstikappaleen tavumäärän”, Mistratov sanoi. “Aiemmat mallit eivät yksinkertaisesti olleet siinä hyviä.”

Luotettava tavulaskenta osoittautui ratkaisevan tärkeäksi. Jos malli ei pystynyt laskemaan tavuja johdonmukaisesti, se ei pystynyt luotettavasti kohdistamaan tiettyä kestoikkunaa.

GPT‑5‑sarjan mallit toivat mukanaan päättelykyvyn johdonmukaisuuden, josta aikaisemmissa malleissa oli puutetta, etenkin tehtävissä kuten tavujen laskemisessa ja rajoitusten seurannassa. Tämän parannuksen myötä Descript uudisti käännös- ja dubbausprosessinsa.

Ensin Descriptin järjestelmä jakaa litteroinnin osiin alkuperäisen tallenteen lauserajojen, luonnollisten taukojen ja puhetapojen perusteella. Jokainen lohko säilyttää semanttisen jatkuvuuden, mutta on riittävän pieni, jotta sitä voi käsitellä ajoitusyksikkönä.

Tämän jälkeen malli laskee katkelman tavujen määrän. Kielikohtaisiin puhenopeusoletuksiin perustuen järjestelmä arvioi, kuinka monta tavua käännetyn katkelman tulisi sisältää luonnollisen rytmityksen säilyttämiseksi (”keston noudattaminen”). Kehote pyytää mallia optimoimaan sekä keston noudattamisen että merkityksen säilyttämisen. Ympäröivät katkelmat välitetään kontekstina, jotta malli säilyttää semanttisen johdonmukaisuuden segmenttien välillä.

Tiimi arvioi useita kokoonpanoja tasapainottaakseen keston noudattamisen, semanttisen tarkkuuden, viiveen ja kustannukset. Valittu kokoonpano varmisti rajoitusten tarkan noudattamisen tuotantonopeudella, mikä mahdollisti suurten käännösmäärien käsittelyn ilman manuaalista ajoituksen säätämistä. Tuloksena on käännösprosessi, jossa rytmitystä käsitellään ensisijaisena tekijänä sen sijaan, että sitä korjattaisiin jälkikäteen.

Arviointien hyväksymiskriteerien laatimiseksi tiimi järjesti kuuntelutestejä: se tuotti käännettyjä ääninäytteitä ja sääteli toistonopeutta pienin askelin, pyytäen käyttäjiä arvioimaan, milloin puhe alkoi kuulostaa epäluonnolliselta. 

”Kaikki, mitä oli hidastettu 10 % tai nopeutettu 20 %, kuulosti yleensä silti luonnolliselta”, Mistratov sanoi. Tämän alueen ulkopuolella puhe vääristyi liikaa. 

Aikaisemmat järjestelmät suoriutuivat tässä suhteessa heikosti. Kielestä riippuen vain 40–60 % segmenteistä osui hyväksyttävään puhenopeusikkunaan. Uudistetun prosessin ansiosta tämä luku nousi kielestä riippuen 40–60 prosentista 73–83 prosenttiin.

Tiimi arvioi myös semanttista uskollisuutta erillisellä malli-tuomarina -arvioinnilla asteikolla 1 (“täysin erilainen”)–5 (“semanttisesti vastaava”).  Dubbauksen osalta päätettiin soveltaa matalampaa merkityskynnystä kuin pelkästään tekstitykseen tarkoitetussa käännöksessä, jossa keston rajoitukset eivät ole merkityksellisiä. Tästä kompromissista huolimatta 85,5 % segmenteistä sai arvosanaksi neljä tai viisi viidestä semanttisen vastaavuuden osalta.

Tuloksena oli järjestelmä, joka kykeni tasapainottamaan kaksi kilpailevaa rajoitetta – ajoituksen ja merkityksen – mitattavalla varmuudella. Ja koska molemmat mittarit on automatisoitu, Descript pystyy arvioimaan jatkuvasti uusia malliversioita ja niiden muunnelmia samojen vertailuarvojen perusteella.

Kun kääntäminen siirtyy yksittäisistä videoista suuriin sisältökirjastoihin, Descript rakentaa lisää hallintaa siihen, miten käännöksiä hienosäädetään, mukaan lukien mahdollisuus priorisoida tarvittaessa tiukempaa semanttista tarkkuutta.

Descriptin sisäinen käännös on vain yksi kerros laajemmassa multimodaalisessa järjestelmässä. Käännetty teksti syötetään puheentuotantoon, joka puolestaan ohjaa huulien synkronointia ja videon lopullista renderöintiä. 

Tekstitasolla tehdyt parannukset mahdollistavat luonnollisen rytmin, mutta kokonaiskokemus riippuu myös siitä, kuinka hyvin äänimalli säilyttää puheen sävyn, rytmin ja ei-verbaaliset ominaisuudet. Juuri siinä tiimi näkee seuraavan edistysaskeleen. 

”Käännöstyön tulosta parantaa suurelta osin se, että prosessista tehdään monimuotoisempi: ääni, video ja teksti otetaan huomioon yhdessä, kun päätetään, miten käännös toteutetaan”, sanoi Mistratov. ”Sen pitäisi säilyttää paremmin puheen ei-verbaaliset ominaisuudet, kuten sävy ja painotus, toistamaan alkuperäistä esitystapaa entistäkin tarkemmin.”

Descriptin tapauksessa vahvemmat päättelymallit tekivät dubbaamisen monimutkaisuudesta hallittavaa. Ylittämällä kynnyksen, jossa mallit pystyivät luotettavasti tasapainottamaan tahdin ja merkityksen välisiä kompromisseja, kääntämisestä tuli prosessi, jota tiimi pystyi järjestelmällisesti parantamaan ja ottamaan käyttöön laajamittaisesti.