Hvernig Descript útfærir fjöltyngt tal myndbanda í miklu magni

Descript⁠(opnast í nýjum glugga) er gervigreindarmiðaður myndbandsritill byggður á einfaldri hugmynd: ef þú getur breytt texta, ættirðu að geta klippt myndband. Frá fyrstu dögum Descript hefur gervigreind knúið alla þætti vörunnar: afritun, klippingu, hljóðhreinsun og sífellt flóknari skapandi vinnuflæði. Þau hafa byggt á OpenAI í mörg ár, notað Hvíslara fyrir umritun og GPT‑líkön í samritli þeirra, Underlord. 

Þýðingar komu fljótt fram sem áhrifamikið notkunartilvik. Venjulega hefur myndbandsþýðing verið hæg og kostnaðarsöm og krafist þess að tungumálasérfræðingar stýrðu verkefnum, unnu vélrænar þýðingar, sinntu gæðaeftirliti og útbjuggu samsvarandi hljóð. LLM-líkön þjappa þessu vinnuflæði verulega saman sem gerir hágæða þýðingar í stórum stíl mögulegar.

Skjátextar og talsetning krefjast bæði merkingarlegri nákvæmni: þýðingin verður að varðveita upprunalega merkingu. En fylgni við tímalengd gegnir ólíku hlutverki í hvoru tilviki. Það er gott að hafa fyrir skjátexta. Fyrir talsetningu er þetta mikilvægt, því ef þýdd talsetning verður of löng eða of stutt mun hún hljóma óeðlilega jafnvel þótt merkingin sé rétt.

Til að bregðast við þessu endurhannaði Descript þýðingarleið sína með OpenAI-rakalíkönum til að hámarka merkingarlega nákvæmni og fylgni við lengd við myndun, ekki eftir á. Á fyrstu 30 dögunum eftir innleiðingu jukust útflutningar á þýddum myndböndum með talsetningu um 15% og fylgni við lengd batnaði um 13 til 43 prósentustig, eftir tungumáli.

„Talsetning er sífellt vinsælla notkunartilvik fyrir Descript, svo við erum að þróa leiðir til að framkvæma það í lotu fyrir fyrirtæki sem vilja þýða og varasamstilla heilu söfnin,“ sagði Laura Burkhauser, forstjóri.

Þýðing var ein af elstu og mest umbeðnu eiginleikum Descript. Þau byrjuðu á þýðingu eingöngu á skjátexta, sem virkaði vel—en margir notendur vildu fara lengra og fá talað hljóð (talsetningu) á markmálinu.

Hins vegar kom eitt vandamál sífellt upp: talsetningin hljómaði ekki alltaf rétt. „Líklega var algengasta kvörtunin sem við heyrðum sú að talhraðinn væri óeðlilegur á þýdda tungumálinu,“ sagði Aleks Mistratov, yfirmaður gervigreindarvara hjá Descript.

Vandamálið snerist um það að mismunandi tungumál taka mislangan tíma til að tjá sömu hugmynd. Descript tók eftir því, til dæmis, að þýska er að meðaltali „lengra“ tungumál en enska. Til að passa inn í fasta myndbandshluta þurfti oft að hraða þýddu tali eða hægja á því á tilbúinn hátt. „Þú myndir enda með eitthvað sem hljómaði eins og íkornar eða syfjaður risi,“ útskýrði Mistratov.

Notendur höfðu tvo valkosti: að endurtímasetja hljóðið handvirkt, bút fyrir bút, eða endurskrifa þýðinguna sjálfa til að láta hana passa. Báðar aðferðirnar kröfðust umfangsmikilla breytinga á tímalínunni og, oft, nánast móðurmálsfærni í markmálinu. Þetta var leiðinlegt fyrir efnishöfunda og varð að hindrun fyrir að skala eiginleikann upp fyrir stór fyrirtækjamiðuð staðfærsluverkefni.

Teymið hafði skýra kenningu um hvað þyrfti til að gera talsetningu að veruleika. Kerfið þyrfti ekki aðeins að hámarka merkingu, heldur einnig að taka mið af tímaskorðum. Þegar þýtt er úr ensku yfir á þýsku, til dæmis, þarf líkanið að skilja hvernig á að nota færri orð eða einfalda hugtakið, svo að talsetta hljóðið hljómi náttúrulega.

Fyrri nálganir settu merkingarlega nákvæmni í forgang og reyndu að leiðrétta tímasetningu síðar. Þýðingarnar voru oft merkingarlega réttar, en þær misstu ítrekað af tímalengdarskorðunum og heildargæðin voru samt ekki nógu góð. 

„Við keyrðum stigvaxandi prófanir, án þess að búa til neitt, heldur bara að biðja líkanið um að skila fjölda atkvæða í textabúti,“ sagði Mistratov. „Eldri líkön voru einfaldlega ekki nógu góð í því.“

Áreiðanleg atkvæðatalning reyndist vera mikilvæg. Ef líkanið gat ekki reiknað atkvæði á samkvæman hátt, gat það ekki áreiðanlega miðað við tiltekinn tímalengdarglugga.

GPT‑5 líkanaröðin færði stöðugleika í rök sem fyrri líkön skorti, sérstaklega í verkefnum eins og atkvæðatalningu og eftirfylgni með skorðum. Með þeirri umbót endurhannaði Descript ferlið sitt fyrir þýðingar og talsetningu.

Fyrst skiptir kerfi Descript afrituninni í búta, með hliðsjón af setningamörkum, náttúrulegum hléum og talmynstrum í upprunalegu upptökunni. Hver hluti viðheldur merkingarfræðilegri samfellu, en er nógu lítill til að hægt sé að rökstyðja um hann sem tímasetningareiningu.

Þaðan reiknar líkanið fjölda atkvæða í hlutanum. Með því að nota tungumálasértækar forsendur um talhraða metur kerfið hversu mörg atkvæði þýddi hlutinn ætti að miða við til að varðveita náttúrulegan takt („duration adherence“). Kvaðningin biður líkanið um að fínstilla fyrir bæði tímalengdarfylgni og varðveislu merkingar. Umlykjandi hlutar eru sendir inn sem samhengi svo að líkanið viðhaldi merkingarlegu samhengi milli hluta.

Teymið mat margar uppsetningar til að samræma tímalengd, merkingarlega nákvæmni, biðtíma og kostnað. Valin uppsetning skilaði öflugri fylgni við takmarkanir á framleiðsluhraða, sem gerði mögulegt að þýða mikið magn án handvirkrar endurtímasetningar. Niðurstaðan er þýðingarkerfi þar sem hraðastilling er meðhöndluð sem lykilbreyta í stað þess að vera eitthvað sem er leiðrétt eftir á.

Til að þróa samþykkisskilyrðin fyrir prófanir keyrði teymið hlustunarpróf: það bjó til þýdd hljóðsýni, stillti afspilunarhraðann í litlum skrefum og bað notendur að gefa einkunn fyrir hvenær tal varð óeðlilegt. 

„Allt sem var hægt á um 10%, eða hraðað um 20%, hljómaði almennt enn eðlilega,“ sagði Mistratov. Utan þessa sviðs varð tal of brenglað. 

Eldri kerfi stóðu sig illa samkvæmt þeim mælikvarða. Það var mismunandi eftir tungumálum, en aðeins 40% til 60% af hlutum féllu innan ásættanlegs hraðabils. Með endurhannaðri leiðslu jókst sú tala úr 40%–60% í á bilinu 73% til 83%, eftir tungumáli.

Teymið mat einnig merkingarlega samsvörun með sérstakri líkan-sem-dómari einkunnagjöf á kvarða frá 1 („gjörólíkt“) til 5 („merkingarlega jafngilt“).  Fyrir talsetningu ákváðu þau að samþykkja lægri merkingarlegan þröskuld en fyrir þýðingu eingöngu fyrir skjátexta, þar sem tímalengdartakmarkanir skipta ekki máli. Jafnvel með þessum málamiðlunum voru 85,5% af einingum metin fjórir eða fimm af fimm fyrir merkingarlega samkvæmni.

Niðurstaðan var kerfi sem gat haldið jafnvægi milli tveggja samkeppnishæfra takmarkana—tímasetningar og merkingar—með mælanlegu öryggi. Og þar sem báðar mælingarnar voru sjálfvirkar getur Descript stöðugt metið nýjar útgáfur af líkani og tilbrigði í kvaðningum miðað við sömu viðmiðanir.

Þegar þýðingar færast frá stökum myndböndum yfir í stór efnissöfn, er Descript að bæta við meiri stjórn á því hvernig þýðingar eru fínstilltar, þar á meðal möguleikann á að forgangsraða strangari merkingarlegri nákvæmni þegar þess er þörf.

Þýðing innan Descript er aðeins eitt lag í víðtækara fjölþættu kerfi. Þýddur texti fer inn í talgerð, sem síðan knýr varasamstillingu og endanlega myndbandsgerð. 

Endurbætur á textalaginu gera náttúrulegan hrynjandi mögulega, en heildarupplifunin veltur einnig á því hversu vel hljóðlíkanið varðveitir tón, hrynjanda og ómálleg einkenni tals. Þar sér teymið næstu mörk. 

„Mikið af því sem mun bæta þýðingarúttak er að gera ferlið fjölþættara: að fella saman hljóð, myndband og texta þegar ákveðið er hvernig á að þýða,“ sagði Mistratov. „Það ætti að viðhalda betur ómállegum einkennum tals, eins og tóni og áherslum, og varðveita enn meira af upprunalegri framsetningu.“

Fyrir Descript gerðu öflugri rakalíkön flækjustig talsetningar viðráðanlegt. Með því að fara yfir þann þröskuld þar sem líkön gátu áreiðanlega vegið og metið málamiðlanir milli hraða og merkingar, varð þýðing að verkefni sem teymið gat bætt kerfisbundið og innleitt í stórum stíl.