Како Descript осмиш. вишејез.у синхр. видео-садр. у великом обиму

Descript⁠(отвара се у новом прозору) је уређивач видео-садржаја заснован на вештачкој интелигенцији, заснован на једноставној идеји: ако можете да уређујете текст, требало би да можете да уређујете и видео-садржај. Од раних дана Descript-а, вештачка интелигенција је покретала сваки аспект производа: транскрипцију, уређивање, чишћење звука и све сложеније креативне токове рада. Већ годинама користе OpenAI као основу, користећи модел Whisper за транскрипцију и моделе из серије GPT у свом помоћном уређивачу Underlord. 

Превођење се брзо издвојило као случај употребе са значајним утицајем. Превођење видео-садржаја је традиционално било споро и скупо, јер је захтевало од језичких стручњака да управљају пројектима, израђују рутинске преводе, обављају контролу квалитета и генеришу одговарајући аудио-запис. LLM-ови драстично скраћују тај ток рада, омогућавајући превођење високог квалитета у великом обиму.

Титлови и синхронизација захтевају семантичку верност: превод мора да сачува оригинално значење. Међутим, придржавање задатог трајања у сваком од њих има различиту улогу. За титлове је пожељно, али није неопходно. За синхронизацију је то од пресудног значаја, јер ако преведени говор траје предуго или прекратко, звучаће неприродно чак и ако је значење тачно.

Да би то решио, Descript је редизајнирао свој преводилачки процес користећи OpenAI моделе резоновања како би оптимизовао семантичку верност и усклађеност трајања током генерисања, а не накнадно. У првих 30 дана након увођења, број извоза преведених видео-снимака са синхронизацијом повећан је за 15%, док је усклађеност трајања побољшана за 13 до 43 процентна поена, у зависности од језика.

„Синхронизација је све популарнија примена Descript-а, па развијамо начине да се она обавља масовно за компаније које желе да преведу и синхронизују покрете усана за читаве библиотеке“, изјавила је Лора Буркхаузер, извршна директорка.

Превођење је била једна од најранијих и најтраженијих функција Descript-а. Почели су са превођењем само титлова, што је добро функционисало – али многи корисници су желели да оду корак даље и добију изговорени текст (синхронизацију) на циљном језику.

Међутим, један проблем се стално појављивао: синхронизовани звук није увек звучао како треба. „Вероватно најчешћа притужба коју смо чули била је да је темпо говора био неприродан у преведеном језику“, рекао је Алекс Мистратов, руководилац AI производа у компанији Descript.

Проблем се свео на чињеницу да је за изражавање исте идеје на различитим језицима потребно различито време. Descript је приметио, на пример, да је немачки у просеку „дужи” језик од енглеског. Да би се уклопио у фиксне видео-сегменте, преведени говор је често морао вештачки да се убрза или успори. „На крају бисте добили нешто што би звучало као веверице, или као поспани џин“, објаснио је Мистратов.

Корисницима су преостале две опције: да ручно прилагоде тајминг аудио-записа, сегмент по сегмент, или да препишу сам превод како би се уклопио. Оба приступа захтевала су детаљне измене на временској линији и, често, готово изворно владање циљним језиком. То је било заморно за креаторе и постало је препрека за скалирање те функције на велике корпоративне пројекте локализације.

Тим је имао јасну представу о томе шта је потребно да би синхронизација успела. Систем би морао не само да оптимизује према семантичком значењу, већ и да узима у обзир временска ограничења. Када се, на пример, преводи са енглеског на немачки, модел би морао да разуме како да употреби мање речи или поједностави концепт, како би синхронизовани аудио остао природан.

Ранији приступи су најпре оптимизовали семантичку верност, а затим покушавали да коригују временско усклађивање. Преводи су често били семантички исправни, али редовно нису поштовали ограничења трајања, а укупан квалитет и даље није био довољно добар. 

„Спроводили смо инкременталне тестове, а да нисмо чак ништа генерисали, већ смо само тражили од модела да прикаже број слогова у делу текста”, рекао је Мистратов. „Ранији модели једноставно нису били добри у томе.”

Испоставило се да је поуздано бројање слогова од кључног значаја. Ако модел није могао доследно да израчунава слогове, није могао поуздано да циља одређени интервал трајања.

Модели из серије GPT‑5 донели су ниво доследности резоновања који је недостајао ранијим моделима, нарочито у задацима као што су бројање слогова и праћење ограничења. Уз то побољшање, Descript је редизајнирао свој поступак за превођење и синхронизацију.

Прво, Descript-ов систем дели транскрипт на сегменте на основу граница реченица, природних пауза и образаца говора у оригиналном снимку. Сваки сегмент задржава семантички континуитет, али је довољно мали да се може разматрати као временска јединица.

Након тога, модел израчунава број слогова у фрагменту. Користећи претпоставке о брзини говора специфичне за језик, систем процењује колико слогова преведени сегмент треба да циља да би се очувао природан темпо („придржавање трајања“). Инструкција тражи од модела да оптимизује поштовање трајања и очување значења. Околни фрагменти се прослеђују као контекст како би модел одржао семантичку кохерентност између сегмената.

Тим је проценио више конфигурација како би уравнотежио усклађеност са трајањем, семантичку верност, кашњење и трошкове. Одабрана конфигурација је обезбедила снажно поштовање ограничења при продукцијској брзини, омогућавајући превођење великог обима без ручног поновног темпирања. Резултат је преводилачки процес у ком се темпо третира као првокласна променљива, а не као нешто што се накнадно исправља.

Да би развио критеријуме прихватљивости за евалуације, тим је спровео тестове слушања: генерисали су преведене аудио узорке и подешавали брзину репродукције у малим корацима, тражећи од корисника да оцене у ком тренутку говор постаје неприродан. 

„Све што је било успорено за 10% или убрзано за 20% углавном је и даље звучало природно“, рекао је Мистратов. Изван тог опсега, говор је постајао превише изобличен. 

Ранији системи су по том мерилу имали лоше резултате. У зависности од језика, само 40% – 60% сегмената налазило се у прихватљивом опсегу темпа. Са редизајнираним каналом, та вредност је повећана са 40% – 60% на 73% – 83%, у зависности од језика.

Тим је такође проценио семантичку верност помоћу засебног оцењивања по принципу „модел као судија”, на скали од 1 („потпуно различито”) до 5 („семантички еквивалентно”).  За синхронизацију су одучили да прихвате нижи семантички праг него за превод намењен само титловима, где ограничења трајања нису релевантна. Чак и уз тај компромис, 85,5% сегмената оцењено је са четири или пет од пет у погледу семантичке усклађености.

Резултат је био систем који је могао да уравнотежи два супротстављена ограничења – временско усклађивање и значење – уз мерљиву поузданост. А пошто су обе метрике биле аутоматизоване, Descript може континуирано да процењује нова издања модела и варијације инструкција у односу на иста референтна мерила.

Како се превођење помера са појединачних видео-снимака на велике библиотеке садржаја, Descript уграђује више контроле у начин на који се преводи подешавају, укључујући могућност да се по потреби да приоритет строжој семантичкој верности.

Превођење унутар Descript-а је само један слој ширег мултимодалног система. Преведени текст служи као улаз за генерисање говора, које затим покреће синхронизацију усана и завршни приказ видео-записа. 

Побољшања на текстуалном слоју омогућавају природан темпо, али целокупно искуство зависи и од тога колико добро аудио модел чува тон, ритам и невербалне карактеристике говора. Ту тим види следећу границу. 

„Оно што ће у великој мери побољшати резултате превођења јесте да се процес учини мултимодалнијим: да се звук, видео и текст заједно узимају у обзир при одлучивању о начину превођења”, рекао је Мистратов. „То би требало да боље очува невербалне карактеристике говора, попут тона и истицања, и да сачува још више оригиналног начина излагања.“

За Descript, снажнији модели резоновања учинили су сложеност синхронизације савладивом. Преласком прага на којем су модели могли поуздано да балансирају компромисе између темпа и значења, превођење је постало нешто што је тим могао систематски да унапређује и примењује у великом обиму.