Како Descript создава масовно повеќејазично видеосинхронизирање

Descript⁠(се отвора во нов прозорец) е видеоуредувач изграден врз основа на вештачка интелигенција, заснован на едноставна идеја: ако можете да уредувате текст, треба да можете да уредувате видео. Уште од раните денови на Descript, вештачката интелигенција го потпомага секој аспект од производот: транскрипција, уредување, чистење на аудио и сè посложени креативни работни процеси. Тие со години надградуваат на OpenAI, користејќи Whisper за транскрипција и модели од серијата GPT во нивниот соуредник Underlord. 

Преводот брзо се појави како случај на употреба со големо влијание. Традиционално, преводот на видео беше бавен и скап, барајќи јазични експерти да управуваат со проекти, да изработуваат рутински преводи, да вршат контрола на квалитет и да создаваат соодветно аудио. Големите јазични модели (LLM) драматично го компресираат тој работен тек, овозможувајќи висококвалитетен превод во голем обем.

И натписите и синхронизацијата бараат семантичка верност: преводот мора да го зачува оригиналното значење. Но придржувањето до времетраењето игра различна улога во секоја од нив. Кога се работи за титлови, не е лошо да се има. За синхронизација, тоа е од клучно значење, бидејќи ако преведениот говор трае премногу долго или премногу кратко, ќе звучи неприродно дури и ако значењето е точно.

За да го реши ова, Descript го редизајнираше својот процес за превод користејќи OpenAI модели со расудување за да оптимизира за семантичка верност и придржување до времетраењето за време на генерирањето, а не потоа. Во првите 30 дена по воведувањето, извозот на преведени видеа со синхронизација се зголеми за 15%, а усогласеноста со времетраењето се подобри за 13 до 43 проценти, во зависност од јазикот.

„Синхронизацијата е сè попопуларен случај на употреба за Descript, па затоа градиме начини да го правиме тоа групно за компании кои сакаат да преведуваат и синхронизираат на усни цели библиотеки“, рече Лаура Буркхаузер, главен извршен директор.

Преводот беше една од најраните и најбараните функции на Descript. Тие започнаа со превод само на титлови, што функционираше добро – но многу корисници сакаа да одат понатаму и да имаат говорно аудио (синхронизација) на целниот јазик.

Сепак, еден проблем постојано се појавуваше: синхронизираниот аудио-запис не звучеше секогаш како што треба. „Веројатно најчестата поплака што ја слушнавме беше дека темпото на говорот беше неприродно на преведениот јазик“, рече Алекс Мистратов, раководител на производи за вештачка интелигенција во Descript.

Проблемот се сведе на фактот дека на различни јазици им е потребно различно време за да ја изразат истата идеја. Descript забележа, на пример, дека во просек германскиот е „подолг“ јазик од англискиот. За да се вклопи во фиксни видео-сегменти, преведениот говор често мораше вештачки да се забрза или забави. „Ќе завршиш со нешто што ќе звучи како верверички, или како заспан џин“, објасни Мистратов.

На корисниците им останаа две опции: рачно да го прилагодат времето на аудиото сегмент по сегмент или да го преработат самиот превод за да се вклопи. И двата пристапи бараа длабоки уредувања на временската рамка и, често, речиси мајчинска флуентност во целниот јазик. Тоа беше мачно за креаторите и стана пречка за скалирање на функцијата за големи локализациски проекти на ниво на претпријатие.

Тимот имаше јасна теорија за тоа што би било потребно за синхронизацијата да функционира. Системот би требало не само да оптимизира за семантичко значење, туку и да биде свесен за временските ограничувања. Кога се преведува од англиски на германски, на пример, моделот би требало да разбере како да користи помалку зборови или да го поедностави концептот, за синхронизираниот аудиозапис да остане природен.

Претходните пристапи прво ја оптимизираа семантичката верност и потоа се обидуваа да го коригираат времето. Преводите често беа семантички точни, но редовно ги пропуштаа ограничувањата за времетраење, а целокупниот квалитет сè уште не беше доволно добар. 

„Извршивме инкрементални тестови, без воопшто да генерираме нешто, само барајќи од моделот да го изведе бројот на слогови во дел од текст“, рече Мистратов. „Претходните модели едноставно не беа добри во таа работа.“

Сигурното броење на слогови се покажа како критично. Ако моделот не можеше доследно да ги пресметува слоговите, не можеше сигурно да насочи одреден временски прозорец.

Моделите од серијата GPT‑5 донесоа ниво на доследност во расудувањето што им недостасуваше на претходните модели, особено за задачи како броење на слогови и следење на ограничувања. Со тоа подобрување, Descript го редизајнираше својот процес за преведување и синхронизација на звук.

Прво, системот на Descript го дели транскриптот на делови, воден од границите на речениците, природните паузи и говорните шеми во оригиналната снимка. Секој сегмент одржува семантичка континуитетност, но е доволно мал за да може да се расудува за него како временска единица.

Оттаму, моделот го пресметува бројот на слогови во делот. Користејќи претпоставки за брзината на говор специфични за јазикот, системот проценува колку слогови треба да таргетира преведениот сегмент за да се зачува природното темпо („придржување кон времетраењето“). Промптот бара од моделот да оптимизира и за придржување кон времетраењето и за зачувување на значењето. Околните делови се проследуваат како контекст за да може моделот да одржува семантичка кохерентност низ сегментите.

Тимот евалуираше повеќе конфигурации за да постигне рамнотежа помеѓу придржувањето кон времетраењето, семантичката верност, латентноста и трошокот. Избраната поставеност овозможи силно следење на ограничувањата при брзина на производство, овозможувајќи превод со голем обем без рачно повторно тајмирање. Резултатот е процес на превод каде што темпирањето се третира како променлива од прва класа, наместо како нешто што е корегирано подоцна.

За да ги развие критериумите за прифаќање за евалуациите, тимот спроведе тестови на слушање: генерираа преведени аудио примероци и ја прилагодуваа брзината на репродукција во мали чекори, барајќи од корисниците да оценат кога говорот станал неприроден. 

„Сè што беше забавено за 10 % или забрзано за 20 %, во глобала сè уште звучеше природно“, рече Мистратов. Надвор од овој опсег, говорот стана премногу изобличен. 

Претходните системи слабо се справуваа според тој показател. Во зависност од јазикот, само 40 % до 60 % од сегментите спаѓаа во прифатливиот временски прозорец за темпо. Со редизајнираниот процес, таа бројка се зголеми од 40 % – 60 % на помеѓу 73 % и 83 %, во зависност од јазикот.

Тимот, исто така, ја оцени семантичката верност користејќи посебна оценка на моделот како судија на скала што се движи од 1 („сосема различно“) до 5 („семантички еквивалентно“).  За синхронизирање, тие одлучија да прифатат понизок семантички праг отколку за превод само на натписи, каде што ограничувањата на времетраењето не се релевантни. Дури и со тој компромис, 85,5 % од сегментите беа оценети со четири или пет од пет за семантичка усогласеност.

Резултатот беше систем што можеше да балансира две конкурентни ограничувања – времето и значењето – со мерлива доверба. И бидејќи и двата показатела беа автоматизирани, Descript може континуирано да ги оценува новите изданија на моделите и варијациите на промптовите според истите одредници.

Како што преводот се движи од поединечни видеа кон големи содржински библиотеки, Descript вградува поголема контрола во начинот на кој се прилагодуваат преводите, вклучително и можноста да се приоритизира построга семантичка верност кога е потребно.

Преводот во Descript е само еден слој од поширок мултимодален систем. Преведениот текст се внесува во генерирање говор, што потоа ја придвижува синхронизацијата на усните и финалното рендерирање на видеото. 

Подобрувањата на текстуалниот слој овозможуваат природно темпо, но целокупното искуство зависи и од тоа колку добро аудио моделот го зачувува тонот, каденцата и невербалните карактеристики на говорот. Таму тимот ја гледа следната граница. 

„Голем дел од тоа што ќе го подобри исходот од преводот е да се направи процесот повеќе мултимодален: да се вклучат аудио, видео и текст заедно при одлучувањето како да се преведе“, рече Мистратов. „Тоа треба подобро да ги одржува невербалните карактеристики на говорот, како што е тон и нагласување и да зачува уште повеќе од оригиналната изведба.“

За Descript, посилните модели со расудување ја направија сложеноста на синхронизацијата на гласот изводлива. Со преминување на прагот каде што моделите можеа сигурно да ги балансираат компромисите меѓу темпото и значењето, преводот стана нешто што тимот можеше систематски да го подобрува и да го воведува во голем обем.