Si e dublon Descript videon në shumë gjuhë në shkallë të gjerë

Descript⁠(hapet në një dritare të re) është një redaktues videosh me IA, bazuar në një ide të thjeshtë: nëse mund të redaktosh tekstin, duhet të mund ta redaktosh videon. Që në hapat e para të Descript, IA-ja ka fuqizuar çdo aspekt të produktit: transkriptimin, redaktimin, pastrimin e audios dhe proceset e punës krijuese gjithnjë e më komplekse. Ata janë mbështetur te OpenAI prej vitesh, duke përdorur Whisper për transkriptim dhe modele të serisë GPT brenda bashkëredaktorit të tyre Underlord. 

Përkthimi u shfaq shpejt si një rast përdorimi me ndikim të madh. Tradicionalisht, përkthimi i videove ka qenë i ngadalshëm dhe i kushtueshëm, duke kërkuar ekspertë të gjuhës për të menaxhuar projekte, për të prodhuar përkthime rutinë, për të kryer kontrollin e cilësisë dhe për të gjeneruar audion përkatëse. LLM e kompresojnë ndjeshëm këtë cikël pune, duke e bërë të mundur përkthimin me cilësi të lartë në shkallë të gjerë.

Titrimi dhe dublimi kërkojnë të dyja besnikëri semantike: përkthimi duhet të ruajë kuptimin origjinal. Por respektimi i kohëzgjatjes luan një rol të ndryshëm në secilën. Për titrim, është një opsion i dobishëm. Për dublim, është thelbësor, sepse nëse fjalimi i përkthyer zgjat shumë ose shumë pak, mund të tingëllojë i panatyrshëm edhe nëse kuptimi është i saktë.

Për ta adresuar këtë, Descript ridizajnoi procesin e përkthimit duke përdorur modelet e arsyetimit të OpenAI për të optimizuar besnikërinë semantike dhe respektimin e kohëzgjatjes gjatë gjenerimit, jo më pas. Në 30 ditët e para pas qarkullimit, eksportet e videove të përkthyera me dublim u rritën me 15%, dhe zbatimi i kohëzgjatjes u përmirësua me 13% deri në 43%, në varësi të gjuhës.

“Dublimi është një rast përdorimi gjithnjë e më popullor për Descript, ndaj po ndërtojmë mënyra për ta bërë atë në grup për kompanitë që duan të përkthejnë dhe të sinkronizojnë biblioteka të tëra,” tha Laura Burkhauser, Drejtoreshë Ekzekutive.

Përkthimi ishte një nga veçoritë më të hershme dhe më të kërkuara të Descript. Ata filluan me përkthimin vetëm të titrave, që funksionoi mirë, por shumë përdorues donin të shkonin më tej dhe të kishin audio të folur (dublim) në gjuhën e synuar.

Megjithatë, një problem vazhdonte të shfaqej: audioja e dubluar nuk tingëllonte gjithmonë siç duhet. “Me shumë gjasë ankesa numër një që dëgjuam ishte se ritmi i të folurit ishte i panatyrshëm në gjuhën e përkthyer,” tha Aleks Mistratov, Head of AI Product në Descript.

Problemi qëndronte në faktin se gjuhë të ndryshme kërkojnë sasi të ndryshme kohe për të shprehur të njëjtën ide. Descript vërejti, për shembull, se mesatarisht gjermanishtja është një gjuhë më e gjatë se anglishtja. Për t’u përshtatur me segmente fikse video, e folura e përkthyer shpesh duhej të përshpejtohej ose të ngadalësohej artificialisht. “Do të përfundoje me diçka që do të tingëllonte si ketra, ose si ndonjë gjigant i përgjumur,” shpjegoi Mistratov.

Përdoruesit mbetën me dy opsione: të rregullonin manualisht kohëzgjatjen e audios segment pas segmenti, ose të rishkruanin vetë përkthimin për ta bërë të përshtatet. Të dyja qasjet kërkonin redaktime të thella të afatit kohor dhe, shpesh, rrjedhshmëri pothuajse si e një folësi vendas në gjuhën e synuar. Ishte e lodhshme për krijuesit dhe u bë një pengesë për shkallëzimin e veçorisë në projekte të mëdha të lokalizimit për Enterprise.

Ekipi kishte një teori të qartë se çfarë do të duhej për ta bërë dublimin të funksiononte. Sistemi do të duhej jo vetëm të optimizojë për kuptimin semantik, por edhe të jetë i vetëdijshëm për kufizimet kohore. Kur përkthehet nga anglishtja në gjermanisht, për shembull, model do të duhej të kuptonte si të përdorte më pak fjalë ose ta thjeshtonte konceptin, në mënyrë që audioja e dubluar të mbetej natyrale.

Qasjet e mëparshme optimizonin fillimisht besnikërinë semantike dhe përpiqeshin të korrigjonin kohëzgjatjen më pas. Përkthimet shpesh ishin semantikisht të sakta, por ato rregullisht nuk i përmbushnin kufizimet e kohëzgjatjes, dhe cilësia e përgjithshme ende nuk ishte mjaftueshëm e mirë. 

“Ne kryem teste graduale, pa gjeneruar asgjë, thjesht duke i kërkuar modelit të nxirrte numrin e rrokjeve në një pjesë teksti,” tha Mistratov. “Modelet e mëparshme thjesht nuk ishin të mira në këtë.”

Numërimi i besueshëm i rrokjeve doli të ishte kritik. Nëse modeli nuk mund të llogariste rrokjet në mënyrë të qëndrueshme, ai nuk mund të synonte me saktësi një interval të caktuar kohëzgjatjeje.

Modelet e serisë GPT‑5 sollën një nivel qëndrueshmërie në arsyetim që u mungonte modeleve të mëparshme, veçanërisht në detyra si numërimi i rrokjeve dhe ndjekja e kufizimeve. Me atë përmirësim, Descript ridizajnoi procesin e tij të përkthimit dhe dublimit.

Së pari, sistemi i Descript e ndan transkriptin në pjesë, të udhëhequra nga kufijtë e fjalive, pauzat natyrore dhe modelet e të folurit në regjistrimin origjinal. Çdo segment ruan vazhdimësinë semantike, por është mjaft i vogël për t'u konsideruar si një njësi kohore.

Nga aty, modeli llogarit numrin e rrokjeve në segment. Duke përdorur supozime për shpejtësinë e të folurit specifike për gjuhën, sistemi vlerëson sa rrokje duhet të synojë segmenti i përkthyer për të ruajtur ritmin natyral (“përputhje e kohëzgjatjes”). Kërkesa i kërkon modelit të optimizohet si për respektimin e kohëzgjatjes ashtu edhe për ruajtjen e kuptimit. Pjesët përreth kalohen si kontekst në mënyrë që modeli të ruajë koherencën semantike nëpër segmente.

Ekipi vlerësoi konfigurime të shumta për të balancuar përputhshmërinë me kohëzgjatjen, besnikërinë semantike, vonesën dhe koston. Konfigurimi i përzgjedhur ofroi ndjekje të fortë të kufizimeve me shpejtësi prodhimi, duke mundësuar përkthim me volum të lartë pa riplanifikim manual. Rezultati është një linjë përkthimi ku ritmi trajtohet si një variabël e klasit të parë në vend që të jetë diçka që korrigjohet pasi të ketë ndodhur.

Për të zhvilluar kriteret e pranimit për vlerësimet, ekipi kreu teste dëgjimi: ata gjeneruan mostra audio të përkthyera dhe rregulluan shpejtësinë e riprodhimit në rritje të vogla, duke u kërkuar përdoruesve të vlerësonin se kur e folura bëhej e panatyrshme. 

“Çdo gjë që ngadalësohej me 10% ose përshpejtohej me 20%, në përgjithësi ende tingëllonte natyrshëm,” tha Mistratov. Përtej këtij diapazoni, të folurit u bë me shumë distorsion. 

Sistemet e mëparshme performuan dobët sipas asaj mase. Në varësi të gjuhës, vetëm 40% deri në 60% e segmenteve përfshiheshin brenda intervalit të pranueshëm të ritmit. Me procesin e ridizajnuar, ai numër u rrit nga 40%–60% në mes të 73% dhe 83%, në varësi të gjuhës.

Ekipi vlerësoi gjithashtu besnikërinë semantike duke përdorur një vlerësim të veçantë model-si-gjykues në një shkallë që varionte nga 1 (“krejtësisht e ndryshme”) deri në 5 (“semantikisht ekuivalente”).  Për dublim, ata vendosën të pranonin një prag semantik më të ulët sesa për përkthimin vetëm me titra, ku kufizimet e kohëzgjatjes janë të parëndësishme. Edhe me atë kompromis, 85,5% e segmenteve u vlerësuan me katër ose pesë nga pesë për përputhje semantike.

Rezultati ishte një sistem që mund të balanconte dy kufizime konkurruese — kohën dhe kuptimin — me besueshmëri të matshme. Dhe për shkak se të dy metrikat ishin të automatizuara, Descript mund të vlerësojë vazhdimisht publikimet e reja të modelit dhe variacionet e kërkesës kundrejt të njëjtave standarde krahasuese.

Ndërsa përkthimi kalon nga video të vetme te biblioteka të mëdha përmbajtjeje, Descript po ndërton më shumë kontroll mbi mënyrën se si rregullohen përkthimet, duke përfshirë mundësinë për t’i dhënë përparësi besnikërisë më të rreptë semantike kur është e nevojshme.

Përkthimi brenda Descript është vetëm një shtresë e një sistemi multimodal më të gjerë. Teksti i përkthyer futet në gjenerimin e të folurit, i cili më pas drejton sinkronizimin e buzëve dhe renderimin final të videos. 

Përmirësimet në shtresën e tekstit mundësojnë një ritëm natyral, por përvoja e përgjithshme varet edhe nga sa mirë modeli audio ruan tonin, kadencën dhe karakteristikat joverbale të të folurit. Aty ekipi sheh kufirin e radhës. 

"Një pjesë e madhe e asaj që do t'i përmirësojë rezultatet e përkthimit është ta bëjmë linjën më multimodale: duke përfshirë audio, video dhe tekst së bashku kur vendosim se si të përkthejmë," tha Mistratov. "Kjo duhet të ruajë më mirë karakteristikat joverbale të të folurit, p.sh. tonin dhe theksin, si dhe të ruajë edhe më shumë nga mënyra origjinale e të shprehurit."

Për Descript, modele arsyetimi më të forta e bënë kompleksitetin e dublimit të menaxhueshëm. Duke kaluar pragun ku modelet mund të balanconin në mënyrë të besueshme kompromiset midis ritmit dhe kuptimit, përkthimi u bë një proces që ekipi mund ta përmirësonte sistematikisht dhe ta zbatonte në shkallë të gjerë.