Descript가 대규모 다국어 영상 더빙을 구현하는 방법

Descript⁠(새 창에서 열기)는 '텍스트를 편집할 수 있다면 영상도 편집할 수 있어야 한다'는 단순한 아이디어에서 출발한 AI 기반 영상 편집기입니다. 초기부터 Descript는 전사, 편집, 오디오 정리, 그리고 점점 더 복잡해지는 창작 워크플로까지 제품 전반에 AI를 활용해 왔습니다. Descript는 오랫동안 OpenAI를 기반으로 제품을 발전시켜 왔으며, 전사에는 Whisper를, 공동 편집 기능인 Underlord에는 GPT 시리즈 모델을 활용하고 있습니다. 

번역은 곧 가장 큰 효과를 낼 수 있는 활용 사례 가운데 하나로 자리 잡았습니다. 기존의 영상 번역은 시간이 많이 들고 비용도 높았습니다. 언어 전문가가 프로젝트를 관리하고, 번역문을 작성하며, 품질을 검수하고, 더빙 음성까지 제작해야 했기 때문입니다. LLM은 이러한 작업 과정을 크게 단축해 대규모 환경에서도 고품질 번역을 가능하게 했습니다.

자막과 더빙 모두 원래 의미를 그대로 유지하는 것이 중요합니다. 번역은 원문의 의미를 충실하게 전달해야 합니다. 하지만 원본 길이에 맞추는 것은 자막과 더빙에서 그 중요도가 다릅니다. 자막에서는 있으면 좋은 요소에 가깝습니다. 반면 더빙에서는 매우 중요합니다. 번역된 음성이 너무 길거나 짧으면 의미가 정확하더라도 부자연스럽게 들리기 때문입니다.

이를 해결하기 위해 Descript는 OpenAI 추론 모델을 활용해 번역 파이프라인을 새롭게 설계했습니다. 번역을 생성한 뒤 길이를 맞추는 것이 아니라, 생성 단계부터 원래 의미를 유지하면서도 원본 길이에 맞도록 최적화했습니다. 새로운 시스템을 적용한 뒤 30일 동안 더빙이 포함된 번역 영상의 내보내기는 15% 증가했으며, 언어에 따라 원본 길이와의 일치도는 13~43퍼센트포인트 향상되었습니다.

로라 버크하우저 CEO는 "더빙은 Descript에서 빠르게 늘어나고 있는 활용 사례입니다. 그래서 방대한 영상 라이브러리를 번역하고 립싱크하려는 기업을 위해 더빙 작업을 일괄 처리할 수 있는 기능을 개발하고 있습니다."라고 말했습니다.

번역은 Descript가 초기에 선보인 기능 가운데 하나였으며, 사용자들의 요청도 가장 많았습니다. 처음에는 자막만 번역하는 기능으로 시작했고 좋은 반응을 얻었습니다. 하지만 많은 사용자는 한 걸음 더 나아가 대상 언어의 음성 더빙까지 원했습니다.

하지만 한 가지 문제가 계속 나타났습니다. 더빙된 음성이 항상 자연스럽게 들리지는 않았던 것입니다. Descript의 AI 제품 총괄인 알렉스 미스트라토프는 "사용자들이 가장 많이 지적한 문제는 번역된 언어의 말하기 속도가 부자연스럽다는 것이었습니다."라고 말했습니다.

같은 내용을 전달하더라도 언어마다 필요한 시간이 다르다는 점이 문제의 원인이었습니다. 예를 들어 Descript는 같은 내용을 표현할 때 독일어가 영어보다 평균적으로 더 길어지는 경향이 있다는 점을 확인했습니다. 정해진 영상 구간에 맞추려면 번역된 음성을 인위적으로 빠르게 하거나 느리게 재생해야 하는 경우가 많았습니다. 알렉스 미스트라토프는 "결국 다람쥐처럼 지나치게 빠르게 말하거나, 졸린 거인처럼 느리게 말하는 소리가 되곤 했습니다."라고 설명했습니다.

사용자에게는 두 가지 선택지밖에 없었습니다. 오디오를 구간별로 하나씩 직접 길이를 조정하거나, 길이에 맞도록 번역문을 다시 작성하는 것이었습니다. 어느 방법이든 타임라인을 대대적으로 수정해야 했고, 대부분의 경우 대상 언어를 원어민 수준으로 이해해야 했습니다. 이 과정은 크리에이터에게 큰 부담이었고, 대규모 엔터프라이즈 현지화 프로젝트로 기능을 확장하는 데도 걸림돌이 되었습니다.

팀은 자연스러운 더빙을 구현하려면 무엇이 필요한지 분명히 알고 있었습니다. 시스템은 원래 의미를 충실하게 전달하는 것뿐 아니라, 길이 제약까지 함께 고려해야 했습니다. 예를 들어 영어를 독일어로 번역할 때는 같은 내용을 더 적은 단어로 표현하거나 내용을 간결하게 전달해, 더빙된 음성이 자연스럽게 들리도록 해야 했습니다.

기존 방식은 먼저 의미를 최대한 유지하는 데 집중한 뒤, 나중에 길이를 맞추려고 했습니다. 번역 자체는 의미를 잘 전달했지만, 목표 길이를 맞추지 못하는 경우가 많았고 전체적인 품질도 기대에 미치지 못했습니다. 

알렉스 미스트라토프는 "처음에는 번역조차 생성하지 않았습니다. 텍스트 청크의 음절 수만 계산하도록 모델을 테스트하면서 조금씩 성능을 확인해 나갔습니다."라고 말했습니다. "이전 모델들은 그런 작업을 잘하지 못했습니다."

정확하게 음절 수를 계산하는 능력은 매우 중요한 요소였습니다. 모델이 음절 수를 일관되게 계산하지 못하면 목표 길이에 맞춰 번역을 생성하는 것도 안정적으로 수행할 수 없었습니다.

GPT‑5 시리즈 모델은 음절 계산이나 제약 조건 추적과 같은 작업에서 이전 모델보다 훨씬 일관된 추론 성능을 보여 주었습니다. 이러한 발전을 바탕으로 Descript는 번역 및 더빙 파이프라인을 새롭게 설계했습니다.

먼저 Descript는 문장의 경계와 자연스러운 쉼, 원본 음성의 말하기 패턴을 기준으로 전사본을 여러 개의 청크로 나눕니다. 각 청크는 앞뒤 맥락은 유지하면서도 길이를 조정하기 쉬운 단위로 나뉩니다.

그런 다음 모델이 각 청크의 음절 수를 계산합니다. 시스템은 언어별 평균 말하기 속도를 바탕으로, 번역된 청크가 자연스러운 말하기 속도를 유지하려면 목표 음절 수가 얼마여야 하는지를 계산합니다. 이를 통해 원본 길이와 최대한 맞도록 조정합니다. 프롬프트는 원본 길이에 맞추는 것과 원래 의미를 유지하는 것을 모두 고려하도록 모델에 지시합니다. 또한 앞뒤 청크를 함께 컨텍스트로 제공해, 여러 구간에 걸쳐 의미가 자연스럽게 이어지도록 합니다.

팀은 원본 길이와의 일치도, 의미 충실도, 지연 시간, 비용의 균형을 맞추기 위해 다양한 구성을 평가했습니다. 최종적으로 선택한 구성은 실제 서비스 환경에서도 제약 조건을 안정적으로 충족했으며, 길이를 수동으로 조정하지 않아도 대량의 영상을 번역할 수 있게 해 주었습니다. 그 결과 Descript는 번역을 마친 뒤 길이를 맞추는 방식이 아니라, 처음부터 자연스러운 말하기 속도를 중요한 요소로 고려하는 번역 파이프라인을 구축할 수 있었습니다.

평가 기준을 정하기 위해 팀은 청취 테스트를 진행했습니다. 번역된 음성 샘플을 생성한 뒤 재생 속도를 조금씩 조정하면서, 언제부터 말하기가 부자연스럽게 들리는지 사용자에게 평가하도록 했습니다. 

알렉스 미스트라토프는 "재생 속도를 10% 정도 늦추거나 20% 정도 빠르게 해도 대부분은 여전히 자연스럽게 들렸습니다."라고 말했습니다. 하지만 이 범위를 벗어나면 음성이 눈에 띄게 부자연스러워졌습니다. 

이 기준으로 보면 이전 시스템의 성능은 만족스럽지 못했습니다. 언어에 따라 차이는 있었지만, 자연스러운 말하기 속도 범위에 들어간 구간은 전체의 40~60%에 불과했습니다. 새롭게 설계한 파이프라인에서는 이 비율이 언어에 따라 73~83%까지 높아졌습니다.

팀은 별도의 모델 기반 평가를 활용해 의미 충실도도 측정했습니다. 평가는 1점('의미가 완전히 다름')부터 5점('의미적으로 동일함')까지의 척도로 이루어졌습니다. 더빙에서는 길이를 맞추는 것이 중요하기 때문에, 길이 제약을 고려할 필요가 없는 자막 번역보다 의미 충실도 기준을 조금 더 유연하게 적용했습니다. 그럼에도 전체 구간의 85.5%는 의미 충실도 평가에서 5점 만점에 4점 이상을 받았습니다.

그 결과 Descript는 길이와 의미라는 두 가지 상충하는 요소를 균형 있게 맞출 수 있는 시스템을 구현했습니다. 또한 두 지표 모두 자동으로 측정되기 때문에, 새로운 모델이나 다양한 프롬프트를 같은 기준으로 지속적으로 평가할 수 있습니다.

번역 대상이 개별 영상에서 방대한 콘텐츠 라이브러리로 확대되면서, Descript는 번역 방식을 더욱 세밀하게 조정할 수 있도록 기능을 계속 확장하고 있습니다. 필요에 따라 의미 충실도를 더욱 우선하도록 설정할 수도 있습니다.

Descript의 번역 기능은 더 큰 멀티모달 시스템을 이루는 여러 요소 가운데 하나입니다. 번역된 텍스트는 음성 생성에 활용되고, 생성된 음성은 다시 립싱크와 최종 영상 렌더링으로 이어집니다. 

텍스트 단계가 개선되면서 자연스러운 말하기 속도를 구현할 수 있게 되었지만, 전체적인 완성도는 음성 모델이 말투와 리듬, 그리고 말에 담긴 비언어적 특징까지 얼마나 잘 살려 내느냐에 달려 있습니다. Descript는 이 분야를 다음으로 발전시켜 나갈 영역으로 보고 있습니다. 

알렉스 미스트라토프는 "번역 품질을 더욱 높이려면 파이프라인을 한층 더 멀티모달하게 만드는 것이 중요합니다. 번역 방식을 결정할 때 오디오와 영상, 텍스트를 함께 활용해야 합니다."라고 말했습니다. "그러면 말투와 강조처럼 말에 담긴 비언어적 특징을 더 잘 유지할 수 있고, 원래 화자의 전달 방식도 더욱 충실하게 살릴 수 있을 것입니다."

Descript는 추론 성능이 향상된 모델 덕분에 더빙의 복잡한 문제를 해결할 수 있게 되었습니다. 모델이 말하기 속도와 의미 사이의 균형을 안정적으로 맞출 수 있는 수준에 이르자, 번역은 이제 팀이 체계적으로 개선하고 대규모로 적용할 수 있는 기술이 되었습니다.