איך Descript מפתחת דיבוב וידאו רב-לשוני בהיקף רחב

Descript⁠(נפתח בחלון חדש) הוא עורך וידאו שנבנה מלכתחילה על בסיס בינה מלאכותית, סביב רעיון פשוט: מי שיודע לערוך טקסט, אמור להיות מסוגל גם לערוך וידאו. מראשית דרכה של Descript, בינה מלאכותית מניעה כל היבט במוצר: תמלול, עריכה, ניקוי שמע ותהליכי יצירה מורכבים יותר ויותר. כבר שנים שהחברה מפתחת על בסיס OpenAI, ומשתמשת ב-Whisper לתמלול ובמודלים מסדרת GPT בעוזר העריכה שלה, Underlord. 

תרגום התגלה במהירות כאחד השימושים בעלי ההשפעה המשמעותית ביותר. בעבר, תרגום וידאו היה תהליך איטי ויקר, שדרש מומחי שפה לניהול פרויקטים, לביצוע עבודת תרגום שגרתית, לבקרת איכות וליצירת שמע תואם. מודלי שפה גדולים מקצרים את התהליך הזה באופן דרמטי, ומאפשרים תרגום איכותי בהיקף רחב.

גם כתוביות וגם דיבוב מחייבים נאמנות למשמעות: התרגום חייב לשמר את המשמעות המקורית. אבל ההתאמה למשך הזמן ממלאת תפקיד שונה בכל אחד מהם. בכתוביות, זו תוספת רצויה אך לא הכרחית. בדיבוב, היא קריטית: אם הדיבור המתורגם ארוך מדי או קצר מדי, הוא יישמע לא טבעי גם אם המשמעות נכונה.

כדי להתמודד עם הבעיה, Descript תכננה מחדש את תהליך התרגום שלה בעזרת מודלי reasoning של OpenAI, כדי לשפר את הנאמנות למשמעות ואת ההתאמה למשך הזמן כבר בזמן היצירה, ולא לאחריה. ב-30 הימים הראשונים לאחר ההשקה, ייצוא סרטונים מתורגמים עם דיבוב עלה ב-15%, וההתאמה למשך הזמן השתפרה ב-13 עד 43 נקודות אחוז, בהתאם לשפה.

"דיבוב הוא שימוש פופולרי יותר ויותר ב-Descript, ולכן אנחנו מפתחים דרכים לבצע אותו בקבוצות של סרטונים, עבור חברות שרוצות לתרגם ספריות שלמות ולסנכרן בהן את תנועות השפתיים", אמרה המנכ"לית לורה בורקהאוזר.

תרגום היה אחת התכונות הראשונות והמבוקשות ביותר של Descript. החברה התחילה בתרגום כתוביות בלבד, שעבד היטב — אבל משתמשים רבים רצו להתקדם מעבר לכך ולקבל גם דיבור מוקלט (דיבוב) בשפת היעד.

אלא שבעיה אחת חזרה ועלתה: הדיבוב לא תמיד נשמע כמו שצריך. "כנראה התלונה הנפוצה ביותר ששמענו הייתה שקצב הדיבור בשפה שאליה תרגמנו אינו טבעי", אמר אלכס מיסטרטוב, ראש תחום מוצרי הבינה המלאכותית ב-Descript.

שורש הבעיה היה שבשפות שונות נדרש פרק זמן שונה כדי להביע את אותו רעיון. ב-Descript הבחינו, למשל, שגרמנית היא בממוצע שפה "ארוכה" יותר מאנגלית. כדי להתאים למקטעי וידאו באורך קבוע, לעיתים קרובות היה צריך להאיץ או להאט את הדיבור המתורגם באופן מלאכותי. "בסוף קיבלת משהו שנשמע כמו סנאים מצוירים, או כמו ענק מנומנם", הסביר מיסטרטוב.

למשתמשים נותרו שתי אפשרויות: להתאים ידנית את תזמון השמע, מקטע אחר מקטע, או לשכתב את התרגום עצמו כך שיתאים. שתי הגישות דרשו עריכה נרחבת בציר הזמן, ולעיתים קרובות גם שליטה בשפת היעד ברמה הקרובה לשפת אם. זו הייתה עבודה מייגעת ליוצרים, והיא הפכה לחסם בפני הרחבת השימוש בתכונה לפרויקטי לוקליזציה גדולים בארגונים.

לצוות הייתה תפיסה ברורה של מה שנדרש כדי שהדיבוב יעבוד היטב. המערכת תצטרך לא רק לדייק במשמעות, אלא גם להתחשב באילוצי התזמון. בתרגום מאנגלית לגרמנית, למשל, המודל יצטרך להבין איך להשתמש בפחות מילים או לפשט את הרעיון, כדי שהדיבוב יישאר טבעי.

גישות קודמות התמקדו תחילה בנאמנות למשמעות, וניסו לתקן את התזמון לאחר מכן. התרגומים היו לרוב נכונים מבחינת המשמעות, אבל שוב ושוב לא עמדו במגבלות משך הזמן, והאיכות הכוללת עדיין לא הייתה טובה מספיק. 

"ערכנו בדיקות בהדרגה. אפילו לא ביקשנו ליצור משהו, אלא רק ביקשנו מהמודל להחזיר את מספר ההברות בקטע טקסט", אמר מיסטרטוב. "מודלים קודמים פשוט לא היו טובים בזה."

התברר שספירת הברות אמינה היא קריטית. אם המודל לא הצליח לחשב בעקביות את מספר ההברות, אי אפשר היה לסמוך עליו שיכוון לטווח זמן מוגדר.

מודלים מסדרת GPT‑5 הביאו רמת עקביות ב-reasoning שחסרה למודלים קודמים, במיוחד במשימות כמו ספירת הברות ומעקב אחר אילוצים. בזכות השיפור הזה, Descript תכננה מחדש את תהליך התרגום והדיבוב שלה.

תחילה, המערכת של Descript מחלקת את התמליל למקטעים לפי גבולות המשפטים, הפסקות טבעיות ודפוסי הדיבור בהקלטה המקורית. כל מקטע שומר על רצף המשמעות, אבל קטן מספיק כדי שאפשר יהיה לנתח אותו כיחידת תזמון.

לאחר מכן, המודל מחשב את מספר ההברות במקטע. על סמך הנחות לגבי קצב הדיבור בכל שפה, המערכת מעריכה לאיזה מספר הברות יש לכוון במקטע המתורגם כדי לשמור על קצב טבעי ("התאמה למשך הזמן"). הפרומפט מבקש מהמודל לשפר הן את ההתאמה למשך הזמן והן את שימור המשמעות. המקטעים הסמוכים מועברים למודל כהקשר, כדי שישמור על רצף הגיוני של המשמעות בין המקטעים.

הצוות בחן כמה תצורות כדי לאזן בין התאמה למשך הזמן, נאמנות למשמעות, זמן תגובה ועלות. התצורה שנבחרה עמדה היטב באילוצים ובמהירות הנדרשת בסביבת ייצור, ואפשרה תרגום בהיקף גדול ללא התאמת תזמון ידנית. התוצאה היא תהליך תרגום שבו קצב הדיבור הוא משתנה מרכזי מלכתחילה, ולא משהו שמתקנים בדיעבד.

כדי לקבוע את ספי הקבלה בהערכות, הצוות ערך מבחני האזנה: הוא יצר דגימות שמע מתורגמות ושינה את מהירות ההשמעה בצעדים קטנים, וביקש ממשתמשים לציין מתי הדיבור נעשה לא טבעי. 

"כל מה שהאטנו ב-10% או האצנו ב-20% בדרך כלל עדיין נשמע טבעי", אמר מיסטרטוב. מחוץ לטווח הזה, הדיבור כבר היה מעוות מדי. 

הביצועים של מערכות קודמות במדד הזה היו חלשים. רק 40% עד 60% מהמקטעים היו בטווח קצב הדיבור המקובל, בהתאם לשפה. עם תהליך העיבוד שתוכנן מחדש, השיעור עלה מ-40%–60% ל-73%–83%, בהתאם לשפה.

הצוות גם העריך את הנאמנות למשמעות באמצעות מודל נפרד ששימש כשופט, בסולם שנע מ-1 ("שונה לחלוטין") עד 5 ("זהה במשמעות").  בדיבוב, הוחלט להסתפק בסף נאמנות למשמעות נמוך יותר מאשר בתרגום כתוביות בלבד, שבו אילוצי משך הזמן אינם רלוונטיים. גם עם הפשרה הזאת, 85.5% מהמקטעים קיבלו ציון של ארבע או חמש מתוך חמש בנאמנות למשמעות.

התוצאה הייתה מערכת שמסוגלת לאזן בין שני אילוצים מתחרים — תזמון ומשמעות — ברמת אמינות שאפשר למדוד. ומכיוון ששני המדדים נמדדים אוטומטית, Descript יכולה להעריך באופן שוטף גרסאות חדשות של מודלים ונוסחים שונים של פרומפטים לפי אותם מדדי ייחוס.

ככל שהתרגום מתרחב מסרטונים בודדים לספריות תוכן גדולות, Descript מוסיפה אפשרויות שליטה באופן התאמת התרגומים, ובהן היכולת לתת עדיפות לנאמנות קפדנית יותר למשמעות בעת הצורך.

התרגום ב-Descript הוא רק שכבה אחת במערכת רב-מודאלית רחבה יותר. הטקסט המתורגם משמש ליצירת דיבור, שעליו מתבססים בהמשך סנכרון תנועות השפתיים והרינדור הסופי של הווידאו. 

שיפורים בשכבת הטקסט מאפשרים קצב דיבור טבעי, אבל החוויה הכוללת תלויה גם במידת ההצלחה של מודל השמע בשימור הטון, המקצב והמאפיינים הלא-מילוליים של הדיבור. שם הצוות רואה את האתגר הבא. 

"חלק גדול מהשיפור בתוצרי התרגום יגיע מהפיכת תהליך העיבוד לרב-מודאלי יותר: שילוב של שמע, וידאו וטקסט בקבלת ההחלטה איך לתרגם", אמר מיסטרטוב. "כך נוכל לשמר טוב יותר את המאפיינים הלא-מילוליים של הדיבור, כמו טון והדגשות, ולשמור עוד יותר על אופן ההגשה המקורי."

עבור Descript, מודלי reasoning חזקים יותר הפכו את מורכבות הדיבוב לאתגר שניתן להתמודד איתו. מרגע שהמודלים הגיעו לרמה שבה אפשר לסמוך עליהם שיאזנו בין קצב הדיבור למשמעות, התרגום הפך ליכולת שהצוות יכול לשפר באופן שיטתי ולהציע בהיקף רחב.