Descript สร้างระบบพากย์วิดีโอหลายภาษาที่ใช้งานในวงกว้างได้อย่างไร

Descript⁠(เปิดในหน้าต่างใหม่) คือโปรแกรมตัดต่อวิดีโอที่สร้างขึ้นโดยมี AI เป็นแกนหลัก ภายใต้แนวคิดง่ายๆ ว่า หากคุณแก้ไขข้อความได้ คุณก็ควรจะแก้ไขวิดีโอได้เช่นกัน AI ขับเคลื่อนทุกส่วนของผลิตภัณฑ์ Descript มาตั้งแต่ยุคแรก ไม่ว่าจะเป็นการถอดเสียง การตัดต่อ การปรับแต่งเสียง และเวิร์กโฟลว์งานสร้างสรรค์ที่มีความซับซ้อนมากขึ้น ตลอดหลายปีที่ผ่านมา Descript ใช้เทคโนโลยีของ OpenAI โดยนำ Whisper มาใช้ถอดเสียง และผสานโมเดลตระกูล GPT เข้ากับ Underlord ซึ่งเป็นเครื่องมือช่วยตัดต่อของบริษัท 

งานแปลภาษาได้ก้าวขึ้นมาเป็นกรณีการใช้งานสำคัญอย่างรวดเร็ว เดิมทีการแปลวิดีโอต้องใช้ทั้งเวลาและค่าใช้จ่ายสูง เพราะต้องอาศัยผู้เชี่ยวชาญด้านภาษาในการบริหารโครงการ แปลเนื้อหาซ้ำๆ ตรวจสอบคุณภาพ และสร้างเสียงให้ตรงกับคำแปล LLM ลดความซับซ้อนและระยะเวลาของกระบวนการนี้ลงอย่างมาก ทำให้สามารถแปลเนื้อหาจำนวนมากโดยยังคงคุณภาพสูงไว้ได้

ไม่ว่าจะเป็นคำบรรยายหรือการพากย์เสียง คำแปลต้องถ่ายทอดความหมายเดิมได้อย่างครบถ้วน แต่การยึดตามเวลามีบทบาทแตกต่างกันในงานแต่ละประเภท สำหรับงานคำบรรยาย หากเนื้อหาพอดีกับระยะเวลาก็ถือเป็นข้อดี แต่ไม่ใช่สิ่งจำเป็น สำหรับการพากย์เสียง เรื่องนี้สำคัญอย่างยิ่ง เพราะหากบทพูดที่แปลแล้วยาวหรือสั้นเกินไป ก็จะฟังดูไม่เป็นธรรมชาติ แม้ความหมายจะถูกต้องก็ตาม

Descript แก้ปัญหานี้ด้วยการปรับโครงสร้างไปป์ไลน์การแปลใหม่ โดยใช้โมเดลการให้เหตุผลของ OpenAI เพื่อให้คำแปลคงความหมายเดิมและมีความยาวพอดีกับเวลาตั้งแต่แรก แทนที่จะมาแก้ไขทีหลัง ภายใน 30 วันแรกหลังเปิดใช้งาน จำนวนวิดีโอแปลพร้อมเสียงพากย์ที่ส่งออกเพิ่มขึ้น 15% ส่วนการยึดตามเวลาให้ตรงตามที่กำหนดดีขึ้น 13 ถึง 43 จุดเปอร์เซ็นต์ โดยแตกต่างกันไปในแต่ละภาษา

Laura Burkhauser ซีอีโอกล่าวว่า “การพากย์เสียงได้รับความนิยมมากขึ้นในหมู่ผู้ใช้ Descript เราจึงกำลังพัฒนาระบบสำหรับประมวลผลงานเป็นชุด เพื่อให้บริษัทต่างๆ แปลและลิปซิงก์เนื้อหาในคลังทั้งหมดได้”

การแปลภาษาเป็นหนึ่งในฟีเจอร์แรกๆ ของ Descript และได้รับเสียงเรียกร้องจากผู้ใช้มากที่สุด พวกเขาเริ่มต้นด้วยการแปลเฉพาะคำบรรยาย ซึ่งใช้งานได้ดี แต่ผู้ใช้จำนวนมากต้องการมากกว่านั้น นั่นคือการพากย์เสียงเป็นภาษาเป้าหมาย

แต่มีปัญหาหนึ่งที่พบอยู่เรื่อยๆ คือเสียงพากย์ในบางครั้งฟังดูไม่เป็นธรรมชาติ “ข้อร้องเรียนอันดับหนึ่งที่เราได้ยินน่าจะเป็นเรื่องที่จังหวะการพูดฟังดูไม่เป็นธรรมชาติในภาษาที่แปลออกมา” Aleks Mistratov หัวหน้าฝ่ายผลิตภัณฑ์ AI ที่ Descript กล่าว

ต้นตอของปัญหาคือ แต่ละภาษาใช้ระยะเวลาในการสื่อความหมายเดียวกันแตกต่างกัน ตัวอย่างเช่น Descript สังเกตว่าโดยเฉลี่ยแล้วภาษาเยอรมันเป็นภาษาที่ “ยาวกว่า” ภาษาอังกฤษ เพื่อให้พอดีกับช่วงวิดีโอที่มีความยาวตายตัว เสียงพูดที่แปลแล้วจึงมักต้องถูกเร่งหรือชะลอความเร็วโดยวิธีการทางเทคนิค “สุดท้ายคุณจะได้เสียงที่เหมือนชิปมังก์ หรือไม่ก็ยักษ์ง่วงนอน” Mistratov อธิบาย

ผู้ใช้จึงเหลือเพียงสองทางเลือก คือปรับจังหวะเสียงทีละช่วงด้วยตนเอง หรือเรียบเรียงคำแปลใหม่ให้พอดีกับระยะเวลา ทั้งสองแนวทางต้องอาศัยการปรับไทม์ไลน์อย่างละเอียด และบ่อยครั้งยังต้องใช้ผู้ที่เชี่ยวชาญภาษาเป้าหมายที่มีทักษะใกล้เคียงเจ้าของภาษา กระบวนการนี้ทั้งยุ่งยากและใช้เวลามากสำหรับครีเอเตอร์ อีกทั้งยังกลายเป็นอุปสรรคต่อการขยายฟีเจอร์ให้รองรับโครงการแปลภาษาขนาดใหญ่ขององค์กร

ทีมมีแนวทางที่ชัดเจนว่าต้องทำอย่างไรจึงจะทำให้การพากย์เสียงได้ผลดี ระบบไม่เพียงต้องรักษาความหมายให้ถูกต้องเท่านั้น แต่ยังต้องคำนึงถึงข้อจำกัดด้านระยะเวลาด้วย ตัวอย่างเช่น เมื่อแปลจากภาษาอังกฤษเป็นภาษาเยอรมัน โมเดลต้องเข้าใจวิธีใช้คำให้น้อยลงหรือถ่ายทอดแนวคิดให้กระชับขึ้น เพื่อให้เสียงพากย์ยังคงฟังดูเป็นธรรมชาติ

แนวทางก่อนหน้านี้ให้ความสำคัญกับการรักษาความหมายให้ถูกต้องก่อน แล้วจึงค่อยปรับระยะเวลาในภายหลัง แม้คำแปลส่วนใหญ่จะถูกต้องในแง่ความหมาย แต่ก็มักไม่สอดคล้องกับข้อจำกัดด้านระยะเวลา และคุณภาพโดยรวมยังไม่ดีพอ 

“เราค่อยๆ ทดสอบเพิ่มทีละขั้น โดยไม่ได้ให้โมเดลสร้างเนื้อหาอะไรเลย แค่ขอให้นับจำนวนพยางค์ในข้อความช่วงหนึ่งเท่านั้น” Mistratov กล่าว “โมเดลรุ่นก่อนหน้านี้ทำออกมาได้ไม่ดีนัก”

การนับพยางค์ได้อย่างถูกต้องสม่ำเสมอคือองค์ประกอบสำคัญที่ขาดไม่ได้ หากโมเดลไม่สามารถนับจำนวนพยางค์ได้อย่างถูกต้องสม่ำเสมอ ก็จะไม่สามารถควบคุมความยาวของเสียงให้อยู่ในช่วงเวลาที่กำหนดได้อย่างน่าเชื่อถือ

โมเดลซีรีส์ GPT‑5 มีความสามารถในการให้เหตุผลที่สม่ำเสมอในระดับที่โมเดลรุ่นก่อนยังทำไม่ได้ โดยเฉพาะงานอย่างการนับพยางค์และการทำตามข้อจำกัดที่กำหนด ด้วยความสามารถที่พัฒนาขึ้นนี้ Descript จึงออกแบบกระบวนการแปลและพากย์เสียงใหม่

ขั้นแรก ระบบของ Descript จะแบ่งบทถอดเสียงออกเป็นช่วงๆ โดยอิงจากจุดสิ้นสุดของประโยค จังหวะหยุดที่เป็นธรรมชาติ และลักษณะการพูดในไฟล์เสียงต้นฉบับ แต่ละช่วงยังคงความต่อเนื่องของเนื้อหาไว้ ขณะเดียวกันก็สั้นพอที่จะนำมาพิจารณาเป็นหน่วยเวลาได้

จากนั้นโมเดลจะคำนวณจำนวนพยางค์ในข้อความแต่ละช่วง ระบบจะประเมินจำนวนพยางค์ที่ควรใช้ในคำแปลแต่ละช่วง โดยอิงจากอัตราการพูดของภาษานั้นๆ เพื่อให้จังหวะการพูดเป็นธรรมชาติและมีความยาวใกล้เคียงต้นฉบับ (เรียกว่า “การยึดตามเวลา”) พรอมต์สั่งให้โมเดลสร้างผลลัพธ์ที่ทั้งพอดีกับระยะเวลาที่กำหนดและยังคงความหมายของต้นฉบับไว้ ระบบจะส่งข้อความส่วนก่อนหน้าและส่วนถัดไปมาเป็นบริบท เพื่อช่วยให้โมเดลรักษาความหมายของแต่ละส่วนให้เชื่อมโยงกัน

ทีมได้ประเมินการกำหนดค่าหลายรูปแบบเพื่อสร้างสมดุลระหว่างการยึดตามระยะเวลา ความเที่ยงตรงทางความหมาย ความหน่วง และต้นทุน รูปแบบที่เลือกช่วยให้ระบบทำตามข้อจำกัดได้อย่างมีประสิทธิภาพ พร้อมรักษาความเร็วระดับที่ใช้งานจริง จึงรองรับงานแปลปริมาณมากได้โดยไม่ต้องปรับจังหวะเวลาด้วยตนเอง ผลลัพธ์ที่ได้คือกระบวนการแปลที่ให้ความสำคัญกับจังหวะเวลาเป็นปัจจัยหลักตั้งแต่ต้น แทนที่จะค่อยปรับแก้ในภายหลัง

เพื่อกำหนดเกณฑ์การยอมรับสำหรับการประเมิน ทีมได้ทำการทดสอบโดยให้ผู้ใช้ฟังตัวอย่างเสียงแปลที่สร้างขึ้น แล้วค่อยๆ ปรับความเร็วในการเล่นทีละน้อย พร้อมขอให้ผู้ใช้ประเมินว่าเสียงเริ่มฟังไม่เป็นธรรมชาติเมื่อใด 

“เสียงใดก็ตามที่ถูกปรับให้ช้าลง 10% หรือเร่งความเร็วขึ้น 20% โดยทั่วไปแล้วยังคงฟังดูเป็นธรรมชาติ” Mistratov กล่าว เมื่ออยู่นอกช่วงนี้ เสียงพูดจะผิดเพี้ยนมากเกินไป 

ระบบรุ่นก่อนๆ ทำผลงานได้ไม่ดีนักเมื่อวัดด้วยเกณฑ์ดังกล่าว มีข้อความเพียงประมาณ 40% ถึง 60% ที่มีจังหวะการพูดอยู่ภายในกรอบที่กำหนดและฟังเป็นธรรมชาติ โดยสัดส่วนจะแตกต่างกันไปตามแต่ละภาษา เมื่อปรับโครงสร้างไปป์ไลน์ใหม่ สัดส่วนดังกล่าวเพิ่มขึ้นจาก 40%–60% เป็น 73%–83% โดยแตกต่างกันไปในแต่ละภาษา

นอกจากนี้ ทีมยังประเมินความถูกต้องของความหมายโดยใช้โมเดลอีกตัวเป็นผู้ตัดสิน โดยให้คะแนนตั้งแต่ 1 คะแนน (“ความหมายแตกต่างกันโดยสิ้นเชิง”) ไปจนถึง 5 คะแนน (“ความหมายเทียบเท่ากัน”)สำหรับการพากย์เสียง ทีมตัดสินใจใช้เกณฑ์ความถูกต้องด้านความหมายที่ต่ำกว่าการแปลเฉพาะคำบรรยาย เนื่องจากการแปลคำบรรยายไม่ต้องคำนึงถึงข้อจำกัดด้านระยะเวลา แม้จะต้องยอมแลกบางอย่าง แต่ข้อความ 85.5% ยังได้รับคะแนนความถูกต้องด้านความหมาย 4 หรือ 5 จากคะแนนเต็ม 5

ผลที่ได้คือระบบที่สามารถสร้างสมดุลระหว่างข้อจำกัดด้านเวลาและการรักษาความหมาย พร้อมแสดงประสิทธิภาพที่วัดผลได้อย่างชัดเจน และเนื่องจากตัวชี้วัดทั้งสองเป็นแบบอัตโนมัติ Descript จึงสามารถประเมินโมเดลรุ่นใหม่และพรอมต์รูปแบบต่างๆ เทียบกับเกณฑ์มาตรฐานเดียวกันได้อย่างต่อเนื่อง

เมื่อขยายงานแปลจากวิดีโอแต่ละรายการไปสู่คลังเนื้อหาขนาดใหญ่ Descript จึงเพิ่มตัวเลือกในการปรับแต่งงานแปลให้ควบคุมได้มากขึ้น รวมถึงการเลือกให้ระบบรักษาความหมายของต้นฉบับอย่างเคร่งครัดยิ่งขึ้นเมื่อจำเป็น

การแปลภายใน Descript เป็นเพียงเลเยอร์หนึ่งของระบบมัลติโมดัลที่ครอบคลุมกว่า ระบบจะนำคำแปลไปสร้างเสียง จากนั้นจึงซิงค์การขยับริมฝีปากให้ตรงกับเสียงและเรนเดอร์เป็นวิดีโอฉบับสมบูรณ์ 

แม้การพัฒนาระบบด้านข้อความจะช่วยให้เสียงพูดมีจังหวะเป็นธรรมชาติ แต่คุณภาพโดยรวมยังขึ้นอยู่กับความสามารถของโมเดลเสียงในการถ่ายทอดน้ำเสียง จังหวะ และลักษณะอื่นๆ ของการพูดที่นอกเหนือจากถ้อยคำ ทีมมองว่านั่นคือโอกาสสำคัญในการก้าวไปสู่ความเป็นไปได้ใหม่ๆ 

“สิ่งที่จะช่วยยกระดับคุณภาพคำแปลได้อย่างมากคือการทำให้ไปป์ไลน์เป็นแบบมัลติโมดัลมากขึ้น โดยใช้ทั้งเสียง วิดีโอ และข้อความประกอบการตัดสินใจแปล” Mistratov กล่าว “แนวทางนี้น่าจะช่วยคงองค์ประกอบที่นอกเหนือจากถ้อยคำ เช่น น้ำเสียงและการเน้นเสียง พร้อมรักษารูปแบบการพูดของต้นฉบับไว้ได้ดียิ่งขึ้น”

โมเดลที่ใช้เหตุผลได้ดีขึ้นช่วยให้ Descript รับมือกับความซับซ้อนของการพากย์เสียงได้อย่างเป็นระบบ เมื่อโมเดลก้าวข้ามจุดที่สามารถรักษาสมดุลระหว่างจังหวะเวลาและความหมายได้อย่างน่าเชื่อถือ ทีมจึงสามารถพัฒนาคุณภาพการแปลได้อย่างเป็นระบบและนำไปใช้งานในวงกว้าง