Descript ਸਕੇਲ ਤੇ ਬਹੁਭਾਸ਼ਾਈ ਵੀਡੀਓ ਡਬਿੰਗ ਨੂੰ ਕਿਵੇਂ ਇੰਜੀਨੀਅਰ ਕਰਦਾ ਹੈ
OpenAI ਰੀਜ਼ਨਿੰਗ ਮਾਡਲਾਂ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ, Descript ਨੇ ਸਮਾਂ ਜਾਂ ਅਰਥ ਗੁਆਏ ਬਿਨਾਂ ਵੱਡੀਆਂ ਕੰਟੈਂਟ ਲਾਇਬ੍ਰੇਰੀਆਂ ਦੇ ਸਵੈਚਲਿਤ ਸਥਾਨੀਕਰਨ ਨੂੰ ਸੰਭਵ ਬਣਾਇਆ ਹੈ।
ਨਤੀਜੇ
43
OpenAI ਨਾਲ ਸਮਾਂ-ਅਵਧੀ ਦੀ ਪਾਲਣਾ ਵਿੱਚ ਪ੍ਰਤੀਸ਼ਤ ਅੰਕ ਦਾ ਸੁਧਾਰ
ਨਤੀਜੇ
15%
ਰੋਲਆਊਟ ਤੋਂ ਬਾਅਦ ਡੱਬ ਕੀਤੇ ਗਏ ਐਕਸਪੋਰਟਸ ਵਿੱਚ ਵਾਧਾ
Descript(ਨਵੀਂ ਵਿੰਡੋ ਵਿੱਚ ਖੁੱਲ੍ਹਦਾ ਹੈ) ਇੱਕ AI-ਨੇਟਿਵ ਵੀਡੀਓ ਐਡੀਟਰ ਹੈ ਜੋ ਇੱਕ ਸਧਾਰਨ ਵਿਚਾਰ 'ਤੇ ਬਣਾਇਆ ਗਿਆ ਹੈ: ਜੇਕਰ ਤੁਸੀਂ ਟੈਕਸਟ ਨੂੰ ਐਡਿਟ ਕਰ ਸਕਦੇ ਹੋ, ਤਾਂ ਤੁਹਾਨੂੰ ਵੀਡੀਓ ਨੂੰ ਵੀ ਐਡਿਟ ਕਰਨ ਦੇ ਯੋਗ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ। Descript ਦੇ ਸ਼ੁਰੂਆਤੀ ਦਿਨਾਂ ਤੋਂ, AI ਨੇ ਉਤਪਾਦ ਦੇ ਹਰ ਪਹਿਲੂ ਨੂੰ ਸ਼ਕਤੀ ਪ੍ਰਦਾਨ ਕੀਤੀ ਹੈ: ਟ੍ਰਾਂਸਕ੍ਰਿਪਸ਼ਨ, ਐਡਿਟਿੰਗ, ਆਡੀਓ ਕਲੀਨਅੱਪ, ਅਤੇ ਲਗਾਤਾਰ ਗੁੰਝਲਦਾਰ ਹੋ ਰਹੇ ਰਚਨਾਤਮਕ ਵਰਕਫਲੋਜ਼। ਉਨ੍ਹਾਂ ਨੇ ਸਾਲਾਂ ਤੋਂ OpenAI 'ਤੇ ਕੰਮ ਕੀਤਾ ਹੈ, ਜਿਸ ਵਿੱਚ ਟ੍ਰਾਂਸਕ੍ਰਿਪਸ਼ਨ ਲਈ Whisper ਅਤੇ ਉਹਨਾਂ ਦੇ ਕੋ-ਐਡੀਟਰ Underlord ਦੇ ਅੰਦਰ GPT ਸੀਰੀਜ਼ ਦੇ ਮਾਡਲਾਂ ਦੀ ਵਰਤੋਂ ਕੀਤੀ ਗਈ ਹੈ।
ਅਨੁਵਾਦ ਤੇਜ਼ੀ ਨਾਲ ਇੱਕ ਉੱਚ-ਪ੍ਰਭਾਵ ਵਾਲੇ ਯੂਜ਼ ਕੇਸ ਵਜੋਂ ਉੱਭਰਿਆ। ਰਵਾਇਤੀ ਤੌਰ 'ਤੇ, ਵੀਡੀਓ ਦਾ ਅਨੁਵਾਦ ਕਰਨਾ ਧੀਮਾ ਅਤੇ ਮਹਿੰਗਾ ਰਿਹਾ ਹੈ, ਜਿਸ ਲਈ ਪ੍ਰੋਜੈਕਟਾਂ ਦਾ ਪ੍ਰਬੰਧਨ ਕਰਨ, ਰੋਟ ਅਨੁਵਾਦ ਤਿਆਰ ਕਰਨ, ਗੁਣਵੱਤਾ ਨਿਯੰਤਰਣ ਨੂੰ ਸੰਭਾਲਣ ਅਤੇ ਸੰਬੰਧਿਤ ਆਡੀਓ ਤਿਆਰ ਕਰਨ ਲਈ ਭਾਸ਼ਾ ਮਾਹਰਾਂ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। LLM ਇਸ ਵਰਕਫਲੋ ਨੂੰ ਨਾਟਕੀ ਢੰਗ ਨਾਲ ਛੋਟਾ ਕਰ ਦਿੰਦੇ ਹਨ, ਜਿਸ ਨਾਲ ਵੱਡੇ ਪੱਧਰ 'ਤੇ ਉੱਚ-ਗੁਣਵੱਤਾ ਵਾਲਾ ਅਨੁਵਾਦ ਸੰਭਵ ਹੋ ਜਾਂਦਾ ਹੈ।
ਕੈਪਸ਼ਨ ਅਤੇ ਡਬਿੰਗ ਦੋਵਾਂ ਨੂੰ ਸਿਮੈਂਟਿਕ ਫਿਡੇਲਿਟੀ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ: ਅਨੁਵਾਦ ਨੂੰ ਮੂਲ ਅਰਥ ਬਰਕਰਾਰ ਰੱਖਣਾ ਚਾਹੀਦਾ ਹੈ। ਪਰ ਸਮਾਂ-ਅਵਧੀ ਦੀ ਪਾਲਣਾ ਹਰੇਕ ਵਿੱਚ ਵੱਖਰੀ ਭੂਮਿਕਾ ਨਿਭਾਉਂਦੀ ਹੈ। ਕੈਪਸ਼ਨਾਂ ਲਈ, ਇਹ ਇੱਕ ਚੰਗੀ ਸਹੂਲਤ ਹੈ। ਡਬਿੰਗ ਲਈ, ਇਹ ਮਹੱਤਵਪੂਰਨ ਹੈ, ਕਿਉਂਕਿ ਜੇਕਰ ਅਨੁਵਾਦ ਕੀਤੀ ਗਈ ਆਵਾਜ਼ ਬਹੁਤ ਲੰਬੀ ਜਾਂ ਬਹੁਤ ਛੋਟੀ ਹੋ ਜਾਂਦੀ ਹੈ, ਤਾਂ ਇਹ ਗੈਰ-ਕੁਦਰਤੀ ਲੱਗੇਗੀ ਭਾਵੇਂ ਕਿ ਇਸਦਾ ਅਰਥ ਸਹੀ ਹੋਵੇ।
ਇਸ ਨੂੰ ਹੱਲ ਕਰਨ ਲਈ, Descript ਨੇ ਨਿਰਮਾਣ ਤੋਂ ਬਾਅਦ ਨਹੀਂ, ਸਗੋਂ ਉਸੇ ਦੌਰਾਨ ਸਿਮੈਂਟਿਕ ਫਿਡੇਲਿਟੀ ਅਤੇ ਸਮਾਂ-ਅਵਧੀ ਦੀ ਪਾਲਣਾ ਨੂੰ ਬਿਹਤਰ ਬਣਾਉਣ ਲਈ OpenAI ਰੀਜ਼ਨਿੰਗ ਮਾਡਲਾਂ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਆਪਣੀ ਟ੍ਰਾਂਸਲੇਸ਼ਨ ਪਾਈਪਲਾਈਨ ਨੂੰ ਦੁਬਾਰਾ ਡਿਜ਼ਾਈਨ ਕੀਤਾ। ਰੋਲਆਊਟ ਤੋਂ ਬਾਅਦ ਪਹਿਲੇ 30 ਦਿਨਾਂ ਵਿੱਚ, ਡਬਿੰਗ ਦੇ ਨਾਲ ਅਨੁਵਾਦ ਕੀਤੇ ਗਏ ਵੀਡੀਓਜ਼ ਦੇ ਐਕਸਪੋਰਟਸ ਵਿੱਚ 15% ਦਾ ਵਾਧਾ ਹੋਇਆ ਹੈ, ਅਤੇ ਭਾਸ਼ਾ ਦੇ ਆਧਾਰ 'ਤੇ, ਸਮਾਂ-ਅਵਧੀ ਦੀ ਪਾਲਣਾ ਵਿੱਚ 13 ਤੋਂ 43 ਪ੍ਰਤੀਸ਼ਤ ਅੰਕਾਂ ਦਾ ਸੁਧਾਰ ਹੋਇਆ ਹੈ।
“Descript ਲਈ ਡਬਿੰਗ ਤੇਜ਼ੀ ਨਾਲ ਇੱਕ ਪ੍ਰਸਿੱਧ ਯੂਜ਼ ਕੇਸ ਬਣ ਰਿਹਾ ਹੈ, ਇਸ ਲਈ ਅਸੀਂ ਉਹਨਾਂ ਕੰਪਨੀਆਂ ਲਈ ਇਸਨੂੰ ਬੈਚ ਵਿੱਚ ਕਰਨ ਦੇ ਤਰੀਕੇ ਬਣਾ ਰਹੇ ਹਾਂ ਜੋ ਪੂਰੀਆਂ ਲਾਇਬ੍ਰੇਰੀਆਂ ਦਾ ਅਨੁਵਾਦ ਅਤੇ ਲਿਪ-ਸਿੰਕ ਕਰਨਾ ਚਾਹੁੰਦੀਆਂ ਹਨ,” CEO ਲੌਰਾ ਬਰਖਾਊਜ਼ਰ ਨੇ ਕਿਹਾ।
ਅਨੁਵਾਦ Descript ਦੇ ਸਭ ਤੋਂ ਸ਼ੁਰੂਆਤੀ ਅਤੇ ਸਭ ਤੋਂ ਵੱਧ ਮੰਗੇ ਜਾਣ ਵਾਲੇ ਫੀਚਰਾਂ ਵਿੱਚੋਂ ਇੱਕ ਸੀ। ਉਹਨਾਂ ਨੇ ਸਿਰਫ਼ ਕੈਪਸ਼ਨ-ਅਨੁਵਾਦ ਨਾਲ ਸ਼ੁਰੂਆਤ ਕੀਤੀ, ਜਿਸ ਨੇ ਵਧੀਆ ਕੰਮ ਕੀਤਾ—ਪਰ ਬਹੁਤ ਸਾਰੇ ਉਪਭੋਗਤਾ ਹੋਰ ਅੱਗੇ ਜਾਣਾ ਚਾਹੁੰਦੇ ਸਨ ਅਤੇ ਟਾਰਗੇਟ ਭਾਸ਼ਾ ਵਿੱਚ ਬੋਲੀ ਜਾਣ ਵਾਲੀ ਆਡੀਓ (ਡਬਿੰਗ) ਪ੍ਰਾਪਤ ਕਰਨਾ ਚਾਹੁੰਦੇ ਸਨ।
ਹਾਲਾਂਕਿ, ਇੱਕ ਸਮੱਸਿਆ ਵਾਰ-ਵਾਰ ਸਾਹਮਣੇ ਆਉਂਦੀ ਰਹੀ: ਡੱਬ ਕੀਤੀ ਗਈ ਆਡੀਓ ਹਮੇਸ਼ਾ ਸਹੀ ਨਹੀਂ ਲੱਗਦੀ ਸੀ। Descript ਵਿਖੇ AI ਪ੍ਰੋਡਕਟ ਦੇ ਮੁਖੀ, ਐਲਕਸ ਮਿਸਤ੍ਰਾਤੋਵ ਨੇ ਕਿਹਾ, “ਸਾਨੂੰ ਜੋ ਸਭ ਤੋਂ ਵੱਡੀ ਸ਼ਿਕਾਇਤ ਸੁਣਨ ਨੂੰ ਮਿਲੀ, ਉਹ ਇਹ ਸੀ ਕਿ ਅਨੁਵਾਦ ਕੀਤੀ ਗਈ ਭਾਸ਼ਾ ਵਿੱਚ ਬੋਲਣ ਦੀ ਗਤੀ ਗੈਰ-ਕੁਦਰਤੀ ਸੀ।”
ਇਹ ਸਮੱਸਿਆ ਇਸ ਤੱਥ ਕਾਰਨ ਆਈ ਕਿ ਵੱਖੋ-ਵੱਖਰੀਆਂ ਭਾਸ਼ਾਵਾਂ ਇੱਕੋ ਵਿਚਾਰ ਨੂੰ ਪ੍ਰਗਟ ਕਰਨ ਲਈ ਵੱਖੋ-ਵੱਖਰਾ ਸਮਾਂ ਲੈਂਦੀਆਂ ਹਨ। Descript ਨੇ ਦੇਖਿਆ, ਉਦਾਹਰਣ ਵਜੋਂ, ਕਿ ਔਸਤਨ ਜਰਮਨ ਅੰਗਰੇਜ਼ੀ ਨਾਲੋਂ ਇੱਕ "ਲੰਬੀ" ਭਾਸ਼ਾ ਹੈ। ਨਿਸ਼ਚਿਤ ਵੀਡੀਓ ਹਿੱਸਿਆਂ ਵਿੱਚ ਫਿੱਟ ਕਰਨ ਲਈ, ਅਨੁਵਾਦ ਕੀਤੀ ਗਈ ਬੋਲੀ ਨੂੰ ਅਕਸਰ ਬਣਾਉਟੀ ਢੰਗ ਨਾਲ ਤੇਜ਼ ਜਾਂ ਹੌਲੀ ਕਰਨਾ ਪੈਂਦਾ ਸੀ। ਮਿਸਤ੍ਰਾਤੋਵ ਨੇ ਸਮਝਾਇਆ, “ਤੁਹਾਨੂੰ ਅੰਤ ਵਿੱਚ ਅਜਿਹੀ ਆਵਾਜ਼ ਮਿਲਦੀ ਸੀ ਜੋ ਚਿਪਮੰਕਸ, ਜਾਂ ਕਿਸੇ ਸੁੱਤੇ ਹੋਏ ਦੈਂਤ ਵਰਗੀ ਲੱਗਦੀ ਸੀ।”
ਅੰਗਰੇਜ਼ੀ: | ਜਰਮਨ: |
“ਮਸ਼ੀਨ ਨੂੰ ਚਲਾਉਣ ਤੋਂ ਪਹਿਲਾਂ ਕਿਰਪਾ ਕਰਕੇ ਸੁਰੱਖਿਆ ਦਿਸ਼ਾ-ਨਿਰਦੇਸ਼ਾਂ ਦੀ ਸਮੀਖਿਆ ਕਰੋ।” ਉਚਾਰਖੰਡ: 18 | “Bitte überprüfen Sie die Sicherheitsrichtlinien, bevor Sie die Maschine bedienen.” ਉਚਾਰਖੰਡ: 24 (40% ਵਾਧਾ) |
ਇਸ ਸਥਿਤੀ ਵਿੱਚ, ਜਰਮਨ ਆਡੀਓ ਨੂੰ ਜਾਂ ਤਾਂ ਗੈਰ-ਕੁਦਰਤੀ ਤੌਰ 'ਤੇ ਤੇਜ਼ ਕਰਨਾ ਪਵੇਗਾ, ਜਾਂ ਨਿਰਧਾਰਿਤ ਸਮੇਂ ਵਿੱਚ ਫਿੱਟ ਕਰਨ ਲਈ ਅਨੁਵਾਦ ਨੂੰ ਦੁਬਾਰਾ ਲਿਖਣ ਦੀ ਲੋੜ ਹੋਵੇਗੀ।
ਉਪਭੋਗਤਾਵਾਂ ਕੋਲ ਦੋ ਵਿਕਲਪ ਬਚੇ ਸਨ: ਹਰ ਇੱਕ ਹਿੱਸੇ (segment) ਅਨੁਸਾਰ ਆਡੀਓ ਨੂੰ ਮੈਨੂਅਲ ਤੌਰ 'ਤੇ ਰੀਟਾਈਮ ਕਰਨਾ, ਜਾਂ ਇਸਨੂੰ ਫਿੱਟ ਕਰਨ ਲਈ ਖੁਦ ਅਨੁਵਾਦ ਨੂੰ ਦੁਬਾਰਾ ਲਿਖਣਾ। ਦੋਵਾਂ ਤਰੀਕਿਆਂ ਲਈ ਡੂੰਘੇ ਟਾਈਮਲਾਈਨ ਐਡਿਟਸ ਅਤੇ, ਅਕਸਰ, ਟਾਰਗੇਟ ਭਾਸ਼ਾ ਵਿੱਚ ਲਗਭਗ ਮੂਲ ਬੁਲਾਰੇ ਵਰਗੀ ਮੁਹਾਰਤ ਦੀ ਲੋੜ ਹੁੰਦੀ ਸੀ। ਇਹ ਕ੍ਰਿਏਟਰਸ ਲਈ ਥਕਾ ਦੇਣ ਵਾਲਾ ਸੀ, ਅਤੇ ਇਸ ਫੀਚਰ ਨੂੰ ਵੱਡੇ ਐਂਟਰਪ੍ਰਾਈਜ਼ ਸਥਾਨੀਕਰਨ ਪ੍ਰੋਜੈਕਟਾਂ ਤੱਕ ਵਧਾਉਣ ਵਿੱਚ ਇੱਕ ਰੁਕਾਵਟ ਬਣ ਗਿਆ।
ਟੀਮ ਕੋਲ ਇੱਕ ਸਪੱਸ਼ਟ ਸਿਧਾਂਤ ਸੀ ਕਿ ਡਬਿੰਗ ਨੂੰ ਕੰਮ ਕਰਨ ਯੋਗ ਬਣਾਉਣ ਲਈ ਕੀ ਕਰਨਾ ਪਵੇਗਾ। ਸਿਸਟਮ ਨੂੰ ਨਾ ਸਿਰਫ਼ ਸਿਮੈਂਟਿਕ ਅਰਥ ਲਈ ਬਿਹਤਰ ਬਣਾਉਣਾ ਪਵੇਗਾ, ਸਗੋਂ ਸਮੇਂ ਦੀਆਂ ਪਾਬੰਦੀਆਂ ਪ੍ਰਤੀ ਵੀ ਸੁਚੇਤ ਹੋਣਾ ਪਵੇਗਾ। ਉਦਾਹਰਣ ਵਜੋਂ, ਅੰਗਰੇਜ਼ੀ ਤੋਂ ਜਰਮਨ ਵਿੱਚ ਅਨੁਵਾਦ ਕਰਦੇ ਸਮੇਂ, ਮਾਡਲ ਨੂੰ ਇਹ ਸਮਝਣ ਦੀ ਲੋੜ ਹੋਵੇਗੀ ਕਿ ਘੱਟ ਸ਼ਬਦਾਂ ਦੀ ਵਰਤੋਂ ਕਿਵੇਂ ਕਰਨੀ ਹੈ ਜਾਂ ਸੰਕਲਪ ਨੂੰ ਕਿਵੇਂ ਸਰਲ ਬਣਾਉਣਾ ਹੈ, ਤਾਂ ਜੋ ਡੱਬ ਕੀਤੀ ਗਈ ਆਡੀਓ ਕੁਦਰਤੀ ਰਹੇ।
ਪਹਿਲੀਆਂ ਪਹੁੰਚਾਂ ਪਹਿਲਾਂ ਸਿਮੈਂਟਿਕ ਫਿਡੇਲਿਟੀ ਨੂੰ ਅਨੁਕੂਲ ਬਣਾਉਂਦੀਆਂ ਸਨ ਅਤੇ ਬਾਅਦ ਵਿੱਚ ਟਾਈਮਿੰਗ ਨੂੰ ਠੀਕ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਦੀਆਂ ਸਨ। ਅਨੁਵਾਦ ਅਕਸਰ ਸਿਮੈਂਟਿਕ ਤੌਰ 'ਤੇ ਸਹੀ ਹੁੰਦੇ ਸਨ, ਪਰ ਉਹ ਲਗਾਤਾਰ ਸਮਾਂ-ਅਵਧੀ ਦੀਆਂ ਪਾਬੰਦੀਆਂ ਤੋਂ ਖੁੰਝ ਜਾਂਦੇ ਸਨ, ਅਤੇ ਸਮੁੱਚੀ ਗੁਣਵੱਤਾ ਅਜੇ ਵੀ ਇੰਨੀ ਚੰਗੀ ਨਹੀਂ ਸੀ।
ਮਿਸਤ੍ਰਾਤੋਵ ਨੇ ਕਿਹਾ, “ਅਸੀਂ ਇਨਕਰੀਮੈਂਟਲ ਟੈਸਟ ਕੀਤੇ, ਜਿਸ ਵਿੱਚ ਅਸੀਂ ਕੁਝ ਵੀ ਤਿਆਰ ਨਹੀਂ ਕੀਤਾ, ਸਗੋਂ ਮਾਡਲ ਨੂੰ ਟੈਕਸਟ ਦੇ ਇੱਕ ਹਿੱਸੇ ਵਿੱਚ ਉਚਾਰਖੰਡਾਂ ਦੀ ਗਿਣਤੀ ਦੱਸਣ ਲਈ ਕਿਹਾ।" “ਪੁਰਾਣੇ ਮਾਡਲ ਇਸ ਕੰਮ ਵਿੱਚ ਬਿਲਕੁਲ ਵੀ ਚੰਗੇ ਨਹੀਂ ਸਨ।”
ਭਰੋਸੇਯੋਗ ਉਚਾਰਖੰਡ ਗਿਣਤੀ ਮਹੱਤਵਪੂਰਨ ਸਾਬਤ ਹੋਈ। ਜੇਕਰ ਮਾਡਲ ਲਗਾਤਾਰ ਉਚਾਰਖੰਡਾਂ ਦੀ ਸਹੀ ਗਣਨਾ ਨਹੀਂ ਕਰ ਸਕਦਾ ਸੀ, ਤਾਂ ਇਹ ਭਰੋਸੇਯੋਗ ਢੰਗ ਨਾਲ ਇੱਕ ਖਾਸ ਸਮਾਂ-ਅਵਧੀ ਵਿੰਡੋ ਨੂੰ ਟਾਰਗੇਟ ਨਹੀਂ ਕਰ ਸਕਦਾ ਸੀ।
GPT‑5 ਸੀਰੀਜ਼ ਦੇ ਮਾਡਲਾਂ ਨੇ ਰੀਜ਼ਨਿੰਗ ਦੀ ਇਕਸਾਰਤਾ ਦਾ ਅਜਿਹਾ ਪੱਧਰ ਲਿਆਂਦਾ ਜੋ ਪੁਰਾਣੇ ਮਾਡਲਾਂ ਵਿੱਚ ਨਹੀਂ ਸੀ, ਖਾਸ ਤੌਰ 'ਤੇ ਉਚਾਰਖੰਡ ਗਿਣਤੀ ਅਤੇ ਕੰਸਟ੍ਰੇਂਟ ਟਰੈਕਿੰਗ ਵਰਗੇ ਕੰਮਾਂ ਵਿੱਚ। ਉਸ ਸੁਧਾਰ ਦੇ ਨਾਲ, Descript ਨੇ ਆਪਣੀ ਟ੍ਰਾਂਸਲੇਸ਼ਨ ਅਤੇ ਡਬਿੰਗ ਪਾਈਪਲਾਈਨ ਨੂੰ ਦੁਬਾਰਾ ਡਿਜ਼ਾਈਨ ਕੀਤਾ।
ਸਭ ਤੋਂ ਪਹਿਲਾਂ, Descript ਦਾ ਸਿਸਟਮ ਮੂਲ ਰਿਕਾਰਡਿੰਗ ਵਿੱਚ ਵਾਕਾਂ ਦੀਆਂ ਹੱਦਾਂ, ਕੁਦਰਤੀ ਠਹਿਰਾਅ ਅਤੇ ਬੋਲਣ ਦੇ ਪੈਟਰਨਾਂ ਦੇ ਅਧਾਰ 'ਤੇ ਟ੍ਰਾਂਸਕ੍ਰਿਪਟ ਨੂੰ ਹਿੱਸਿਆਂ ਵਿੱਚ ਵੰਡਦਾ ਹੈ। ਹਰੇਕ ਹਿੱਸਾ ਸਿਮੈਂਟਿਕ ਨਿਰੰਤਰਤਾ ਨੂੰ ਬਣਾਈ ਰੱਖਦਾ ਹੈ, ਪਰ ਇੰਨਾ ਛੋਟਾ ਹੁੰਦਾ ਹੈ ਕਿ ਇਸਨੂੰ ਇੱਕ ਟਾਈਮਿੰਗ ਯੂਨਿਟ ਵਜੋਂ ਵਿਚਾਰਿਆ ਜਾ ਸਕੇ।
ਉੱਥੋਂ, ਮਾਡਲ ਹਿੱਸੇ ਵਿੱਚ ਉਚਾਰਖੰਡਾਂ ਦੀ ਗਿਣਤੀ ਕਰਦਾ ਹੈ। ਭਾਸ਼ਾ-ਵਿਸ਼ੇਸ਼ ਬੋਲਣ-ਦਰ ਦੀਆਂ ਧਾਰਨਾਵਾਂ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ, ਸਿਸਟਮ ਇਹ ਅੰਦਾਜ਼ਾ ਲਗਾਉਂਦਾ ਹੈ ਕਿ ਕੁਦਰਤੀ ਗਤੀ ਨੂੰ ਬਣਾਈ ਰੱਖਣ ਲਈ ("ਸਮਾਂ-ਅਵਧੀ ਦੀ ਪਾਲਣਾ") ਅਨੁਵਾਦ ਕੀਤੇ ਗਏ ਹਿੱਸੇ ਵਿੱਚ ਕਿੰਨੇ ਉਚਾਰਖੰਡਾਂ ਦਾ ਟੀਚਾ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ। ਪ੍ਰੌੰਪਟ ਮਾਡਲ ਨੂੰ ਸਮਾਂ-ਅਵਧੀ ਦੀ ਪਾਲਣਾ ਅਤੇ ਅਰਥ ਦੀ ਸੰਭਾਲ ਦੋਵਾਂ ਨੂੰ ਅਨੁਕੂਲ ਬਣਾਉਣ ਲਈ ਕਹਿੰਦਾ ਹੈ। ਆਸਪਾਸ ਦੇ ਹਿੱਸਿਆਂ ਨੂੰ ਸੰਦਰਭ ਵਜੋਂ ਪਾਸ ਕੀਤਾ ਜਾਂਦਾ ਹੈ ਤਾਂ ਜੋ ਮਾਡਲ ਸਾਰੇ ਹਿੱਸਿਆਂ (segments) ਵਿੱਚ ਸਿਮੈਂਟਿਕ ਇਕਸਾਰਤਾ ਬਣਾਈ ਰੱਖੇ।
ਟੀਮ ਨੇ ਸਮਾਂ-ਅਵਧੀ ਦੀ ਪਾਲਣਾ, ਸਿਮੈਂਟਿਕ ਫਿਡੇਲਿਟੀ, ਲੇਟੈਂਸੀ ਅਤੇ ਲਾਗਤ ਨੂੰ ਸੰਤੁਲਿਤ ਕਰਨ ਲਈ ਕਈ ਕੌਨਫਿਗ੍ਰੇਸ਼ਨਾਂ ਦਾ ਮੁਲਾਂਕਣ ਕੀਤਾ। ਚੁਣੇ ਗਏ ਸੈੱਟਅੱਪ ਨੇ ਪ੍ਰੋਡਕਸ਼ਨ ਦੀ ਗਤੀ 'ਤੇ ਪਾਬੰਦੀਆਂ ਦੀ ਮਜ਼ਬੂਤੀ ਨਾਲ ਪਾਲਣਾ ਕੀਤੀ, ਜਿਸ ਨਾਲ ਮੈਨੂਅਲ ਰੀਟਾਈਮਿੰਗ ਦੇ ਬਿਨਾਂ ਵੱਡੇ ਪੱਧਰ 'ਤੇ ਅਨੁਵਾਦ ਕਰਨਾ ਸੰਭਵ ਹੋਇਆ। ਇਸਦਾ ਨਤੀਜਾ ਇੱਕ ਅਜਿਹੀ ਟ੍ਰਾਂਸਲੇਸ਼ਨ ਪਾਈਪਲਾਈਨ ਹੈ ਜਿੱਥੇ ਪੇਸਿੰਗ ਨੂੰ ਬਾਅਦ ਵਿੱਚ ਠੀਕ ਕਰਨ ਵਾਲੀ ਚੀਜ਼ ਦੀ ਬਜਾਏ ਇੱਕ ਪਹਿਲੇ ਦਰਜੇ ਦੇ ਵੇਰੀਏਬਲ ਵਜੋਂ ਮੰਨਿਆ ਜਾਂਦਾ ਹੈ।
ਮੁਲਾਂਕਣਾਂ ਲਈ ਸਵੀਕ੍ਰਿਤੀ ਮਾਪਦੰਡ ਵਿਕਸਿਤ ਕਰਨ ਲਈ, ਟੀਮ ਨੇ ਸੁਣਨ ਦੇ ਟੈਸਟ ਕੀਤੇ: ਉਹਨਾਂ ਨੇ ਅਨੁਵਾਦ ਕੀਤੇ ਗਏ ਆਡੀਓ ਨਮੂਨੇ ਤਿਆਰ ਕੀਤੇ ਅਤੇ ਪਲੇਬੈਕ ਗਤੀ ਨੂੰ ਛੋਟੇ ਵਾਧੇ ਵਿੱਚ ਐਡਜਸਟ ਕੀਤਾ, ਅਤੇ ਉਪਭੋਗਤਾਵਾਂ ਨੂੰ ਇਹ ਰੇਟ ਕਰਨ ਲਈ ਕਿਹਾ ਕਿ ਬੋਲੀ ਕਦੋਂ ਗੈਰ-ਕੁਦਰਤੀ ਹੋ ਗਈ।
ਮਿਸਤ੍ਰਾਤੋਵ ਨੇ ਕਿਹਾ, “ਕੋਈ ਵੀ ਆਵਾਜ਼ ਜਿਸਨੂੰ 10% ਧੀਮਾ ਕੀਤਾ ਗਿਆ ਸੀ, ਜਾਂ 20% ਤੇਜ਼ ਕੀਤਾ ਗਿਆ ਸੀ, ਉਹ ਆਮ ਤੌਰ 'ਤੇ ਅਜੇ ਵੀ ਕੁਦਰਤੀ ਲੱਗਦੀ ਸੀ।" ਇਸ ਸੀਮਾ ਤੋਂ ਬਾਹਰ, ਬੋਲੀ ਬਹੁਤ ਜ਼ਿਆਦਾ ਵਿਗੜ ਗਈ ਸੀ।
ਉਸ ਮਾਪਦੰਡ ਅਨੁਸਾਰ ਪੁਰਾਣੇ ਸਿਸਟਮਾਂ ਦਾ ਪ੍ਰਦਰਸ਼ਨ ਮਾੜਾ ਰਿਹਾ। ਭਾਸ਼ਾ ਦੇ ਆਧਾਰ 'ਤੇ, ਸਿਰਫ਼ 40% ਤੋਂ 60% ਹਿੱਸੇ ਹੀ ਸਵੀਕਾਰਯੋਗ ਪੇਸਿੰਗ ਵਿੰਡੋ ਦੇ ਅੰਦਰ ਆਉਂਦੇ ਸਨ। ਦੁਬਾਰਾ ਡਿਜ਼ਾਈਨ ਕੀਤੀ ਪਾਈਪਲਾਈਨ ਦੇ ਨਾਲ, ਇਹ ਗਿਣਤੀ ਭਾਸ਼ਾ ਦੇ ਆਧਾਰ 'ਤੇ 40%–60% ਤੋਂ ਵੱਧ ਕੇ 73% ਅਤੇ 83% ਦੇ ਵਿਚਕਾਰ ਹੋ ਗਈ।
ਟੀਮ ਨੇ ਸਿਮੈਂਟਿਕ ਫਿਡੇਲਿਟੀ ਦਾ ਮੁਲਾਂਕਣ ਕਰਨ ਲਈ 1 (“ਪੂਰੀ ਤਰ੍ਹਾਂ ਵੱਖਰਾ”) ਤੋਂ 5 (“ਸਿਮੈਂਟਿਕ ਤੌਰ 'ਤੇ ਬਰਾਬਰ”) ਤੱਕ ਦੇ ਪੈਮਾਨੇ 'ਤੇ ਇੱਕ ਵੱਖਰੀ ਮਾਡਲ-ਐਜ਼-ਜੱਜ ਰੇਟਿੰਗ ਦੀ ਵਰਤੋਂ ਵੀ ਕੀਤੀ। ਡਬਿੰਗ ਲਈ, ਉਹਨਾਂ ਨੇ ਸਿਰਫ-ਕੈਪਸ਼ਨ ਅਨੁਵਾਦ ਦੇ ਮੁਕਾਬਲੇ ਘੱਟ ਸਿਮੈਂਟਿਕ ਥ੍ਰੈਸ਼ਹੋਲਡ ਨੂੰ ਸਵੀਕਾਰ ਕਰਨ ਦਾ ਫੈਸਲਾ ਕੀਤਾ, ਜਿੱਥੇ ਸਮੇਂ ਦੀਆਂ ਪਾਬੰਦੀਆਂ ਅਪ੍ਰਸੰਗਿਕ ਹੁੰਦੀਆਂ ਹਨ। ਉਸ ਸਮਝੌਤੇ ਦੇ ਨਾਲ ਵੀ, 85.5% ਹਿੱਸਿਆਂ ਨੂੰ ਸਿਮੈਂਟਿਕ ਪਾਲਣਾ ਲਈ ਪੰਜ ਵਿੱਚੋਂ ਚਾਰ ਜਾਂ ਪੰਜ ਰੇਟ ਕੀਤਾ ਗਿਆ ਸੀ।
ਨਤੀਜਾ ਇੱਕ ਅਜਿਹਾ ਸਿਸਟਮ ਸੀ ਜੋ ਦੋ ਵਿਰੋਧੀ ਪਾਬੰਦੀਆਂ—ਟਾਈਮਿੰਗ ਅਤੇ ਅਰਥ—ਨੂੰ ਮਾਪਣਯੋਗ ਭਰੋਸੇ ਦੇ ਨਾਲ ਸੰਤੁਲਿਤ ਕਰ ਸਕਦਾ ਸੀ। ਅਤੇ ਕਿਉਂਕਿ ਦੋਵੇਂ ਮੈਟ੍ਰਿਕਸ ਸਵੈਚਲਿਤ ਸਨ, Descript ਨਵੇਂ ਮਾਡਲ ਰੀਲੀਜ਼ਾਂ ਅਤੇ ਪ੍ਰੌਂਪਟ ਭਿੰਨਤਾਵਾਂ ਦਾ ਲਗਾਤਾਰ ਉਸੇ ਬੈਂਚਮਾਰਕਾਂ ਦੇ ਮੁਕਾਬਲੇ ਮੁਲਾਂਕਣ ਕਰਨ ਦੇ ਯੋਗ ਹੈ।
ਜਿਵੇਂ-ਜਿਵੇਂ ਅਨੁਵਾਦ ਸਿੰਗਲ ਵੀਡੀਓਜ਼ ਤੋਂ ਵੱਡੀਆਂ ਕੰਟੈਂਟ ਲਾਇਬ੍ਰੇਰੀਆਂ ਵੱਲ ਵਧਦਾ ਹੈ, Descript ਇਸ ਗੱਲ 'ਤੇ ਵਧੇਰੇ ਨਿਯੰਤਰਣ ਬਣਾ ਰਿਹਾ ਹੈ ਕਿ ਅਨੁਵਾਦਾਂ ਨੂੰ ਕਿਵੇਂ ਟਿਊਨ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਜਿਸ ਵਿੱਚ ਲੋੜ ਪੈਣ 'ਤੇ ਸਖ਼ਤ ਸਿਮੈਂਟਿਕ ਫਿਡੇਲਿਟੀ ਨੂੰ ਤਰਜੀਹ ਦੇਣ ਦੀ ਯੋਗਤਾ ਸ਼ਾਮਲ ਹੈ।
Descript ਦੇ ਅੰਦਰ ਅਨੁਵਾਦ ਇੱਕ ਵਿਆਪਕ ਮਲਟੀਮੋਡਲ ਸਿਸਟਮ ਦੀ ਸਿਰਫ਼ ਇੱਕ ਪਰਤ ਹੈ। ਅਨੁਵਾਦ ਕੀਤਾ ਟੈਕਸਟ ਸਪੀਚ ਜਨਰੇਸ਼ਨ ਵਿੱਚ ਜਾਂਦਾ ਹੈ, ਜੋ ਫਿਰ ਲਿਪ ਸਿੰਕ ਅਤੇ ਅੰਤਿਮ ਵੀਡੀਓ ਰੈਂਡਰਿੰਗ ਨੂੰ ਚਲਾਉਂਦਾ ਹੈ।
ਟੈਕਸਟ ਲੇਅਰ 'ਤੇ ਸੁਧਾਰ ਕੁਦਰਤੀ ਗਤੀ ਨੂੰ ਸੰਭਵ ਬਣਾਉਂਦੇ ਹਨ, ਪਰ ਸਮੁੱਚਾ ਅਨੁਭਵ ਇਸ ਗੱਲ 'ਤੇ ਵੀ ਨਿਰਭਰ ਕਰਦਾ ਹੈ ਕਿ ਆਡੀਓ ਮਾਡਲ ਬੋਲੀ ਦੇ ਲਹਿਜੇ, ਤਾਲ, ਅਤੇ ਗੈਰ-ਮੌਖਿਕ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਨੂੰ ਕਿੰਨੀ ਚੰਗੀ ਤਰ੍ਹਾਂ ਸੁਰੱਖਿਅਤ ਰੱਖਦਾ ਹੈ। ਇਹੀ ਉਹ ਥਾਂ ਹੈ ਜਿੱਥੇ ਟੀਮ ਨੂੰ ਅਗਲੀ ਅਤਿ-ਆਧੁਨਿਕ ਦਿਖਾਈ ਦਿੰਦੀ ਹੈ।
ਮਿਸਤ੍ਰਾਤੋਵ ਨੇ ਕਿਹਾ, “ਅਨੁਵਾਦ ਦੇ ਆਉਟਪੁੱਟ ਨੂੰ ਬਿਹਤਰ ਬਣਾਉਣ ਲਈ ਜੋ ਕੁਝ ਵੀ ਹੋਣ ਵਾਲਾ ਹੈ, ਉਹ ਪਾਈਪਲਾਈਨ ਨੂੰ ਵਧੇਰੇ ਮਲਟੀਮੋਡਲ ਬਣਾਉਣਾ ਹੈ: ਇਹ ਫੈਸਲਾ ਕਰਦੇ ਸਮੇਂ ਕਿ ਅਨੁਵਾਦ ਕਿਵੇਂ ਕਰਨਾ ਹੈ, ਆਡੀਓ, ਵੀਡੀਓ ਅਤੇ ਟੈਕਸਟ ਨੂੰ ਇਕੱਠੇ ਸ਼ਾਮਲ ਕਰਨਾ।” “ਇਸ ਨਾਲ ਬੋਲੀ ਦੀਆਂ ਗੈਰ-ਮੌਖਿਕ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ, ਜਿਵੇਂ ਕਿ ਲਹਿਜਾ ਅਤੇ ਜ਼ੋਰ, ਨੂੰ ਬਿਹਤਰ ਢੰਗ ਨਾਲ ਬਰਕਰਾਰ ਰੱਖਣਾ ਚਾਹੀਦਾ ਹੈ, ਅਤੇ ਮੂਲ ਡਿਲੀਵਰੀ ਨੂੰ ਹੋਰ ਵੀ ਸੁਰੱਖਿਅਤ ਰੱਖਣਾ ਚਾਹੀਦਾ ਹੈ।”
Descript ਲਈ, ਮਜ਼ਬੂਤ ਰੀਜ਼ਨਿੰਗ ਮਾਡਲਾਂ ਨੇ ਡਬਿੰਗ ਦੀ ਗੁੰਝਲਤਾ ਨੂੰ ਹੱਲ ਕਰਨ ਯੋਗ ਬਣਾਇਆ। ਉਸ ਸੀਮਾ ਨੂੰ ਪਾਰ ਕਰਕੇ ਜਿੱਥੇ ਮਾਡਲ ਪੇਸਿੰਗ ਅਤੇ ਅਰਥ ਦੇ ਵਿਚਕਾਰ ਸਮਝੌਤਿਆਂ ਨੂੰ ਭਰੋਸੇਯੋਗ ਢੰਗ ਨਾਲ ਸੰਤੁਲਿਤ ਕਰ ਸਕਦੇ ਹਨ, ਅਨੁਵਾਦ ਇੱਕ ਅਜਿਹੀ ਚੀਜ਼ ਬਣ ਗਿਆ ਜਿਸਨੂੰ ਟੀਮ ਯੋਜਨਾਬੱਧ ਢੰਗ ਨਾਲ ਬਿਹਤਰ ਬਣਾ ਸਕਦੀ ਹੈ, ਅਤੇ ਵੱਡੇ ਪੱਧਰ 'ਤੇ ਲਾਗੂ ਕਰ ਸਕਦੀ ਹੈ।
