የመገለጫ መሐንዲሶች የባለብዙ ቋንቋ ድምጽ የተተካላቸው ቪዲዮን እንዴት በስፋት እንደሚሠሩ

መገለጫ⁠(በአዲስ መስኮት ውስጥ ይክፈታል) በቀላል ሀሳብ ላይ የተገነባ የሰው ሠራሽ አስትውሎት (AI)-ተወላጅ የቪዲዮ አርታኢ ነው፦ ጽሑፍን ማስተካከል ከቻሉ ቪዲዮን ማርትዕ መቻል አለብዎት። ከመገለጫው የመጀመሪያ ቀናት ጀምሮ፣ ሰው ሠራሽ አስተውሎት (AI) የምርቱን ሁሉንም ገጽታዎች አጎልብቷል፤ እነሱም ግልባጭ፣ አርትዖት፣ የድምጽ ማጽጃ እና ከጊዜ ወደ ጊዜ እየተወሳሰቡ የሚሄዱ የፈጠራ የሥራ ፍሰቶች ናቸው። ለዓመታት በOpenAI ላይ ገንብተዋል፣ Whisperን ለትራንስክሪፕት እና ለGPT ተከታታይ ሞዴሎችን በጋራ አርታኢው አንደርሎርድ ውስጥ በመጠቀም ሠርተዋል። 

ትርጉም በፍጥነት እንደ ከፍተኛ ተጽዕኖ ፈጣሪ የአጠቃቀም ጉዳይ ብቅ አለ። በባህላዊ መልኩ፣ ቪዲዮ መተርጎም ቀርፋፋ እና ውድ በመሆኑ የቋንቋ ባለሙያዎች ፕሮጀክቶችን እንዲያስተዳድሩ፣ መደበኛ ትርጉሞችን እንዲያዘጋጁ፣ የጥራት ቁጥጥርን እንዲቆጣጠሩ እና ተዛማጅ ኦዲዮ እንዲያመነጩ ያስገድዳቸዋል። LLMዎች ያንን የሥራ ፍሰት በከፍተኛ ሁኔታ ያጨምቃሉ፣ ይህም ከፍተኛ ጥራት ያለው ትርጉም በስፋት እንዲኖር ያስችላል።

መግለጫ ፅሁፎች እና የድምጽ ትርጓሜዎች ሁለቱም የሰዋሰው ችሎታ ያስፈልጋቸዋል፦ ትርጓሜው የመጀመሪያውን ትርጉም መጠበቅ አለበት። ነገር ግን የጊዜ ቆይታን መጠበቅ በእያንዳንዱ ውስጥ የተለየ ሚና ይጫወታል። ለመግለጫ ጽሑፍ፣ መኖሩ በጣም ጥሩ ነው። ለድምጽ ትርጓሜ፣ ይህ ወሳኝ ነው፤ ምክንያቱም የተተረጎመው ንግግር በጣም ረጅም ወይም በጣም አጭር ከሆነ፣ ትርጉሙ ትክክል ቢሆንም እንኳ ያልተፈጥሯዊ ይሰማል።

ይህንን ለመፍታት፣ Descript የትርጉም መስመሩን በOpenAI የማመዛዘን ሞዴሎች በመጠቀም እንደገና የቀየረው ሲሆን፣ ይህም በኋላ ሳይሆን በማመንጨት ወቅት ለሰዋሰው ታማኝነት እና የቆይታ ጊዜ ተገዢነትን ለማሻሻል ነው። ከተለቀቀ በኋላ ባሉት የመጀመሪያዎቹ 30 ቀናት ውስጥ፣ የድምጽ ትርጓሜ ያላቸው የተተረጎሙ ቪዲዮዎች ኤክስፖርት በ15% ጨምሯል፣ እና የቆይታ ጊዜ ተገዢነት እንደ ቋንቋው ከ13 እስከ 43 በመቶ ነጥቦች ተሻሽሏል።

«ዱቢንግ ለገለጻ በጣም ተወዳጅ የሆነ የአጠቃቀም ጉዳይ ነው፣ ስለዚህ መተርጎም ለሚፈልጉ ኩባንያዎች እና መላውን ቤተ-መጻሕፍት በከንፈር ለማመሳሰል የሚያስችሉ መንገዶችን እየገነባን ነው» ሲሉ ዋና ሥራ አስፈፃሚ Laura Burkhauser ተናግረዋል።

ትርጉም ከመገለጫው የመጀመሪያዎቹ እና በጣም ከተጠየቁት ባህሪያት አንዱ ነበር። በመግለጫ ፅሁፎች ብቻ ትርጉም ጀምረዋል፣ ይህም በጥሩ ሁኔታ ሰርቷል—ነገር ግን ብዙ ተጠቃሚዎች ከዚህ በላይ መሄድ ፈልገው በዒላማው ቋንቋ የድምጽ (ዱቢንግ) ተናግረዋል።

ይሁን እንጂ፣ አንድ ችግር ደጋግሞ ይታይ ነበር፦ የተተረጎመው ድምጽ ሁልጊዜ ትክክል አይመስልም ነበር። “ምናልባት ከሰማነው ቅሬታ መካከል ቁጥር አንዱ የንግግሩ ፍጥነት በተተረጎመው ቋንቋ ውስጥ ተፈጥሯዊ እንዳልነበረ ነበር፣” በDescript የሰው ሠራሽ አስተውሎት (AI) ምርት ኃላፊ የሆኑት አሌክስ ሚስትራቶቭ ተናግል።

ችግሩ የመጣው የተለያዩ ቋንቋዎች አንድን ሀሳብ ለመግለጽ የተለያዩ ጊዜዎችን ስለሚወስዱ ነው። ለምሳሌ፣ ዴስክሪፕት በአማካይ ጀርመንኛ ከእንግሊዝኛ ይልቅ «ረዘም ያለ» ቋንቋ መሆኑን አስተውሏል። በተስተካከሉ የቪዲዮ ክፍሎች ውስጥ ለመገጣጠም፣ የተተረጎመ ንግግር ብዙውን ጊዜ ሰው ሠራሽ በሆነ መንገድ መፋጠን ወይም ፍጥነት መቀነስ ነበረበት። «እንደ ቺፕማንክስ ወይም እንቅልፍ የሚወስድ ግዙፍ ሰው የሚመስል ነገር ታገኛለህ» ሲል Mistratov አስረድቷል።

ተጠቃሚዎች ሁለት አማራጮች ቀርተው ነበር፦ የድምጽ ክፍሉን በክፍል በእጅ እንደገና ያስተካክሉት፣ ወይም ትርጉሙን እንዲስማማ ለማድረግ እራሱን እንደገና ይፃፉ። ሁለቱም አቀራረቦች ጥልቅ የጊዜ መስመር ማስተካከያዎችን እና ብዙውን ጊዜም በዒላማው ቋንቋ ላይ የአፍ መፍቻ ቋንቋን ቅልጥፍና የሚጠይቁ ነበሩ። ለፈጣሪዎች አሰልቺ ነበር፣ እና ባህሪውን ወደ ትላልቅ የኢንተርፕራይዝ አካባቢያዊነት ፕሮጀክቶች ለማሳደግ እንቅፋት ሆነ።

ቡድኑ የድራቢንግ ሥራን ውጤታማ ለማድረግ ምን እንደሚያስፈልግ ግልጽ የሆነ ንድፈ ሀሳብ ነበረው። ሥርዓቱ ለሴማንቲክ ትርጉም ብቻ ሳይሆን ለማመቻቸት እንዲሁም የጊዜ ገደቦችን ማስተዋል ያስፈልገዋል። ለምሳሌ፣ ከእንግሊዝኛ ወደ ጀርመንኛ ሲተረጉሙ፣ ሞዴሉ ጥቂት ቃላትን እንዴት መጠቀም ወይም ጽንሰ-ሐሳቡን እንዴት ማቃለል እንደሚቻል መረዳት ያስፈልገዋል፣ ስለዚህ የተሰየመው ድምጽ ተፈጥሯዊ ሆኖ ይቀጥላል።

ቀደም ሲል የነበሩት አቀራረቦች መጀመሪያ የትርጓሜ ታማኝነትን አሻሽለዋል እና ከዚያ በኋላ ያለውን ጊዜ ለማስተካከል ሞክረዋል። ትርጉሞቹ ብዙውን ጊዜ በትርጉም ረገድ ትክክል ነበሩ፣ ነገር ግን የጊዜ ገደቦችን አዘውትረው አላለፉም፣ እና አጠቃላይ ጥራቱ አሁንም በቂ አልነበረም። 

«ተጨማሪ ሙከራዎችን አካሂደናል፣ ምንም እንኳን ምንም ሳናመነጭ፣ ሞዴሉ በአንድ የጽሑፍ ክፍል ውስጥ ያሉትን የቃላቶች ብዛት እንዲያወጣ ብቻ ጠየቅነው» ብለዋል Mistratov። «የቀደሙት ሞዴሎች በዚያ ጥሩ አልነበሩም።»

አስተማማኝ የፊደል ቆጠራ ወሳኝ ሆኖ ተገኝቷል። ሞዴሉ ሥርዓተ-ቃላትን በተከታታይ ማስላት ካልቻለ፣ የተወሰነ የጊዜ ክፍተትን በአስተማማኝ ሁኔታ ኢላማ ማድረግ አይችልም።

የGPT‑5 ተከታታይ ሞዴሎች ቀደም ሲል የነበሩት ሞዴሎች በተለይም እንደ የቃላት ቆጠራ እና የቁጥጥር ክትትል ባሉ ተግባራት ላይ ያጡትን የማመዛዘን ወጥነት ደረጃ አምጥተዋል። በዚህ ማሻሻያ፣ የትርጉም ገለጻ እና የዳቢንግ ዝርጋታውን እንደገና አሻሽሎታል።

በመጀመሪያ፣ የመገለጫው ሥርዓት በዋናው ቅጂ ውስጥ ባሉት የአረፍተ ነገር ወሰኖች፣ በተፈጥሯዊ ቆምታዎች እና የንግግር ቅጦች በመመራት ግልባጩን ወደ ቁርጥራጮች ይከፍለዋል። እያንዳንዱ ክፍል የትርጓሜ ቀጣይነትን ይይዛል፣ ነገር ግን እንደ የጊዜ አሃድ ለማሰብ በቂ ትንሽ ነው።

ከዚያ ጀምሮ ሞዴሉ በክፍሉ ውስጥ ያሉትን የቃላት ብዛት ያሰላል። በቋንቋ ላይ የተመሰረቱ የንግግር ፍጥነት ግምቶችን በመጠቀም፣ ሥርዓቱ የተተረጎመው ክፍል ተፈጥሯዊ ፍጥነትን ለመጠበቅ ምን ያህል ፊደላትን ማነጣጠር እንዳለበት ይገምታል («የቆይታ ጊዜን መከተል»)። እርምጃው ሞዴሉ ለጊዜያዊነት እና ለትርጉም ጥበቃ ሁለቱንም እንዲያመቻች ይጠይቃል። ሞዴሉ በተለያዩ ክፍሎች ውስጥ የትርጉም ወጥነትን እንዲጠብቅ በዙሪያው ያሉት ክፍሎች እንደ አውድ ይተላለፋሉ።

ቡድኑ የጊዜ ቆይታን አክባሪነት፣ የትርጉም ታማኝነት፣ መዘግየት እና ወጪን ለማመጣጠን በርካታ ውቅሮችን ገምግሟል። የተመረጠው ማዋቀር በምርት ፍጥነት ጠንካራ የቁጥጥር ክትትል አድርጓል፣ ይህም በእጅ ሳይዘገይ ከፍተኛ መጠን ያለው ትርጉም እንዲኖር ያስችላል። ውጤቱም የፍጥነት መለኪያ መስመር ሲሆን ይህም ከእውነታው በኋላ የተስተካከለ ነገር ሳይሆን እንደ የመጀመሪያ ደረጃ ተለዋዋጭ ተደርጎ ይቆጠራል።

ለግምገዋች ተቀባይነት መስፈርቶችን ለማዘጋጀት ቡድኑ የማዳመጥ ሙከራዎችን አካሂዷል፦ የተተረጎሙ የድምጽ ናሙናዎችን ፈጥረው የመልሶ ማጫወት ፍጥነቱን በትንሽ ጭማሪ አስተካክለዋል፣ ይህም ንግግር ያልተለመደ በሚሆንበት ጊዜ ተጠቃሚዎች ደረጃ እንዲሰጡ ጠይቋል። 

«በ10% የቀነሰ ወይም በ20% የጨመረ ማንኛውም ነገር በአጠቃላይ ተፈጥሯዊ ይመስላል» ሲሉ Mistratov ተናግረዋል። ከዚህ ክልል ባሻገር፣ ንግግር በጣም የተዛባ ሆነ። 

ቀደም ሲል የነበሩ ሥርዓቶች በዚያ መለኪያ ደካማ አፈፃፀም አሳይተዋል። እንደ ቋንቋው፣ ከ40% እስከ 60% የሚሆኑት ክፍሎች ብቻ ተቀባይነት ባለው የፍጥነት መስኮት ውስጥ ወድቀዋል። እንደገና በተሠራው የቧንቧ መስመር፣ ያ ቁጥር ከ40%–60% ወደ 73% እና 83% መካከል አድጓል፣ ይህም እንደ ቋንቋው ሁኔታ ነው።

ቡድኑ ከ1 («ሙሉ በሙሉ የተለየ») እስከ 5 («በትርጉም አቻ») ባለው ሚዛን ላይ የተለየ የሞዴል-እንደ-ዳኛ ደረጃን በመጠቀም የትርጓሜ ታማኝነትን ገምግሟል።  ለዳቢንግ፣ የጊዜ ገደቦች ተዛማጅነት የሌላቸውን ከመግለጫ ጽሑፍ ብቻ ትርጉም ይልቅ ዝቅተኛ የትርጉም ገደብ ለመቀበል ወስነዋል። በዚያ የዋጋ ልዩነት እንኳን፣ 85.5% የሚሆኑት ክፍሎች ለትርጉም ተገዢነት ከአምስት አራት ወይም አምስት ደረጃ ተሰጥቷቸዋል።

ውጤቱም ሁለት ተፎካካሪ ገደቦችን—ጊዜንና ትርጉምን—በሚለካ በራስ መተማመን ማመጣጠን የሚችል ሥርዓት ነበር። ሁለቱም መለኪያዎች በራስ-ሰር ስለተሠሩ፣ መገለጫው አዳዲስ የሞዴል ልቀቶችን እና የእርምጃ ልዩነቶችን ተመሳሳይ መለኪያዎችን በመጠቀም ፈጣን ለውጦችን ያለማቋረጥ መገምገም ይችላል።

ትርጉም ከነጠላ ቪዲዮዎች ወደ ትላልቅ የይዘት ቤተ-መጻሕፍት ሲሸጋገር፣ ገለጻ ትርጉሞች እንዴት እንደሚስተካከሉ የበለጠ ቁጥጥር እየገነባ ነው፣ ይህም አስፈላጊ በሚሆንበት ጊዜ ጥብቅ የሆነ የትርጉም ታማኝነትን ቅድሚያ የመስጠት ችሎታን ጨምሮ።

በDescript ውስጥ ያለው ትርጉም ሰፋ ያለ ባለብዙ ሞዳል ስርዓት አንድ ንብርብር ብቻ ነው። የተተረጎመ ጽሑፍ ወደ ንግግር ማመንጨት ይመራል፣ ከዚያም የከንፈር ማመሳሰልን እና የመጨረሻውን የቪዲዮ አቀራረብን ያነቃቃል። 

በጽሑፍ ንብርብር ላይ የተደረጉ ማሻሻያዎች ተፈጥሯዊ ፍጥነት እንዲኖር ያደርጉታል፣ ነገር ግን አጠቃላይ ተሞክሮው የድምጽ ሞዴሉ የንግግርን ቃና፣ ድምጽ እና የቃል ያልሆኑ ባህሪያትን ምን ያህል በጥሩ ሁኔታ እንደሚጠብቅ ላይ የተመሠረተ ነው። ቡድኑ የሚቀጥለውን ድንበር የሚያየው እዚያ ነው። 

«የትርጉም ውጤትን የሚያሻሽለው አብዛኛው ነገር የቧንቧ መስመሩን የበለጠ ባለብዙ ሞዳል ማድረግ ነው፦ እንዴት መተርጎም እንዳለብን ስንወስን ኦዲዮ፣ ቪዲዮ እና ጽሑፍን አንድ ላይ ማካተት ነው» ብለዋል፣ Mistratov። «ይህ እንደ ቃና እና አፅንዖት ያሉ የንግግር ያልሆኑ ባህሪያትን በተሻለ ሁኔታ መጠበቅ እና የመጀመሪያውን አቀራረብ የበለጠ ማቆየት አለበት።»

ለመገለጫ፣ ጠንካራ የማመዛዘን ሞዴሎች የዳሰሳ ጥናት ውስብስብነትን በቀላሉ ለመረዳት አስችለዋል። ሞዴሎች በፓሲንግ እና በትርጉም መካከል ያለውን ልዩነት በአስተማማኝ ሁኔታ ማመጣጠን የሚችሉበትን ገደብ በማለፍ፣ ትርጉሙ ቡድኑ በሥርዓት ሊያሻሽለው እና በስፋት ሊተገበር የሚችል ነገር ሆነ።