ለፈጣን ምላሽ ሰጪ የድምፅ AI ቅጽበታዊ ስርዓትን በስድስት ወር እንዴት እንደገነባን

ለድምፅ AI፣ መቼ መናገር እንዳለበት ማወቅ ከሚመስለው በላይ ከባድ ነው። ሰዎች በሰከንድ ክፍልፋይ ውስጥ ያለ ጥረት ተራ ይቀባበላሉ፤ የቀድሞ የድምፅ AI ስርዓቶች ግን ይህን ምት መከተል አልቻሉም። ተራ-ተኮር አርክቴክቸራቸው ተራ ፈላጊዎች በሚባሉ ትንንሽ ሞዴሎች ላይ ይመረኮዝ ነበር፤ እነሱም አስቸጋሪ ሥራ ነበራቸው፦ ቶሎ ከገመቱ ተጠቃሚው ይቋረጣል፤ ከዘገዩ ደግሞ ምላሹ የዘገየ ይመስላል። ፈላጊው ውሳኔውን ካደረገ በኋላ ብቻ ነበር እጅግ ትልቁ LLM ሥራውን መጀመር የሚችለው።

የሦስተኛ ትውልድ የድምፅ ስርዓታችን GPT‑Live⁠፣ ተራ ፈላጊውን ከድምፅ መስመሩ ያስወግዳል። የድምፅ ሞዴሉ ሙሉ-ዱፕሌክስ ነው፤ ማለትም በአንድ ጊዜ መስማትና መናገር ይችላል። ይህም የተለየ ፈላጊ እንዳያስፈልግ በማድረግ፣ ውይይቱ ፈጣንና ተፈጥሯዊ እንዲሰማ ያደርጋል። ጥልቅ ማመዛዘን ወይም የመሣሪያ አጠቃቀም ሲያስፈልግ፣ GPT‑Live የውይይቱን ፍሰት ሳያቋርጥ እንደ GPT‑5.5 ያሉ ግንባር ቀደም ሞዴሎቻችንን ማማከር ይችላል። እነዚህ ችሎታዎች በጋራ፣ ለGPT‑Live ከዚህ በፊት ያልታየ የውይይት ፈጣን ምላሽና አስተውሎት ጥምረት ይሰጡታል።

ይህን ተሞክሮ በስፋት ለማቅረብ፣ ለዝቅተኛ መዘግየት የተመቻቸ አዲስ የስርዓት አርክቴክቸር አስፈለገ። ከተለመደው የጥያቄ-ምላሽ ግምት በተለየ፣ ስርዓታችን ገቢ ድምፅን ወደ ድምፅ ሞዴሉ፣ ወጪ ንግግርን ደግሞ ወደ ተጠቃሚው በቀጥታ ስርጭት ያደርሳል፤ ውክልናንም በተለየ ያልተመሳሰለ መስመር ያስተናግዳል። ባለፉት ስድስት ወራት፣ ንግግር ከጫፍ እስከ ጫፍ ያለማቋረጥ እንዲፈስ፣ የሞዴል ግምትን፣ የዐውድ አስተዳደርንና የሚዲያ መጓጓዣን እንደገና ሠራን።

አርክቴክቸሩ በዋናው የድምፅ መስመርና በመተግበሪያ አመክንዮ መካከል ግልጽ ድንበርም ይፈጥራል። ይህም ፈጣን ምላሽን ሳይነካ፣ የመተግበሪያውን ባህሪ ማበጀት ቀላል ያደርገዋል። ይህ መሠረት በየChatGPT ዴስክቶፕ መተግበሪያ ኮምፒውተርዎን የመቆጣጠርና ወኪሎችዎን የማስተባበር አዲስ ችሎታን ጨምሮ፣ በየChatGPT ድምፅ ውስጥ እያደጉ ያሉ ብዙ ችሎታዎችን ያንቀሳቅሳል።

በዚህ ጽሑፍ፣ የቀድሞ ተራ-ተኮር ስርዓቶች ፍላጎታችንን ማሟላት ያልቻሉበትን ምክንያትና አዲሱን ስርዓት በእያንዳንዱ ደረጃ ፈጣን ምላሽ እንዲሰጥ እንዴት እንደገነባነው እናብራራለን። GPT‑Live በእውነት ቀጥታ ሆኖ እንዲሰማ በጋራ የሚሠሩትን ሁኔታ-ጠባቂ ግምት፣ ተለዋዋጭ የዐውድ አስተዳደር፣ ያልተመሳሰለ ውክልና እና የፕሮቶኮል ደረጃ ማሻሻያ እንሸፍናለን።

የቀድሞ የድምፅ አርክቴክቸሮች የጽሑፍ LLMዎችን ተራ-ተኮር ባህሪ ወርሰው ነበር፤ ሆኖም እያንዳንዱ ተራ በጽሑፍ ፈንታ እንደ ተለየ የድምፅ ጥቅል ይወከል ነበር። በተከታታይ ስርዓቶች ውስጥ፣ ንግግር-ወደ-ጽሑፍ፣ LLM እና ጽሑፍ-ወደ-ንግግር እያንዳንዳቸው በተከታታይ ይሠሩ ነበር። ይህ ቅደም ተከተል መዘግየትን ጨምሮ፣ እንደ የድምፅ ቃናና ፍጥነት ያሉ ፍንጮችን ችላ ይል ነበር።

ከንግግር ወደ ንግግር ሞዴሎች ድምፅን በቀጥታ በማቀናበር ይህን አቀራረብ አሻሽለውታል። ሞዴሉ ንግግርን በተፈጥሮ እንዲረዳና እንዲያመነጭ ማሠልጠን፣ በጽሑፍ ሲቀየር የሚጠፉ ዝርዝሮችን እንዲጠብቅና ፈጥኖ እንዲመልስ አስችሎታል። ስርዓቱ ግን ግምት መቼ መጀመር እንደሚችል ለመወሰን አሁንም በተራ ፈላጊው ላይ ይመረኮዝ ነበር። ሞዴሉ ብዙውን መስተጋብር ያስተናግድ ነበር፤ መስተጋብሩ ግን ተራ-ተኮር ሆኖ ቀጥሏል።

GPT‑Live የድምፅ ሞዴሉን ውይይቱን እንዲቆጣጠር ያደርገዋል፦ ድምፅ ወደ ሞዴሉና ከሞዴሉ ይፈሳል፤ ጥልቅ ማመዛዘንና የመሣሪያ አጠቃቀም ደግሞ ያልተመሳሰለ ሆኖ ይከናወናል። የስርዓቱ ዋና ሥራ ያልተቋረጠ የሚዲያ ዑደትን ማስቀጠል ነው። እንደ ግንባር ቀደም ሞዴሎችን መጥራትና ውይይቱን በዘላቂነት ማከማቸት ያሉ ሌሎች ሥራዎች ከቀጥታ መስመሩ ውጭ ይከናወናሉ።

ይህን የሚዲያ ዑደት ሳይቋረጥ ማስቀጠል ሁልጊዜ ቀላል አይደለም። በመጓጓዣ፣ በማቀናበር ወይም በግምት ሂደት የሚከሰት ማንኛውም መዘግየት የሚሰማ እረፍት ወይም የድምፅ እንከን ሊሆን ይችላል። ከዚህ ቀደም የነበረው ተራ-ተኮር ስርዓት፣ አንድ የድምፅ ጥቅል በሚደርስበት ጊዜ የተወሰነ ልዩነትን ሊታገስ ይችል ነበር። የቀጥታ ሚዲያ ስርዓት ግን እያንዳንዱን የድምፅ ፍሬም በታቀደለት ጊዜ ማድረስ አለበት።

በየChatGPT ድምፅ እና Realtime API ላይ ያከናወንነው የቀድሞ ሥራ ጠቃሚ መሠረት ሰጥቶናል። ድምፅና ቪዲዮን በዝቅተኛና ይበልጥ ሊገመት በሚችል መዘግየት በቀጥታ ወደ ስርዓቶቻችንና ከስርዓቶቻችን ለመልቀቅ፣ የድምፅ መሠረተ ልማታችንን እንደገና ገንብተን⁠ ነበር። GPT‑Live ይህን ንድፍ የበለጠ አራመደው፤ ለቀጣይነት ያለው ውይይት በተገነባ አዲስ ሁኔታ-ጠባቂ የግምት ስርዓት ሚዲያን እስከ ሞዴሉ ድረስ በቀጥታ ስርጭት ያደርሳል።

የቀጥታ ስርጭት ግምት ግን የመፍትሔው አንድ ክፍል ብቻ ነበር። በምርት ላይ በጥሩ ሁኔታ እንዲሠራ፣ ከደንበኛው ወደ ግምት ስብስብ የሚደረገው የድምፅ ማድረስ አስተማማኝ መሆኑን ማረጋገጥና የሁኔታ-ጠባቂነት ተግዳሮቶችን መፍታትም ነበረብን።

ቀደም ብለን ካደረግናቸው ውሳኔዎች አንዱ፣ የሚዲያ ፍሰትን ከመተግበሪያና ከንግድ አመክንዮ በግልጽ መለየት ነበር። ድምፅ በደንበኛውና በድምፅ ሞዴሉ መካከል በተለየ ፈጣን መስመር ይንቀሳቀሳል። ውክልና፣ የመሣሪያ አጠቃቀምና ሌሎች የመተግበሪያ ሥራዎች ካልተመሳሰለ RPC ድንበር ባሻገር ይከናወናሉ። ዘገምተኛ የመሣሪያ ጥሪ ወይም የኋላ ጫፍ አገልግሎት የራሱን ውጤት ሊያዘገይ ይችላል፤ የሚዲያ ፍሰቱን ግን ማቆም አይችልም።

ይህ መለያየት ስርዓቱ ለማበጀት ግልጽ ድንበር እንዲኖረውም ያደርጋል። መተግበሪያዎች፣ ድምፁ እንዲፈስ ኃላፊነት ባለበት የሚዲያ ፊት ገጽ ላይ ተጽዕኖ ሳያሳድሩ፣ መሣሪያዎቻቸውን፣ ፖሊሲዎቻቸውንና የኋላ ጫፍ ባህሪያቸውን መቀየር ይችላሉ። የቀጥታ መስመሩ ትንሽ፣ ሊገመት የሚችልና በቅጽበት መከናወን ባለበት ሥራ ላይ ያተኮረ ሆኖ ይቆያል።

የቀድሞውን የPython asyncio አተገባበር በመተካት፣ የሚዲያ ፊት ገጹንና የግምት አመክንዮውን በGo ጻፍን። ይህም የፍሬም ማድረስን ልስላሴ በእጅጉ አሻሽሎ፣ የአዲሱ ስርዓት p95 ከቀድሞው ስርዓት p50 ጋር እንዲመጣጠን አደረገ።

WebRTC የመጓጓዣውን መሠረት ያቀርባል። ዝቅተኛ መዘግየት ላለው ሚዲያ የተነደፈ ሲሆን፣ በፓኬት መጥፋት፣ በሰዓት ልዩነትና በደንበኛ ግንኙነት ለውጦች ጊዜም መሥራቱን መቀጠል ይችላል። ፓኬቶች ዘግይተው ከደረሱ፣ WebRTC ክፍተቶችን ለመከላከል ድምፁን በረቀቀ ሁኔታ ሊያራዝም፣ ከዚያም ወደ ቅጽበታዊ ጊዜ ለመመለስ አጫውቶቱን ለአጭር ጊዜ ሊያፋጥን ይችላል።

በመላው ስርዓት መሸጎጥንና መታገድን በመቀነስ፣ ሰዎች ከውይይት የሚጠብቁትን ከአንድ ሰከንድ በታች የሆነ ፈጣን ምላሽ ማቅረብ እንችላለን።

ሁኔታ-ጠባቂ ግምት የራሱ የአሠራር ጥቅምና ጉዳቶች አሉት። አንድ የድምፅ ክፍለ ጊዜ ለረጅም ጊዜ ንቁ ሆኖ ሊቆይ ይችላል፤ ዐውዱ ግን ያለማቋረጥ ያድጋል፣ የሞዴል አጋጣሚዎችም እንደ ፍላጎት ይጀምራሉ ወይም ይዘጋሉ።

እነዚህን ጉዳዮች ለመፍታት፣ በሞዴል አጋጣሚዎች መካከል ያልተቆራረጠ የርክክብ ዘዴ ገነባን። ሽግግር ሲያስፈልግ፣ ምትክ የሞዴል አጋጣሚን ከነባሩ ጎን ማዘጋጀት፣ በወቅታዊው የክፍለ ጊዜ ዐውድ አስቀድሞ መሙላት፣ በሁለቱም ላይ ግምትን በትይዩ ማካሄድና አዲሱ አጋጣሚ ሙሉ በሙሉ ሲዘጋጅ ወደ እሱ መቀየር እንችላለን።

ይኸው መሠረታዊ ዘዴ ተለዋዋጭ የዐውድ ኮምፓክሽንንም ይደግፋል። ውይይት እየቀጠለ ሲሄድ፣ የተከማቸው ዐውድ በመጨረሻ ከሞዴሉ የዐውድ ገደብ ሊያልፍ ይችላል። ኮምፓክሽን የዐውዱን መጠን ከገደቡ ውስጥ እንዲገባ ሊቀንሰው ይችላል፤ ክዋኔው ግን ጊዜ ይወስዳል። በተጨማሪም፣ ያለፈውን ዐውድ ስለሚቀይር፣ ከዚህ ቀደም ከተቀናበሩ ቶከኖች የትኩረት ቁልፎችንና እሴቶችን የሚያከማቸውን የሞዴሉን ቁልፍ-እሴት (KV) መሸጎጫ ዋጋ አልባ ያደርገዋል። ያንን ሁኔታ እንደገና መገንባት አዲስ ቅድመ-ሙሌት ስለሚፈልግ፣ ተጨማሪ መዘግየት ያስከትላል።

በምትኩ፣ ኮምፓክሽንን እንደ ሌላ የሚተዳደር ሽግግር እንቆጥረዋለን። የመጀመሪያው የሞዴል አጋጣሚ ውይይቱን ሲቀጥል፣ ስርዓቱ ዐውዱን ያከናውንበታል፤ በአዲሱ ዐውድም ምትክ የሞዴል አጋጣሚ ያዘጋጃል። ያ አጋጣሚ ከተዘጋጀ በኋላ፣ ሚዲያውን ሳናቋርጥ ወደ እሱ መቀየር እንችላለን። ይህም ስርዓቱ አስፈላጊ በሆነ ጊዜ ሁሉ ኮምፓክሽን በማድረግ፣ ለረጅም ጊዜ የሚቆዩ ጥሪዎችን እንዲደግፍ ያስችለዋል።

ከባዱ ሥራ ከቀጥታ መስመሩ ውጭ ይከናወናል፤ ስለዚህ በርክክብ ጊዜም ውይይቱ ምንም ሳይዛባ ይቀጥላል።

GPT‑Live ነባር ግንባር ቀደም ሞዴሎችን የመጥራት ችሎታው፣ «መናገርን» ከጥልቅ «ማሰብ» በተግባር በመለየት፣ ትልቅ ኃይል ይሰጠዋል። ይህ የሁለት ሞዴል አርክቴክቸር እንደ አንድ ስርዓት እንዲሰማ ማድረግ ግን ሁለት ተዛማጅ የምሕንድስና ችግሮችን መፍታት ይጠይቅ ነበር።

በመጀመሪያ፣ ውጤቶች በቀጠለው ልውውጥ ጠቃሚ እንዲሆኑ በበቂ ፍጥነት መመለስ አለባቸው፤ ስለዚህ ከማስተላለፍና እርምጃን ከማቀናበር እስከ ግምትና የመሣሪያ ጥሪዎች ድረስ በመላው የውክልና መስመር ያለውን መዘግየት መቀነስ ነበረብን። በተመሳሳይ ጊዜ፣ በምርቱ ውስጥ ያሉ ሌሎች ስርዓቶች አሁንም የተለዩ መልዕክቶችን ይፈልጋሉ፤ ስለዚህ ቀጣዩን ውይይት ሊረዱት በሚችሉት ቅርጽ መወከል ነበረብን።

ውክልና ሲላክ፣ ግንባር ቀደሙ ሞዴል ለውይይቱ ጠቃሚ ነገር እስኪያቀርብ ያለውን ጊዜ እናሳጥራለን። ግንባር ቀደሙ ሞዴል እያመዛዘነ ወይም መሣሪያዎችን እየተጠቀመ ሳለ፣ የድምፅ ሞዴሉ ልውውጡን ለአጭር ጊዜ ማስቀጠል ይችላል፤ ከመጠን በላይ ዘገምተኛ ምላሽን ግን መደበቅ አይችልም። ስለዚህ ሙሉውን የውክልና ዑደት—ማስተላለፍ፣ እርምጃን ማቀናበር፣ ግምት እና የመሣሪያ ጥሪዎች—የፈጣን ምላሽ የጊዜ ገደብ አካል አድርገን ወሰድነው።

የመጀመሪያው ማሻሻያ፣ ውክልና ከመጠየቁ በፊት ግንባር ቀደሙን ሞዴልና የሚያስፈልጉትን መሣሪያዎች ማዘጋጀት ነው። የድምፅ ክፍለ ጊዜ ሲጀምር፣ የመተግበሪያ አገልጋዩ ለግንባር ቀደሙ ሞዴል የግምት ክፍለ ጊዜ ይፈጥራል፤ በመነሻው የውይይት ዐውድም አስቀድሞ በመሙላት፣ ከመጀመሪያው የውክልና ጥያቄ በፊት እርምጃው ሙሉ በሙሉ መቀናበሩን ያረጋግጣል።

ከዚያም ያንን የግምት ክፍለ ጊዜ በድምፅ ውይይቱ ቆይታ ሁሉ እንዲገኝ እናደርጋለን፤ ለተከታታይ ጥያቄዎችም የተረጋጋ የክፍለ ጊዜ ቅርበት እንጠቀማለን። እነዚህ ዘዴዎች ከእርምጃ መሸጎጥ ጋር ተዳምረው፣ ከሠራተኛ ብልሽት በቀላሉ ማገገምን እያስቻሉ መዘግየትን ያሻሽላሉ።

የማመዛዘን ጥረት፣ የውጤት ገደቦች፣ የመሣሪያ መርሐግብሮች እና በሞዴልና በመሣሪያ መካከል ያሉ የዙር ጉዞዎችም ውይይቱ ጠቃሚ ውጤት የሚያገኝበትን ጊዜ ይነካሉ፤ ፈጣን ምላሾችን ለማግኘትም እነዚህን መቆጣጠሪያዎች አስተካከልን። በውክልና መስመሩ ላይ የሚያስፈልገውን ሥራ በመቀነስ፣ የድምፅ ሞዴሉ ከግንባር ቀደም ሞዴሎቻችን የሚመጡ ውጤቶችን በፍጥነት እንዲያካትት አስቻልነው።

የድምፅ ሞዴሉ ቀጣይነት ባላቸው የንግግር ዥረቶች ላይ ቢሠራም፣ የChatGPT የውይይት በይነገጽና የትንታኔ እና የደህንነት መሠረተ ልማታችን ክፍሎችን ጨምሮ በዙሪያው ያሉ ብዙ ስርዓቶች አሁንም በተጠቃሚና በረዳት ተራዎች ይሠራሉ። ስለዚህ የመተግበሪያ አገልጋዩ ተደራራቢና አንዳንዴ አሻሚ የሆነውን ውይይት ወደ ተለዩ መልዕክቶች ይከፋፍለዋል።

ድምፅ ሲደርስ፣ አገልጋዩ ማን እየተናገረ እንደሆነ ለመገመትና የመልዕክቶች ወረፋ ለመገንባት ከፊል ጽሑፎችንና የጊዜ ምልክቶችን ይጠቀማል። አዲሱ መልዕክት ጊዜያዊ ሆኖ ይቆያል፤ ተጨማሪ ንግግር ሲደርስ ጽሑፉ፣ ጊዜውና የተናጋሪው ምደባ ሁሉ ሊቀየሩ ይችላሉ። አንድ ተናጋሪ ምደባው አስተማማኝ እስኪሆን ድረስ በቂ ጊዜ ከተናገረ፣ አገልጋዩ ተዛማጁን መልዕክት ያጠናቅቃል።

የተናጋሪዎች መደራረብ ይህን የበለጠ ያወሳስበዋል። ተጠቃሚው እየተናገረ ሳለ ረዳቱ የሚሰጠው አጭር የማረጋገጫ ምላሽ (ለምሳሌ “mm hmm,” ወይም “okay”) የግድ ራሱን የቻለ መልዕክት መሆን የለበትም። ይዘት ያለው የረዳት ጣልቃ ገብነት ግን ብዙውን ጊዜ ራሱን የቻለ መልዕክት መሆን አለበት። በተመሳሳይ፣ ተጠቃሚው በመካከል ቢናገርም በሚታዩት የረዳት ምላሾች ውስጥ ወጥነትን ቅድሚያ እንሰጣለን።

እያንዳንዱ የክፍፍል ፖሊሲ ወቅታዊነትን ከእርግጠኝነት ጋር ያመጣጥናል። ቶሎ ማጽደቅ የተቆራረጠ ታሪክና ያልተረጋጋ ቅደም ተከተል ይፈጥራል፤ በጣም መዘግየት ደግሞ የንግግር ጽሑፎችንና በእነሱ ላይ የሚመረኮዙ ባህሪያትን ያዘገያል። ስለዚህ ስርዓቱ ሁለት ተዛማጅ የውይይት እይታዎችን ይይዛል፦ የአሁኑን ሁኔታ ግምታዊ እይታ እና የተባለውን ሥልጣን ያለው መዝገብ። በመተግበሪያው በይነገጽ ያለው የውይይት እይታ ዝማኔዎችን ማስተናገድ ስለሚችል፣ ግምታዊውን እይታ ይጠቀማል። ሆኖም፣ ወደ ትንታኔ ቧንቧው ለመመዝገብ የመጨረሻ የንግግር ጽሑፍ ያስፈልጋል።

ይህም የቀጥታ ድምፅ መስመሩ ተራ በተራ እንዲሆን ሳያስገድድ፣ ለቀሪው ChatGPT የልውውጡን የተረጋጋ እይታ ይሰጣል።

ፈጣን ምላሽ ተጠቃሚው አዝራሩን እንደጫነ ይጀምራል። በGPT‑Live፣ ውይይቱ ከመጀመሩ በፊት ስርዓቱ የሚዲያ መስመሩን ማቋቋምና ድምፅን በሞዴሉ ውስጥ ማስገባት መጀመር አለበት። ይህም የማስጀመሪያ ቅደም ተከተሉን እያንዳንዱን ክፍል ወሳኝ መስመሩ ላይ ያደርገዋል።

ከላይ እንደተገለጸው፣ WebRTC ጠንካራ ቅጽበታዊ መሠረት ይሰጣል፤ ነገር ግን መደበኛ የWebRTC ክፍለ ጊዜን ማስጀመር ብዙ የፕሮቶኮል የእጅ መጨባበጦችንና የአውታረ መረብ ዙር ጉዞዎችን ይፈልጋል። WebRTC፣ እንደ QUIC ያሉ በኋላ የመጡ ፕሮቶኮሎችን ከቀረጸው የዙር ጉዞዎችን የመቀነስ ትኩረት በፊት የተፈጠረ ነው። በዚህም ምክንያት፣ መሠረታዊ ፕሮቶኮሎቹ አብረው ሲጠቀሙ አንዳንዴ ሥራን ይደግማሉ። ለምሳሌ፣ በሙሉው የWebRTC ስብስብ ዐውድ ውስጥ ባያስፈልግም፣ እያንዳንዱ ፕሮቶኮል የራሱን የDoS መከላከያ ዘዴ ያካትት ነበር።

ስብስቡን ተንትነን፣ የሚዲያና የውሂብ ማስጀመሪያን ከስድስት የአውታረ መረብ ዙር ጉዞዎች ወደ አንድ ብቻ የሚቀንሰውን WebRTC Abridged Roundtrip Protocol (WARP⁠(በአዲስ መስኮት ውስጥ ይክፈታል)) አዘጋጀን። WARP ይህን ወደ ኋላ ተኳሃኝ በሆኑ የፕሮቶኮል ማሻሻያዎች ያከናውናል፦ የDTLS የእጅ መጨባበጥን በICE ላይ አያይዞ ማስተላለፍ (SPED⁠(በአዲስ መስኮት ውስጥ ይክፈታል))፣ ፈጣኑን DTLS 1.3⁠(በአዲስ መስኮት ውስጥ ይክፈታል) የእጅ መጨባበጥ መጠቀም፣ የSCTP የእጅ መጨባበጥን አስቀድሞ መደራደር (SNAP⁠(በአዲስ መስኮት ውስጥ ይክፈታል)) እና DCEP⁠(በአዲስ መስኮት ውስጥ ይክፈታል)ን ከመጠቀም ይልቅ የውሂብ ሰርጦችን አስቀድሞ መደራደር።

ሰፊው ምህዳር ከዚህ ሥራ እንዲጠቀም፣ WARPን ከWebRTC ማህበረሰብ ተባባሪዎች ጋር በመሥራት እንደ ክፍት የዝርዝር መግለጫዎች ስብስብ ነደፍነው። ሐሳቦቹን በIETF TSVWG የሥራ ቡድን እያራመድን ነው፤ የWARP ድጋፍም ወደ libwebrtc እና Pion ተጨምሯል፣ በሌሎች የWebRTC አተገባበሮችም ሥራ ቀጥሏል።

የሚዲያ የእጅ መጨባበጥን ካሻሻልን በኋላ፣ አንድ የቀረ መዘግየት ጎልቶ ታየ፦ WebRTC ከመገናኘቱ በፊት የSDP መለኪያዎችን ለማጋራት የሚያገለግለው የምልክት ልውውጥ። ያንን ልውውጥ ከወሳኝ መስመሩ ለማስወገድ፣ Instant Connect የምንለውን አዘጋጀን። የአገልጋይ አቅም ሳያስይዝና በነባር የWebRTC አተገባበሮች ላይ ምንም ለውጥ ሳያደርግ፣ እነዚህን መለኪያዎች አስቀድሞ ይደራደራል።

Instant Connect ከመደበኛው የምልክት ፍሰት ጎን ለጎን ይሠራል። አስቀድሞ የተደራደሩት መለኪያዎች ትክክለኛ ከሆኑ፣ የመጀመሪያው የሚዲያ ፓኬት ሲደርስ አገልጋዩ ክፍለ ጊዜውን ወዲያውኑ ማቋቋም ይችላል። ጊዜ ያለፈባቸው ወይም ልክ ያልሆኑ ከሆኑ፣ የምልክት ፍሰቱ አስቀድሞ ተጀምሯል፤ ስለዚህ ደንበኛው ያለ ተጨማሪ መዘግየት ወደ እሱ መመለስ ይችላል።

Instant Connect እና WARP በጋራ፣ ከተጠቃሚው ፍላጎት እስከ ቀጥታ የሚዲያ ፍሰት ያለውን ጊዜ በእጅጉ ይቀንሳሉ። የSDP ልውውጡ ከወሳኝ መስመሩ ውጭ ሆኖና WARP የመጓጓዣ የእጅ መጨባበጥን ካሳጠረ በኋላ፣ ደንበኛው አሁን በአንድ UDP ፓኬት ክፍለ ጊዜ ማስጀመር ይችላል። አገልጋዩ ወዲያውኑ ምላሽ መስጠት ይችላል፤ ይህም ቀሪው ስርዓት ተጠቃሚው በእውነት የሚፈልገውን—ማዳመጥና ምላሽ መስጠት—እንዲጀምር ያስችለዋል።

አንድ ስርዓት በወረቀት ላይ ፈጣን ቢመስልም፣ በእውነተኛ የድምፅ ትራፊክ ሊቆም ይችላል። GPT‑Live ከተጠቃሚዎች ጋር እንዲወያይ ከመፍቀዳችን በፊት፣ ከምርት ላይ ካሉ የChatGPT ድምፅ ክፍለ ጊዜዎች ጥቂቱንና ቀስ በቀስ የሚጨምር ድርሻ ወደ ነባሩ የላቀ የድምጽ ሁነታ ተሞክሮ እና ወደ አዲሱ ስርዓታችን የሚያስተላልፍ ጸጥተኛ ሙከራ አደረግን። የላቀ የድምጽ ሁነታ ተጠቃሚዎችን እንደተለመደው ማገልገሉን ሲቀጥል፣ የጥላ መስመሩ ግምትን በንባብ-ብቻ ሁነታ ያካሂድ ነበር። ይህም ተጠቃሚዎች የሚሰሙትን ሳይቀይር ስርዓቱን ለእውነተኛ ደንበኞች፣ አውታረ መረቦች፣ የክፍለ ጊዜ ርዝመቶች እና ለጂኦግራፊያዊ ስርጭት አጋለጠው።

ከመጀመሪያዎቹ ትምህርቶች አንዱ፣ አቅምን በGPU የማስተላለፊያ ዘዴ ብቻ መለካት እንደማይቻል ነበር። የድምፅ ክፍለ ጊዜዎች ክፍት ሆነው ፍሬሞችን ያለማቋረጥ ስለሚልኩ፣ የCPU ወገን ቀጥታ ስርጭት አስተናጋጆች፣ ወረፋዎች እና የአውታረ መረብ መስመሮች ከግምት ሂደቱ ጋር አብረው ሊሰፉ ይገባል። በእውነተኛ ጫና ውስጥ፣ አንድ ደጋፊ ክፍል የጫና ሙከራ ግምታችን ከተነበየው ቀድሞ ሙሉ አቅሙ ላይ በመድረሱ፣ የግምት ጥያቄዎች እንዲከማቹና መዘግየቱ እንዲባባስ አደረገ። የአቅም ጥያቄውን «አንድ GPU ስንት ጥያቄዎችን ማስተናገድ ይችላል?» ከሚለው ወደ «ስርዓቱ እያንዳንዱን ፍሬም በጊዜው እያደረሰ ስንት በአንድ ጊዜ የሚካሄዱ ክፍለ ጊዜዎችን ማስቀጠል ይችላል?» ወደሚለው ቀየርነው።

ሙከራው ጂኦግራፊያንም ቀዳሚ ጉዳይ አደረገው። አንድን ክፍለ ጊዜ ርቆ ወዳለ አቅም ማስተላለፍ፣ በማስጀመርና በቀጥታ ስርጭት ጊዜ በተለያዩ ነጥቦች መዘግየት ሊጨምር ይችላል። የሞዴል ልቀቶችን ከክልላዊ አቅምና ከትራፊክ መምሪያ ውቅር ጋር አብረን ማረጋገጥ ጀመርን፤ ከዚያም መዘግየትን በመነሻ ጂኦግራፊያ ከፋፈልን። ግምትን ወደ ተጠቃሚዎች ማቅረብ ረድቷል፤ ነገር ግን ሰፊውን ትምህርትም አጠናክሯል፦ ከጫፍ እስከ ጫፍ ፈጣን ምላሽ የሚወሰነው በሞዴል አገልጋዩ ብቻ ሳይሆን በመስመሩ ላይ ባለ እያንዳንዱ አገልግሎት ነው።

ሌሎች ብልሽቶች የታዩት በእውነታዊ የክፍለ ጊዜ የሕይወት ዑደቶች ውስጥ ብቻ ነበር። ለረጅም ጊዜ የሚቆዩ ክፍለ ጊዜዎች በማህደረ ትውስታና በዘላቂ ማከማቻ ላይ ያለውን ጫና አጋለጡ። ዳግም ግንኙነቶች ኮምፓክሽንንና የሁኔታ መልሶ ማቋቋምን ፈተኑ። መደበኛ የደንበኛ ግንኙነት መቋረጦች፣ በመዝጊያ የእጅ መጨባበጥ ውስጥ ያሉ የጊዜ ፉክክሮችን አጋለጡ። እነዚህ ችግሮች በጊዜ፣ በተከማቸ ሁኔታ እና በአገልግሎት ድንበሮች ላይ ባለ ባህሪ ስለሚወሰኑ፣ በአጭር የጫና ሙከራዎች እምብዛም አይታዩም ነበር።

በመጨረሻም፣ የምርት ሙከራ የክትትል ችሎታችንንና የልቀት መቆጣጠሪያዎቻችንን እንድናሻሽል አስገደደን። የተለያዩ የመዘግየት ምንጮችን የሚቀላቅሉ መለኪያዎች፣ ድምር ውጤታቸው ጤናማ ያልሆኑ ነጠላ ሞተሮችን የሚደብቅ ዳሽቦርዶች እና በተፈተኑና በተሰማሩ ስርዓቶች መካከል የውቅር ልዩነት አገኘን። በምላሹም፣ ይበልጥ ዝርዝር ቴሌሜትሪ፣ ትክክለኛነታቸው በታወቁ ውቅሮች ላይ የሚደረግ ማረጋገጫ፣ ደረጃ በደረጃ የሚጨምሩ ልቀቶች እና ነጠላ መስመሮችን በፍጥነት የመነጠል ወይም የማሰናከል ችሎታ ጨመርን። ጸጥተኛው ሙከራ ስርዓቱ ምን ያህል ትራፊክ መቀበል እንደሚችል ብቻ ሳይሆን፣ ብልሽትን ምን ያህል በፍጥነት መለየት፣ መገደብና ከእሱ ማገገም እንደምንችል የሚፈትሽ ቀደምት የማስጀመሪያ ልምምድ ሆነ።

GPT‑Liveን በChatGPT መጠን ለማድረስ፣ «ድምፁ መፍሰስ አለበት» በሚል አንድ መሠረታዊ መርሕ ዙሪያ የተገነባ ፈጽሞ አዲስ ስርዓት አስፈለገ። የቀጥታ ስርጭት ግምት ሙሉ-ዱፕሌክስ ሞዴሉን በድምፅ ያለማቋረጥ ያቀርብለታል። ለሚዲያ የተለየ መስመር ፍሬሞች በአስተማማኝ ሁኔታ መድረሳቸውን ያረጋግጣል። ያልተመሳሰለ ውክልና ጥልቅ አስተሳሰብ በትይዩ እንዲካሄድ ያደርጋል። የተመቻቸ መጓጓዣ፣ ተሞክሮው እስከ ተጠቃሚው ድረስ ፈጣን ምላሽ እንዲሰጥ ያደርገዋል።

ከGPT‑Live ጀርባ ያለው አርክቴክቸር ለቅጽበታዊ መስተጋብር የሚያገለግል ሰፊ መድረክ መሆን ጀምሯል። የChatGPT ድምፅ ከውይይት ወደ ወኪላዊ ቅንጅት እየሰፋ ሲሄድ ይህ አርክቴክቸር ያንቀሳቅሰዋል፤ እንዲሁም ለሚመጣው GPT‑Live API መሠረት ይሆናል። ከጊዜ በኋላ፣ የቀጥታ ውይይት ስሜትን የሚሰጠውን ፈጣንነት ሳይቀንስ፣ የድምፅ ተሞክሮዎች በብዙ መሣሪያዎች፣ መተግበሪያዎችና ሞዳሊቲዎች እንዲሰሩ ያስችላል።

መፍታት የምትፈልጓቸው የምሕንድስና ችግሮች እነዚህን የመሰሉ ከሆኑ፣ ከእኛ ጋር ለመሥራት ይምጡ⁠።