Parameter Golf ያስተማረን ነገር
ከ1,000+ ተሳታፊዎች፣ ከ2,000+ የቀረቡ ውጤቶች እና በኮዲንግ ወኪሎች የታገዘ ክፍት የማሽን መማሪያ ውድድር የተገኙ ትምህርቶች።
አዲስ እና ጥብቅ ገደብ ያለበትን የማሽን መማሪያ ችግር ለመመርመር፣ የማሽን መማሪያ ምርምር ማህበረሰቡን ለማሳተፍ እና ለመደገፍ Parameter Golf ጀምረናል። የቴክኒክ ፈጠራን የሚሸልም፣ በተመሳሳይ ጊዜ ደግሞ በፅንሰ-ሃሳብ ደረጃ ቀላል እና ለማረጋገጥ አመቺ የሆነ አስገራሚ ውድድር እንዲሆን ፈልገን ነበር።
ተሳታፊዎች በ8×H100ዎች ላይ በ10-ደቂቃ የሥልጠና ጊዜ ውስጥ፣ የሞዴል ክብደቶችን እና የሥልጠና ኮድን ጨምሮ ከ16 MB ባልበለጠ መጠን፣ በተወሰነ የFineWeb የውሂብ ስብስብ ላይ አነስተኛ የኪሳራ መጠን ማስመዝገብ ነበረባቸው። ተሳታፊዎች ማከማቻውን ገልብጠው፣ ሞዴሉን እንዲያሻሽሉ እና ውጤታቸውን በGitHub በኩል እንዲልኩ የመነሻ ነጥብ፣ የውሂብ ስብስብስ እና የግምገማ ስክሪፕቶችን አቅርበናል።
በስምንት ሳምንታት ጊዜ ውስጥ፣ ከ1,000 በላይ ተሳታፊዎች ከ2,000 በላይ ውጤቶችን ልከዋል። በቀረቡት ውጤቶች ውስጥ በታዩት የቴክኒክ ስፋት፣ የፈጠራ ችሎታ እና መመሪያዎችን የመጠቀም ዘዴዎች፣ ከጥንቃቄ የተሞላበት የአመቻች ማስተካከያ እና የኳንታይዜሽን ሥራዎች ጀምሮ እስከ አዲስ የሞዴሊንግ ሃሳቦች እና የሙከራ-ጊዜ ስልጠናዎች ድረስ፣ በጣም ተደንቀናል።
የውድድሩ በጣም አስገራሚ ከነበሩት ክፍሎች አንዱ ተሳታፊዎች የኤ.አይ ኮዲንግ ወኪሎችን ምን ያህል በስፋት እንደሚጠቀሙ ማየቱ ነበር። ወኪሎች የሙከራ ወጪን ለመቀነስ ረድተዋል፣ ብዙ ሰዎች እንዲሳተፉ አድርገዋል፣ እንዲሁም የውድድሩን ፍጥነት ቀይረዋል። በተጨማሪም ውጤቶችን ለመገምገም፣ የባለቤትነት ማረጋገጫ ለመስጠት እና ነጥብ ለመስጠት አዲስ ውድድሮችን ፈጥረዋል።
ውድድሩ ለኛ ትርጉም ያለው ተሰጥዕዎችን ማግኛ መንገድ ሆኖ አገልግሏል። ይህ አንዱ የParameter Golf ግባችን ነበር፣ እንዲሁም ወሰን-የሌለው የቴክኒክ ውድድሮች ልዩ የሆነ የማሽን መማሪያ ክህሎትን እና ፅናትን ለማሳየት ጠቃሚ ምልክት ሊሆኑ እንደሚችሉ ያረጋገጠ ነበር።
በዚህ ልጥፍ ውስጥ፣ አስገራሚ እና ሳቢ ሆነው ያገኘናቸውን አንዳንድ የቀረቡ ውጤቶች ጎላ አድርገን የምናሳይ ሲሆን፣ በኃይለኛ የኤ.አይ ወኪሎች ዘመን የኮዲንግ ውድድርን በማካሄድ ረገድ የተማርነውን እናካፍላለን።
በሪከርድ-ክትትል ደረጃ ሰንጠረዡ ላይ የቀረቡትን እያንዳንዱን ውጤቶች ዳኝተናል እንዲሁም ራሳችንን ችለን በድጋሚ ሰርተን ያረጋገጥን ሲሆን እያንዳንዱም ውጤት በገባበት ወቅት ቀደም ሲል የነበረውን ሪኮርድ-ሰባሪ መሆኑን አረጋግጠናል። በርካታ ጭብጦች ጎልተው ታይተዋል።
የስልጠና ማሻሻያ
አንዳንዶቹ ጠንካራ ውጤቶች የተገኙት ነባር አካላትን በጥንቃቄ በማስተካከል ነበር።
| ውጤት ማስረከብ፣ አስተዋጽዖ አበርካች፣ ቴክኒክ፣ ለምን አስፈላጊ እንደሆነ | |||
| #60 | @notapplica | ከ#50, #42, እና ምናልባት #39, የቀድሞ ስኬቶች ጥምረት፣ ከዚያም ጥልቅ የሆነ ሞዴልን ከMuon የክብደት መበስበስ፣ ከስፔክታራዊ ማካተት ማስነሻ፣ ከቀሪ-ድብልቅ መርሃግብር እና ከተጠናከረ ግምገማ ጋር በማቀናጀት ውጤታማ በሆነ መንገድ እንዲሰራ አድርጓል። | በደረጃ ሰንጠረዡ ላይ የሚታይ ጠንካራ እና ሥርዓት ያለው የሥራ ምሳሌ፦ የትኞቹ ነባር ማሻሻያዎች አስፈላጊ እንደሆኑ መለየት እና እነርሱን በንጽህና ማቀናጀት። |
ኳንታይዜሽን
በርካታ የቀረቡ ውጤቶች በመጭመቅ እና ወደ ውጭ በመላክ ተግባራት ላይ ከፍተኛ ትኩረት አድርገዋል።
የሙከራ-ጊዜ እና የግምገማ ስልቶች
አንዳንድ የቀረቡ ውጤቶች በሞዴል ማሻሻያ እና በግምገማ ስልት መካከል ያለውን ድንበር ገፍተዋል። እነዚህ አካሄዶች በደንቡ መሠረት ተቀባይነት ያላቸው ቢሆንም፣ እንደ አዘጋጅነታችን ከኛ ጥንቃቄ የተሞላበት ግምገማን ጠይቀዋል።
| ውጤት ማስረከብ፣ አስተዋጽዖ አበርካች፣ ቴክኒክ፣ ለምን አስፈላጊ እንደሆነ | |||
| #77 | @samacqua | በውጤት-መጀመሪያ፣ ለእያንዳንዱ ሰነድ የሚሆን የLoRA የሙከራ-ጊዜ ስልጠና ተጠቅሟል፦ በመጀመሪያ ውጤት ይሰጣል፣ ከዚያም ውጤት-በተሰጣቸው ክፍሎች ላይ ብቻ ማስተካከያ ያደርጋል፣ ሰነዱ ሲያልቅ ደግሞ ወደ መጀመሪያው ይመለሳል። | በደንቡ መሠረት ሊገመገም በሚችል ሁኔታ ውስጥ ሆኖ፣ በሞዴል ማሻሻያ እና በግምገማ ስልት መካከል ያለውን ድንበር አስፍቷል። |
| #1019 | @abaybektursun | በራሱ-የተፈጠረ የGPTQ ልኬት ተጠቅሟል፦ የሰለጠነው ሞዴል የልኬት ጽሑፍ እንዲያመነጭ ማድረግ፣ ከዚያም በእነዚያ ንቁ ሂደቶች ላይ በመመስረት የGPTQ Hessians መገንባት። | ከአዘጋጆቹ ጥንቃቄ የተሞላበት ክትትል የሚፈልግ የፈጠራ ልኬት ስልት። |
አዲስ የሞዴሊንግ እና የውሂብ ሃሳቦች
ጥቂት የቀረቡ ውጤቶች በተለየ ሁኔታ ፈጣሪ የሆኑ የሞዴሊንግ ወይም የውሂብ ሃሳቦችን አስተዋውቀዋል።
| ውጤት ማስረከብ፣ አስተዋጽዖ አበርካች፣ ቴክኒክ፣ ለምን አስፈላጊ እንደሆነ | |||
| #1729 | @romeerp | የCaseOps ቶከናይዘርን አስተዋውቋል፦ ይህም ምንም ዓይነት መረጃ ሳይጠፋ በካፒታል ፊደላት አጠቃቀም ላይ የሚሰራ ኦፕሬተር ቶከን ሲሆን ከመጀመሪያው-ባይት BPB ሳይድካር ስሌት ጋር የተጣመረ ነው። | የፈጠራ ችሎታ የታየበት የቶከናይዘር እና የውሂብ-አቀራረብ ሃሳብ። |
| #265 | @unnir | XSA የተባለ፣ GQAን-ያገናዘበ የተቀናጀ እይታዎች ያሉት፣ ቀልጣፋ እና ከፊል የሆነ ለራስ ብቻ የተወሰነ ትኩረት አቀራረብን አስተዋውቋል። | ቀልጣፋ የሆነ የትኩረት አይነትን ወደ ውድድሩ አምጥቷል። |
| #65 | @aquariouseworkman | SmearGate እና BigramHash የተባሉትን አስተዋውቋል፦ ይህም የተማረ የቀደሞ-ቶከን መካተት ቅልቅል እና ተያያዥ-ቶከን-ጥንድ የሃሽ ባህሪያትን ያካተተ ነው። | ከመጀመሪያው ጀምሮ አዲስ ባህሪ ዘዴዎች አክሏል። |
| #1204 | @msisovic | አነስተኛ የጥልቀት ድግግሞሽን አስተዋውቋል፦ 4ኛ እና 5ኛ ደረጃዎችን ደጋግሞ መጠቀም፣ ድግግሞሹን እስከ ስልጠናው አጋማሽ ማዘግየት እና የተደገሙትን MLPዎች በከፊል ነጻ ማድረግ። | "ተደጋጋሚ ደረጃዎችን ውጤታማ በሆነ መንገድ እንዲሰሩ በማድረግ በደረጃ ሰንጠረዡ ላይ ተቀባይነት ያገኘ የመጀመሪያው ረድፍ።" |
እነዚህን ዘጠኝ የቀረቡ ውጤቶች ለመምረጥ የቻልነው፣ ውድድሩ እንዲያወጣቸው ተስፋ ያደረግናቸውን የተለያዩ የውጤት ዓይነቶች ስለሚወክሉ ነው። አንዳንድ ተሳታፊዎች በጥንቃቄ በማስተካከል ውጤታማ ሆነዋል። ሌሎች ደግሞ የኳንታይዜሽን እና የዝቅተኛ-ደረጃ ቴክኒኮችን ተጠቅመዋል። አንዳንዶች የግምገማ ደንቦቹን ዳርቻዎች አስሰዋል። እና በርካታዎቹ፣ ከጽሑፎች ወይም ከመነሻው የፈለቁ፣ ያልተጠበቁ ውጤቶችን ያስገኙ የሞዴሊንግ ወይም የውሂብ ሃሳቦችን አስተዋውቀዋል።
ሪከርድ ያልሆነ ክትትል ለብዙ ፈጣሪ የቀረቡ ውጤቶች መገኛ ነበር። እኛም 15 ተወዳጅ አጉልተን አቅርበናል፣ እነዚህም ወደኋላ ተመላሽ-ያልሆነ የጽሑፍ ሞዴሊንግ እስከ ዳይናሚክ ቶከናይዜሽን ያሉ አካሄዶችን ያካትታሉ።
ይህ ክትትል ይበልጥ ሙከራዊ ስለነበር፣ ትኩረታችን ያልተጣራ አፈጻጸም ላይ ሳይሆን አካሄዱ በቴክኒክ ረገድ ሳቢ መሆኑ ላይ ነበር። በተለይ ሶስት የቀረቡ ውጤቶች ጎልተው ታይተዋል፦
እነዚህ ምንም እንኳን በአፈጻጸም ረገድ ምርጥ ሶስቱ ባይሆኑም፣ ከሪከርድ ያልሆነ ክትትል የቀረቡ ውጤቶች ውስጥ የኛ ሶስት ተወዳጅ የነበሩ ናቸው።
ያም ሆኖ፣ ሪከርድ ያልሆነ ክትትል አሁንም ቢሆን ከፍተኛ ፉክክር የታየበት ነበር። ግማሾቹ ሪከርድያልሆኑ ክትትል ደረጃ ሰንጠረዥ 1.22 BPB የሆነውን መነሻ ያሸነፉ ሲሆን፣ ከፍተኛ-ደረጃ ላይ የተቀመጠው ምዝገባ ደግሞ 1.12 BPB ደርሷል።
ይህ የሚያበረታታ ሆኖ አግኝተነዋል። ጠንካራ ከሆኑ የትራንስፎርመር መነሻዎች ጋር ሲነጻጸር እንኳ፣ ሌሎች አማራጭ አካሄዶች በገበያው ላይ የበላይነት ካለው አርክቴክቸር ጋር አንዳንድ ጊዜ ሊመጣጠኑ እንደሚችሉ ታይቷል።
ይህ ክትትል ውጤት በተለይ ጠንካራ የኮዲንግ ወኪሎች በመኖራቸው ተጠቃሚ ይሆናል ብለን እናስባለን። ወኪሎች ቀደም ሲል ጊዜ-የሚወስዱ ወይም በአጭር የውድድር ጊዜ ውስጥ ለመሞከር አስተማማኝ አይደሉም ተብለው የታሰቡ አካሄዶችን ጨምሮ፣ መላምታዊ የሆኑ ሃሳቦችን በዝቅተኛ ወጪ በሙከራ ደረጃ ለመስራት አስችለዋል።
በParameter Golf እና ቀደም ባሉት መሰል ውድድሮች መካከል ያለው ትልቅ ልዩነት የኮዲንግ ወኪሎች በስፋት ጥቅም ላይ መዋላቸው ነበር። አብዛኛው ውጤት ያቀረቡ ተሳታፊዎች በሥራቸው ሂደት ውስጥ ወኪሎች መጠቀምን ጠቅሰዋል።
ይህም ወደ ውድድሩ ለመግባት የነበረውን እንቅፋት ዝቅ አድርጎታል። ተሳታፊዎች ሙከራዎችን በፍጥነት ማከናወን፣ ያልተለመዱ ኮዶችን መመርመር እና ሃሳቦችን ያለ ብዙ ግጭት መሞከር ችለዋል። በተጨማሪም የRunpod $1,000,000 የማስላት ድጋፍ፣ ውድድሩ ለብዙ ሰዎች ተደራሽ እንዲሆን ትልቅ ሚና ተጫውቷል።
በተመሳሳይ ጊዜ፣ ወኪል አጠቃቀም ለውጤት አቀራረብ እና ለነጥብ አሰጣጥ አዲስ ችግሮችን ፈጥሯል። ብዙዎቹ የቀረቡ ውጤቶች መሠረታዊ የሆኑ አዲስ አካሄዶችን ከመከተል ይልቅ፣ ቀደም ሲል ከፍተኛ ውጤት ባመጡት ላይ ጥቂት ለውጦችን በማድረግ የቀረቡ ነበሩ። ይህ ብዙ ጊዜ ጠቃሚ ነበር፦ ጠንካራ ሃሳቦች በፍጥነት እንዲሰራጩ እና በሌሎችም እንዲሻሻሉ ረድቷል። ነገር ግን ይህ ሁኔታ ጫጫታን ፈጥሯል። ከውድድሩ መመሪያ ውጭ የሆኑ ውጤቶች ያልተለመደ ከፍተኛ ነጥብ በሚያስመዘግቡበት ወቅት፣ ሌሎች ወኪሎች አንዳንድ ጊዜ እነዚያን ሃሳቦች በመቅዳት በዚያው የተሳሳተ ጎዳና መጓዛቸውን ቀጥለዋል።
የውጤቶች ብዛት ውድድሩን የምናካሂድበትን መንገድ እንድንቀይር አስገድዶናል። የደረጃ ሰንጠረዡ እንዳይቆም እያደረግን እንዲሁም እያንዳንዱን የቀረቡ ውጤቶችን በእጅ መመርመር አልቻልንም ነበር። በውድድሩ ወቅት፣ አዲስ የሚቀርቡ ውጤቶችን ለመከታተል እና ለሰው ልጅ ምርመራ እንዲመቻቹ ምልክት ለማድረግ በCodex-የተመሠረተ የውስጣዊ የስምሪት ቦት አዘጋጅተን ነበር። በቀን ውስጥ በመቶዎች የሚቆጠሩ ውጤቶች በሚቀርቡባቸው ጊዜያት፣ ይህ አሰራር በተለይ እጅግ አስፈላጊ ነበር።
የኤ.አይ ወኪሎች በውድድሩ ዙሪያ በተፈጠረው ማህበረሰብ ውስጥም አንዱ አካል ለመሆን በቅተዋል። በውድድሩ አብዛኛው ጊዜ፣ @notapplica እና የእነሱ የኮዲንግ ወኪል ዋና ክስተቶችን በመከታተል፣ በደረጃ ሰንጠረዥ ላይ ያሉ አካሄዶችን በማብራራት እና ሌሎች ተሳታፊዎች ውድድሩን እንዲከታተሉ በመርዳት "ቀጥታ መረጃዎች" መግለጫ ያቀርቡ ነበር። ልምድ ያነሳቸው ተሳታፊዎች ያቀረቧቸው ውጤቶች ከደንቡ ውጭ አለመሆናቸውን እንዲያረጋግጡ እና የተለመዱ የተሳሳቱ አካሄዶችን እንዲያስወግዱ ለመርዳት የማህበረሰብ የክትትል መሣሪያዎችም ብቅ ብለዋል።
ዋነኛው ግባችን ብቁ የሆኑ ተሳታፊዎች(በአዲስ መስኮት ውስጥ ይክፈታል) ተካፋይ ሊሆኑበት የሚችሉትን እና የማሽን መማሪያ ምርምርን የሚለማመዱበትን ውድድር ማስጀመር ነበር። Parameter Golf በቴክኒክ ረገድ ጠንካራ እና ፈጣሪ የሆኑ በርካታ ውጤቶች የቀረቡበት ሲሆን፣ የኤ.አይ ወኪሎች ይበልጥ ብቁ እና በስፋት ጥቅም ላይ እየዋሉ ሲመጡ ክፍት የምርምር ውድድሮች እንዴት ሊቀየሩ እንደሚችሉ ግልጽ የሆነ እይታ ሰጥቶናል።
ለወደፊቱ እንደዚህ ያሉ ተጨማሪ ውድድሮችን ለመጀመር በማሰብ ላይ ነን። ፍላጎቱ ካለዎት፣ እባክዎ የውድድር ተሳታፊ ቅጽ(በአዲስ መስኮት ውስጥ ይክፈታል) ይሙሉ።


