Parameter Golf எங்களுக்கு கற்றுக்கொடுத்தது என்ன
1,000+ பங்கேற்பாளர்கள், 2,000+ சமர்ப்பிப்புகள், மற்றும் கோடிங் ஏஜென்ட்கள் வடிவமைத்த திறந்த இயந்திரக் கற்றல் சவாலிலிருந்து கிடைத்த பாடங்கள்.
புதியதாகவும் கடுமையான கட்டுப்பாடுகளுடனும் உள்ள ஒரு இயந்திரக் கற்றல் பிரச்சினையை ஆராய்வதில் இயந்திரக் கற்றல் ஆராய்ச்சி சமூகத்தை ஈடுபடுத்தவும் ஆதரிக்கவும் நாங்கள் Parameter Golf-ஐ தொடங்கினோம். உண்மையான தொழில்நுட்ப படைப்பாற்றலைப் பாராட்டும் அளவுக்கு சவால் சுவாரஸ்யமாகவும், அதே நேரத்தில் கருத்துரீதியாக எளிமையாகவும் சரிபார்க்க எளிதாகவும் இருக்க வேண்டும் என்று நினைத்தோம்.
பங்கேற்பாளர்கள், மாடல் எடைகள் மற்றும் பயிற்சிக் கோடிங் இரண்டையும் சேர்த்து 16 MB ஆர்ட்டிஃபாக்ட் வரம்பிற்குள், மேலும் 8×H100களில் 10 நிமிட பயிற்சி பட்ஜெட்டுக்குள் இருந்து, நிர்ணயிக்கப்பட்ட FineWeb தரவுத்தொகுப்பில் ஒதுக்கிவைக்கப்பட்ட இழப்பைக் குறைக்க வேண்டியது இருந்தது. பங்கேற்பாளர்கள் ரெப்போவை ஃபோர்க் செய்து, மாடலை மேம்படுத்தி, GitHub மூலம் தங்கள் முடிவுகளை சமர்ப்பிக்க பேஸ்லைன், தரவுத்தொகுப்பு, மற்றும் மதிப்பீட்டு ஸ்க்ரிப்ட்டுகளை நாங்கள் வழங்கினோம்.
எட்டு வாரங்களில், 1,000-க்கும் மேற்பட்ட பங்கேற்பாளர்களிடமிருந்து 2,000-க்கும் அதிகமான சமர்ப்பிப்புகளை பெற்றுள்ளோம். கவனமான ஆப்டிமைசர் டியூனிங் மற்றும் குவாண்டைசேஷன் பணியிலிருந்து புதிய மாடலிங் யோசனைகள் மற்றும் சோதனைக்காலப் பயிற்சி வரை, தொழில்நுட்ப பரப்பளவு, படைப்பாற்றல் மற்றும் விதிகளை மீறும் புதுமைகள் ஆகியவற்றால் நிரம்பியிருந்த இந்த சமர்ப்பிப்புகள் எங்களை மிகவும் கவர்ந்தன
சவாலின் மிகவும் பரபரப்பான பகுதிகளில் ஒன்று, பங்கேற்பாளர்கள் AI கோடிங் ஏஜென்ட்டுகளை எவ்வளவு பரவலாக பயன்படுத்தினார்கள் என்பதைப் பார்ப்பதுதான். ஏஜென்ட்டுகள், பரிசோதனையின் செலவை குறைக்க உதவின, மேலும் பலருக்கு பங்கேற்பதை எளிதாக்கின, போட்டியின் வேகத்தையும் மாற்றின. அதே நேரத்தில், சமர்ப்பிப்பு மதிப்பாய்வு, பங்களிப்பு ஒப்புதல், மற்றும் ஸ்கோரிங் ஆகியவற்றுக்கு புதிய சவால்களையும் உருவாக்கின.
இந்த சவால் எங்களுக்கு அர்த்தமுள்ள திறமைக் கண்டறியும் தளமாகவும் மாறியது. அது Parameter Golf-க்கான எங்கள் இலக்குகளில் ஒன்றாக இருந்தது; மேலும் திறந்த தொழில்நுட்ப சவால்கள், இயந்திரக் கற்றலில் அசாதாரணமான ரசனையையும் விடாமுயற்சியையும் வெளிக்கொணர முடியும் என்பதற்கான பயனுள்ள சிக்னலாகவும் இருந்தது.
இந்த பதிவில், எங்களுக்கு ஆச்சரியமாகவும் சுவாரஸ்யமாகவும் தோன்றிய சில சமர்ப்பிப்புகளை முன்னிறுத்தி, சக்திவாய்ந்த AI ஏஜென்ட்டுகளின் காலத்தில் ஒரு கோடிங் போட்டியை நடத்துவதிலிருந்து நாங்கள் கற்றதைப் பகிர்கிறோம்.
சாதனைப் பாதை லீடர்போர்டில் உள்ள ஒவ்வொரு சமர்ப்பிப்பையும் நாங்கள் மதிப்பிட்டு, தனித்தனியாக மீளுருவாக்கி, ஒவ்வொன்றும் சமர்ப்பிக்கப்பட்ட நேரத்தில் சாதனை முறியடித்ததா என்பதை உறுதிப்படுத்தினோம். பல கருப்பொருள்கள் தெளிவாக வெளிப்பட்டன.
பயிற்சி மேம்படுத்தல்
சில மிக வலுவான முடிவுகள், ஏற்கனவே உள்ள கூறுகளை கவனமாகச் சீரமைத்ததிலிருந்து வந்தன.
| சமர்ப்பிப்பு | பங்களிப்பாளர் | நுட்பம் | ஏன் அது முக்கியமானது |
| #60 | @notapplica | இணைக்கப்பட்டது #50 இலிருந்து முந்தைய வெற்றிகள் #42, மற்றும் சாத்தியமாக #39, பின்னர் மேலும் ஆழமான மாடலை Muon weight decay, spectral embedding initialization, residual-mix scheduling மற்றும் compiled evaluation ஆகியவற்றுடன் செயல்படச் செய்தது. ஒழுங்குமுறையுடன் செய்யப்பட்ட லீடர்போர்டு பணிக்கான வலுவான எடுத்துக்காட்டு: ஏற்கனவே உள்ள மேம்பாடுகளில் எவை முக்கியத்துவம் வாய்ந்தவை என்பதை அடையாளம் கண்டு, அவற்றை நேர்த்தியாக ஒருங்கிணைத்தல். |
குவாண்டைசேஷன்
பல சமர்ப்பிப்புகள் சுருக்கம் மற்றும் ஏற்றுமதி மீது தீவிரமாக கவனம் செலுத்தின.
| சமர்ப்பிப்பு | பங்களிப்பாளர் | நுட்பம் | ஏன் அது முக்கியமானது |
| #414 | @signalrush | பயன்படுத்தப்பட்டது பயிற்சிக்குப் பிறகு எடைகளை குவாண்டைஸ் செய்ய GPTQ-lite. | அந்த GPTQ-lite-ஐ வெற்றிகரமாகப் பயன்படுத்திய முதல் லீடர்போர்டு சமர்ப்பிப்பு, இது சிறந்த மதிப்பீட்டிற்கு வழிவகுத்தது. |
| #1060 | @dexhunter | @raahilshah-இன் #634-ஐ அடிப்படையாக கொண்டு முழு Hessian GPTQ-ஐ வெற்றிகரமாக பயன்படுத்தியது. | முந்தைய குவாண்டைசேஷன் பணியை மேலும் வலுவான சுருக்கப் பாதையாக விரிவுபடுத்தியது. |
சோதனைக் காலம் மற்றும் மதிப்பீட்டு உத்திகள்
சில சமர்ப்பிப்புகள் மாடல் மேம்பாடு மற்றும் மதிப்பீட்டு உத்தி ஆகியவற்றுக்கிடையிலான எல்லையைத் தள்ளின. இந்த அணுகுமுறைகள் விதிகளின்படி செல்லுபடியாக இருந்தாலும், அமைப்பாளர்களாகிய எங்களிடமிருந்து கவனமான மதிப்பாய்வு தேவைப்பட்டது.
| சமர்ப்பிப்பு | பங்களிப்பாளர் | நுட்பம் | ஏன் அது முக்கியமானது |
| #77 | @samacqua | பயன்படுத்தப்பட்டது மதிப்பெண்-முதலில், ஒவ்வொரு-ஆவணத்திற்குமான LoRA சோதனை-நேரப் பயிற்சி: முதலில் மதிப்பெண் அளித்து, ஏற்கனவே மதிப்பெண் அளிக்கப்பட்ட துண்டுகளில் மட்டுமே மாற்றியமைத்து, ஆவண எல்லைகளில் மீட்டமைக்கவும். | விதிகளின் கீழ் மதிப்பாய்வு செய்யக்கூடியதாக இருந்தபடியே, மாடல் மேம்பாடு மற்றும் மதிப்பீட்டு உத்தி ஆகியவற்றுக்கு இடையிலான எல்லையை விரிவுபடுத்தியது. |
| #1019 | @abaybektursun | பயன்படுத்தப்பட்டது சுயமாக உருவாக்கப்பட்ட GPTQ அளவுத்திருத்தம்: பயிற்சியளிக்கப்பட்ட மாடலிலிருந்து அளவுத்திருத்த உரையை உருவாக்கி, பின்னர் அந்தச் செயல்படுத்தல்களிலிருந்து GPTQ ஹெஸ்ஸியன்களை உருவாக்கவும். | A ஏற்பாட்டாளர்களிடமிருந்து கவனமான மதிப்பாய்வு தேவைப்பட்ட படைப்பாற்றல்மிக்க அளவுத்திருத்த உத்தி. |
புதிய மாடலிங் மற்றும் தரவு யோசனைகள்
சில சமர்ப்பிப்புகள் குறிப்பாக படைப்பாற்றலான மாடலிங் மற்றும் தரவு யோசனைகளை அறிமுகப்படுத்தின.
| சமர்ப்பிப்பு | பங்களிப்பாளர் | நுட்பம் | ஏன் அது முக்கியமானது |
| #1729 | @romeerp | CaseOps டோக்கனைசரை அறிமுகப்படுத்தியது: அசல்-பைட் BPB சைட்கார் கணக்கீட்டுடன் கூடிய இழப்பில்லா பெரியெழுத்தாக்க Operator டோக்கன். | ஒரு படைப்பாற்றல் மிக்க டோக்கனைசர் மற்றும் தரவு-பிரதிநிதித்துவ யோசனை. |
| #265 | @unnir | அறிமுகப்படுத்தப்பட்டது XSA, GQA-அறிந்த தொகுக்கப்பட்ட காட்சிகளுடன் கூடிய திறனுள்ள பகுதி பிரத்தியேக சுய கவனம் அணுகுமுறை. | கொண்டுவந்தது சவாலுக்குள் ஒரு திறமையான கவன மாறுபாட்டை. |
| #65 | @aquariouseworkman | அறிமுகம் செய்யப்பட்டது SmearGate மற்றும் BigramHash: கற்றறியப்பட்ட முந்தைய டோக்கன் எம்பெட்டிங் கலவை மற்றும் அடுத்தடுத்த டோக்கன் ஜோடி ஹாஷ் அம்சங்கள். | சேர்க்கப்பட்டது புதிய அம்ச செயல்முறைகளை அடிப்படையிலிருந்து. |
| #1204 | @msisovic | அறிமுகப்படுத்தப்பட்டது மினி ஆழ மறுநிகழ்வு: அடுக்குகள் 4 மற்றும் 5 மீண்டும் பயன்படுத்தப்பட்டன, பயிற்சியின் நடுப்பகுதி வரை மறுநிகழ்வு தாமதப்படுத்தப்பட்டது, மேலும் மீண்டும் பயன்படுத்தப்பட்ட MLPகள் பகுதியளவில் எடைப் பகிர்விலிருந்து விடுவிக்கப்பட்டன. | மறுநிகழ்வு அடுக்குகளை திறம்படச் செயல்படச் செய்த முதல் ஏற்றுக்கொள்ளப்பட்ட லீடர்போர்டு வரிசை. |
இந்த ஒன்பது சமர்ப்பிப்புகளை நாங்கள் முன்னிறுத்தத் தேர்ந்தெடுத்தது, சவால் வெளிக்கொணரும் என்று நாங்கள் நம்பிய முடிவுகளின் பரப்பை அவை பிரதிநிதித்துவப்படுத்தியதால். சில பங்கேற்பாளர்கள் கவனமான டியூனிங் மூலம் வெற்றிகளை கண்டனர். மற்றவர்கள் குவாண்டைசேஷன் மற்றும் குறைவான தரமதிப்பீட்டு நுட்பங்களை முன்னெடுத்தனர். சிலர் மதிப்பீட்டு விதிகளின் எல்லைகளை ஆராய்ந்தனர். மேலும் பலர், இலக்கியத்திலிருந்தோ அல்லது புதிதாகவோ, எதிர்பாராத முன்னேற்றங்களை உருவாக்கிய மாடலிங் மற்றும் தரவு யோசனைகளை அறிமுகப்படுத்தினர்.
சாதனை அல்லாத பாதை, பல கிரியேட்டிவ்வான சமர்ப்பிப்புகளின் தளமாக இருந்தது. நான்-ஆட்டோரெக்ரஸிவ் உரை மாடலிங் முதல் மாறும் டோக்கனைசேஷன் வரை பரவிய அணுகுமுறைகள் உட்பட 15 விருப்பமானவற்றை நாங்கள் முன்னிறுத்தினோம்.
இந்த டிராக் அதிகமாக பரிசோதனை சார்ந்ததாக இருந்ததால், வெளிப்படையான செயல்திறனை விட அந்த அணுகுமுறை தொழில்நுட்ப ரீதியாக சுவாரஸ்யமானதா என்பதிலேயே நாங்கள் அதிக கவனம் செலுத்தினோம். குறிப்பாக மூன்று சமர்ப்பிப்புகள் தனித்து தெரிந்தன:
இவை செயல்திறன் அடிப்படையில் அவசியமான முதல் மூன்றாக இல்லாவிட்டாலும், சாதனை அல்லாத சமர்ப்பிப்புகளில் எங்களுக்கு மிகவும் பிடித்த மூன்றாக இருந்தன.
அப்படியிருந்தாலும், சாதனை அல்லாத பாதை இன்னும் போட்டித்தன்மையுடன் இருந்தது. சாதனை அல்லாத லீடர்போர்டு பதிவுகளில் பாதி, 1.22 BPB என்ற எளிய பேஸ்லைனை விட சிறப்பாக செயல்பட்டன; மேலும் முதலிடப் பதிவு 1.12 BPB-ஐ எட்டியது.
இது எங்களுக்கு ஊக்கமளிப்பதாக இருந்தது. வலுவான ட்ரான்ஸ்ஃபார்மர் பேஸ்லைன்களை எதிர்கொண்டபோதும், மாற்று அணுகுமுறைகள் சில நேரங்களில் ஆதிக்கம் செலுத்தும் கட்டமைப்புக்கு எதிராக தங்களைக் காத்துக்கொள்ள முடிந்தது.
வலுவான கோடிங் ஏஜென்ட்டுகள் கிடைப்பதால், இந்த பாதை குறிப்பாக அதிக நன்மை பெறுகிறது என்றும் நாங்கள் நினைக்கிறோம். ஏஜென்ட்கள் ஊகத்திற்குரிய யோசனைகளின் புரோட்டோடைப்களை உருவாக்குவதை மிகவும் மலிவாக்கின; முன்பு குறுகிய போட்டியில் முயற்சிக்க அதிக நேரம் பிடிக்கும் அல்லது நிச்சயமற்றதாக தோன்றியிருக்கக்கூடிய அணுகுமுறைகளும் இதில் அடங்கும்.
Parameter Golf மற்றும் அதற்கு முந்தைய இதுபோன்ற போட்டிகளுக்கிடையிலான ஒரு பெரிய வித்தியாசம் கோடிங் ஏஜென்ட்களின் பரவலான பயன்பாடாகும். சமர்ப்பித்தவர்களில் பெரும்பாலோர் தங்கள் பணியின் ஒரு பகுதியாக ஏஜென்ட்டுகளைப் பயன்படுத்தியதாக குறிப்பிட்டனர்.
அது நுழைவுத் தடையைக் குறைத்தது. பங்கேற்பாளர்களால் பரிசோதனைகளை விரைவாக அமைக்கவும், பரிச்சயமில்லாத குறியீட்டை ஆய்வு செய்யவும், குறைந்த இடையூறுகளுடன் யோசனைகளைச் சோதிக்கவும் முடிந்தது. $1,000,000 மதிப்பிலான கணினி வளங்களை Runpod நிதியுதவியாக வழங்கியதும், இந்தச் சவாலை அதிகமானோர் அணுகக்கூடியதாக மாற்றுவதில் முக்கிய பங்கு வகித்தது.
அதே நேரத்தில், ஏஜென்ட் பயன்பாடு சமர்ப்பிப்பு மற்றும் ஸ்கோரிங்கிற்கு புதிய சிக்கல்களை உருவாக்கியது. பல சமர்ப்பிப்புகள் அடிப்படையில் முற்றிலும் புதிய அணுகுமுறைகளாக இல்லாமல், ஏற்கனவே உயர்ந்த மதிப்பெண் பெற்றவற்றில் சிறிய மாற்றங்களாக இருந்தன. இது பல நேரங்களில் பயனுள்ளதாக இருந்தது: வலுவான யோசனைகள் விரைவாகப் பரவி, பிறரால் மேம்படுத்தப்பட்டன. ஆனால் இது சிக்கலையும் உருவாக்கியது. போட்டி வழிகாட்டுதல்களுக்கு வெளியே இருந்த சமர்ப்பிப்புகள் அசாதாரணமாக வலுவான மதிப்பெண்களை உருவாக்கியபோது, பிற ஏஜென்ட்டுகள் சில நேரங்களில் அந்த யோசனைகளை நகலெடுத்து அதே செல்லாத பாதையில் தொடர்ந்தன.
சமர்ப்பிப்புகளின் அளவும் போட்டியை நடத்த வேண்டிய முறையை மாற்றியது. ஒவ்வொரு சமர்ப்பிப்பையும் கையால் ஆய்வு செய்து கொண்டே லீடர்போர்டை நகர்த்த முடியவில்லை. சவாலின் போது, புதிய சமர்ப்பிப்புகளை கண்காணித்து மனித மதிப்பாய்வுக்காக குறிக்க ஒரு உள்துறை Codex-அடிப்படையிலான வகைப்படுத்துதல் ரோபோவை உருவாக்கினோம். ஒரு நாளில் நூற்றுக்கணக்கான சமர்ப்பிப்புகள் வந்த காலங்களில் இது குறிப்பாக முக்கியமானதாக மாறியது.
AI ஏஜென்ட்டுகள், சவாலைச் சுற்றிய சமூகத்தின் ஒரு பகுதியாகவும் மாறின. போட்டியின் பெரும்பகுதியில், @notapplica மற்றும் அவர்களின் கோடிங் ஏஜென்ட் ஒரு “நேரலை அறிவுப்புகள்” அறிவிப்பை நடத்தி, முக்கிய நிகழ்வுகளைப் பதிவு செய்து, லீடர்போர்டு அணுகுமுறைகளை விளக்கி, மற்ற பங்கேற்பாளர்கள் போட்டியைப் பின்தொடர உதவினர். குறைந்த அனுபவமுள்ள பங்கேற்பாளர்கள் தங்கள் சமர்ப்பிப்புகள் விதிகளுக்குள் உள்ளனவா என்பதைச் சரிபார்க்கவும், பொதுவான செல்லாத அணுகுமுறைகளைத் தவிர்க்கவும் சமூக மதிப்பாய்வு கருவிகளும் தோன்றின.
எங்கள் முதன்மை நோக்கம், தகுதியுள்ள பங்கேற்பாளர்கள்(புதிய சாளரத்தில் திறக்கும்) பங்கேற்று இயந்திரக் கற்றல் ஆராய்ச்சியை அனுபவிக்கக்கூடிய ஒரு சவாலை தொடங்குவதாக இருந்தது. Parameter Golf தொழில்நுட்ப ரீதியாக வலுவான மற்றும் படைப்பாற்றலான பல்வேறு சமர்ப்பிப்புகளை கொண்டு வந்தது; மேலும் AI ஏஜென்ட்கள் அதிக திறன் பெற்றும் பரவலாகப் பயன்படுத்தப்பட்டும் வரும்போது திறந்த ஆராய்ச்சி போட்டிகள் எவ்வாறு மாறக்கூடும் என்பதற்கான தெளிவான பார்வையையும் எங்களுக்கு வழங்கியது.
எதிர்காலத்தில் இதுபோன்ற மேலும் பல சவால்களைத் தொடங்குவது குறித்து நாங்கள் யோசித்து வருகிறோம். நீங்கள் ஆர்வமாக இருந்தால், தயவுசெய்து சவால் பங்கேற்பாளர் படிவத்தை(புதிய சாளரத்தில் திறக்கும்) நிரப்பவும்.
ஆசிரியர்
தொடர்ந்து படிக்க
