Waxa ay Parameter Golf ina bartay
Casharro laga bartay in ka badan 1,000+ ka-qaybgalayaal, 2,000+ soo-gudbinno, iyo tartan furan oo barashada mashiinka ah oo ay qaabeeyeen wakiillada koodh-qorista.
Waxaan daahfurnay Parameter Golf si aan uga qaybgelinno una taageerno bulshada cilmi-baarista barashada mashiinka inay sahamiyaan dhibaato cusub oo si adag loo xaddiday oo ku saabsan barashada mashiinka. Waxaan rabnay in caqabaddani noqoto mid xiiso ku filan leh si ay u abaalmariso hal-abuur farsamo ee dhabta ah, iyadoo weli ahaanaysa mid fikrad ahaan fudud oo si sahlan loo xaqiijin karo.
Ka-qaybgalayaashu waxay ahayd inay yareeyaan heerka khaladka ee xog tijaabo ahaan loo reebay ee ku saabsan xog ururin go’an oo FineWeb ah, iyagoo ku sii jira xadka 16 MB ee xogta la gudbinayo, taas oo ay ku jiraan miisaannada moodelka iyo koodhka tababarka, isla markaana tababarku ku dhammaado 10 daqiiqo gudahood iyadoo la adeegsanayo 8×H100s. Waxaanu bixinnay heer aasaasi ah, xog-ururin, iyo qoraallo qiimeyn ah si ka-qaybgalayaashu uga sameeyaan nuqul kaydka, u horumariyaan moodelka, kadibna ugu gudbiyaan natiijooyinkooda iyagoo adeegsanaya GitHub.
Muddo siddeed toddobaad ah, waxaan helnay in ka badan 2,000 oo soo-gudbin ah oo ka yimid in ka badan 1,000 oo ka-qaybgalayaal ah. Waxaan aad ula dhacnay baaxadda farsamo, hal-abuurka, iyo sida xeerarka si xeeladaysan loogu leexiyey ee lagu arkay wax soo gudbinnada, laga bilaabo hagaajin taxaddar leh oo lagu sameeyey habraacyada tababarka iyo yaraynta xogta ilaa fikrado cusub oo qaabeyn ah iyo tababar la sameeyo inta tijaabadu socoto.
Mid ka mid ah qaybaha ugu xiisaha badan ee tartanka waxay ahayd in la arko sida ballaaran ee ka qaybgalayaashu u adeegsadeen wakiillada AI ee koodh-qorista. Wakiilladu waxay gacan ka geysteen dhimista kharashka tijaabinta, waxay u fududeeyeen dad badan inay ka qaybgalaan, waxayna beddeleen xawaaraha tartanka. Waxay sidoo kale abuureen caqabado cusub oo ku saabsan dib-u-eegista soo gudbinnada, u nisbaynta, iyo dhibco-bixinta.
Caqabaddu waxay sidoo kale noo noqotay meel muhiim ah oo lagu ogaado kartida shaqsiyeed. Taasi waxay ka mid ahayd yoolalkayagii Parameter Golf, waxayna ahayd calaamad waxtar leh oo muujinaysa in caqabadaha farsamo ee aan xadidnayn ay soo bandhigi karaan garasho heer sare ah oo ku saabsan barashada mashiinka iyo adkaysigiisa.
Qoraalkan, waxaan ku iftiiminaynaa qaar ka mid ah soo-gudbinnadii aan u aragnay kuwo layaab leh oo xiiso leh, waxaanan wadaagaynaa wixii aan ka barannay qabashada tartan koodh-qoris ah samankan wakiillada AI-ga ee awoodda badan.
Waxaan qiimeynay oo si madax-bannaan dib ugu xaqiijinnay soo-gudbin kasta oo ku jirtay liiska kala sarreynta ee raadraaca la diiwaangeliyo, waxaana xaqiijinnay in soo-gudbin kasta ay rikoodh jebinaysay waqtigii la soo gudbiyay. Dhowr mawduuc ayaa si gaar ah u soo muuqday.
Wanaajinta tababarka
Qaar ka mid ah natiijooyinkii ugu xoogga badnaa waxay ka dhasheen habayn taxaddar leh oo lagu sameeyay qaybaha hore u jiray.
| Gudbinta | Wax kusoo biiriyaha | Farsamada | Sababta ay muhiim u ahayd |
| #60 | @notapplica | Waxa uu isku daray guulihii hore ee ka yimid #50, #42, iyo malaha #39, ka dibna waxay ka dhigeen moodel qoto dheer inuu la shaqeeyo habka Muon weight decay, bilaabida bandhigyada AI-ga iyadoo la adeegsanayo qaababka isbeddela, jadwalaynta habka iskdar xogta haraagga ee tabbabar, iyo qiimeyn la isku geeyay. | tusaale xooggan oo ah shaqo nidaamsan oo ku saabsan liiska kala-sarraynta: aqoonsashada horumarinnada jira ee muhiimka ah iyo isku-darka si nadiif ah. |
U yarrenta tiro aad u faahfaahsan tiro fudud
Soo-gudbinno dhowr ah ayaa xoogga saaray isku-yarreynta iyo dhoofinta.
| Gudbinta | Wax kusoo biiriyaha | Farsamada | Sababta ay muhiim u ahayd |
| #414 | @signalrush | Ayaa isticmaalay GPTQ-lite si uu u cabbiro miisaannada kadib tababarka. | Soo-gudbintii ugu horreysay ee liiska kala-sarraynta ee si guul leh u adeegsata GPTQ-lite, taasoo horseedaysa qiimayn ka wanaagsan. |
| #1060 | @dexhunter | Waxaa lagu sii dhisay #634 oo uuna ku dhisay @raahilshah si hab guul leh loogu isticmaalo GPTQ-ga Hessian oo buuxa. | Waxay wanaajiyeen shaqadii hore ee u beddelida xogta baaxadda badan hab cadaadis xogeed oo ka sii awood badan. |
Istaraatiijiyadaha waqtiga tijaabada iyo qiimaynta
Qaar ka mid ah soo-gudbinnada waxay riixeen xadka u dhexeeya hagaajinta moodelka iyo istaraatiijiyadda qiimeynta. Hababkan waxay waafaqsanaayeen xeerarka, balse waxay nooga baahnaayeen dib-u-eegis taxaddar leh annaga oo ah qabanqaabiyeyaasha.
| Gudbinta | Wax kusoo biiriyaha | Farsamada | Sababta ay muhiim u ahayd |
| #77 | @samacqua | Waxa uu ku isticmaalay dhibcaynta-hore, tababarka LoRA ee waqtiga tijaabada dukumiinti kasta: marka hore dhibcee, habee oo keliya qaybaha hore loo dhibceeyay, kuna celi bilowga marka la gaaro soohdimaha dukumiintiga. | Waxeey ku riixday xadka u dhexeeya hagaajinta moodelka iyo istaraatiijiyadda qiimeynta iyadoo weli dib-u-eegis loogu samayn karo sida waafaqsan xeerarka. |
| #1019 | @abaybektursun | Waxaa uu isticmaalay kalibreyshinka GPTQ ee iskiis isku soo saara: ka soo saar qoraalka isku dheelitirka si uu ugu shaqeeyo moodelka la tababaray, ka dibna ka dhis Hessian-yada GPTQ ee hawlgelinnadaas. | istaraatiijiyad isku dheelitirka si uu u shaqeeyo ee hal-abuurka leh oo u baahnayd dib-u-eegis taxaddar leh oo ay sameeyaan qabanqaabiyayaashu. |
Fikrado cusub oo ku saabsan qaabeynta iyo xogta
Dhowr soo-gudbinno ayaa soo bandhigay fikrado hal-abuur leh oo ku saabsan qaabeynta ama xogta.
| Gudbinta | Wax kusoo biiriyaha | Farsamada | Sababta ay muhiim u ahayd |
| #1729 | @romeerp | Waxaa uu soo bandhigay qalabka qoraallada sii kala yareeya ee CaseOps: calaamado gaar ah oo maareeya xaraf-weyneynta iyo xaraf-yareynta iyadoo aan wax xog ah lumin, isla markaana leh nidaam BPB sidecar ah oo xisaabiya byte-yadii asalka ahaa. | A fikrad hal-abuur leh oo ku saabsan qoraal u sii jajabinta qeybo yaryar iyo matalaadda xogta ee sida fiican loo habeeyey. |
| #265 | @unnir | Waxa uu soo bandhigay XSA, hab hufan oo qayb ahaan u adeegsada Exclusive Self Attention oo leh aragtiyo kooxaysan oo GQA ka warqaba. | Waxeey keentay nooc feejignaan ah oo waxtar leh gudaha tartanka. |
| #65 | @aquariouseworkman | Waxa uu soo bandhigay SmearGate iyo BigramHash: Isku-dar matalaad la baray oo ku dhisan qoraalkii ka horreeyay, iyo astaamo haash ah oo laga sameeyay labo qoraal oo isku xiga. | Ayaa ugu dartay habab astaamo cusub laga soo dhisay bar billawga. |
| #1204 | @msisovic | Waxa uu soo bandhigay soo-noqnoqoshada qoto-dheeraanta hooseysa: lakabyada 4 iyo 5 ayaa si rasmi ah loo soo celceliyay, soo-noqnoqoshada dib ayaa loo dhigay ilaa bartamaha tababarka, waxaana qayb ahaan la kala furay MLP-yadii la soo celceliyay. | Safkii ugu horreeyay ee liiska safka kala horeynta ee la aqbalay si lakabyada soo-noqnoqda loogu shaqaysiiyo si wax ku ool ah. |
Waxaan doorannay inaan iftiiminno sagaalkan soo-gudbinno, sababtoo ah waxay matalayaan kala duwanaanta natiijooyinka aan rajaynaynay in tartanku soo saari doono. Qaar ka mid ah ka qaybgalayaasha waxay heleen guulo iyagoo si taxaddar leh u hagaajiyey. Kuwa kale waxay adeegsadeen farsamooyinka u sii jajabinta tiro baaxad leh tiro yaryar oona darajo hooseeya. Qaar ayaa sahmiyey xuduudaha xeerarka qiimaynta. Oo dhowrna waxeey curiyeen fikrado ku saabsan qaabeyn ama xog, laga soo qaatay suugaanta cilmi-baarista ama laga soo curiyay min bar bilawga, kuwaas oo keenay horumarro aan la fileynin.
Raadraaca aan la diiwaangelinin waxay ahayd hoyga soo-gudbinno badan oo hal-abuur leh. Waxaan iftiiminnay 15 ka mid ah kuwa aan wanaagsan, oo ay ku jiraan habab u dhexeeya moodellaynta qoraalka ee aan is-daba-joogga ahayn ilaa habka firfircoon ee qoraallada badan u beddela qoraallo yar.
Maaddaama qaybtani ahayd mid aad u tijaabo ah, waxaan diiradda ka saarnay waxqabadka guud, waxaana xoogga saarnay in habkani farsamo ahaan uu xiiso leeyahay iyo in kale. Saddex soo-gudbin ayaa si gaar ah u soo muuqday:
Kuwani waxay ahaayeen saddexdii soo-gudbin ee aan la diiwaangelinin ee aan ugu jeclaynay, inkasta oo aanay daruuri ahayn saddexda ugu sarreeya waxqabad ahaan.
Si kastaba ha ahaatee, raadraaca aan la diiwaangelinin weli wuxuu ahaa mid tartan adag ah. Kala bar wax-gelinnada liiska kala-sarraynta ee raadraaca aan la diiwaangelinin ayaa ka sarreeyey aasaaska fudud ee 1.22 BPB, wax-gelinta ugu sarraysana waxay gaartay 1.12 BPB.
Arrintan waxaan u aragnay mid dhiirrigelin leh. Xitaa marka lala barbar dhigo qaabab aad u xooggan oo asaasi ah, habab kale ayaa mararka qaar awood u yeeshay inay la tartamaan qaab-dhismeedka ugu sarreeya.
Waxaan sidoo kale aaminsanahay in qaybtan ay si gaar ah uga faa’iidaysato helitaanka wakiillo koodh-qorid oo awood leh. Wakiilladu waxay aad u dhimayaan kharashka lagu sameeyo noocyo tijaabo ah oo ku saabsan fikrado mala-awaal ah, oo ay ku jiraan habab hore oo laga yaabo inay u muuqdeen kuwo waqti badan qaadanaya ama aan la hubin si loogu tijaabiyo tartan gaaban.
Farqi weyn oo u dhexeeyay Parameter Golf iyo tartamadii hore ee la midka ahaa wuxuu ahaa isticmaalka baahsan ee wakiillada koodh-qorista. Inta ugu badan ee soo gudbiyeyaashu waxay sheegeen inay u adeegsadaan wakiillada sida qayb ka mid ah shaqadooda.
Taasi waxay hoos u dhigtay caqabadaha gelitaanka. Ka qaybgalayaashu waxay awoodeen inay si dhakhso badan u diyaariyaan tijaabooyin, baaraan koodh aanay hore u aqoon, oo ay fikrado ku tijaabiyaan caqabadaha yaryar. Kafaala-qaadkii Runpod ee $1,000,000 oo ah awood xisaabineed ayaa sidoo kale door weyn ka qaatay in tartanku noqdo mid ay dad badan marin u heli karaan.
Isla waqtigaas, adeegsiga wakiilku wuxuu abuuray arrimo cusub oo ku saabsan gudbinta iyo dhibcaynta. Soo gudbinno badan waxay ahaayeen isbeddello yaryar oo lagu sameeyay kuwii hore u jiray ee dhibcaha ugu sarreeya helay, halkii ay ka ahaan lahaayeen habab si aasaasi ah u cusub. Tani inta badan waxeey lahayd faa’iido: fikradaha xooggan si dhakhso ah ayay u faafi jireen, waxaana sii hagaajin jiray kuwa kale. Laakiin sidoo kale waxay abuurtay buuq. Markii soo gudbino ka baxsan tilmaamaha tartanka ay keeneen dhibco si aan caadi ahayn u sarreeya, wakiillo kale mararka qaarkood way koobiyeeyeen fikradahaas oo waxay sii mareen isla dariiqii aan ansaxa ahayn.
Tirada soo-gudbinnada ayaa sidoo kale beddeshay sida ay ahayd inaan u maamulno tartanka. Ma aan awoodi karneen inaan gacanta ku baarno soo-gudbin kasta isla markaana aan weli sii wadno socodsiinta liiska kala sarreynta. Intii lagu jiray tartanka, waxaan horumarinay bot-ka kala-soocidda gudaha ah oo ka dhex dhisan Codex si uu ula socdo soo-gudbinnada cusub oo uu ugu calaamadiyo dib-u-eegis bini’aadam. Tani waxay si gaar ah muhiim u noqotay xilliyada aan maalintii heli jirnay boqollaal soo-gudbin.
Wakiillada AI-ga ayaa sidoo kale noqday qayb ka mid ah bulshada ku xeeran tartanka. Intii ugu badneyd tartanka, @notapplica iyo wakiilkooda koodh-qorista waxay wadeen warbixin ah “Warar Tooska ah” ah, iyagoo la socday dhacdooyinka waaweyn, sharxayay hababka loo wajahayo liiska kala-sarraynta, isla markaana ka caawinayay ka qaybgalayaasha kale inay la socdaan tartanka. Qalabyada dib-u-eegista bulshada ayaa sidoo kale u muuqday inay ka caawiyeen ka-qaybgalayaasha khibraddoodu yar tahay inay hubiyaan in waxyaabaha ay soo gudbiyeen ay waafaqsan yihiin xeerarka, isla markaana ay ka fogaadaan hababka caadiga ah ee aan ansaxa ahayn.
Ujeeddadayada ugu weyn waxay ahayd inaan daahfurno tartan ay ka-qaybgalayaasha u qalma(ku furmaa daaqad cusub) kaga qayb qaadan karaan, kuna heli karaan waayo-aragnimo ku aadan cilmi-baarista barashada mashiinka. Parameter Golf wuxuu soo jiitay gudbino kala duwan oo farsamo ahaan xooggan isla markaana hal-abuur leh, wuxuuna noo siiyay aragti ka cad oo ku saabsan sida tartamada cilmi-baarista furan isu beddeli karaan marka wakiillada AI-ga noqdaan kuwo karti badan oo si ballaaran loo adeegsado.
Waxaan ka fikiraynaa inaan mustaqbalka daahfurno tartamo dheeraad ah oo sidan oo kale ah. Haddii aad danaynayso, fadlan buuxi foomka ka-qaybgalaha tartanka(ku furmaa daaqad cusub).
