Tuliyojifunza kutoka Parameter Golf
Mafunzo kutoka kwa washiriki 1,000+, mawasilisho 2,000+, na changamoto ya wazi ya ujifunzaji wa mashine iliyoundwa na mawakala wa uandishi wa msimbo.
Tulianzisha Parameter Golf ili kushirikisha na kuunga mkono jamii ya utafiti wa ujifunzaji wa mashine katika kuchunguza tatizo jipya la ujifunzaji wa mashine lenye vikwazo vikali. Tulitaka changamoto iwe ya kuvutia vya kutosha kuthawabisha ubunifu halisi wa kiufundi, huku ikibaki rahisi kueleweka na kuthibitishwa.
Washiriki walilazimika kupunguza hasara iliyobaki kwenye seti ya data ya FineWeb isiyobadilika huku wakibaki ndani ya kikomo cha vipengee vya 16 MB, ikijumuisha uzito wa modeli na msimbo wa mafunzo, na bajeti ya mafunzo ya dakika 10 kwenye 8×H100s. Tulitoa hati za msingi, seti ya data, na tathmini ili washiriki waweze kuchambua hifadhi, kuboresha modeli, na kuwasilisha matokeo yao kupitia GitHub.
Katika kipindi cha wiki nane, tulipokea zaidi ya mawasilisho 2,000 kutoka kwa washiriki zaidi ya 1,000. Tulivutiwa na upana wa kiufundi, ubunifu, na ubadilishaji wa sheria katika mawasilisho yote, kuanzia urekebishaji makini wa viboreshaji na kazi ya upimaji hadi mawazo mapya ya uundaji wa mifano na mafunzo ya wakati wa majaribio.
Mojawapo ya sehemu zilizosisimua zaidi za changamoto ilikuwa kuona jinsi washiriki walivyotumia kwa upana mawakala wa AI wa uandishi wa msimbo. Mawakala yalisaidia kupunguza gharama ya majaribio, yakarahisisha watu wengi zaidi kushiriki, na yakabadilisha kasi ya mashindano. Pia yaliunda changamoto mpya kwa ukaguzi wa mawasilisho, uhusishaji wa mchango, na upangaji wa alama.
Changamoto pia ikawa njia muhimu ya kugundua vipaji kwetu. Hilo lilikuwa mojawapo ya malengo yetu kwa Parameter Golf, na lilikuwa ishara muhimu kwamba changamoto za kiufundi zilizo wazi zinaweza kufichua umahiri wa kipekee wa ujifunzaji wa mashine na ustahimilivu.
Katika chapisho hili, tunaangazia baadhi ya mawasilisho tuliyoyaona kuwa ya kushangaza na ya kuvutia, na kushiriki tuliyojifunza kutokana na kuendesha shindano la uandishi wa msimbo katika enzi ya mawakala wenye nguvu wa AI.
Tulihukumu na kutoa nakala mpya kwa uhuru kila uwasilishaji kwenye ubao wa wanaoongoza wa wimbo wa rekodi, na kuthibitisha kwamba kila uwasilishaji ulikuwa wa kuvunja rekodi wakati ulipowasilishwa. Mada kadhaa zilijitokeza.
Uboreshaji wa mafunzo
Baadhi ya matokeo bora zaidi yalitokana na urekebishaji makini wa vipengele vilivyopo.
| Uwasilishaji | Mchangiaji | Mbinu | Kwa nini ilikuwa muhimu |
| #60 | @notapplica | Tumeunganishwa ushindi wa awali kutoka #50, [a href="https://github.com/openai/parameter-golf/pull/42"#42[/a], na pengine [a href="https://github.com/openai/parameter-golf/pull/39"#39[/a], kisha akafanya modeli ya kina ifanye kazi na uozo wa uzito wa Muon, uanzishaji wa upachikaji wa spektra, upangaji wa mchanganyiko wa mabaki, na tathmini iliyokusanywa. | A mfano thabiti wa kazi yenye nidhamu kwenye ubao wa wanaoongoza: kubainisha ni maboresho gani yaliyopo yaliyo muhimu na kuyaunganisha kwa njia safi. |
Upimaji
Mawasilisho kadhaa yalisukuma sana ukandamizaji na uhamishaji wa nje.
| Uwasilishaji | Mchangiaji | Mbinu | Kwa nini ilikuwa muhimu |
| #414 | @signalrush | Imetumika GPTQ-lite ili kupima uzito baada ya mafunzo. | uwasilishaji wa kwanza wa ubao wa wanaoongoza ili kutumia GPTQ-lite kwa mafanikio, na kusababisha tathmini bora. |
| #1060 | @dexhunter | Ilijengwa juu ya #634 na @raahilshah ili kutumia kwa mafanikio Hessian GPTQ kamili. | Ilipanua kazi ya awali ya ukadiriaji kuwa njia imara zaidi ya ukandamizaji. |
Mikakati ya wakati wa majaribio na tathmini
Baadhi ya mawasilisho yalisogeza mpaka kati ya uboreshaji wa muundo na mkakati wa tathmini. Mbinu hizi zilikuwa halali chini ya sheria, lakini zilihitaji ukaguzi wa makini kutoka kwetu kama waandaaji.
| Uwasilishaji | Mchangiaji | Mbinu | Kwa nini ilikuwa muhimu |
| #77 | @samacqua | Ilitumia mafunzo ya LoRA wakati wa majaribio, kwa kila hati na kwa kuweka alama kwanza: weka alama kwanza, rekebisha tu kwenye visehemu vilivyokwisha kupewa alama, na uweke upya kwenye mipaka ya hati. | Ilisukuma mpaka kati ya uboreshaji wa muundo na mkakati wa tathmini huku ikibaki kuwa inayoweza kukaguliwa chini ya sheria. |
| #1019 | @abaybektursun | Imetumia urekebishaji wa GPTQ unaojitengenezea: tengeneza maandishi ya urekebishaji kutoka kwa muundo uliofunzwa, kisha unda Wahessia wa GPTQ kutoka kwa uanzishaji huo. | A mkakati wa urekebishaji wa ubunifu ambao ulihitaji mapitio makini kutoka kwa waandaaji. |
Mawazo mapya ya uundaji na data
Mawasilisho machache yalileta mawazo ya uundaji au data yaliyokuwa ya ubunifu wa kipekee.
| Uwasilishaji | Mchangiaji | Mbinu | Kwa nini ilikuwa muhimu |
| [a href="https://github.com/openai/parameter-golf/pull/1729"#1729[/a] | @romeerp | Nilianzisha tokenizer ya CaseOps: tokeni za opereta wa herufi kubwa zisizo na hasara zenye uhasibu wa BPB wa baiti asilia. | A tokenizer bunifu na wazo la uwakilishi wa data. |
| #265 | @unnir | tumeanzisha XSA, mbinu bora ya Kujijali Kipekee kwa Sehemu yenye mitazamo ya kikundi inayozingatia GQA. | Ilileta chaguo bora la umakini katika changamoto. |
| #65 | @aquariouseworkman | tumeanzisha SmearGate na BigramHash: mchanganyiko wa upachikaji wa tokeni-iliyotangulia uliojifunza pamoja na vipengele vya heshi vya jozi ya tokeni zilizo karibu. | Tumeongeza mifumo ya vipengele vipya kuanzia mwanzo. |
| #1204 | @msisovic | Tumeanzisha Kurudia kwa kina kidogo: tabaka 4 na 5 zilizorudiwa, kuchelewesha kurudia hadi katikati ya mafunzo, na kufungua kwa sehemu MLP zilizorudiwa. | Safu ya kwanza ya ubao wa wanaoongoza iliyokubaliwa ili kufanya tabaka zinazorudiwa kufanya kazi kwa ufanisi. |
Tulichagua kuangazia mawasilisho haya tisa kwa sababu yanawakilisha wigo wa matokeo tuliyotarajia changamoto ifichue. Baadhi ya washiriki walipata mafanikio kupitia urekebishaji makini. Wengine walisukuma ukadiriaji na mbinu za cheo cha chini. Baadhi walichunguza mipaka ya sheria za tathmini. Na kadhaa walileta mawazo ya uundaji au data, kutoka kwenye fasihi au kutoka mwanzo, yaliyotoa mafanikio yasiyotarajiwa.
Wimbo usiorekodiwa ulikuwa nyumbani kwa mawasilisho mengi ya ubunifu. Tuliangazia vipendwa 15, ikijumuisha mbinu kuanzia uundaji wa maandishi usio wa kiotomatiki hadi uundaji wa ishara unaobadilika.
Kwa sababu mkondo huu ulikuwa wa majaribio zaidi, tulizingatia kidogo utendaji ghafi na zaidi kama mbinu hiyo ilikuwa ya kuvutia kiufundi. Mawasilisho matatu yalijitokeza hasa:
Haya yalikuwa mawasilisho yetu matatu tunayopenda zaidi yasiyo ya rekodi, ingawa hayakuwa lazima matatu ya juu zaidi kwa utendaji.
Hata hivyo, mkondo usio wa rekodi bado ulikuwa wa ushindani. Nusu ya maingizo ya ubao wa wanaoongoza yasiyo ya rekodi yalishinda msingi wa kawaida wa 1.22 BPB, na ingizo la juu zaidi lilifikia 1.12 BPB.
Tulipata hili kuwa la kutia moyo. Hata dhidi ya misingi imara ya transfoma, mbinu mbadala wakati mwingine zinaweza kusimama dhidi ya usanifu mkuu.
Pia tunafikiri kwamba mkondo huu unanufaika hasa na upatikanaji wa mawakala imara wa uandishi wa msimbo. Mawakala yalifanya iwe nafuu zaidi kuunda mifano ya mawazo ya kubahatisha, ikiwemo mbinu ambazo huenda hapo awali zingeonekana kuchukua muda mwingi sana au kuwa na kutokuwa na uhakika mkubwa kujaribu katika mashindano mafupi.
Tofauti kubwa kati ya Parameter Golf na mashindano ya awali kama hili ilikuwa matumizi mapana ya mawakala wa uandishi wa msimbo. Idadi kubwa sana ya waliowasilisha ilitaja kutumia mawakala kama sehemu ya kazi yao.
Hilo lilipunguza kizuizi cha kuingia. Washiriki waliweza kuandaa majaribio kwa haraka zaidi, kukagua msimbo wasioufahamu, na kujaribu mawazo kwa vikwazo vichache zaidi. Ufadhili wa Runpod wa rasilimali za kompyuta zenye thamani ya $1,000,000 pia ulikuwa na mchango mkubwa katika kufanya shindano hili lipatikane kwa watu wengi zaidi.
Wakati huohuo, matumizi ya mawakala yaliunda masuala mapya ya uwasilishaji na uhakiki. Mawasilisho mengi yalikuwa mabadiliko madogo kwa wafungaji bora waliopo, badala ya mbinu mpya kimsingi. Hii mara nyingi ilikuwa muhimu: mawazo madhubuti yalienea haraka na kuboreshwa na wengine. Lakini pia ilisababisha kelele. Wakati mawasilisho yaliyoanguka nje ya miongozo ya shindano yalitoa alama kali zisizo za kawaida, mawakala wengine wakati mwingine walinakili mawazo hayo na kuendelea kwenye njia ileile batili.
Wingi wa mawasilisho pia ulibadilisha jinsi tulivyopaswa kuendesha mashindano. Hatukuweza kukagua kila uwasilishaji kwa mkono na bado kuendelea kusasisha ubao wa wanaoongoza. Wakati wa changamoto, tulitengeneza bot ya ndani ya uchunguzi wa awali inayotegemea Codex ili kufuatilia mawasilisho mapya na kuyaashiria kwa ukaguzi wa binadamu. Hili lilikuwa muhimu hasa katika vipindi tulipopokea mamia ya mawasilisho kwa siku.
Mawakala wa AI pia wakawa sehemu ya jamii iliyozunguka changamoto. Kwa sehemu kubwa ya mashindano, @notapplica na wakala wao wa uandishi wa msimbo waliendesha taarifa ya “Taarifa za Moja kwa Moja”, wakifuatilia matukio makuu, wakieleza mbinu za ubao wa wanaoongoza, na kuwasaidia washiriki wengine kufuatilia mashindano. Zana za ukaguzi wa jamii pia zilijitokeza kusaidia washiriki wasio na uzoefu mkubwa kuangalia kama mawasilisho yao yalikuwa ndani ya sheria na kuepuka mbinu za kawaida zisizo halali.
Lengo letu kuu lilikuwa kuzindua changamoto ambayo washiriki wanaostahiki(fungua katika dirisha jipya) wangeweza kushiriki na kupata uzoefu wa utafiti wa ujifunzaji wa mashine. Parameter Golf ilileta pamoja mawasilisho mbalimbali yenye nguvu za kiufundi na ubunifu, na ilitupa mtazamo wazi zaidi wa jinsi mashindano ya wazi ya utafiti yanavyoweza kubadilika kadri mawakala wa AI wanavyokuwa na uwezo zaidi na kutumika kwa upana.
Tunafikiria kuzindua changamoto zaidi kama hii siku zijazo. Ikiwa unavutiwa, tafadhali jaza fomu ya mshiriki wa changamoto(fungua katika dirisha jipya).
Mwandishi
Endelea kusoma
