Adeegsiga qalab ee ka dhasha isdhexgalka wakiillo badan

Waxaan aragnay wakiillo ogaanaya adeegsiga qalab oo si tartiib tartiib ah u sii adagaya iyagoo ciyaaraya ciyaar dhuumaalaysi oo fudud. Iyadoo loo marayo tababarka deegaankeenna cusub ee la matalay ee dhuumaalaysiga, wakiilladu waxay dhisaan taxane ka kooban lix xeeladood iyo xeelado-celin oo kala duwan, kuwaas oo qaarkood aynaan ogeyn in deegaankeenna uu taageerayo. Adkaanta soo baxda ee iskeed isu kormeerta ee deegaankan fudud waxay sii soo jeedinaysaa in la-qabsiga wadajirka ah ee wakiillo badan uu maalin uun soo saari karo dabeecad aad u adag oo caqli leh.

Deegaankeenna gudaheeda, wakiilladu waxay ciyaaraan ciyaarta dhuumaalaysiga ee kooxaha ku salaysan. Kuwa dhuumanaya (buluug) waxaa loo xilsaaray inay ka fogaadaan in ay si toos ah u muuqdaan kuwa wax raadinaya (casaan), halka kuwa wax raadinaya loo xilsaaray inay aragtida ku hayaan kuwa dhuumanaya. Deegaanka dhexdiisa waxaa ku kala firirsan walxo ay kuwa dhuumanaya iyo kuwa wax raadinaya qabsan karaan oo meel ku qufuli karaan, sidoo kale waxaa jira qolal iyo darbiyo aan dhaqaaqayn oo si aan kala sooc lahayn loo sameeyo kuwaas oo wakiilladu ay tahay inay bartaan sida loo dhex maro. Ka hor inta aan ciyaartu bilaaban, kuwa dhuumanaya waxaa la siiyaa weji diyaar-garow ah oo kuwa wax raadinaya la curyaamiyo si kuwa dhuumanaya ay fursad ugu helaan inay cararaan ama ay beddelaan deegaankooda.

Ma jiraan dhiirrigelin cad oo ku qasbaysa wakiillada inay la falgalaan walxaha deegaanka; kormeerka keliya ee la bixiyo wuxuu ku yimaadaa yoolka dhuumaalaysiga. Wakiillada waxaa la siiyaa abaalmarin kooxeed; kuwa dhuumanaya waxaa la siiyaa abaalmarin +1 haddii dhammaan kuwa dhuumanaya ay qarsoon yihiin iyo -1 haddii mid ka mid ah kuwa dhuumanaya uu arko raadiye. Kuwa wax raadinaya waxaa la siiyaa abaalmarinta ka soo horjeedda, -1 haddii dhammaan kuwa dhuumanaya ay qarsoon yihiin iyo +1 haddii kale. Si dabeecadda wakiillada loogu koobo meel macquul ah, wakiillada waa la ganaaxaa haddii ay aad uga fogaadaan goobta ciyaarta. Inta lagu jiro wejiga diyaar-garowga, dhammaan wakiillada waxaa la siiyaa abaalmarin eber ah.

Marka wakiilladu iskaga tababaraan ciyaarta dhuumaalaysiga, illaa lix xeeladood oo kala duwan ayaa soo baxa. Xeeldad kasta oo cusub waxay abuurtaa cadaadis horay u maqnayn oo ku riixa wakiillada inay u gudbaan marxaladda xigta. Ogow in aysan jirin dhiirrigelin toos ah oo ku kallifaysa wakiillada inay la falgalaan walxaha ama inay sahamiyaan; taa beddelkeeda, xeeladaha hoos ku xusan ee soo baxay waa natiijada manhaj iskiis u samaysma⁠(ku furmaa daaqad cusub) ee ay dhalisay tartanka wakiillo badan iyo dhaqdhaqaaqyada fudud ee dhuumaalaysiga.

Waxaan adeegsanaynaa isla kaabayaasha tababarka iyo algoriimyada loo adeegsaday tababarka OpenAI Five⁠ iyo Dactyl⁠. Si kastaba, deegaankeenna gudihiisa wakiil kastaa si madaxbannaan ayuu u dhaqmaa, isagoo adeegsanaya u-kuurgalkiisa iyo xaaladdiisa xusuusta qarsoon. Wakiilladu waxay isticmaalaan matalaad adduunka oo ku salaysan xaalad diiradda saaraysa hay'adaha, taas oo aan ku xirnayn kala beddelka marka la eego walxaha iyo wakiillada kale.

Walax kasta waa la dhexgeliyaa ka dibna waxaa loo gudbiyaa qaybo is-dareen haraadi ah oo maaskaro leh, kuwa la mid ah kuwa loo adeegsado transformer⁠(ku furmaa daaqad cusub)s, halkaas oo dareenku ka dul shaqaynayo walxaha halkii uu waqtiga ka dul shaqayn lahaa. Walxaha aan ku jirin xariiqda aragga oo aan ka horreyn wakiilka waa la maaskareeyaa si aanu wakiilku wax xog ah uga helin.

Xeerarka wakiillada waxaa lagu tababaraa is-ciyaarid⁠ iyo Tayeynta Sare ee Xeerka⁠. Inta lagu jiro tayeynta, wakiilladu waxay adeegsan karaan xog mudnaan leh oo ku saabsan walxaha qarsoon iyo wakiillada kale gudaha shaqadooda qiimaha.

Waxaan ogaanay in tababar baaxad weyn ahi uu muhiim u ahaa horumarka wakiillada ee marxaladaha kala duwan ee soo bixidda. Hoos waxaan ku muujinaynaa waqtiga iyo tirada dhacdooyinka ay ku qaadato wakiilladu inay gaaraan marxaladda 4 (difaaca jiirada) ee cabbirro dufcad kala duwan. Waxaan ogaanay in kordhinta cabbirka dufcadda ay si weyn u dedejiso waqtiga dhabta ah ee gaarista isku-imaadka, inkastoo aysan si weyn u saameynin hufnaanta muunadda marka ay gaarto ama ka sarreyso 32k. Si kastaba, waxaan ogaanay in dufcadaha 8k iyo 16k aysan waligood gaarin marxaladda 4 tirada dhacdooyinka loo asteeyay gudaheed.

Shaqadan gudaheeda waxaan ku muujinaynaa caddeyn ah in wakiilladu bartaan xeelado adag iyo xeelado-celin iyada oo loo marayo manhaj iskiis isu kormeera oo ka jira dhuumaalaysiga. Hab kale oo xirfado loogu barto si aan kormeer lahayn waa dhiirrigelin gudaha ah, taas oo ku dhiirrigelisa wakiillada inay sahamiyaan iyagoo adeegsanaya qiyaaso kala duwan sida khaladka nooc ama tirinta xaaladaha. Waxaan ku tijaabinay deegaankeenna sahaminta ku salaysan tirinta, halkaas oo wakiilladu si cad u hayaan tirada xaaladaha ay booqdeen oo lagu dhiirrigeliyo inay aadaan xaalado si aan badnayn loo booqday. Doorashada ugu weyn ee qaabaynta ee lagu hagaajinayo goobtan waa matalaadda xaaladda; tusaale ahaan, saldhiggii ugu horreeyay waxaan ku darnay oo keliya boosaska sanduuqyada 2-D ee xaaladda, si wakiillada loogu dhiirrigeliyo oo keliya inay la falgalaan oo ay sanduuqyada ugu dhaqaajiyaan meelo cusub. Kadib waxaan tan barbar dhigeynaa xeer ku salaysan tirin oo qaata xaaladda buuxda ee la siiyo wakiillada ciyaara dhuumaalaysiga.

Sida la arki karo, wakiillada lagu tababaray dhuumaalaysiga waxay si tayo ahaan ah diiradda u saaraan dabeecado aad u badan oo bini’aadamku fasiri karo sida dhisidda gabaadka, halka wakiillada lagu tababaray dhiirrigelin gudaha ah ay walxaha u dhaqaajiyaan qaab u muuqda mid aan jihaysnayn. Intaa waxaa dheer, marka booska xaaladdu ku sii adkaado kakanaansho, waxaan ogaanay in hababka dhiirrigelinta gudaha ahi ay yeeshaan la falgal sii yaraanaya oo macne leh oo ay la yeeshaan walxaha deegaankooda. Sababtan awgeed, waxaan rumaysanahay in tartanka wakiillo badan uu noqon doono hab si ka baaxad weyn loogu abuuro xirfado khuseeya bini’aadamka si aan kormeer lahayn iyadoo deegaannadu sii kordhayaan cabbir iyo kakanaansho ahaan.

Qaybtii hore, si tayo ahaan ah ayaan u barbar dhigeynaa dabeecadaha lagu bartay dhuumaalaysiga iyo kuwa lagu bartay dhiirrigelin gudaha ah. Si kastaba, marka deegaannadu baaxad ahaan kordhaan, way sii adkaan doontaa in horumarka si tayo ahaan ah loo cabbiro. Raadraaca abaalmarintu ma aha qiyaas qiimeyn ku filan goobaha wakiillo badan, maadaama ay mugdi geli karto in ay muujiso in wakiilladu si siman u soo hagaagayaan ama ay fadhiisteen. Qiyaaso sida ELO ama Trueskill ayaa si lagu kalsoonaan karo u cabbiri kara haddii waxqabadku ka soo hagaagayo noocyadii hore ee xeerka ama xeerar kale oo ku jira bulshada; hase yeeshee, qiyaasahani weli ma bixiyaan aragti ku saabsan in waxqabadka hagaagay uu ka dhashay la-qabsi cusub ama hagaajinta xirfado hore loo bartay. Ugu dambayn, adeegsiga tirakoobyo deegaan-gaar ah sida dhaqdhaqaaqa walxaha sidoo kale wuu mugdi geli karaa (tusaale ahaan, doorashada in la raadiyo dhaqaaqa buuxa ma caddaynayso jihada ay wakiilladu u dhaqaaqeen), samaynta qiyaaso ku filanna waxay noqon doontaa mid adag oo qaali ah marka deegaannadu baaxad yeeshaan.

Waxaan soo jeedinaynaa in la isticmaalo xirmo tijaabooyin garaad oo deegaan-gaar ah oo beegsanaya awoodaha aan rumaysanahay in wakiilladu mustaqbalka heli karaan. Waxqabadka wareejinta ee goobahan wuxuu u shaqayn karaa sida cabbir tiro ah oo tayada matalaadda ama xirfadda ah, waxaana barbar dhig ku samaynaa tababar hordhac ah oo leh sahaminta ku salaysan tirinta iyo sidoo kale saldhig laga tababaray meel eber ah.

Inkasta oo wakiilka dhuumaalaysigu uu si ka fiican uga shaqeeyo hawlo badan oo wareejin ah, haddana si weyn uma hagaajiyo waxqabadka ama waqtiga gaarista isku-imaadka. Markaan dabeecaddiisa eegno, waxaan ognahay inuu leeyahay xirfad qarsoon oo uu walxaha si sax ah ugu dhaqaajin karo si uu gabaad uga dhiso ciyaarta dhuumaalaysiga; hase yeeshee, ma laha awood uu xirfaddan ugu adeegsado duruufo kale marka lagu tababaro tiro muunado ah oo yar.

Waxaan rumaysanahay in sababta natiijooyinka wareejinta isku dhafan ay salka ku hayso in wakiilladu bartaan matalaado xirfadeed oo is dhex galay oo adag in si fiican loo hagaajiyo. Marka deegaannada mustaqbalka ay noqdaan kuwo kala duwan oo wakiilladu ay ku khasbanaadaan inay xirfadaha uga adeegsadaan duruufo badan, waxaan rumaysanahay inaan arki doonno matalaado xirfadeed oo si guud loo adeegsan karo iyo calaamad aad uga weyn oo ku jirta habkan qiimeynta. Sidoo kale waxaan si furan u sii daynaynaa hawlaha qiimeynta si loogu qiimeeyo horumarka barashada ee deegaankeenna.

Waxaan muujinnay in wakiilladu ay baran karaan adeegsiga qalab oo heer sare ah gudaha jilaa physics ah oo aad u saxan; hase yeeshee, waxaa jiray casharro badan oo lagu bartay inta jidka lagu jiray si natiijadan loo gaaro. Dhisidda deegaanno ma fududa, badanaana waxaa dhacda in wakiilladu ay helaan hab ay uga faa’iideystaan deegaanka aad dhistay ama matoorka physics-ka si aan loo qorsheyn.