U bood nuxurka ugu muhiimsan
OpenAI
Soo kacaya…

Waxaan samaynay algoriidham waxbarashadda xoojinta ah oo kala-sarraysiisan kaas oo barta ficillo heer-sare ah oo waxtar u leh xalinta hawlo kala duwan, taas oo suuragelinaysa in si degdeg ah loo xalliyo hawlaha u baahan kumannaan tillaabo-waqtiyeed. Algoriidhamkeenna, marka lagu dabaqo qaybo ka mid ah dhibaatooyinka hagidda, wuxuu helaa urur ficillo heer-sare ah oo lagu socdo laguna gurguurto jihooyin kala duwan, taas oo u suuragelisa wakiilka inuu si dhakhso ah u barto hawlo hagid oo cusub.

Aadamuhu waxay xalliyaan caqabadaha adag iyagoo u kala jebiya qaybo yaryar oo la maamuli karo. Karinta canjeeladu waxay ka kooban tahay taxane ficillo heer-sare ah, sida qiyaasidda burka, garaacidda ukunta, ku shubista isku-darka digsiga, shididda shooladda, iyo wixii la mid ah. Aadamuhu waxay awoodaan inay si dhakhso ah u bartaan hawlo cusub iyagoo isku xira qaybahaan ay barteen, inkastoo hawshu qaadan karto malaayiin ficillo heer-hoose ah, tusaale ahaan, isku ururidda murqaha gaarka ah.

Dhinaca kale, hababka waxbarashadda xoojinta ah ee maanta waxay ku shaqeeyaan raadis xoog badan oo lagu sameeyo ficillada heer-hoose, taas oo u baahan tiro aad u badan oo isku-dayo ah si loo xalliyo hawl cusub. Hababkani aad bay u noqdaan kuwo aan waxtar lahayn marka la xallinayo hawlo qaata tiro badan oo tillaabo-waqtiyeed ah.

Xalkayagu wuxuu ku salaysan yahay fikradda waxbarashadda xoojinta ah ee kala-sarraysan, halkaas oo wakiilladu ay dabeecadaha adag u metelaan taxane gaaban oo ficillo heer-sare ah. Tani waxay u oggolaanaysaa wakiilladeenna inay xalliyaan hawlo aad uga adag: halka xalku u baahan karo 2000 ficil heer-hoose ah, siyaasadda kala-sarraysani waxay taas u beddeshaa taxane ka kooban 10 ficil heer-sare ah, waxaana aad uga waxtar badan in la baaro taxanaha 10-tallaabo ah marka loo eego taxanaha 2000-tallaabo ah.

Barasho-sare ee kala-sarraynta la wadaago

Flow diagram of observations undergoing policy and converting to action

Algoriidhamkeenna, barasho-sare ee kala-sarraynta la wadaago (MLSH), wuxuu bartaa siyaasad kala-sarraysiisan halkaas oo siyaasad sare ay isu beddesho inta u dhexaysa qaybo siyaasado-hoosaad ah. Siyaasadda sare waxay doorataa ficil tillaabo kasta oo N ah, halkaas oo aan u qaadan karno N=200. Siyaasad-hoosaad la fuliyo muddo N tillaabo-waqtiyeed ah waxay noqotaa ficil heer-sare ah, hawlaheenna hagiddana, siyaasad-hoosaadyadu waxay u dhigmaan socod ama gurguurasho jihooyin kala duwan ah.

Inta badan shaqooyinkii hore, siyaasadaha kala-sarraysan si cad ayaa gacanta loogu farsameeyay. Halkii, waxaan hiigsanaynaa inaan si toos ah uga ogaano qaabkan kala-sarraynta ah annagoo la falgalayna deegaanka. Anagoo qaadanayna aragti barasho-sare, waxaan qeexaynaa kala-sarrayn wanaagsan mid si dhakhso ah u gaadha abaalmarin sare marka lagu tababarayo hawlo aan horay loo arag. Sidaas darteed, algoriidhamka MLSH wuxuu hiigsanayaa inuu barto siyaasad-hoosaadyo suurageliya barasho degdeg ah oo ku saabsan hawlo aan horay loo arag.

Waxaan ku tababarnaa qaybinta hawlaha, annagoo wadaagayna siyaasad-hoosaadyada isla markaana baranayna siyaasad sare oo cusub hawl kasta oo la muunadeeyo. Iyadoo si isdaba joog ah loo tababarayo siyaasado sare oo cusub, habkani si toos ah ayuu u helaa siyaasad-hoosaadyo la jaanqaada dhaqdhaqaaqyada barashada ee siyaasadda sare.

Tijaabooyin

Soo raraya...

Deegaankeenna AntMaze, robot-ka Mujoco Ant waxaa la geliyaa qaybin ka kooban 9 marin-habaab oo kala duwan waana inuu ka hago meesha bilowga ah ilaa yoolka. Algoriidhamkeenna wuxuu si guul leh u helaa urur kala duwan oo siyaasad-hoosaadyo ah kuwaas oo la isku xiri karo si loo xalliyo hawlaha marin-habaabta, taas oo ku dhacda oo keliya la falgalka deegaanka. Ururkan siyaasad-hoosaadyada ah markaas waxaa loo adeegsan karaa in lagu barto hawl ka weyn kuwii lagu tababaray (eeg muuqaalka ku yaal bilowga qoraalka).

Soo raraya...

Koodh

Waxaan sii daynaynaa koodhka⁠(ku furmaa daaqad cusub) tababarka wakiillada MLSH, iyo sidoo kale deegaannada MuJoCo ee aan u dhisnay qiimeynta algoriidhamyadan.

Qorayaal

Kevin Frans, Jonathan Ho, Peter Chen, Pieter Abbeel