Soo bandhigista IndQA

Hadafkayagu waa in AGI ay anfaco dhammaan aadanaha. Haddii AI ay waxtar u yeelanayso qof walba, waa inay si fiican uga shaqaysaa luuqado iyo dhaqammo kala duwan. Qiyaastii 80 boqolkiiba dadka dunida ku nool Ingiriisiga uma hadlaan luuqaddooda koowaad, haddana inta badan halbeegyada jira ee cabbira awoodaha luuqadaha aan Ingiriisiga ahayn way gaabiyaan.

Halbeegyada luuqado badan leh ee jira sida MMMLU⁠(ku furmaa daaqad cusub) hadda waa buuxsameen—noocyada ugu sarreeya dhibco sare ayay isugu urureen—taas oo ka dhigaysa kuwo waxtar yar u leh cabbiridda horumarka dhabta ah. Intaa waxaa dheer, halbeegyada hadda jira badankood waxay diiradda saaraan turjumaad ama hawlo xulasho-badan ah. Si ku filan uma qabtaan waxa runtii muhiimka u ah qiimaynta awoodaha luuqadeed ee nidaamka AI—fahamka macnaha guud, dhaqanka, taariikhda, iyo waxyaabaha dadka muhiimka u ah meesha ay ku nool yihiin.

Taasi waa sababta aan u dhisnay IndQA, halbeeg cusub oo loo sameeyay in lagu qiimeeyo sida wanaagsan ee noocyada AI u fahmaan oo uga caqliyeeyaan su'aalaha muhiimka ku ah luuqadaha Hindiya, iyadoo la eegayo mowduucyo dhaqameed oo ballaaran. In kasta oo yoolkayagu yahay inaan u samayno halbeegyo la mid ah luuqado iyo gobollo kale, Hindiya waa meel bilow oo cad. Hindiya waxay leedahay ku dhowaad bilyan qof oo aan Ingiriisiga u adeegsan luuqaddooda koowaad, 22 luuqadood oo rasmi ah (oo ay ku jiraan ugu yaraan toddoba ay ku hadlaan in ka badan 50 milyan oo qof), waana suuqa labaad ee ugu weyn ee ChatGPT.

Shaqadani waa qayb ka mid ah ballanqaadkayaga joogtada ah ee aan ku hagaajinayno wax-soo-saarkayaga iyo agabkayaga isticmaaleyaasha Hindiya, iyo in tiknoolajiyaddayada laga dhigo mid si fudud looga faa'iidaysan karo dalka oo dhan.

IndQA waxay qiimaysaa aqoonta iyo caqliyeynta ku saabsan dhaqanka Hindiya iyo nolol maalmeedka ee luuqadaha Hindiya. Waxay ka kooban tahay 2,278 su'aalood oo ku baahsan 12 luuqadood iyo 10 mowduuc dhaqameed, kuwaas oo lagu sameeyay iskaashi lala yeeshay 261 khabiir oo mowduucyo kala duwan ah oo ka kala yimid guud ahaan Hindiya. Si ka duwan halbeegyada jira sida MMMLU iyo MGSM, waxaa loo qaabeeyey inay tijaabiso hawlo xeel dheer oo dhaqameed iyo caqliyeyn culus leh oo qiimaymaha jira ay ku dhibtoodaan qabashadooda.

IndQA waxay daboolaysaa mowduucyo badan oo dhaqanka khuseeya, sida Naqshadaha Dhismaha & Naqshadeynta, Fanka & Dhaqanka, Nolol Maalmeedka, Cunto & Karis, Taariikh, Sharciga & Anshaxa, Suugaanta & Cilmiga Luuqadaha, Warbaahinta & Madadaalada, Diinta & Ruuxnimada, iyo Isboortiga & Madadaalada—iyada oo qodobbadu si asal ah loogu qoray Bengali, English, Hindi, Hinglish, Kannada, Marathi, Odia, Telugu, Gujarati, Malayalam, Punjabi, iyo Tamil. Fiiro gaar ah: Waxaan si gaar ah ugu darnay Hinglish maadaama code-switching-ku ku badan yahay wada sheekaysiga.

Databoint kasta waxa ku jira weydiin dhaqan ahaan sal adag leh oo ku qoran luuqad Hindiyeed, turjumaad Ingiriisi ah oo dabagalka u sahlaysa, halbeegyo rubrik ah oo lagu qiimeeyo, iyo jawaab ku habboon oo ka tarjumaysa waxa khubaradu filayaan.

IndQA waxay isticmaashaa hab ku salaysan rubrik. Jawaab kasta waxaa lagu qiimeeyaa halbeegyo ay qoreen khubarada mowduuca ee su'aashaas gaarka ah. Halbeegyadu waxay si cad u sheegaan waxa jawaabta ku habboon ay tahay inay ka koobnaato ama ka fogaato, mid kastana waxaa la siiyaa dhibco miisaan leh iyadoo lagu salaynayo muhiimaddiisa. Qiimeeye ku salaysan nooc ayaa hubiya in halbeeg kasta la buuxiyey iyo in kale. Dhibcaha ugu dambeeya waa wadarta dhibcaha halbeegyada la buuxiyey marka loo eego wadarta suurtagalka ah.

• Su'aalo ay qoreen khubaro. Waxaan la shaqaynay la-hawlgalayaal si aan u helno khubaro ku kala sugan Hindiya oo ku xeeldheer 10 mowduuc oo kala duwan. Waxay diyaariyeen weydiimo adag oo diiradda saaraya caqliyeynta kuwaas oo ku xidhan gobolladooda iyo takhasusyadooda. Khubaradani waa ku-hadlaayaal heer hooyo ah oo luuqadda khusaysa (iyo Ingiriisiga) lehna aqoon qoto dheer oo mawduuca ah.
• Shaandhayn iska-hor-imaad ah: Su'aal kasta waxaa lagu tijaabiyey noocyada ugu awoodda badan OpenAI waqtigii la sameeyay: GPT‑4o, OpenAI o3, GPT‑4.5, iyo (qayb ahaan, ka dib furitaankii dadweynaha) GPT‑5. Waxaan haynnay oo keliya su'aalihii ay inta badan noocyadani ku guuldarraysteen inay soo saaraan jawaabo la aqbali karo, si boos horumar loo ilaaliyo
• Halbeegyo faahfaahsan. Su'aal kasta la socota, khubarada mowduucu waxay bixiyeen halbeegyo lagu qiimeeyo jawaabta nooca, oo la mid ah rubrik imtixaan oo loogu talagalay su'aal curis ah. Halbeegyadan waxaa loo adeegsadaa qiimaynta jawaabaha noocyada musharraxiinta.
• Jawaabo ku habboon + dib-u-eegis. Khubaradu waxay ku dareen jawaabo ku habboon iyo turjumaado Ingiriisi ah, dabadeedna waxaa xigay dib-u-eegis asaageed iyo sixitaanno isdaba joog ah ilaa ansixin laga gaaro.

Waxaan u isticmaalnaa IndQA inaan ku qiimayno sida noocyada ugu casrisan u shaqeeyaan iyo inaan sawirno horumarka labadii sano ee u dambeysay. IndQA waxay na tusaysaa in noocyada OpenAI ay si weyn uga soo hagaageen luuqadaha Hindiya waqti ka dib (iyadoo ay jiraan xaddidaado⁠), balse weli ay jirto meel weyn oo horumar ah. Waxaan rajaynaynaa inaan sii wanaajino waxqabadka oo aan wadaagno natiijooyinka noocyada mustaqbalka.

Waxaan sidoo kale hoos ugu kala saarno waxqabadka IndQA luuqad iyo mowduuc ahaan, annagoo barbar dhig ku samaynayna GPT‑5 Thinking High iyo noocyo kale oo ugu casrisan.

Sababtoo ah su'aaluhu isku mid ma aha dhammaan luuqadaha, IndQA ma aha jadwalka kala sarreynta luuqadaha; dhibcaha luuqadaha kala duwan waa inaan loo fasirin isbarbardhig toos ah oo ku saabsan awoodda luuqadeed. Halkii, waxaan qorshaynaynaa inaan IndQA u adeegsanno cabbiridda hagaagga waqti ka dib ee ku dhex jira qoys nooc ama qaabayn.

Sidoo kale, maadaama su'aalaha laga soo xulay kuwii GPT‑4o, OpenAI o3, GPT‑4.5, iyo (ka dib furitaankii dadweynaha) GPT‑5 ay si ku filan uga jawaabi waayeen, xulashada su'aaluhu waa iska-hor-imaad ka dhan ah noocyadan. Tani waxay saamayn ku yeelan kartaa waxqabadka isbarbardhigga ah ee GPT‑5, waxayna dhici kartaa inay dhammaan noocyada OpenAI ka liidato marka loo eego noocyada aan OpenAI ahayn.

Waxaan uga mahadcelinaynaa 261-ka khabiir ee Hindiya—saxaafiyiin, aqoonyahanno luuqadeed, culimo, fannaaniin, iyo xirfadlayaal warshadeed—kuwaas oo qoray una eegay su'aalaha IndQA. Tusaalooyin yar oo ka mid ah khubaradii aan la shaqaynay waxaa ka mid ah:

• Jilaa iyo qoraa Telugu ah oo ku guuleystay abaalmarinta Nandi, kana qayb qaatay in ka badan 750 filim
• Saxaafi iyo tafatire Marathi ah oo ka tirsan Tarun Bharat
• Aqoonyahan ku xeeldheer cilmiga luuqadda Kannada iyo tafatiraha qaamuus
• Grandmaster caalami ah oo shataranjiga ah oo tababara ciyaartoyda shataranjiga ee 100-ka ugu sarreeya
• Qoraa, gabayaa, iyo dhaqdhaqaaqe dhaqameed Tamil ah oo u ololeeya caddaaladda bulshada, sinnaanta qabiilka, iyo xorriyadda suugaanta
• Laxamiiste muusig Punjabi ah oo ku guuleystay abaalmarin
• Maamule dhaxal Gujarati ah iyo khabiir ilaalinta dhaxalka
• Gabayaa Malayalam ah oo ku guuleystay abaalmarin iyo fanaan bandhig faneed
• Borofisar taariikh ah oo ku takhasusay dhaxalka dhaqameed hodanka ah ee Bengal
• Borofisar naqshadaha dhismaha ah oo diiradda saaraya macbudyada Odishan

Waxaan rajaynaynaa in sii-daynta IndQA ay wargelin doonto oo dhiirrigelin doonto samaynta halbeegyo cusub oo ka imanaya bulshada cilmi-baarista. Su'aalaha qaabka IndQA ayaa si gaar ah qiimo u leh luuqadaha ama mowduucyada dhaqameed ee ay si liidata u daboolaan halbeegyada AI ee jira. Samaynta halbeegyo la mid ah IndQA waxay ka caawin kartaa shaybaarada cilmi-baarista AI inay wax badan ka bartaan luuqadaha iyo mowduucyada ay noocyadu maanta ku dhibtoodaan, ayna bixiyaan jiho hagta hagaajinta mustaqbalka.