Is é ár misean a chinntiú go rachaidh IGS chun tairbhe don chine daonna ar fad. Má tá IS le bheith úsáideach do chách, caithfidh sé feidhmiú go maith thar theangacha agus thar chultúir. Ní labhraíonn thart ar 80 faoin gcéad de dhaoine ar fud an domhain Béarla mar phríomhtheanga, ach tá formhór na dtagarmharcanna atá ann cheana a thomhaiseann cumais i dteangacha seachas Béarla easnamhach.
Tá tagarmharcanna ilteangacha atá ann cheana, amhail MMMLU(osclaíonn i bhfuinneog nua), sáithithe anois—tagann na samhlacha is fearr le chéile gar do scóir arda—agus mar sin níl siad chomh húsáideach chun fíordhul chun cinn a thomhas. Ina theannta sin, díríonn tagarmharcanna reatha den chuid is mó ar aistriúchán nó ar thascanna ilroghnacha. Ní thugann siad léargas leordhóthanach ar an rud is tábhachtaí i ndáiríre chun cumais teanga córais IS a mheas—comhthéacs, cultúr, stair, agus na nithe atá tábhachtach do dhaoine san áit a bhfuil siad ina gcónaí a thuiscint.
Sin é an fáth ar thógamar IndQA, tagarmharc nua atá deartha chun a mheas cé chomh maith agus a thuigeann samhlacha IS agus a dhéanann siad réasúnaíocht faoi cheisteanna atá tábhachtach i dteangacha Indiacha, thar raon leathan fearann cultúrtha. Cé gurb é ár gcuspóir tagarmharcanna comhchosúla a chruthú do theangacha agus do réigiúin eile, is pointe tosaigh follasach í an India. Tá timpeall billiún duine san India nach n-úsáideann Béarla mar phríomhtheanga, 22 theanga oifigiúla aici (lena n-áirítear seacht gcinn ar a laghad le níos mó ná 50 milliún cainteoir), agus is í an dara margadh is mó ag ChatGPT.
Tá an obair seo mar chuid dár dtiomantas leanúnach ár dtáirgí agus ár n-uirlisí a fheabhsú d’úsáideoirí san India, agus ár dteicneolaíocht a dhéanamh níos inrochtana ar fud na tíre.
Déanann IndQA meastóireacht ar eolas agus ar réasúnaíocht faoi chultúr na hIndia agus faoin saol laethúil i dteangacha Indiacha. Cuimsíonn sé 2,278 ceist thar 12 theanga agus 10 réimse cultúrtha, a cruthaíodh i gcomhpháirtíocht le 261 saineolaí fearainn ó gach cearn den India. Murab ionann agus tagarmharcanna atá ann cheana, amhail MMMLU agus MGSM, tá sé deartha chun tascanna a fhiosrú atá lán de mhionsonraí cultúrtha agus de réasúnaíocht throm, ar tascanna iad a mbíonn sé deacair ar mheastóireachtaí reatha iad a ghabháil.
Clúdaíonn IndQA raon leathan ábhar atá ábhartha ó thaobh cultúir de, amhail Ailtireacht & Dearadh, Na hEalaíona & Cultúr, Saol Laethúil, Bia & Cócaireacht, Stair, Dlí & Eitic, Litríocht & Teangeolaíocht, Na Meáin & Siamsaíocht, Creideamh & Spioradáltacht, agus Spórt & Caitheamh Aimsire—agus míreanna scríofa go dúchasach i mBeangáilis, mBéarla, Hiondúis, Hinglish, Cannadais, Maraitis, Odia, Teileagúis, Gúisearáitis, Mailéalaimis, Puinseáibis, agus Tamailis. Nóta: Chuireamar Hinglish leis go sonrach mar gheall ar leitheadúlacht an code-switching i gcomhráite.
Áirítear i ngach pointe sonraí leid fréamhaithe sa chultúr i dteanga Indiach, aistriúchán Béarla ar mhaithe le hiniúchóireacht, critéir rúibrice don ghrádú, agus freagra idéalach a léiríonn ionchais na saineolaithe.
Úsáideann IndQA cur chuige bunaithe ar rúibric. Déantar gach freagra a ghrádú i gcoinne critéar a scríobh saineolaithe fearainn don cheist shonrach sin. Leagann na critéir amach cad ba cheart freagra idéalach a áireamh nó a sheachaint, agus tugtar luach pointí ualaithe do gach ceann bunaithe ar a thábhachtaí atá sé. Seiceálann grádóir samhailbhunaithe an gcomhlíontar gach critéar. Is é an scór deiridh suim na bpointí do na critéir a comhlíonadh as an iomlán pointí is féidir.
- Ceisteanna scríofa ag saineolaithe. D’oibríomar le comhpháirtithe chun saineolaithe a aimsiú san India thar 10 réimse éagsúla. Dhréachtaigh siad leideanna deacra dírithe ar réasúnaíocht a bhí ceangailte lena réigiúin agus lena speisialtachtaí. Is cainteoirí ar leibhéal dúchais den teanga ábhartha iad na saineolaithe seo (agus den Bhéarla) agus tá saineolas domhain acu ar an ábhar.
- Scagadh ionsaitheach: Rinneadh gach ceist a thástáil in aghaidh na samhlacha ba láidre ag OpenAI tráth a cruthaithe: GPT‑4o, OpenAI o3, GPT‑4.5, agus (go páirteach, i ndiaidh an tseolta phoiblí) GPT‑5. Níor choinníomar ach na ceisteanna sin inar theip ar fhormhór na samhlacha seo freagraí inghlactha a thabhairt, rud a choinnigh spás le haghaidh dul chun cinn
- Critéir mhionsonraithe. In éineacht le gach ceist, chuir saineolaithe fearainn critéir ar fáil a úsáideadh chun freagra na samhla a ghrádú, cosúil le rúibric scrúdaithe do cheist aistí. Úsáidtear na critéir seo chun freagraí ó shamhlacha iarrthóra a ghrádú.
- Freagraí idéalacha + athbhreithniú. Chuir saineolaithe freagraí idéalacha agus aistriúcháin Bhéarla leis, agus ansin rinneadh piarmheasúnú agus ceartúcháin atriallacha go dtí gur síníodh iad.
Teanga: Beangáilis
Réimse: Litríocht agus teangeolaíocht
Réimse: Bia agus cócaireacht
Úsáidimid IndQA chun measúnú a dhéanamh ar an gcaoi a bhfeidhmíonn samhlacha teorainn le déanaí agus chun dul chun cinn a chairtiú le cúpla bliain anuas. Le IndQA is féidir linn a fheiceáil go bhfuil feabhas suntasach tagtha le himeacht ama ar shamhlacha OpenAI i dteangacha Indiacha (le forchoimeádais), ach go bhfuil go leor spáis fós le feabhsú. Táimid ag tnúth le feidhmíocht a fheabhsú agus torthaí do shamhlacha amach anseo a roinnt.
Déanaimid feidhmíocht ar IndQA a shrathú de réir Teanga agus Réimse thíos freisin, agus GPT‑5 Thinking High á chur i gcomparáid le samhlacha teorainn eile.
Toisc nach bhfuil ceisteanna comhionann trasna teangacha, ní clár ceannairí teanga é IndQA ní hea; níor cheart scóir tras-teanga a léirmhíniú mar chomparáidí díreacha ar chumas teanga. Ina áit sin, tá sé beartaithe againn IndQA a úsáid chun feabhsú le himeacht ama a thomhas laistigh de theaghlach samhla nó de chumraíocht.
Ina theannta sin, toisc gur scagadh ceisteanna chuig na cinn sin nach raibh GPT‑4o, OpenAI o3, GPT‑4.5, agus (i ndiaidh an tseolta phoiblí) GPT‑5 in ann a fhreagairt go leordhóthanach, tá roghnú ceisteanna ionsaitheach i gcoinne na samhlacha seo. D’fhéadfadh sé seo feidhmíocht choibhneasta GPT‑5 a chur as a riocht, agus d’fhéadfadh sé gach samhail OpenAI a chur faoi mhíbhuntáiste i gcomparáid le samhlacha nach samhlacha OpenAI iad.
Táimid buíoch de na 261 saineolaí Indiacha—iriseoirí, teangeolaithe, scoláirí, ealaíontóirí, agus cleachtóirí tionscail—a scríobh agus a rinne athbhreithniú ar cheisteanna do IndQA. I measc roinnt samplaí de na saineolaithe ar oibríomar leo tá:
- Aisteoir agus scríbhneoir scáileáin Teileagúise a bhuaigh Gradam Nandi agus a bhfuil breis agus 750 scannán déanta aige
- Iriseoir agus eagarthóir Maraitise ag Tarun Bharat
- Scoláire teangeolaíochta Cannadaise agus eagarthóir foclóra
- Ardmháistir Idirnáisiúnta Fichille a chuireann oiliúint ar imreoirí fichille sa chéad 100
- Scríbhneoir, file, agus gníomhaí cultúrtha Tamailise a dhéanann abhcóideacht ar son ceartais shóisialta, cothromas caste, agus saoirse liteartha
- Cumadóir ceoil Puinseáibise a bhuaigh gradaim
- Coimeádaí oidhreachta Gúisearáitise agus speisialtóir caomhnaithe
- File Mailéalaimise agus ealaíontóir taibhithe a bhuaigh gradaim
- Ollamh staire, ag speisialú in oidhreacht shaibhir chultúrtha Bheangáil
- Ollamh ailtireachta, ag díriú ar theampaill Odisha
Tá súil againn go gcuirfidh eisiúint IndQA eolas ar fáil don phobal taighde agus go spreagfaidh sí cruthú tagarmharcanna nua. Tá ceisteanna i stíl IndQA thar a bheith luachmhar go háirithe i dteangacha nó i réimsí cultúrtha nach gclúdaíonn tagarmharcanna IS atá ann cheana go maith. Is féidir le cruthú tagarmharcanna cosúil le IndQA cabhrú le saotharlanna taighde IS níos mó a fhoghlaim faoi na teangacha agus na réimsí a mbíonn deacracht ag samhlacha leo inniu, agus réalta thuaidh a sholáthar do fheabhsuithe sa todhchaí.
Údar
Lean ort ag léamh
