8 Iúil 2026

Comhartha a scaradh ó thorann i measúnuithe códaithe

Trí iniúchadh mionsonraithe, aimsímid fadhbanna forleathana tascanna in SWE-Bench Pro agus measaimid go bhfuil ~30% de na tascanna briste.

Ag lódáil…

Tá sé tábhachtach cumais ár samhlacha a thomhas go cruinn chun cinntí fónta imscartha agus sábháilteachta a dhéanamh, lena n-áirítear cinntí faoi Chreata Ullmhachta⁠(osclaíonn i bhfuinneog nua) OpenAI. Le gach eisiúint samhla, tuairiscímid torthaí ar réimse tagarmharcanna seachtracha agus inmheánacha chun dul chun cinn na samhla a rianú. Nuair a bhíonn lochtanna ar mheasúnuithe a théann i bhfeidhm ar na torthaí, is féidir leo tuiscint bhréagach ar chumais a thabhairt, cásanna sábháilteachta a chur as a riocht agus tionchar a imirt ar thosaíochtaí taighde.

Rinneamar imscrúdú le déanaí ar an gcaoi a raibh fadhbanna bunúsacha deartha agus éillithe ag SWE-bench Verified, ceann de na tagarmharcanna códaithe is mó a úsáidtear, agus fuaireamar amach nár thug an measúnú comhartha fiúntach a thuilleadh ar chumais forbartha bogearraí. Ag an am, mholamar don phobal níos leithne aistriú go SWE-Bench Pro.

Dearadh SWE-Bench Pro⁠(osclaíonn i bhfuinneog nua) chun feabhas a chur ar SWE-bench Verified trí shamhlacha a thástáil thar thréimhsí níos faide agus ar thascanna códaithe níos réadúla, chun cumais códú gníomhaireach a rianú níos fearr. Mar atá i SWE-bench Verified, faightear tascanna go ríomhchláraithe ó stair athruithe gné i sraith stórtha poiblí agus príobháideacha. Ceanglaítear ar shamhlacha réiteach a chur chun feidhme a éiríonn le tástálacha nua do ghné, gan feidhmiúlacht atá ann cheana a bhriseadh. Ar an scoilt phoiblí 731 tasc, d’ardaigh ráta pasála na samhlacha teorann ó 23.3% go 80.3% in ocht mí.

Ó shin i leith, rinneamar iniúchadh cosúil leis ar SWE-Bench Pro, ag athbhreithniú an tacair sonraí le píblíne anailíse pointí sonraí. Rinne an phíblíne athbhreithniú ar iarrachtaí samhla ar an tasc, ar mheiteashonraí an taisc agus ar rianta teipe chun lochtanna measúnaithe dóchúla a mharcáil. Rinneadh measúnú ansin ar gach tasc marcáilte trí iliomad pasanna imscrúdaitheora-ghníomhaire agus rinne cúigear innealtóirí bogearraí a raibh taithí acu athbhreithniú neamhspleách orthu, agus cuireadh easaontais ar aghaidh le haghaidh tuilleadh imscrúdaithe.

Aimsímid fianaise ar fhadhbanna briste i gcuid shuntasach den tacar sonraí. Mharcáil ár bpíblíne anailíse pointí sonraí 200 tasc briste (27.4%), agus d’aithin an feachtas anótála daonna 249 (34.1%).

Bhain na fadhbanna go príomha le ceithre chatagóir:

Cuireann tástálacha ró-dhochta¹ sonraí cur chun feidhme ar leith i bhfeidhm nach bhfuil sonraithe sa leid, rud a fhágann go mbíonn go leor aighneachtaí atá ceart ó thaobh feidhme de neamhbhailí.
Fágann leideanna neamhshonraithe go leor² riachtanais ar lár a chuireann tástálacha folaithe i bhfeidhm agus nach féidir a bhaint astu le réasún.
Ní dhéanann tástálacha ísealchumhdaigh an ghné iarrtha a sheiceáil go leordhóthanach, agus mar sin is féidir le ceartúcháin neamhiomlána pas a fháil.
Treoraíonn leid mhíthreorach samhlacha i dtreo na hiompraíochta mícheart nó tagann sí salach ar a n-éilíonn na tástálacha.

Léiríonn ár dtorthaí cé chomh deacair is atá sé tagarmharcanna dúshlánacha ach cothroma a choimeád, agus fóntas méadaitheach gníomhairí do sheiceálacha inscálaithe ar cháilíocht sonraí. I bhfianaise na dtorthaí seo, measaimid go bhfuil ~30% de thascanna SWE-bench Pro briste, agus molaimid d’fhorbróirí samhlacha na torthaí a scrúdú go cúramach.

Modheolaíocht

Is é ár n-aidhm a chinntiú go léiríonn teipeanna tascanna fíortheorainneacha samhla, agus go léiríonn rath tascanna réitigh iomlána bhailí ar riachtanais na leide. Chun cáilíocht na sonraí a úsáidtear sa mheasúnú a sheiceáil, chruthaíomar píblíne dearbhaithe cáilíochta chun a mheas an léiríonn gach pointe sonraí cumais samhla go cruinn.

Sreabhadh oibre dearbhaithe cáilíochta a chomhcheanglaíonn scagadh uathoibrithe agus athbhreithniú daonna chun cáilíocht tascanna a mheas. — Marcálann píblíne tosaigh cáilíochta sonraí fadhbanna le hathbhreithniú. Déanaimid bailíochtú trí iniúchadh níos doimhne le cúnamh gníomhairí ar thascanna marcáilte agus trí fheachtas anótála daonna le hinnealtóirí a bhfuil taithí acu.

Déanann scagaire uathoibrithe tosaigh athbhreithniú ar na treoracha a tugadh don tsamhail, ar iarrachtaí na samhla an tasc a réiteach, agus ar na tástálacha a úsáidtear chun na hiarrachtaí sin a ghrádú, chun samplaí ar dócha go bhfuil siad briste nó fadhbach a mharcáil. Mharcáil an scagaire seo 286 tasc a d’fhéadfadh a bheith briste. Rinneamar ansin athbhreithniú níos doimhne ar an bhfo-thacar sin ar dhá bhealach: athbhreithniú gníomhaire faoi mhaoirseacht dhaonna, a dhéanann seiceálacha fairsinge le gníomhairí imscrúdaitheora agus breithiúnas daonna deiridh; agus feachtas anótála daonna le forbróirí bogearraí a raibh taithí acu.

Athbhreithniú gníomhaire faoi mhaoirseacht dhaonna

Déantar iniúchadh ar gach fadhb mharcáilte le gníomhairí imscrúdaitheora bunaithe ar Codex ar tugadh rochtain dóibh ar stór agus ar thimpeallacht an taisc. Cuidíonn sé seo leo idirdhealú a dhéanamh idir débhríocht réasúnta tascanna, ar féidir í a réiteach go minic trí staidéar a dhéanamh ar chód in aice láimhe agus ar ghnásanna stórtha, agus fíor-easpa sonraíochta. Is féidir leis an ngníomhaire tástálacha a rith, comhaid sa stór a iniúchadh, agus iarrachtaí samhla agus a modhanna teipe coitianta ar an tasc a fhiosrú. Tar éis roinnt athdhéanamh neamhspleách ar na hiniúchtaí níos doimhne seo, rinne taighdeoir athbhreithniú ar na hachoimrí, rinne sé breithiúnas deiridh agus chuir sé lipéad ar na fadhbanna dóchúla.

Feachtas anótála daonna

I gcomhthreo leis sin, chuireamar feachtas anótála daonna ar siúl ar an bhfo-thacar marcáilte. D’oibríomar le hinnealtóirí bogearraí a raibh taithí acu agus a cuireadh faoi oiliúint ar spriocanna an tagarmhairc, ar thacsanomaíocht na bhfadhbanna agus ar chásanna teorann sular athbhreithnigh siad tascanna. Rinne cúigear innealtóirí athbhreithniú ar gach tasc.

Chruthaigh na hathbhreithneoirí breithiúnas neamhspleách ón ráiteas faidhbe infheicthe, ó na cásanna tástála agus ón réiteach tagartha fírinne talún (ar a dtugtar an gold patch) sular úsáid siad anailís nó tras-scríbhinn na píblíne mar chomhthéacs tacaíochta. Ansin shann na hathbhreithneoirí lipéad agus rátáil tromchúise bunaithe ar fhianaise nithiúil, agus chuir siad easaontais nó cásanna ísealmhuiníne ar aghaidh le haghaidh tuilleadh athbhreithnithe.

Bhí athbhreithneoirí daonna níos dóchúla ná na gníomhairí imscrúdaitheora tascanna a mharcáil mar bhriste. Bhí roinnt easaontais ann freisin faoi chatagóirí idir an dá chonair athbhreithnithe, ach ní raibh “neamhbhriste” ar an lipéad daonna ba choitianta in aon tasc marcáilte. As na catagóirí a mharcáil píblíne an ghníomhaire, bhí breithiúnais na n-athbhreithneoirí ag forluí i 74% de na cásanna.

I gcomparáid le píblíne an ghníomhaire, bhí na hathbhreithneoirí daonna níos dóchúla freisin lipéid iolracha a roghnú do thasc, rud a léirigh gur mheas siad go raibh tascanna briste ar bhealaí éagsúla nó nár oir siad go glan do chatagóir amháin. Tugann sé seo le fios gur tháinig lipéadú coimeádach as an bpíblíne gníomhaire-móide-athbhreithneoir: ghabh sí na modhanna teipe leathana céanna a d’aithin daoine, agus í ag tearcthaireamh cásanna inar chonaic athbhreithneoirí fadhbanna breise nó forluiteacha. Ba i dtástálacha ísealchumhdaigh a bhí an difríocht ba mhó: roghnaigh daoine iad mar an fhadhb ba choitianta i 9.4% den tagarmharc, i gcomparáid le 4.1% ó phíblíne an ghníomhaire.

Modhanna teipe

I roinnt cásanna, d’ordaigh leid an taisc cur chun feidhme ar leith, ach bhí iompraíocht eile á hionchas ag na cásanna tástála folaithe.

This task involves normalizing table-of-contents entries and rendering them back to Markdown via TocEntry.to_markdown(). The task prompt specifies serialization down to character-level spacing, describing how exact spacing and pipes are enforced, and gives examples such as " | Chapter 1 | 1" and "** | Chapter 1 | 1":

Ceann ar bith

1"[space]| Chapter 1 | 1"
2"**[space]| Chapter 1 | 1"
3"[space]| Just title | "

The hidden test_to_markdown assertions instead require " | Chapter 1 | 1" and "** | Chapter 1 | 1":

Ceann ar bith

1"[space][space]| Chapter 1 | 1"
2"**[space][space]| Chapter 1 | 1"
3"[space][space]| Just title | "

There are two leading spaces in the hidden tests, but the example given to the model only contains one leading space. If a model rightly follows the given prompt, that one-character difference would fail the hidden test cases and the task would be marked incorrect.

Plé

Leagann na fadhbanna atá aitheanta againn, in éineacht le cásanna comhchosúla in SWE-bench Verified, béim ar a thábhachtaí atá sé tagarmharcanna a sheiceáil go dian. Cruthaíodh saincheisteanna agus pull requests ó stórtha foinse oscailte ar dtús le haghaidh comhoibriú daonna, go minic trí mhalartuithe fada idir cothabhálaithe agus rannpháirtithe. Dá bharr sin, ní thagann tuairiscí fadhbanna, cód cumaiscthe agus tástálacha aonaid le chéile i gcónaí chun tascanna glana leithleacha a chruthú chun samhlacha a mheas go hiontaofa. Go háirithe, is féidir le tástálacha a áirítear in pull requests a bheith ró-dhocht, toisc go scríobhtar iad chun athrú ar leith a bhailíochtú seachas chun caighdeán neamhspleách ar chur chun feidhme a shainiú don tasc.

Ag an am céanna, tá sé níos éasca anois lochtanna measúnaithe a bhrath ná mar a bheadh fiú tamall gairid ó shin. De réir mar a fheabhsaíonn cumais samhla, is féidir linn na samhlacha sin a úsáid chun leideanna, tástálacha, paistí, rianta agus cásanna teorann a iniúchadh le doimhneacht agus comhsheasmhacht i bhfad níos mó, rud a chuidíonn le fadhbanna tagarmhairc a thabhairt chun solais a bhí costasach nó neamhphraiticiúil roimhe seo a aimsiú ar scála.

Tá súil againn go bhforbróidh an pobal measúnaithe níos leithne tagarmharcanna nua a thógfaidh forbróirí bogearraí a bhfuil taithí acu go sonrach chun cumais samhla a thástáil. Is féidir leis an gcur chuige sin an caighdeán ard agus an réalachas a theastaíonn uainn chun cumais samhla a thomhas a chaomhnú, agus maoirseacht dhaonna níos fearr a cheadú ar fud an phróisis. I bhfianaise na bhfadhbanna a nochtadh san anailís seo, tarraingímid siar ár moladh roimhe seo SWE-Bench Pro a ghlacadh.

I ndeireadh na dála, ba cheart do mheasúnú comhartha fiúntach a thabhairt trí thagarmharcanna atá deacair a imirt, éasca le muinín a bheith astu agus a léiríonn cumas nó ailíniú samhla i ndáiríre. Ós rud é go mbíonn tionchar ag na torthaí seo ar chinntí imscartha agus sábháilteachta OpenAI, ní mór do na measúnuithe a rianaímid a bheith bailí agus faisnéiseach.