Léim go dtí an príomhábhar
OpenAI

13 Lúnasa 2024

Cloch mhíle

SWE-bench Verified á chur i láthair

Táimid ag scaoileadh fo-thacar de SWE-bench atá bailíochtaithe ag daoine agus a dhéanann measúnú níos iontaofa ar chumas samhlacha AI saincheisteanna bogearraí fíorshaoil a réiteach.

Íoslódáil SWE-bench Verified(osclaíonn i bhfuinneog nua)
Ag lódáil…

Nuashonraithe 24 Feabhra 2025

Mar chuid dár Creata Ullmhachta⁠, forbraíonn OpenAI raon méadrachtaí chun cumais samhlacha gníomhú go huathrialach a rianú, a mheas agus a thuar. Is príomh-chomhpháirt dár leibhéal riosca Meánach sa chatagóir riosca Uathriail Samhla í an cumas tascanna innealtóireachta bogearraí a chur i gcrích go huathrialach. Tá sé dúshlánach na cumais seo a mheas mar gheall ar chastacht thascanna innealtóireachta bogearraí, ar an deacracht a bhaineann le cód ginte a mheas go cruinn, agus ar an dúshlán a bhaineann le cásanna forbartha fíorshaoil a ionsamhlú. Dá bhrí sin, ní mór dár gcur chuige maidir le hUllmhacht scrúdú cúramach a dhéanamh ar na meastóireachtaí féin freisin, chun an fhéidearthacht go ndéanfaí feidhmíocht a ghannmheastachán nó a rómheastachán i gcatagóirí riosca tábhachtacha a laghdú.

Ceann de na sraitheanna meastóireachta is mó tóir d’innealtóireacht bogearraí ná SWE-bench⁠(osclaíonn i bhfuinneog nua)1—binse tomhais chun cumais samhlacha móra teanga (LLMs) saincheisteanna bogearraí fíorshaoil a fhaightear ó GitHub a réiteach a mheas. Is é atá i gceist leis an mbinse tomhais stór cód agus cur síos ar eisiúint a thabhairt do ghníomhairí, agus dúshlán a thabhairt dóibh paiste a ghiniúint a réitíonn an fhadhb a ndéantar cur síos uirthi san eisiúint. Tá dul chun cinn suntasach déanta ag gníomhairí códaithe ar SWE-bench, agus tá na gníomhairí leis na scóir is airde ag scóráil 20% ar SWE-bench agus 43% ar SWE-bench Lite de réir chlár ceannais SWE-bench⁠(osclaíonn i bhfuinneog nua) amhail an 5 Lúnasa 2024.

D’aithin ár dtástáil roinnt tascanna SWE-bench a d’fhéadfadh a bheith deacair nó dodhéanta a réiteach, rud a fhágann go ndéanann SWE-bench gannmheastachán córasach ar chumais uathrialacha innealtóireachta bogearraí samhlacha. D’oibríomar i gcomhar le húdair SWE-bench chun aghaidh a thabhairt ar na saincheisteanna sin i leagan nua den bhinse tomhais ar cheart dó meastóireachtaí níos cruinne a chur ar fáil.

Cúlra ar SWE-bench

Cruthaítear gach sampla i dtacar tástála SWE-bench ó eisiúint GitHub réitithe i gceann de 12 stór Python foinse oscailte ar GitHub. Tá iarratas ar tharraingt (PR) ag baint le gach sampla, lena n-áirítear an cód réitigh agus tástálacha aonaid araon chun cruinneas an chóid a fhíorú. Teipeann ar na tástálacha aonaid seo sula gcuirtear an cód réitigh sa PR leis, ach éiríonn leo ina dhiaidh sin, agus dá bhrí sin tugtar tástálacha FAIL_TO_PASS orthu. Tá tástálacha PASS_TO_PASS ag baint le gach sampla freisin, a éiríonn leo roimh agus tar éis an PR a chumasc, agus a úsáidtear chun a sheiceáil nár briseadh feidhmiúlacht ghaolmhar atá ann cheana sa bhunchód leis an PR. 

I gcás gach sampla in SWE-bench, cuirtear an buntéacs ón eisiúint GitHub bhunaidh ar fáil do ghníomhairí, ar a dtugtar an ráiteas faidhbe, agus tugtar rochtain dóibh ar an mbunchód. Agus iad seo acu, ní mór do ghníomhairí na comhaid sa bhunchód a chur in eagar chun an cheist a réiteach. Ní thaispeántar na tástálacha don ghníomhaire.

Déantar measúnú ar eagarthóireacht mholta tríd an dá thástáil FAIL_TO_PASS agus PASS_TO_PASS a rith. Má éiríonn leis na tástálacha FAIL_TO_PASS , ciallaíonn sé seo go réitíonn an eagarthóireacht an cheist. Má éiríonn leis na tástálacha PASS_TO_PASS, níor bhris an eagarthóireacht codanna neamhghaolmhara den bhunchód trí thimpiste. Ní mór go n-éireodh leis an dá shraith tástálacha chun go réiteodh an eagarthóireacht an bhuneisiúint GitHub go hiomlán.

SWE-bench a oiriúnú mar Mheastóireacht Ullmhachta

Ós rud é go bhféadfadh SWE-bench a bheith ábhartha don Creata Ullmhachta, bhí sé mar aidhm againn bealaí a aimsiú ina bhféadfaimis láidreacht agus iontaofacht an bhinse tomhais a fheabhsú. D’aithníomar trí mhór-réimse feabhsúcháin2: 

  1. Is minic a bhíonn na tástálacha aonaid a úsáidtear chun cruinneas réitigh a mheas róshonrach, agus i gcásanna áirithe níl baint ar bith acu leis an gceist fiú. D’fhéadfadh sé seo a bheith mar chúis le réitigh chearta a dhiúltú. 
  2. Tá cur síos ar an gceist i go leor samplaí róthearcshonraithe, rud a fhágann débhríocht faoi cén fhadhb atá ann agus conas ba cheart í a réiteach.
  3. Uaireanta bíonn sé deacair timpeallachtaí forbartha SWE-bench a chur ar bun go hiontaofa do na gníomhairí, rud a fhágann go dteipeann ar thástálacha aonaid beag beann ar an réiteach. I gcásanna den sórt sin, d’fhéadfaí réitigh atá go hiomlán bailí a ghrádú mar mhícheart.

Seo sampla a léiríonn an chéad cheann de na saincheisteanna seo.

Tugann sampla SWE-bench scikit-learn__scikit-learn-14520 tasc do ghníomhaire saincheist i stór scikit-learn a réiteach⁠(osclaíonn i bhfuinneog nua). Tuairiscíonn an ráiteas faidhbe seo go bhféadfadh úsáideoir argóint copy feidhme a shonrú, ach go ndéanann an leabharlann neamhaird di (ina áit sin tá an t-iompar crua-chódaithe laistigh den fheidhm):

Téacs simplí

1
Copy param ignored in TfidfVectorizer
2
I was playing with vectorizers and I found this:
3

4
https://github.com/scikit-learn/scikit-learn/blob/ae16319626e2ca6ca0e54d4a5b83f73f817232aa/sklearn/feature_extraction/text.py#L1669
5

6
However that parameter is not used later in the method.
7

8
Here `copy=False` is used:
9

10
https://github.com/scikit-learn/scikit-learn/blob/ae16319626e2ca6ca0e54d4a5b83f73f817232aa/sklearn/feature_extraction/text.py#L1692
11

12
Is there anything I am missing?
13

Bheadh ar ghníomhaire a bheadh ag tabhairt faoin gceist thuas déileáil ar dtús leis an débhríocht faoi cé acu an iompar beartaithe nó fabht é iompar na feidhme, agus ansin athruithe a dhéanamh ar an mbunchód chun an cheist a réiteach. De réir shocrú SWE-bench, caithfidh aon réiteach a mholann an gníomhaire pas a fháil sa tástáil seo a leanas ansin, a baineadh as an PR a réitigh an cheist ar dtús⁠(osclaíonn i bhfuinneog nua):

Python

1
def test_tfidf_vectorizer_deprecationwarning():
2
    msg = ("'copy' param is unused and has been deprecated since "
3
           "version 0.22. Backward compatibility for 'copy' will "
4
           "be removed in 0.24.")
5
    with pytest.warns(DeprecationWarning, match=msg):
6
        tv = TfidfVectorizer()
7
        train_data = JUNK_FOOD_DOCS
8
        tv.fit(train_data)
9
        tv.transform(train_data, copy=True)

Seiceálann an tástáil seo go sainráite go gcaithfidh an réiteach DeprecationWarning a ardú aon uair a úsáidtear an paraiméadar copy, cé nach gcuireann an ráiteas bunaidh faoin bhfadhb sa téacs eisiúna thuas an riachtanas seo in iúl. Ina theannta sin, fiú dá dtuigfeadh an gníomhaire gur cheart DeprecationWarning a ardú, éilíonn an tástáil freisin go meaitseálfadh an gníomhaire an teachtaireacht dímheasa go beacht, rud nár thángthas air ach tar éis roinnt plé sa PR nach bhfuil rochtain ag an ngníomhaire air.

Tabhair faoi deara nach dtugtar don ghníomhaire ach an cur síos ar an bhfadhb ó phríomhthéacs na heisiúna, agus nach bhfuil infheictheacht aige ar na tástálacha nach mór dó pas a fháil iontu. Agus an socrú seo i gceist, bheadh sé beagnach dodhéanta do ghníomhaire an sampla seo in SWE-bench a réiteach.

SWE-bench Verified

Chun aghaidh a thabhairt ar na saincheisteanna seo, sheolamar feachtas anótála daonna le forbróirí bogearraí gairmiúla chun gach sampla i dtacar tástála SWE-bench a scagadh le haghaidh tástálacha aonaid a raibh scóip chuí acu agus cur síos ar eisiúintí a bhí sonraithe go maith.

I gcomhar le húdair SWE-bench, táimid ag scaoileadh SWE-bench Verified: fo-thacar den bhuntacar tástála ó SWE-bench, atá comhdhéanta de 500 sampla a dhearbhaigh ár n-anótálaithe daonna a bheith saor ó fhadhbanna. Tagann an leagan seo in áit na mbuntacar tástála SWE-bench agus SWE-bench Lite. Ina theannta sin, táimid ag scaoileadh ár n-anótálacha daonna do gach sampla tástála SWE-bench. Cumasaíonn na hanótálacha seo an tacar sonraí a ghearradh de réir deacrachta. Tá 196 tasc deisiúcháin <15 nóiméad san fho-thacar ‘éasca’, agus tá 45 tasc >1 uair an chloig san fho-thacar ‘deacair’.

D’oibríomar freisin i gcomhar le húdair SWE-bench chun úim mheastóireachta nua do SWE-bench a fhorbairt⁠(osclaíonn i bhfuinneog nua) a úsáideann timpeallachtaí Docker coimeádánaithe chun measúnú ar SWE-bench a dhéanamh níos éasca agus níos iontaofa.

Ar SWE-bench Verified, réitíonn GPT‑4o 33.2% de na samplaí3, agus Agentless, an scafall foinse oscailte is fearr feidhmíochta, ag dúbailt a scór roimhe seo de 16% ar SWE-bench.

Ár gCur Chuige

D’oibríomar le 93 forbróir bogearraí a raibh taithí acu ar Python chun samplaí SWE-bench a scagadh de láimh le haghaidh cáilíochta. Rinneamar anótáil ar 1,699 sampla randamach ó thacar tástála SWE-bench chun SWE-bench Verified a tháirgeadh. Tá an anailís seo a leanas bunaithe ar na 1,699 sampla sin.

Déanann muid anótáil ar shamplaí chun an méid seo a ghabháil:

  • An measaimid go bhfuil an cur síos ar an gceist róthearcshonraithe agus, dá bhrí sin, éagórach le tástáil a dhéanamh air.
  • An ndéanann na tástálacha aonaid FAIL_TO_PASS réitigh bhailí a scagadh amach.

Tá lipéad ag gach critéar anótála sa raon [0, 1, 2, 3] de réir méadú déine. Tá lipéid 0 agus 1 mion; tá lipéid 2 agus 3 tromchúiseach agus léiríonn siad go bhfuil an sampla neamhleor ar bhealach éigin agus gur cheart é a chaitheamh i leataobh. Roghnaímid anótáil a dhéanamh trasna ceithre chatagóir ordúla seachas lipéad dénártha amháin tromchúiseach/neamhthromchúiseach chun mionsonraí níos gráinní a ghabháil.

Ina theannta sin, déanaimid deacracht gach sampla a rátáil trí iarraidh ar anótálaithe meastachán a dhéanamh ar an fhad a thógfadh sé ar fhorbróir cinneadh a dhéanamh faoin réiteach agus é a chur i bhfeidhm, ar an mbonn nach bhfuil fadhbanna leis an sampla. Ar deireadh, soláthraímid rogha ionchuir shaorfhoirme chun aon saincheisteanna móra eile leis an sampla a mharcáil (mar shampla, má tá sé éasca na tástálacha aonaid FAIL_TO_PASS a cheilt, d’fhéadfadh sé seo a bheith mar thoradh ar réiteach neamhbhailí a bheith marcáilte mar cheart).

Rinne ár bhfoireann innealtóirí 50 sampla a lipéadú de láimh ar dtús le leibhéal ard muiníne lena n-úsáid i dtástálacha bordála anótálaithe. Chun páirt a ghlacadh san fheachtas anótála, b’éigean do gach anótálaí ionchasach pas a fháil inár dtástálacha bordála. Chuireamar aiseolas mionsonraithe ar fáil do gach anótálaí le linn na bordála chun iad a oiliúint níos fearr don tasc.  Ní gá gur saineolaithe roimh ré ar na bunchóid a bhí bainteach le SWE-bench a bhí sna hanótálaithe, ach tugadh am dóibh dul i dtaithí ar gach bunchód ar oibrigh siad leis.

Chun tacar sonraí ardchaighdeáin a chinntiú, cuirtear lipéad ar gach sampla 3 huaire ag anótálaithe ar leithligh. Is furasta saincheisteanna féideartha a chailleadh trí thimpiste, agus is féidir leis na saincheisteanna féin a bheith débhríoch, mar sin déanaimid anótálacha a chomhcheangal go coimeádach trí an lipéad is déine i measc an 3 anótálaí a ghlacadh.

Tá téacs iomlán ár rúibric anótála le fáil anseo⁠(osclaíonn i bhfuinneog nua).

Critéir Anótála

Tógáil tacair sonraí

Chun SWE-bench Verified a thógáil, scagaimid amach aon sampla ón mbuntacar tástála ina bhfuil lipéad comhcheangailte 2 nó níos airde i ndéine ar an ráiteas faidhbe nó ar na tástálacha aonaid FAIL_TO_PASS. Scagaimid amach freisin gach sampla a bhfuil saincheisteanna móra eile marcáilte orthu. I bhfianaise ár modha comhcheangailte, is ionann é seo agus samplaí a scagadh amach ina bhfuil saincheist leis an sampla marcáilte ag aon anótálaí aonair as triúr. Fágann an cur chuige seo ráta níos airde dearfach-bréagach i mbaint samplaí, ach cuidíonn sé lenár muinín i gcáilíocht na samplaí don tacar sonraí deiridh a mhéadú. 

Áirímid a oiread samplaí agus is féidir le deacracht 1-4 huaire an chloig agus >4 huaire an chloig, agus ansin déanaimid sampláil randamach ar an gcuid eile chun teacht ar na 500 sampla atá in SWE-bench Verified.

Torthaí Anótála

Tá torthaí ár n-anótálacha thíos:

Is the problem statement underspecified?
% of SamplesSeverity

Feicimid gur marcáladh 38.3% de na samplaí mar shamplaí le ráitis fhadhbanna róthearcshonraithe, agus gur marcáladh 61.1% mar shamplaí le tástálacha aonaid a d’fhéadfadh réitigh bhailí a mharcáil go héagórach mar mhícheart. Ar an iomlán, ba é toradh ár bpróisis anótála ná gur scagadh amach 68.3% de shamplaí SWE-bench mar gheall ar róthearcshonrú, tástálacha aonaid éagóracha, nó saincheisteanna eile. Mar a pléadh roimhe seo, is dócha go bhfuil an próiseas scagtha seo ró-dhian ach ligeann sé dúinn muinín ard a bheith againn i bhféidearthacht na samplaí neamhscagtha.

Cuirimid cúpla sampla de shamplaí agus a n-anótálacha i láthair thíos, roghnaithe go cúramach chun an éagsúlacht i gcáilíocht na samplaí a léiriú:

Roghnaigh sampla:
Commentary

This is an example of a good sample which has been verified by annotators for the SWE-bench Verified dataset. The problem statement gives a short but clear demonstration of a bug, and the FAIL_TO_PASStests directly assert that the example given in the problem statement has been resolved.

Problem statement
Unset

kernS: 'kern' referenced before assignment
from sympy.core.sympify import kernS

text = "(2*x)/(x-1)"
expr = kernS(text)
// hit = kern in s
// UnboundLocalError: local variable 'kern' referenced beforeassignment

Are the tasks well-specified? (Raw annotation)

Severity: 0 - The issue is well-specified and it is clear what is required for a successful solution.

It is clear that kernS is throwing exception for (2*x)/(x-1)
It provides example input for which the error is occurring which can make it easy to reproduce the issue.

FAIL_TO_PASS test (Only showing lines added during the original PR for brevity)
Python
def test_kernS():
...
assert kernS("(2*x)/(x-1)") == 2*x/(x-1)
How valid are the evaluation criteria? (Raw annotation)

Severity: 0 - The tests perfectly cover all possible solutions.

The test case is exactly for kernS("(2*x)/(x-1)") for which the issue was occurring in issue description.
It will cover all possible solutions.

Déanann an chairt thíos comparáid idir dáiltí deacrachta bhuntacair sonraí SWE-bench agus ár dtacar sonraí nua SWE-bench Verified. Déanaimid meastachán ar dháileadh deacrachta SWE-bench bunaithe ar ár bhfo-thacar randamach de 1699 sampla. Tabhair faoi deara, cé go soláthraíonn na torthaí seo meastacháin ar an iarracht atá riachtanach chun réiteach a chur i bhfeidhm (féach ar ár dtreoracha anótála don fhoclaíocht bheacht), glacann siad leis go bhfuil innealtóir bogearraí ann atá in ann an réiteach a oibriú amach. Go praiticiúil, táimid ag súil go mbeidh ráta réitigh bonnlíne innealtóra bogearraí dhaonna tipiciúil níos ísle ná 100%.  

Tugaimid faoi deara gur measadh go dtógfadh sé níos lú ná uair an chloig ar innealtóir bogearraí a bhfuil taithí aige/aici formhór (77.8%) de na samplaí sa bhuntacar sonraí SWE-bench a chur i gcrích. Claonann SWE-bench Lite agus ár dtacar sonraí nua SWE-bench Verified araon an dáileadh seo níos faide fós, rud a fhágann go meastar go dtógfaidh níos lú ná 10% de na saincheisteanna níos faide ná uair an chloig. Mar sin féin, tá an mheicníocht atá mar bhonn leis an aistriú seo tábhachtach agus éagsúil: rinne SWE-bench Lite fo-shampláil ar an mbuntacar sonraí chun an binse tomhais a dhéanamh níos éasca, ach déanann SWE-bench Verified iarracht samplaí dodhéanta a bhaint den tacar sonraí. Déanaimid iniúchadh breise ar an éifeacht seo sa chéad chuid eile.

Distribution of Difficulty Labels
Difficulty Categories% of Samples

Feidhmíocht ar SWE-bench Verified

Leis an tacar sonraí nua SWE-bench Verified againn, rinneamar feidhmíocht GPT‑4o a thástáil ag úsáid roinnt scafall foinse oscailte a d’éirigh go maith leo ar na bunchláir cheannais SWE-bench4.

Fuair muid amach go sroicheann feidhmíocht GPT‑4o ar an scafall is fearr feidhmíochta 33.2% ar SWE-bench Verified, níos mó ná dúbailt ar a scór 16% ar an SWE-bench bunaidh. Go ginearálta, dearbhaíonn sé seo ár n-amhras tosaigh go ndéanann an tacar sonraí bunaidh SWE-bench gannmheastachán ar chumais gníomhaire. Tabhair faoi deara nach bhfuil an léim ó SWE-bench Lite go SWE-bench Verified chomh suntasach, toisc go raibh SWE-bench Lite scagtha cheana féin ar bhealach a fhágann go bhfuil sé níos éasca⁠(osclaíonn i bhfuinneog nua) ná an tacar sonraí iomlán, cé nach ngabhfadh an próiseas sin go hiomlán na saincheisteanna céanna lenár nós imeachta scagtha.

Performance of open-source scaffolds on SWE-bench subsets
Scaffolds% Resolved

Feidhmíocht srathaithe de réir deacrachta

Is féidir cuid den mhéadú feidhmíochta agus meastóireacht á déanamh ar SWE-bench Verified a mhíniú trí aistriú an dáilte i dtreo samplaí níos éasca (mar a léirítear in anailísí níos luaithe). Mar sin féin, ní hé ár gcuspóir scóir an bhinse tomhais a ardú go saorga, ach a chinntiú go léiríonn an binse tomhais cumas na samhla go dílis ag aon leibhéal deacrachta ar leith.

Déanaimid iniúchadh air seo trí fheidhmíocht a phlota de réir deacrachta. Dá mba rud é gur aistrigh ár dtacar sonraí nua an dáileadh deacrachta amháin chun níos mó samplaí éasca a bheith ann, ní athródh an fheidhmíocht srathaithe laistigh de gach catagóir, mar is cosúil a tharlaíonn agus tú ag bogadh ón SWE-bench bunaidh go SWE-bench Lite. Ina áit sin, tugaimid faoi deara go méadaíonn an fheidhmíocht laistigh de chatagóirí deacrachta aonair agus muid ag bogadh go SWE-bench Verified, rud atá ag teacht leis an éifeacht bheartaithe, is é sin samplaí dodhéanta a bhaint as gach catagóir seachas samplaí deacra a bhaint. Tá an éifeacht is soiléire sa dá bhuicéad deacrachta is éasca, áit a bhfuil an líon is mó samplaí againn.

Averaged performance of all scaffolds stratified by difficulty
Difficulty Buckets% Resolved

Plé &amp; Teorainneacha

Úsáidimid SWE-bench mar cheann de roinnt meastóireachtaí a rianaíonn leibhéal riosca Meánach na catagóire riosca Uathriail Samhla inár gCreata Ullmhachta. Braitheann rianú leibhéil riosca thubaistigh trí mheastóireachtaí ar a chinntiú gur féidir linn muinín a bheith againn as torthaí na meastóireachta agus go bhfuil tuiscint cheart againn ar a bhfuil i gceist leis na scóir.

Tugann ár dtaithí le fios gur cheart dúinn:

Infheistiú i dtuiscint dhomhain ar ár mbinsí tomhais. Cé gur dearadh SWE-bench go machnamhach, déanann sé gannmheastachán ar chumais samhlacha mar gheall ar na saincheisteanna a luaitear sa bhlagphost seo. De réir mar a thagann ár gcórais níos gaire do IGS, ní mór dúinn iad a mheas ar thascanna atá níos dúshlánaí i gcónaí. Ardaíonn sé seo freisin an leibhéal saineolais agus cúraim atá de dhíth chun binsí tomhais a choimeád agus a fhíorú chun a chinntiú go bhfuil siad dúshlánach agus láidir a ndóthain (cás ina bhféadfadh obair cosúil le CriticGPT⁠, a dhéanann iniúchadh ar bhealaí inar féidir le AI cuidiú le píblínte anótála, a bheith cabhrach).

Dul chun cinn san éiceachóras a chur san áireamh. Léiríonn dul chun cinn faoi stiúir an phobail i scafallú gníomhaire an gá atá ann feabhsuithe seachtracha féideartha ar shamhail a chur san áireamh agus riosca á mheas. Agus muid ag féachaint ar an difríocht idir na scafail is measa agus is fearr feidhmíochta do shamhail ar leith ar chláracha ceannais SWE-bench⁠(osclaíonn i bhfuinneog nua), is féidir linn a fheiceáil, mar shampla, go n-athraíonn feidhmíocht GPT‑4 ar SWE-bench Lite idir 2.7% le scafall luath bunaithe ar RAG agus 28.3% le CodeR. Dá bhrí sin, éilíonn an Creata Ullmhachta go reáchtálfaí meastóireachtaí go leanúnach agus chomh minic agus is gá chun aon athrú cumais nach beag a aithint; áirítear leis sin roimh, le linn, agus fiú tar éis oiliúna, nuair is féidir samhlacha a fheabhsú trí chomhtháthú le córais sheachtracha. Ina theannta sin, is iarracht ar fud an éiceachórais í coimeád meastóireachtaí, agus tá súil againn leanúint d’obair i gcomhar le taighdeoirí chun meastóireachtaí iontaofa, ardchaighdeáin a thógáil.

A bheith aireach ar theorainneacha. Tá teorainneacha bunúsacha ag meastóireachtaí atá bunaithe ar thacair shonraí statacha, agus ní haon eisceacht é SWE-bench. Toisc go bhfuil an binse tomhais comhdhéanta de scríobthaí ó stórtha poiblí GitHub, is dócha go mbeidh truailliú sna tascanna ag samhlacha móra bunaithe a réamh-oilítear ar théacs idirlín. Ina theannta sin, ní chlúdaíonn SWE-bench ach dáileadh cúng de leibhéal riosca Meánach d’uathriail samhla agus mar sin ní mór meastóireachtaí eile a chur leis. 

Creidimid i gcur chuige eimpíreach agus eolaíoch maidir le riosca tubaisteach a rianú agus cosaint ina aghaidh. Is príomhghné den obair seo é meastóireachtaí a thógáil agus a fheabhsú go leanúnach. Tá go leor fós le déanamh, agus táimid ag tnúth le níos mó oibre ón bpobal a fheiceáil chun binsí tomhais luachmhara cosúil le SWE-bench a chur ar fáil. 

Íoslódálacha sonraí

Tá SWE-bench Verified ar fáil le híoslódáil anseo⁠(osclaíonn i bhfuinneog nua); tá sraith iomlán ár n-anótálacha anseo⁠(osclaíonn i bhfuinneog nua), agus tá ár rúibric anótála anseo⁠(osclaíonn i bhfuinneog nua).

Údair

Neil Chowdhury, James Aung, Chan Jun Shern, Oliver Jaffe, Dane Sherburn, Giulio Starace, Evan Mays, Rachel Dias, Marwan Aljubeh, Mia Glaese, Carlos E. Jimenez, John Yang, Leyton Ho, Tejal Patwardhan, Kevin Liu, Aleksander Madry

Chuir NC, JA, CJS, OJ, DS, GS go cothrom leis.

Buíochas

Táimid buíoch de Carlos Jimenez, John Yang, Alexander Wettig, Shunyu Yao, Kexin Pei, Ofir Press, agus Karthik Narasimhan as an mbinse tomhais bunaidh SWE-bench a fhorbairt; den fhoireann Ullmhachta as tacú leis an obair seo; de Tao Lin, a thug aird ar go leor de na saincheisteanna seo i dtús báire; de Ian Kivlichan agus Sarah Schwettmann as aiseolas ar leagan níos luaithe den lámhscríbhinn seo; agus den iliomad anótálaithe daonna a chuidigh le SWE-bench Verified a chruthú.

  1. 1

    Jimenez, C. E., Yang, J., Wettig, A., Yao, S., Pei, K., Press, O., & Narasimhan, K. (2024). SWE-bench: Can Language Models Resolve Real-World GitHub Issues? arXiv preprint arXiv:2310.06770.

  2. 2

    Obair chomhthráthach le Xia, C. S., Deng, Y., Dunn, S., & Zhang, L. (2024). Agentless: Demystifying LLM-based Software Engineering Agents. arXiv preprint arXiv:2407.01489

  3. 3

    gpt-4o-2024-05-13

  4. 4

    Ritheamar síol amháin ag úsáid hipearpharaiméadair ba ghaire do na cinn doiciméadaithe nó réamhshocraithe do gach scafall, mar sin d’fhéadfadh na torthaí a bheith éagsúil ón méid a thuairiscítear sna cláir cheannais oifigiúla.