Nintroduċu SWE-bench Verified

Aġġornat fl-24 ta’ Frar 2025

Bħala parti mill-Qafas tat-Tħejjija⁠ tagħna, OpenAI tiżviluppa firxa ta’ metriċi biex issegwi, tevalwa, u tbassar il-kapaċitajiet tal-mudelli li jaġixxu b’mod awtonomu. Il-kapaċità li jitlestew b’mod awtonomu kompiti ta’ inġinerija tas-software hija komponent ewlieni tal-livell ta’ riskju Medju tagħna fil-kategorija ta’ riskju ta’ Awtonomija tal-Mudell. L-evalwazzjoni ta’ dawn il-kapaċitajiet hija ta’ sfida minħabba l-kumplessità tal-kompiti tal-inġinerija tas-software, id-diffikultà li jiġi vvalutat b’mod preċiż kodiċi ġġenerat, u l-isfida li jiġu simulati xenarji ta’ żvilupp fid-dinja reali. Għalhekk, l-approċċ tagħna għat-Tħejjija għandu jinvolvi wkoll eżami bir-reqqa tal-evalwazzjonijiet infushom, biex innaqqsu l-potenzjal li nissottostimaw jew nissovrastimaw il-prestazzjoni f’kategoriji ta’ riskju importanti.

Waħda mis-suites ta’ evalwazzjoni l-aktar popolari għall-inġinerija tas-software hija SWE-bench⁠(jinfetaħ f’tieqa ġdida)¹—benchmark biex jiġu evalwati l-kapaċitajiet tal-mudelli lingwistiċi kbar (LLMs) li jsolvu kwistjonijiet ta’ software fid-dinja reali meħuda minn GitHub. Il-benchmark jinvolvi li jingħata lill-aġenti repożitorju tal-kodiċi u deskrizzjoni tal-kwistjoni, u jisfidahom biex jiġġeneraw patch li jsolvi l-problema deskritta mill-kwistjoni. L-aġenti tal-coding għamlu progress impressjonanti fuq SWE-bench, bl-aġenti bl-ogħla punteġġ jiksbu 20% fuq SWE-bench u 43% fuq SWE-bench Lite skont il-leaderboard ta’ SWE-bench⁠(jinfetaħ f’tieqa ġdida) mill-5 ta’ Awwissu 2024.

L-ittestjar tagħna identifika xi kompiti ta’ SWE-bench li jistgħu jkunu diffiċli jew impossibbli biex jissolvew, u dan iwassal biex SWE-bench jissottostima b’mod sistematiku l-kapaċitajiet awtonomi tal-mudelli fl-inġinerija tas-software. Ikkollaborajna mal-awturi ta’ SWE-bench biex nindirizzaw dawk il-kwistjonijiet f’rilaxx ġdid tal-benchmark li għandu jipprovdi evalwazzjonijiet aktar preċiżi.

Kull kampjun fis-sett tat-test ta’ SWE-bench jinħoloq minn kwistjoni riżolta ta’ GitHub f’wieħed minn 12-il repożitorju Python open-source fuq GitHub. Kull kampjun għandu assoċjata miegħu talba ta' pull (PR), li tinkludi kemm il-kodiċi tas-soluzzjoni kif ukoll testijiet unit biex jivverifikaw il-korrettezza tal-kodiċi. Dawn it-testijiet unit ifallu qabel ma jiżdied il-kodiċi tas-soluzzjoni fil-PR, iżda jgħaddu wara, u għalhekk jissejħu testijiet FAIL_TO_PASS. Kull kampjun għandu wkoll testijiet PASS_TO_PASS assoċjati, li jgħaddu kemm qabel kif ukoll wara li l-PR jingħaqad, u jintużaw biex jiċċekkjaw li funzjonalità eżistenti mhux relatata fil-codebase ma nkisritx mill-PR. 

Għal kull kampjun f’SWE-bench, l-aġenti jingħataw it-test oriġinali mill-kwistjoni ta’ GitHub, magħruf bħala l-problem statement, u jingħataw aċċess għall-codebase. Mogħtija dawn, l-aġenti jridu jeditjaw il-fajls fil-codebase biex isolvu l-kwistjoni. It-testijiet ma jintwerewx lill-aġent.

Edit proposta tiġi evalwata billi jitħaddmu kemm it-testijiet FAIL_TO_PASS kif ukoll PASS_TO_PASS. Jekk it-testijiet FAIL_TO_PASS jgħaddu, dan ifisser li l-edit isolvi l-kwistjoni. Jekk it-testijiet PASS_TO_PASS jgħaddu, allura l-edit ma kisirx bla ma ried sezzjonijiet mhux relatati tal-codebase. Iż-żewġ settijiet ta’ testijiet iridu jgħaddu biex l-edit isolvi kompletament il-kwistjoni oriġinali ta’ GitHub.

Minħabba r-rilevanza potenzjali ta’ SWE-bench għall-Qafas tat-Tħejjija, kellna l-għan li nsibu modi kif nistgħu ntejbu r-robustezza u l-affidabbiltà tal-benchmark. Identifikajna tliet oqsma ewlenin għal titjib²: 

1. It-testijiet unit użati biex jevalwaw il-korrettezza ta’ soluzzjoni ħafna drabi jkunu speċifiċi żżejjed, u f’xi każijiet saħansitra ma jkunux relatati mal-kwistjoni. Dan jista’ jwassal biex soluzzjonijiet korretti jiġu miċħuda. 
2. Ħafna kampjuni għandhom deskrizzjoni tal-kwistjoni nieqsa minn speċifikazzjoni, li twassal għal ambigwità dwar x’inhi l-problema u kif għandha tissolva.
3. Kultant ikun diffiċli li jiġu stabbiliti b’mod affidabbli l-ambjenti ta’ żvilupp ta’ SWE-bench għall-aġenti, u bla ma trid dan iwassal biex it-testijiet unit ifallu irrispettivament mis-soluzzjoni. F’dawn il-każijiet, soluzzjonijiet perfettament validi jistgħu jiġu evalwati bħala żbaljati.

Hawn eżempju li juri l-ewwel waħda minn dawn il-kwistjonijiet.

Il-kampjun ta’ SWE-bench scikit-learn__scikit-learn-14520 jagħti lill-aġent il-kompitu li jsolvi kwistjoni fir-repożitorju scikit-learn⁠(jinfetaħ f’tieqa ġdida). Dan il-problem statement jirrapporta li l-argument copy ta’ funzjoni seta’ jiġi speċifikat minn utent, iżda jiġi injorat mil-librerija (l-imġiba minflok tkun hardcoded ġewwa l-funzjoni):

Aġent li jersaq lejn il-kwistjoni ta’ hawn fuq l-ewwel ikollu jittratta l-ambigwità dwar jekk l-imġiba tal-funzjoni hijiex intenzjonata jew bug, imbagħad jagħmel bidliet fil-codebase biex isolvi l-kwistjoni. Skont is-setup ta’ SWE-bench, kwalunkwe soluzzjoni li jipproponi l-aġent imbagħad trid tgħaddi mit-test li ġej, estratt minn il-PR li oriġinarjament solviet il-kwistjoni⁠(jinfetaħ f’tieqa ġdida):

Dan it-test jiċċekkja b’mod espliċitu li s-soluzzjoni trid tqajjem DeprecationWarning kull meta jintuża l-parametru copy, għalkemm id-dikjarazzjoni oriġinali tal-problema fit-test tal-kwistjoni hawn fuq ma twassalx dan ir-rekwiżit. Barra minn hekk, anke jekk l-aġent jinduna li għandu jitqajjem DeprecationWarning, it-test jeħtieġ ukoll li l-aġent jaqbel eżatt mal-messaġġ ta’ deprekazzjoni, li ġie deċiż biss wara xi diskussjoni fil-PR li l-aġent m’għandux aċċess għaliha.

Innota li l-aġent jingħata biss id-deskrizzjoni tal-problema mit-test ewlieni tal-kwistjoni, u m’għandux viżibilità fuq it-testijiet li jeħtieġ jgħaddi minnhom. F’dan l-arranġament, ikun kważi impossibbli għal aġent li jsolvi dan il-kampjun f’SWE-bench.

Biex nindirizzaw dawn il-kwistjonijiet, neddejna kampanja ta’ annotazzjoni umana ma’ żviluppaturi professjonali tas-software biex nagħmlu skrining ta’ kull kampjun tas-sett tat-test ta’ SWE-bench għal testijiet unit b’ambitu xieraq u deskrizzjonijiet tal-kwistjoni speċifikati tajjeb.

Flimkien mal-awturi ta’ SWE-bench, qed noħorġu SWE-bench Verified: sottogrupp tas-sett tat-test oriġinali minn SWE-bench, li jikkonsisti f’500 kampjun ivverifikati bħala mhux problematiċi mill-annotaturi umani tagħna. Din il-verżjoni tieħu post is-setts tat-test oriġinali ta’ SWE-bench u SWE-bench Lite. Barra minn hekk, qed noħorġu l-annotazzjonijiet umani tagħna għall-kampjuni kollha tat-test ta’ SWE-bench. Dawn l-annotazzjonijiet jippermettu li d-dataset tinqasam skont id-diffikultà. Is-sottogrupp ‘easy’ huwa magħmul minn 196 kompitu ta’ tiswija ta’ inqas minn 15-il minuta, filwaqt li s-sottogrupp ‘hard’ huwa magħmul minn 45 kompitu ta’ aktar minn siegħa.

Ikkollaborajna wkoll mal-awturi ta’ SWE-bench biex niżviluppaw evaluation harness ġdid għal SWE-bench⁠(jinfetaħ f’tieqa ġdida) li juża ambjenti Docker containerized biex jagħmel l-evalwazzjoni fuq SWE-bench aktar faċli u affidabbli.

Fuq SWE-bench Verified, GPT‑4o jsolvi 33.2% tal-kampjuni³, bl-aħjar scaffold open-source, Agentless, jirdoppja l-punteġġ preċedenti tiegħu ta’ 16% fuq SWE-bench.

Ħdimna ma’ 93 żviluppatur tas-software b’esperjenza fil-Python biex nagħmlu skrining manwali tal-kampjuni ta’ SWE-bench għall-kwalità. Aħna annotajna 1,699 kampjun każwali mis-sett tat-test ta’ SWE-bench biex nipproduċu SWE-bench Verified. L-analiżi li ġejja hija bbażata fuq l-1,699 kampjun.

Aħna nannotaw il-kampjuni biex naqbdu:

• Jekk inqisu d-deskrizzjoni tal-kwistjoni bħala nieqsa minn speċifikazzjoni u għalhekk inġusta biex tiġi ttestjata fuqha.
• Jekk it-testijiet unit FAIL_TO_PASS jeskludux soluzzjonijiet validi.

Kull kriterju ta’ annotazzjoni għandu tikketta li tvarja [0, 1, 2, 3] f’severità dejjem tikber. It-tikketti 0 u 1 huma minuri; it-tikketti 2 u 3 huma severi u jindikaw li l-kampjun huwa inadegwat b’xi mod u għandu jintrema. Nagħżlu li nannotaw fuq erba’ kategoriji ordinali minflok tikketta binarja waħda ta’ sever/severx biex naqbdu dettall aktar granulari.

Barra minn hekk, aħna nivvalutaw id-diffikultà ta’ kull kampjun billi nġiegħlu lill-annotaturi jistmaw kemm idum żviluppatur biex jiddeċiedi fuq is-soluzzjoni u jimplimentaha, billi nassumu li l-kampjun mhuwiex problematiku. Fl-aħħar nett, nipprovdu għażla ta’ input freeform biex jiġu mmarkati kwalunkwe kwistjonijiet ewlenin oħra mal-kampjun (pereżempju, jekk it-testijiet unit FAIL_TO_PASS huma faċli biex jiġu manipulati, dan jista’ jwassal biex soluzzjoni invalida tiġi mmarkata bħala korretta).

It-tim tagħna ta’ inġiniera l-ewwel tikketta bl-idejn 50 kampjun b’livell għoli ta’ kunfidenza biex jintużaw fit-testijiet ta’ onboarding tal-annotaturi. Biex jieħu sehem fil-kampanja ta’ annotazzjoni, kull annotatur prospettiv kellu jgħaddi mit-testijiet ta’ onboarding tagħna. Tajna feedback dettaljat lil kull annotatur matul l-onboarding biex inħarrġuh aħjar għall-kompitu.  L-annotaturi ma kinux neċessarjament esperti minn qabel fil-codebases rilevanti għal SWE-bench, iżda ngħataw ħin biex jiffamiljarizzaw ruħhom ma’ kull codebase li ħadmu fuqha.

Biex niżguraw dataset ta’ kwalità għolja, kull kampjun jiġi ttikkettat 3 darbiet minn annotaturi separati. Huwa faċli li bla ma trid titlef kwistjonijiet potenzjali, u l-kwistjonijiet infushom jistgħu jkunu ambigwi, għalhekk aħna ngħaqqdu l-annotazzjonijiet b’mod konservattiv billi nieħdu t-tikketta bl-ogħla severità fost it-3 annotaturi.

It-test sħiħ tar-rubrika tal-annotazzjoni tagħna jista’ jinstab hawn⁠(jinfetaħ f’tieqa ġdida).

Biex nibnu SWE-bench Verified, aħna niffiltraw kull kampjun mis-sett tat-test oriġinali fejn jew il-problem statement jew it-testijiet unit FAIL_TO_PASS għandhom tikketta ensemble ta’ 2 jew aktar fis-severità. Niffiltraw ukoll il-kampjuni kollha li jkollhom kwistjonijiet ewlenin oħra mmarkati. Minħabba l-metodu tagħna ta’ ensembling, dan huwa ekwivalenti għal filtrazzjoni ta’ kampjuni fejn kwalunkwe annotatur wieħed minn tlieta jkun immarka kwistjoni mal-kampjun. Dan l-approċċ iwassal għal rata ogħla ta’ pożittivi foloz fit-tneħħija tal-kampjuni, iżda jgħin iżid il-kunfidenza tagħna fil-kwalità tal-kampjuni għad-dataset finali. 

Aħna ninkludu kemm jista’ jkun kampjuni b’diffikultà ta’ 1-4 sigħat u >4 sigħat, u mbagħad nagħmlu kampjunar każwali tal-bqija biex naslu għall-500 kampjun li jikkostitwixxu SWE-bench Verified.

Ir-riżultati tal-annotazzjonijiet tagħna jinsabu hawn taħt:

Naraw li 38.3% tal-kampjuni ġew immarkati għal dikjarazzjonijiet tal-problema nieqsa minn speċifikazzjoni, u 61.1% ġew immarkati għal testijiet unit li jistgħu b’mod inġust jimmarkaw soluzzjonijiet validi bħala żbaljati. B’mod ġenerali, il-proċess ta’ annotazzjoni tagħna rriżulta f’68.3% tal-kampjuni ta’ SWE-bench jiġu ffiltrati minħabba nuqqas ta’ speċifikazzjoni, testijiet unit inġusti, jew kwistjonijiet oħra. Kif iddiskutejna qabel, dan il-proċess ta’ filtrazzjoni x’aktarx ikun strett iżżejjed iżda jippermettilna jkollna kunfidenza għolja fil-fattibbiltà tal-kampjuni mhux iffiltrati.

Hawn taħt nippreżentaw ftit eżempji ta’ kampjuni u l-annotazzjonijiet tagħhom, magħżula apposta biex juru d-diversità fil-kwalità tal-kampjuni:

Bis-sett tad-data l-ġdid tagħna SWE-bench Verified, ittestjajna l-prestazzjoni ta’ GPT‑4o billi użajna diversi scaffolds open-source li marru tajjeb fuq il-leaderboards oriġinali ta’ SWE-bench⁴.

Sibna li l-prestazzjoni ta’ GPT‑4o fuq l-aħjar scaffold tilħaq 33.2% fuq SWE-bench Verified, aktar milli tirdoppja l-punteġġ tiegħu ta’ 16% fuq is-SWE-bench oriġinali. B’mod ġenerali, dan jivvalida s-suspett inizjali tagħna li d-dataset oriġinali ta’ SWE-bench jissottostima l-kapaċitajiet tal-aġenti. Innota li ż-żieda minn SWE-bench Lite għal SWE-bench Verified mhijiex daqshekk sinifikanti, għax SWE-bench Lite diġà kien iffiltrat b’mod li jagħmilha aktar faċli⁠(jinfetaħ f’tieqa ġdida) mid-dataset sħiħ, għalkemm dak il-proċess ma kienx jaqbad kompletament l-istess kwistjonijiet bħall-proċedura ta’ filtrazzjoni tagħna.

Iż-żieda fil-prestazzjoni meta nevalwaw fuq SWE-bench Verified tista’ tiġi spjegata parzjalment billi d-distribuzzjoni tiċċaqlaq lejn kampjuni aktar faċli (kif muri f’analiżijiet preċedenti). Madankollu, l-għan tagħna mhuwiex li ninflataw il-punteġġi tal-benchmark, iżda li niżguraw li l-benchmark jirrappreżenta fedelment il-kapaċità tal-mudell f’kull livell ta’ diffikultà partikolari.

Aħna ninvestigaw dan billi nippjanaw il-prestazzjoni mqassma skont id-diffikultà. Jekk id-dataset il-ġdid tagħna sempliċement ċaqlaq id-distribuzzjoni tad-diffikultà biex ikun fiha aktar kampjuni faċli, il-prestazzjoni mqassma fi ħdan kull kategorija ma tinbidilx, kif jidher li huwa l-każ fil-mixja mis-SWE-bench oriġinali għal SWE-bench Lite. Minflok, nosservaw li l-prestazzjoni tiżdied fi ħdan kategoriji individwali ta’ diffikultà meta nimxu għal SWE-bench Verified, li huwa konsistenti mal-effett maħsub li nneħħu kampjuni impossibbli mill-kategoriji kollha minflok inneħħu kampjuni diffiċli. L-effett huwa l-aktar ċar fiż-żewġ buckets ta’ diffikultà l-aktar faċli, fejn għandna l-aktar kampjuni.

Aħna nużaw SWE-bench bħala waħda minn diversi evalwazzjonijiet li jsegwu l-livell ta’ riskju Medju tal-kategorija ta’ riskju ta’ Awtonomija tal-Mudell fil-Qafas tat-Tħejjija tagħna. Is-segwitu tal-livelli ta’ riskju katastrofiku permezz ta’ evalwazzjonijiet jiddependi fuq li niżguraw li nistgħu nafdaw ir-riżultati tal-evalwazzjoni u li nkunu kalibrati dwar xi jfissru l-punteġġi.

L-esperjenzi tagħna jissuġġerixxu li għandna:

Ninvestu biex nifhmu fil-fond il-benchmarks tagħna. Għalkemm SWE-bench kien iddisinjat b’attenzjoni, jissottostima l-kapaċitajiet tal-mudell minħabba l-kwistjonijiet imsemmija f’dan il-blogpost. Hekk kif is-sistemi tagħna jersqu aktar lejn l-AGI, irridu nevalwawhom fuq kompiti dejjem aktar ta’ sfida. Dan jgħolli wkoll il-livell ta’ kompetenza u kura meħtieġ biex il-benchmarks jiġu kkurati u vverifikati biex niżguraw li huma ta’ sfida u robusti biżżejjed (każ fejn xogħol bħal CriticGPT⁠, li jesplora modi kif l-IA tista’ tgħin fil-pipelines tal-annotazzjoni, jista’ jkun utli).

Nagħtu kont tal-progress fl-ekosistema. Il-progress immexxi mill-komunità fil-bini tal-aġenti juri l-ħtieġa li jitqiesu titjib estern potenzjali għal mudell meta jiġi vvalutat ir-riskju. Meta nħarsu lejn id-differenza bejn l-agħar u l-aħjar scaffolds għal mudell partikolari fuq il-leaderboards ta’ SWE-bench⁠(jinfetaħ f’tieqa ġdida), nistgħu naraw li, pereżempju, il-prestazzjoni ta’ GPT‑4 fuq SWE-bench Lite tvarja bejn 2.7% bl-użu ta’ scaffold bikri bbażat fuq RAG u 28.3% bl-użu ta’ CodeR. Għalhekk il-Qafas tat-Tħejjija jitlob li l-evalwazzjonijiet isiru kontinwament u spiss kemm ikun meħtieġ biex jiġi identifikat kwalunkwe bidla fil-kapaċità mhux trivjali; li tinkludi qabel, waqt, u anke wara t-taħriġ, fejn il-mudelli jistgħu jittejbu permezz tal-integrazzjoni ma’ sistemi esterni. Barra minn hekk, il-kurazzjoni tal-evalwazzjonijiet hija sforz mifrux mal-ekosistema kollha, u nittamaw li nkomplu nikkollaboraw mar-riċerkaturi biex nibnu evalwazzjonijiet affidabbli u ta’ kwalità għolja.

Inkunu konxji tal-limitazzjonijiet. Evalwazzjonijiet ibbażati fuq datasets statiċi huma intrinsikament limitati, u SWE-bench mhuwiex eċċezzjoni. Minħabba li l-benchmark huwa magħmul minn estrazzjonijiet ta’ repożitorji pubbliċi ta’ GitHub, mudelli foundation kbar li ġew pre-taħriġa fuq test tal-internet x’aktarx ikollhom kontaminazzjoni fuq il-kompiti. Barra minn hekk, SWE-bench ikopri biss distribuzzjoni dejqa tal-livell ta’ riskju Medju għall-awtonomija tal-mudell u għalhekk irid jiġi ssupplimentat b’evalwazzjonijiet oħra. 

Aħna nemmnu f’approċċ empiriku u xjentifiku biex insegwu u nipproteġu kontra r-riskju katastrofiku. Il-bini u t-titjib kontinwu tal-evalwazzjonijiet huwa element ewlieni ta’ dan ix-xogħol. Għad hemm ħafna xi jsir, u ninsabu ħerqana naraw aktar xogħol mill-komunità biex tikkontribwixxi benchmarks ta’ valur bħal SWE-bench. 

SWE-bench Verified huwa disponibbli biex jitniżżel hawn⁠(jinfetaħ f’tieqa ġdida); is-sett sħiħ tal-annotazzjonijiet tagħna jinsab hawn⁠(jinfetaħ f’tieqa ġdida), u r-rubrika tal-annotazzjoni tagħna tinsab hawn⁠(jinfetaħ f’tieqa ġdida).