Nisseparaw sinjal minn storbju fl-evalwazzjonijiet tal-kowdjar

Li nkejlu b’mod preċiż il-kapaċitajiet tal-mudelli tagħna huwa importanti għal deċiżjonijiet sodi dwar it-tnedija u s-sikurezza, inklużi deċiżjonijiet taħt il-Qafas tat-Tħejjija⁠(jinfetaħ f’tieqa ġdida) ta’ OpenAI. Ma’ kull ħruġ ta’ mudell, nirrapportaw riżultati għal varjetà ta’ benchmarks esterni u interni biex insegwu l-progress tal-mudell. Meta l-evalwazzjonijiet ikollhom difetti li jaffettwaw ir-riżultati, jistgħu jagħtu fehim falz tal-kapaċitajiet, jirrappreżentaw ħażin il-każijiet tas-sikurezza u jaffettwaw il-prijoritajiet tar-riċerka.

Aħna investigajna dan l-aħħar kif wieħed mill-benchmarks tal-kowdjar l-aktar użati, SWE-bench Verified, kellu problemi fundamentali ta’ disinn u kontaminazzjoni, u sibna li l-evalwazzjoni ma baqgħetx tipprovdi sinjal sinifikanti dwar il-kapaċitajiet tal-iżvilupp tas-softwer. Dak iż-żmien, ħeġġiġna lill-komunità usa’ biex taqleb għal SWE-Bench Pro.

SWE-Bench Pro⁠(jinfetaħ f’tieqa ġdida) tfassal biex itejjeb fuq SWE-bench Verified billi jittestja l-mudelli fuq orizzonti itwal u kompiti ta’ kowdjar aktar realistiċi, biex isegwi aħjar il-kapaċitajiet ta’ ikkowdjar b'karatteristiċi aġenti. Bħal f’SWE-bench Verified, il-kompiti jinkisbu b’mod programmatiku mill-istorja tal-bidliet fil-karatteristiċi f’sett ta’ repożitorji pubbliċi u privati. Il-mudelli jridu jimplimentaw soluzzjoni li tgħaddi minn testijiet ġodda għal karatteristika, mingħajr ma jkissru funzjonalità eżistenti. Fuq il-qasma pubblika ta’ 731 kompitu, il-mudelli frontier tjiebu minn rata ta’ suċċess ta’ 23.3% għal 80.3% fi tmien xhur.

Minn dak iż-żmien għamilna awditu simili fuq SWE-Bench Pro, fejn irrevedejna s-sett tad-data permezz ta’ pipeline għall-analiżi tal-punti tad-data. Il-pipeline irreveda t-tentattivi tal-mudelli fuq il-kompitu, il-metadata tal-kompitu, u t-traċċi tal-fallimenti biex jimmarka difetti probabbli fl-evalwazzjoni. Kull kompitu mmarkat imbagħad ġie vvalutat permezz ta’ diversi passaġġi minn aġenti investigaturi u ġie rivedut b’mod indipendenti minn ħames inġiniera tas-softwer b’esperjenza, b’nuqqas ta’ qbil mgħoddi għal investigazzjoni ulterjuri.

Il-problemi waqgħu prinċipalment f’erba’ kategoriji:

• Testijiet stretti żżejjed¹ jimponu dettalji speċifiċi tal-implimentazzjoni li mhumiex speċifikati fil-prompt, u b’hekk jagħmlu invalidi ħafna sottomissjonijiet funzjonalment korretti.
• Prompts mhux speċifikati biżżejjed² iħallu barra rekwiżiti li t-testijiet moħbija jinfurzaw u li ma jistgħux jiġu dedotti b’mod raġonevoli.
• Testijiet b’kopertura baxxa ma jiċċekkjawx biżżejjed il-karatteristika mitluba, u għalhekk soluzzjonijiet mhux kompluti jistgħu jgħaddu.
• Prompt qarrieqi jidderieġi lill-mudelli lejn l-imġiba żbaljata jew jikkontradixxi dak li jeħtieġu t-testijiet.

Is-sejbiet tagħna juru kemm hu diffiċli li jinħolqu benchmarks diffiċli iżda ġusti, u l-utilità dejjem tikber tal-aġenti għal kontrolli skalabbli tal-kwalità tad-data. Fid-dawl ta’ dawn ir-riżultati, nistmaw li madwar 30% tal-kompiti ta’ SWE-bench Pro huma difettużi, u nagħtu parir lill-iżviluppaturi tal-mudelli biex jeżaminaw ir-riżultati bir-reqqa.

L-għan tagħna huwa li niżguraw li l-fallimenti tal-kompiti jirriflettu limitazzjonijiet ġenwini tal-mudell, u li s-suċċessi tal-kompiti jirriflettu soluzzjonijiet kompluti u validi għar-rekwiżiti tal-prompt. Biex niċċekkjaw il-kwalità tad-data użata fl-evalwazzjoni, ħloqna pipeline ta’ assigurazzjoni tal-kwalità biex nivvalutaw jekk kull punt tad-data jirriflettix b’mod preċiż il-kapaċitajiet tal-mudell.

Filtru awtomatizzat inizjali jirrevedi l-istruzzjonijiet mogħtija lill-mudell, it-tentattivi tal-mudell biex isolvi l-kompitu, u t-testijiet użati biex jiġu kklassifikati dawn it-tentattivi, sabiex jimmarka eżempji probabbilment difettużi jew problematiċi. Dan il-filtru mmarka 286 kompitu potenzjalment difettuż. Imbagħad għamilna reviżjoni aktar fil-fond ta’ dak is-sottosett b’żewġ modi: reviżjoni minn aġent taħt superviżjoni umana, li twettaq kontrolli estensivi b’aġenti investigaturi u ġudizzju uman finali; u kampanja ta’ annotazzjoni umana ma’ żviluppaturi tas-softwer b’esperjenza.

Kull problema mmarkata tiġi awditjata b’aġenti investigaturi bbażati fuq Codex li ngħataw aċċess għar-repożitorju u għall-ambjent tal-kompitu. Dan jgħinhom jiddistingwu ambigwità raġonevoli fil-kompitu, li spiss tista’ tissolva billi jiġi studjat kodiċi fil-qrib u l-konvenzjonijiet tar-repożitorju, minn nuqqas veru ta’ speċifikazzjoni. L-aġent jista’ jħaddem testijiet, jispezzjona fajls fir-repożitorju, u jinvestiga t-tentattivi tal-mudelli u l-modi komuni ta’ falliment tagħhom fuq il-kompitu. Wara diversi ripetizzjonijiet indipendenti ta’ dawn l-awditi aktar fil-fond, riċerkatur irreveda s-sommarji, ta ġudizzju finali, u ttikketta l-problemi probabbli.

B’mod parallel, mexxejna kampanja ta’ annotazzjoni umana fuq is-sottosett immarkat. Ħdimna ma’ inġiniera tas-softwer b’esperjenza li tħarrġu fuq l-għanijiet tal-benchmark, it-tassonomija tal-problemi, u l-każijiet tat-tarf qabel ma rrevedew il-kompiti. Kull kompitu ġie rivedut minn ħames inġiniera.

Ir-reviżuri ffurmaw ġudizzju indipendenti mill-istqarrija viżibbli tal-problema, il-każijiet tat-test, u s-soluzzjoni ta’ referenza ground-truth (magħrufa bħala l-gold patch) qabel ma użaw l-analiżi tal-pipeline jew it-traskrizzjoni bħala kuntest ta’ appoġġ. Imbagħad ir-reviżuri assenjaw tikketta u klassifikazzjoni tas-severità abbażi ta’ evidenza konkreta, u għaddew nuqqasijiet ta’ qbil jew każijiet ta’ fiduċja baxxa għal reviżjoni ulterjuri.

Ir-reviżuri umani kienu aktar probabbli mill-aġenti investigaturi li jimmarkaw kompiti bħala difettużi. Kien hemm ukoll xi nuqqas ta’ qbil dwar il-kategoriji bejn iż-żewġ mogħdijiet ta’ reviżjoni, iżda fl-ebda kompitu mmarkat it-tikketta umana l-aktar komuni ma kienet “mhux difettuż”. Mill-kategoriji li mmarka l-pipeline tal-aġent, il-ġudizzji tar-reviżuri kellhom sovrapożizzjoni f’74% tal-każijiet.

Meta mqabbla mal-pipeline tal-aġent, ir-reviżuri umani kienu wkoll aktar probabbli li jagħżlu diversi tikketti għal kompitu, u dan jindika li sabu kompiti difettużi b’diversi modi jew li ma kinux jidħlu b’mod nadif f’kategorija waħda. Dan jissuġġerixxi li l-pipeline ta’ aġent flimkien ma’ reviżur wassal għal tikkettar konservattiv: qabad l-istess modi wiesgħa ta’ falliment li identifikaw il-bnedmin, filwaqt li għadd inqas każijiet fejn ir-reviżuri raw problemi addizzjonali jew sovrapposti. L-akbar differenza kienet fit-testijiet b’kopertura baxxa, li l-bnedmin għażlu bħala l-aktar problema komuni għal 9.4% tal-benchmark, meta mqabbla ma’ 4.1% mill-pipeline tal-aġent.

Il-problemi li identifikajna, flimkien ma’ każijiet simili f’SWE-bench Verified, jenfasizzaw l-importanza li l-benchmarks jiġu ċċekkjati b’mod rigoruż. Il-kwistjonijiet u l-pull requests minn repożitorji open-source oriġinarjament inħolqu għall-kollaborazzjoni umana, ħafna drabi permezz ta’ skambji twal bejn il-mantenituri u l-kontributuri. B’riżultat ta’ dan, id-deskrizzjonijiet tal-problemi, il-kodiċi magħqud, u t-testijiet unità mhux dejjem jaqblu biex jiffurmaw kompiti nodfa u iżolati għall-evalwazzjoni affidabbli tal-mudelli. B’mod partikolari, it-testijiet inklużi fil-pull requests jistgħu jkunu stretti żżejjed għax jinkitbu biex jivvalidaw bidla speċifika, aktar milli biex jiddefinixxu standard indipendenti mill-implimentazzjoni għas-soluzzjoni tal-kompitu.

Fl-istess ħin, id-difetti fl-evalwazzjoni issa huma aktar faċli biex jinstabu milli kienu jkunu saħansitra ftit żmien ilu. Hekk kif il-kapaċitajiet tal-mudelli jitjiebu, nistgħu nużaw dawk il-mudelli biex nispezzjonaw prompts, testijiet, patches, traċċi, u każijiet tat-tarf b’ħafna aktar profondità u konsistenza, u ngħinu biex jitfaċċaw problemi fil-benchmarks li qabel kienu jiswew ħafna jew ma kinux prattiċi biex jinstabu fuq skala.

Nittamaw li l-komunità usa’ tal-evalwazzjoni tiżviluppa benchmarks ġodda mibnija minn żviluppaturi tas-softwer b’esperjenza speċifikament biex jiġu ttestjati l-kapaċitajiet tal-mudelli. Dak l-approċċ jista’ jżomm il-livell għoli u r-realiżmu li rridu nkejlu fil-kapaċitajiet tal-mudelli, u jippermetti sorveljanza umana aħjar tul il-proċess kollu. Minħabba l-problemi mikxufa f’din l-analiżi, qed nirtiraw ir-rakkomandazzjoni preċedenti tagħna li jiġi adottat SWE-Bench Pro.

Fl-aħħar mill-aħħar, evalwazzjoni għandha tipprovdi sinjal sinifikanti permezz ta’ benchmarks li huma diffiċli biex jiġu mmanipulati, faċli biex tafdahom, u li jirriflettu tassew il-kapaċità jew l-allinjament tal-mudell. Minħabba li dawn ir-riżultati jinfurmaw id-deċiżjonijiet ta’ OpenAI dwar it-tnedija u s-sikurezza, l-evalwazzjonijiet li nsegwu jridu jkunu validi u informattivi.