8 հուլիսի, 2026 թ.

Կոդավորման գնահատումներում ազդանշանն աղմուկից զատելը

Մանրամասն աուդիտի միջոցով SWE-Bench Pro-ում հայտնաբերում ենք առաջադրանքների լայն տարածված խնդիրներ և գնահատում, որ առաջադրանքների ~30%-ը խափանված է։

Բեռնվում է…

Մեր մոդելների կարողությունները ճշգրիտ չափելը կարևոր է հիմնավոր գործարկման և անվտանգության որոշումների համար, այդ թվում՝ OpenAI-ի Պատրաստվածության շրջանակի⁠(բացվում է նոր պատուհանում) ներքո ընդունվող որոշումների։ Յուրաքանչյուր մոդելի թողարկման ժամանակ մենք ներկայացնում ենք արտաքին և ներքին տարբեր բենչմարքների արդյունքներ՝ մոդելի առաջընթացին հետևելու համար։ Երբ գնահատումներն ունեն թերություններ, որոնք ազդում են արդյունքների վրա, դրանք կարող են կարողությունների մասին կեղծ պատկերացում ստեղծել՝ սխալ ներկայացնելով անվտանգության հիմնավորումները և ազդելով հետազոտական առաջնահերթությունների վրա։

Մենք վերջերս ուսումնասիրեցինք, թե ինչպես ամենաշատ օգտագործվող կոդավորման բենչմարքներից մեկը՝ SWE-bench Verified-ը, ուներ հիմնարար նախագծման և աղտոտման խնդիրներ, և պարզեցինք, որ այդ գնահատումն այլևս իմաստալից ազդանշան չէր տալիս ծրագրակազմի մշակման կարողությունների մասին։ Այդ ժամանակ մենք ավելի լայն համայնքին հորդորեցինք անցնել SWE-Bench Pro-ին։

SWE-Bench Pro⁠(բացվում է նոր պատուհանում)-ն նախագծվել էր SWE-bench Verified-ը բարելավելու համար՝ մոդելները փորձարկելով ավելի երկար հորիզոններով և ավելի իրատեսական կոդավորման առաջադրանքներով, որպեսզի ավելի լավ հետևի Ագենտային կոդավորման կարողություններին։ Ինչպես SWE-bench Verified-ում, առաջադրանքները ծրագրային եղանակով վերցվում են հանրային և մասնավոր պահոցների հավաքածուում գործառույթների փոփոխությունների պատմությունից։ Մոդելներից պահանջվում է իրականացնել լուծում, որն անցնում է գործառույթի համար ստեղծված նոր թեստերը՝ առանց խախտելու առկա գործառույթները։ 731 առաջադրանքից բաղկացած հանրային բաժնում առաջադեմ մոդելները ութ ամսում անցման ցուցանիշը բարձրացրին 23.3%-ից մինչև 80.3%։

Այդ ժամանակից ի վեր մենք նմանատիպ աուդիտ ենք անցկացրել SWE-Bench Pro-ի վրա՝ տվյալակազմը վերանայելով տվյալակետերի վերլուծության խողովակաշարի միջոցով։ Խողովակաշարը վերանայում էր առաջադրանքի վրա մոդելի փորձերը, առաջադրանքի մետատվյալները և ձախողման հետքերը՝ գնահատման հավանական թերությունները նշելու համար։ Այնուհետև յուրաքանչյուր նշված առաջադրանք գնահատվեց հետազոտող-ագենտների մի քանի անցումներով և անկախորեն վերանայվեց հինգ փորձառու ծրագրային ինժեների կողմից, իսկ անհամաձայնությունները փոխանցվեցին լրացուցիչ ուսումնասիրության։

Տվյալակազմի զգալի մասում հայտնաբերում ենք խափանող խնդիրների ապացույցներ։ Տվյալակետերի վերլուծության մեր խողովակաշարը նշել է 200 (27.4%) խափանված առաջադրանք, իսկ մարդկային նշագրման արշավը՝ 249 (34.1%)։

Խնդիրները հիմնականում բաժանվում էին չորս կատեգորիայի՝

Չափազանց խիստ թեստերը¹ պարտադրում են իրականացման կոնկրետ մանրամասներ, որոնք նշված չեն հարցման մեջ՝ անվավեր դարձնելով գործառականորեն ճիշտ շատ ներկայացումներ։
Թերի հստակեցված հարցումները² բաց են թողնում պահանջներ, որոնք պարտադրում են թաքնված թեստերը և որոնք ողջամտորեն ենթադրելի չեն։
Ցածր ծածկույթով թեստերը բավարար չեն ստուգում պահանջված գործառույթը, ուստի ոչ ամբողջական ուղղումները կարող են անցնել։
Մոլորեցնող հարցումը մոդելներին ուղղորդում է դեպի սխալ վարքագիծ կամ հակասում է թեստերի պահանջներին։

Մեր արդյունքները ցույց են տալիս դժվար, բայց արդար բենչմարքներ կազմելու բարդությունը և տվյալների որակի մասշտաբավորվող ստուգումների համար ագենտների աճող օգտակարությունը։ Այս արդյունքների լույսի ներքո մենք գնահատում ենք, որ SWE-bench Pro-ի առաջադրանքների մոտ ~30%-ը խափանված է, և խորհուրդ ենք տալիս, որ մոդել մշակողները ուշադիր ուսումնասիրեն արդյունքները։

Մեթոդաբանություն

Մեր նպատակն է ապահովել, որ առաջադրանքների ձախողումները արտացոլեն մոդելի իրական սահմանափակումները, իսկ հաջողությունները՝ հարցման պահանջների ամբողջական և վավեր լուծումներ։ Գնահատման մեջ օգտագործվող տվյալների որակը ստուգելու համար մենք ստեղծեցինք որակի ապահովման խողովակաշար՝ գնահատելու, թե արդյոք յուրաքանչյուր տվյալակետ ճշգրիտ արտացոլում է մոդելի կարողությունները։

Որակի ապահովման աշխատանքային հոսք, որը համադրում է ավտոմատ ստուգումն ու մարդկային վերանայումը՝ առաջադրանքների որակը գնահատելու համար։ — Տվյալների որակի նախնական խողովակաշարը նշում է խնդիրները՝ վերանայման համար։ Մենք դա ստուգում ենք նշված առաջադրանքների ավելի խոր՝ ագենտների աջակցությամբ աուդիտով և փորձառու ինժեներների մասնակցությամբ մարդկային նշագրման արշավով։

Նախնական ավտոմատ զտիչը վերանայում է մոդելին տրված հրահանգները, մոդելի՝ առաջադրանքը լուծելու փորձերը և այդ փորձերը գնահատելու համար օգտագործված թեստերը՝ հավանական խափանված կամ խնդրահարույց օրինակները նշելու համար։ Այս զտիչը նշել է 286 հնարավոր խափանված առաջադրանք։ Այնուհետև այդ ենթաբազմությունը ավելի խորությամբ վերանայեցինք երկու եղանակով՝ մարդու վերահսկմամբ ագենտային ստուգում, որն իրականացնում է լայնածավալ ստուգումներ հետազոտող ագենտների և մարդու վերջնական դատողության միջոցով, և մարդկային նշագրման արշավ՝ փորձառու ծրագրային մշակողների մասնակցությամբ։

Մարդու վերահսկմամբ ագենտային ստուգում

Յուրաքանչյուր նշված խնդիր աուդիտի է ենթարկվում Codex-ի վրա հիմնված հետազոտող ագենտների միջոցով, որոնց տրվել էր հասանելիություն առաջադրանքի պահոցին և միջավայրին։ Սա նրանց օգնում է տարբերակել առաջադրանքի ողջամիտ երկիմաստությունը, որը հաճախ կարելի է լուծել մոտակա կոդն ու պահոցի կանոնները ուսումնասիրելով, իրական թերի հստակեցումից։ Ագենտը կարող է գործարկել թեստեր, զննել repo-ի ֆայլերը և ուսումնասիրել մոդելի փորձերն ու դրանց ընդհանուր ձախողման ձևերը տվյալ առաջադրանքի վրա։ Այս ավելի խոր աուդիտների մի քանի անկախ կրկնությունից հետո հետազոտողը վերանայեց ամփոփումները, կայացրեց վերջնական դատողություն և պիտակավորեց հավանական խնդիրները։

Մարդկային նշագրման արշավ

Զուգահեռաբար մենք մարդկային նշագրման արշավ անցկացրինք նշված ենթաբազմության վրա։ Մենք աշխատեցինք փորձառու ծրագրային ինժեներների հետ, որոնք առաջադրանքները վերանայելուց առաջ ուսուցանվել էին բենչմարքի նպատակների, խնդիրների դասակարգման և սահմանային դեպքերի վերաբերյալ։ Յուրաքանչյուր առաջադրանք վերանայվել է հինգ ինժեների կողմից։

Վերանայողները անկախ դատողություն էին ձևավորում տեսանելի խնդրի նկարագրությունից, թեստային դեպքերից և ճշմարտության հենակետային լուծումից (հայտնի որպես gold patch), նախքան խողովակաշարի վերլուծությունը կամ սղագրությունը որպես օժանդակ համատեքստ օգտագործելը։ Այնուհետև վերանայողները կոնկրետ ապացույցների հիման վրա պիտակ և լրջության գնահատական էին նշանակում, իսկ անհամաձայնությունները կամ ցածր վստահությամբ դեպքերը փոխանցում էին լրացուցիչ վերանայման։

Մարդ վերանայողները ավելի հաճախ էին, քան հետազոտող ագենտները, առաջադրանքները նշում որպես խափանված։ Երկու վերանայման ուղիների միջև կատեգորիաների հարցում ևս որոշ անհամաձայնություն կար, սակայն նշված առաջադրանքներից ոչ մեկում «չի խափանված» տարբերակը ամենատարածված մարդկային պիտակը չէր։ Ագենտային խողովակաշարի նշած կատեգորիաների դեպքում վերանայողների դատողությունները համընկնում էին դեպքերի 74%-ում։

Ագենտային խողովակաշարի համեմատ՝ մարդ վերանայողները նաև ավելի հաճախ էին մեկ առաջադրանքի համար ընտրում մի քանի պիտակ, ինչը ցույց է տալիս, որ նրանք առաջադրանքները խափանված էին համարում մի քանի առումով կամ դրանք հսկ չտաէին տեղավորվում մեկ կատեգորիայի մեջ։ Սա հուշում է, որ ագենտ-վերանայող խողովակաշարը հանգեցրել է պահպանողական պիտակավորման․ այն ընդգրկել է մարդկանց հայտնաբերած նույն լայն ձախողման ձևերը, բայց թերահաշվարկել է այն դեպքերը, երբ վերանայողները տեսել են լրացուցիչ կամ համընկնող խնդիրներ։ Ամենամեծ տարբերությունը ցածր ծածկույթով թեստերի դեպքում էր․ մարդիկ դրանք ընտրել էին որպես ամենատարածված խնդիր բենչմարքի 9.4%-ի համար՝ ագենտային խողովակաշարի 4.1%-ի համեմատ։

Ձախողման ձևեր

Մի քանի դեպքերում առաջադրանքի հարցումը սահմանում էր կոնկրետ իրականացում, սակայն թաքնված թեստային դեպքերը ակնկալում էին այլ վարքագիծ։

This task involves normalizing table-of-contents entries and rendering them back to Markdown via TocEntry.to_markdown(). The task prompt specifies serialization down to character-level spacing, describing how exact spacing and pipes are enforced, and gives examples such as " | Chapter 1 | 1" and "** | Chapter 1 | 1":

Չկա

1"[space]| Chapter 1 | 1"
2"**[space]| Chapter 1 | 1"
3"[space]| Just title | "

The hidden test_to_markdown assertions instead require " | Chapter 1 | 1" and "** | Chapter 1 | 1":

Չկա

1"[space][space]| Chapter 1 | 1"
2"**[space][space]| Chapter 1 | 1"
3"[space][space]| Just title | "

There are two leading spaces in the hidden tests, but the example given to the model only contains one leading space. If a model rightly follows the given prompt, that one-character difference would fail the hidden test cases and the task would be marked incorrect.

Քննարկում

Մեր հայտնաբերած խնդիրները, SWE-bench Verified-ում նմանատիպ դեպքերի հետ միասին, ընդգծում են բենչմարքները խստորեն ստուգելու կարևորությունը։ Բաց կոդով պահոցների issues-ներն ու pull request-ները սկզբում ստեղծվել էին մարդկային համագործակցության համար՝ հաճախ սպասարկողների և ներդրողների երկար փոխանակումների միջոցով։ Արդյունքում խնդիրների նկարագրությունները, միացված կոդը և միավորային թեստերը միշտ չէ, որ համադրվում են՝ մոդելները հուսալիորեն գնահատելու համար մաքուր, մեկուսացված առաջադրանքներ կազմելով։ Մասնավորապես, pull request-ներում ներառված թեստերը կարող են չափազանց խիստ լինել, քանի որ գրվում են կոնկրետ փոփոխությունը վավերացնելու, այլ ոչ թե առաջադրանքը լուծելու համար իրականացումից անկախ չափանիշ սահմանելու նպատակով։

Միևնույն ժամանակ, գնահատման թերություններն այժմ ավելի հեշտ է հայտնաբերել, քան կլիներ նույնիսկ կարճ ժամանակ առաջ։ Մոդելի կարողությունների բարելավմանը զուգահեռ մենք կարող ենք այդ մոդելներն օգտագործել հարցումները, թեստերը, պատչերը, հետքերը և սահմանային դեպքերը շատ ավելի խորությամբ ու հետևողականությամբ զննելու համար՝ օգնելով վեր հանել բենչմարքների այն խնդիրները, որոնք նախկինում մասշտաբով գտնելը թանկ կամ անիրագործելի էր։

Հուսով ենք, որ գնահատումների ավելի լայն համայնքը կմշակի նոր բենչմարքներ, որոնք փորձառու ծրագրային մշակողների կողմից ստեղծված կլինեն հատուկ մոդելի կարողությունները ստուգելու համար։ Այդ մոտեցումը կարող է պահպանել բարձր նշաձողն ու իրատեսականությունը, որոնք ուզում ենք չափել մոդելի կարողությունների համար, և ողջ գործընթացում ապահովել ավելի լավ մարդկային վերահսկողություն։ Այս վերլուծությամբ բացահայտված խնդիրների պատճառով մենք հետ ենք վերցնում SWE-Bench Pro-ն ընդունելու մեր նախկին խորհուրդը։

Ի վերջո, գնահատումը պետք է իմաստալից ազդանշան տա այնպիսի բենչմարքների միջոցով, որոնք դժվար է շահարկել, հեշտ է վստահել և որոնք իսկապես արտացոլում են մոդելի կարողությունը կամ համահունչությունը։ Քանի որ այս արդյունքները տեղեկացնում են OpenAI-ի գործարկման և անվտանգության որոշումները, մեր հետևած գնահատումները պետք է լինեն վավեր և տեղեկատվական։