Kutenganisha ishara na kelele katika tathmini za usimbaji

Kupima kwa usahihi uwezo wa miundo yetu ni muhimu kwa maamuzi bora ya usambazaji na usalama, ikiwemo maamuzi chini ya Mfumo wa Maandalizi⁠(fungua katika dirisha jipya) wa OpenAI. Kwa kila toleo la muundo, huripoti matokeo ya vigezo mbalimbali vya tathmini vya nje na vya ndani ili kufuatilia maendeleo ya muundo. Tathmini zinapokuwa na dosari zinazoathiri matokeo, zinaweza kutoa uelewa potovu wa uwezo, kupotosha hoja za usalama na kuathiri vipaumbele vya utafiti.

Hivi majuzi tulichunguza jinsi mojawapo ya vigezo vya tathmini vya usimbaji vinavyotumika sana, SWE-bench Verified, ilivyokuwa na matatizo ya msingi ya usanifu na uchafuzi, na tukagundua kuwa tathmini hiyo haikutoa tena ishara yenye maana kuhusu uwezo wa ukuzaji programu. Wakati huo, tuliuhimiza jumuiya pana kuhamia SWE-Bench Pro.

SWE-Bench Pro⁠(fungua katika dirisha jipya) iliundwa kuboresha SWE-bench Verified kwa kujaribu miundo kwenye upeo mrefu zaidi na kazi halisi zaidi za usimbaji ili kufuatilia vizuri uwezo wa usimbaji wa kiwakala. Kama ilivyo katika SWE-bench Verified, kazi hutolewa kiprogramu kutoka historia ya mabadiliko ya vipengele katika seti ya hifadhi za umma na za binafsi. Miundo inatakiwa kutekeleza suluhisho linalopita majaribio mapya ya kipengele bila kuharibu utendakazi uliopo. Katika sehemu ya umma yenye kazi 731, miundo ya mpaka iliimarika kutoka kiwango cha ufaulu cha 23.3% hadi 80.3% ndani ya miezi minane.

Tangu wakati huo tumefanya ukaguzi sawa kwenye SWE-Bench Pro, tukipitia mkusanyiko wa data kwa kutumia mtiririko wa uchambuzi wa nukta za data. Mtiririko huo ulipitia majaribio ya muundo kwenye kazi, metadata ya kazi, na mifuatilio ya kushindwa ili kuashiria dosari zinazowezekana za tathmini. Kisha kila kazi iliyoashiriwa ilitathminiwa kupitia raundi kadhaa za mchunguzi-wakala na kukaguliwa kwa kujitegemea na wahandisi watano wenye uzoefu wa programu, huku kutokubaliana kukipelekwa kwa uchunguzi zaidi.

Masuala hayo yaliangukia hasa katika makundi manne:

• Majaribio makali kupita kiasi¹ hulazimisha maelezo maalum ya utekelezaji ambayo hayajabainishwa katika dokeza, na hivyo kubatilisha mawasilisho mengi yaliyo sahihi kiutendaji.
• Vidokeza visivyobainishwa vya kutosha² huacha mahitaji ambayo majaribio yaliyofichwa huyalazimisha na ambayo hayawezi kukisiwa kwa sababu.
• Majaribio yenye ufikiaji mdogo hukagua kipengele kilichoombwa kwa kiwango cha chini, hivyo marekebisho yasiyokamilika yanaweza kupita.
• Dokeza linalopotosha huelekeza miundo kwenye tabia isiyo sahihi au hukinzana na kile majaribio yanachohitaji.

Matokeo yetu yanaonyesha ugumu wa kuandaa vigezo vya tathmini vilivyo vigumu lakini vya haki, na manufaa yanayoongezeka ya mawakala kwa ukaguzi wa ubora wa data unaoweza kupanuliwa. Kwa kuzingatia matokeo haya, tunakadiria kuwa takriban 30% ya kazi za SWE-bench Pro zimeharibika, na tunashauri watengenezaji wa miundo wachunguze matokeo kwa makini.

Lengo letu ni kuhakikisha kuwa kushindwa kwa kazi kunaakisi mipaka halisi ya muundo, na kufaulu kwa kazi kunaakisi suluhisho kamili na halali kwa mahitaji ya dokeza. Ili kukagua ubora wa data inayotumika katika tathmini, tuliunda mtiririko wa uhakikisho wa ubora ili kutathmini kama kila nukta ya data inaakisi kwa usahihi uwezo wa muundo.

Kichujio cha awali cha kiotomatiki hupitia maagizo yaliyopewa muundo, majaribio ya muundo kutatua kazi, na majaribio yaliyotumiwa kupanga alama za majaribio haya ili kuashiria mifano inayoweza kuwa imeharibika au yenye matatizo. Kichujio hiki kiliashiria kazi 286 ambazo huenda zimeharibika. Kisha tulifanya ukaguzi wa kina zaidi wa sehemu hiyo kwa njia mbili: ukaguzi wa wakala unaosimamiwa na binadamu, unaofanya ukaguzi mpana kwa mawakala wachunguzi na uamuzi wa mwisho wa binadamu; na kampeni ya uwekaji lebo ya binadamu inayoshirikisha watengenezaji programu wenye uzoefu.

Kila tatizo lililoashiriwa hukaguliwa kwa mawakala wachunguzi wanaotegemea Codex waliopewa ufikiaji wa uhifadhi na mazingira ya kazi. Hili huwasaidia kutofautisha utata wa kazi unaokubalika, ambao mara nyingi unaweza kutatuliwa kwa kuchunguza msimbo wa karibu na kanuni za uhifadhi, na kutobainishwa kwa kweli. Wakala anaweza kuendesha majaribio, kukagua faili katika repo, na kuchunguza majaribio ya muundo pamoja na njia zake za kawaida za kushindwa kwenye kazi. Baada ya marudio kadhaa huru ya ukaguzi huu wa kina, mtafiti alipitia muhtasari, akatoa uamuzi wa mwisho, na kuweka lebo kwa masuala yanayowezekana.

Sambamba na hilo, tuliendesha kampeni ya uwekaji lebo ya binadamu kwenye sehemu iliyoashiriwa. Tulishirikiana na wahandisi wa programu wenye uzoefu waliopata mafunzo kuhusu malengo ya kipimo, taksonomia ya masuala, na visa vya mipaka kabla ya kukagua kazi. Kila kazi ilikaguliwa na wahandisi watano.

Wakaguzi walitoa uamuzi huru kutokana na maelezo ya tatizo yanayoonekana, visa vya majaribio, na suluhisho la marejeleo la ukweli-msingi (linalojulikana kama gold patch) kabla ya kutumia uchambuzi wa mtiririko au nakala ya mazungumzo kama muktadha wa kusaidia. Kisha wakaguzi waliweka lebo na daraja la ukali kulingana na ushahidi thabiti, na kupeleka kutokubaliana au visa vya uhakika mdogo kwa ukaguzi zaidi.

Wakaguzi wa binadamu walikuwa na uwezekano mkubwa kuliko mawakala wachunguzi wa kuweka alama kuwa kazi zimeharibika. Pia kulikuwa na kutokubaliana fulani kuhusu makundi kati ya njia mbili za ukaguzi, lakini hakuna kazi iliyoashiriwa ambayo “haijaharibika” ilikuwa lebo ya binadamu iliyotokea mara nyingi zaidi. Katika makundi yaliyoashiriwa na mtiririko wa wakala, maamuzi ya wakaguzi yalilingana katika 74% ya visa.

Ikilinganishwa na mtiririko wa wakala, wakaguzi wa binadamu pia walikuwa na uwezekano mkubwa wa kuchagua lebo nyingi kwa kazi moja, kuashiria kuwa waliona kazi zimeharibika kwa njia nyingi au hazikutoshea vizuri katika kundi moja. Hii inaonyesha kuwa mtiririko wa wakala-pamoja-na-mkaguzi ulitoa uwekaji lebo wa kihafidhina: ulinasa njia zilezile pana za kushindwa ambazo binadamu walitambua, huku ukihesabu pungufu visa ambapo wakaguzi waliona masuala ya ziada au yanayoingiliana. Tofauti kubwa zaidi ilikuwa katika majaribio yenye ufikiaji mdogo, ambayo binadamu waliyachagua kama suala la kawaida zaidi kwa 9.4% ya kipimo ikilinganishwa na 4.1% kutoka mtiririko wa wakala.

Masuala tuliyoyatambua, pamoja na visa vinavyofanana katika SWE-bench Verified, yanaangazia umuhimu wa kukagua vigezo vya tathmini kwa umakini. Masuala na maombi ya kuvuta kutoka hifadhi za chanzo huria yaliundwa awali kwa ushirikiano wa binadamu, mara nyingi kupitia mijadala mirefu ya kwenda na kurudi kati ya wasimamizi na wachangiaji. Kwa hiyo, maelezo ya matatizo, msimbo uliounganishwa, na majaribio ya vitengo hayalingani kila wakati kuunda kazi safi, zilizotengwa za kutathmini miundo kwa kutegemewa. Hasa, majaribio yanayojumuishwa katika maombi ya kuvuta yanaweza kuwa makali kupita kiasi kwa sababu huandikwa kuthibitisha badiliko maalum, badala ya kufafanua kiwango kisichotegemea utekelezaji cha kutatua kazi.

Wakati huo huo, dosari za tathmini ni rahisi zaidi kugunduliwa sasa kuliko ambavyo zingekuwa hata muda mfupi uliopita. Kadiri uwezo wa muundo unavyoimarika, tunaweza kutumia miundo hiyo kukagua vidokeza, majaribio, viraka, mifuatilio, na visa vya mipaka kwa kina na uthabiti mkubwa zaidi, na kusaidia kuibua masuala ya vigezo vya tathmini yaliyokuwa ghali au yasiyowezekana kuyapata kwa kiwango kikubwa hapo awali.

Tunatumai jumuiya pana ya tathmini itaendeleza vigezo vipya vya tathmini vilivyojengwa na watengenezaji programu wenye uzoefu mahsusi ili kujaribu uwezo wa muundo. Mbinu hiyo inaweza kuhifadhi kiwango cha juu na uhalisia tunaotaka kupima uwezo wa muundo, na huruhusu usimamizi bora wa binadamu katika mchakato mzima. Kwa kuzingatia masuala yaliyofichuliwa katika uchambuzi huu, tunafuta pendekezo letu la awali la kupitisha SWE-Bench Pro.

Hatimaye, eval inapaswa kutoa ishara yenye maana kupitia vigezo vya tathmini ambavyo ni vigumu kudanganywa, rahisi kuaminiwa, na vinaakisi kwa kweli uwezo au upatanifu wa muundo. Kwa sababu matokeo haya huongoza maamuzi ya usambazaji na usalama ya OpenAI, eval tunazofuatilia zinahitaji kuwa halali na zenye taarifa.