કોડિંગ મૂલ્યાંકનમાં ઉપયોગી માહિતીને બિનજરૂરી માહિતીથી અલગ કરવી

અમારા મોડલોની ક્ષમતાઓને ચોક્કસ રીતે માપવું યોગ્ય ડિપ્લોયમેન્ટ અને સુરક્ષા નિર્ણયો માટે મહત્વનું છે, જેમાં OpenAI ના પ્રિપેરડનેસ ફ્રેમવર્ક⁠(નવી વિન્ડોમાં ખૂલે છે) હેઠળના નિર્ણયો પણ સામેલ છે. દરેક મોડલ રિલીઝ સાથે, અમે મોડલની પ્રગતિ ટ્રેક કરવા માટે વિવિધ બાહ્ય અને આંતરિક બેન્ચમાર્કના પરિણામો રજૂ કરીએ છીએ. જ્યારે મૂલ્યાંકનોમાં એવી ખામીઓ હોય કે જે પરિણામોને અસર કરે, ત્યારે તે ક્ષમતાઓ અંગે ખોટી સમજ આપી શકે છે, સુરક્ષા સંબંધિત દાવાઓને ખોટી રીતે રજૂ કરી શકે છે અને સંશોધન પ્રાથમિકતાઓને અસર કરી શકે છે.

અમે તાજેતરમાં તપાસ કરી કે સૌથી વધુ ઉપયોગમાં લેવાતા કોડિંગ બેન્ચમાર્ક્સમાંના એક, SWE-bench Verified માં મૂળભૂત ડિઝાઇન અને કન્ટામિનેશન સમસ્યાઓ હતી અને જાણવા મળ્યું કે તે મૂલ્યાંકન હવે સોફ્ટવેર ડેવલપમેન્ટ ક્ષમતાઓ વિશે અર્થપૂર્ણ સંકેત આપતું નથી. તે સમયે, અમે વ્યાપક સમુદાયને SWE-Bench Pro પર સ્વિચ કરવા પ્રોત્સાહિત કર્યા હતા.

SWE-Bench Pro⁠(નવી વિન્ડોમાં ખૂલે છે) ને એજન્ટિક કોડિંગ ક્ષમતાઓને વધુ સારી રીતે ટ્રૅક કરવા માટે મોડલ્સનું વધુ લાંબા સમયગાળા અને વધુ વાસ્તવિક કોડિંગ કાર્યો પર પરીક્ષણ કરીને SWE-bench Verified માં સુધારો લાવવા માટે ડિઝાઇન કરવામાં આવ્યું હતું. SWE-bench Verified ની જેમ, કાર્યો જાહેર અને ખાનગી રિપોઝિટરીઓના સમૂહમાં થયેલા ફીચર ફેરફારોના ઇતિહાસમાંથી પ્રોગ્રામેટિક રીતે લેવામાં આવે છે. મોડલો માટે જરૂરી છે કે તેઓ એવું ઉકેલ અમલમાં મૂકે જે કોઈ ફીચર માટેના નવા પરીક્ષણો પાસ કરે અને હાલની કાર્યક્ષમતાને ન બગાડે. 731 કાર્યોના જાહેર સ્પ્લિટ પર, અત્યાધુનિક મોડલોનો પાસ દર આઠ મહિનામાં 23.3% થી વધીને 80.3% થયો.

ત્યારથી અમે SWE-Bench Pro પર આવું જ ઑડિટ કર્યું છે, જેમાં ડેટાપોઇન્ટ વિશ્લેષણ પાઇપલાઇનનો ઉપયોગ કરીને ડેટાસેટની સમીક્ષા કરી. પાઇપલાઇને સંભવિત મૂલ્યાંકન ખામીઓને ચિહ્નિત કરવા માટે કાર્ય પરના મોડલના પ્રયાસો, કાર્ય મેટાડેટા અને નિષ્ફળતાના ટ્રેસની સમીક્ષા કરી. દરેક ચિહ્નિત કાર્યને પછી ઇન્વેસ્ટિગેટર-એજન્ટના અનેક પાસ દ્વારા આંકવામાં આવ્યું અને પાંચ અનુભવી સોફ્ટવેર ઇજનેરો દ્વારા સ્વતંત્ર રીતે સમીક્ષા કરવામાં આવી; અસહમતિના કિસ્સાઓને વધુ તપાસ માટે આગળ મોકલવામાં આવ્યા.

સમસ્યાઓ મુખ્યત્વે ચાર શ્રેણીમાં આવતી હતી:

• અતિ કડક પરીક્ષણો¹ પ્રોમ્પ્ટમાં ન જણાવેલી ચોક્કસ અમલીકરણ વિગતોને ફરજિયાત કરે છે, જે ઘણા કાર્યાત્મક રીતે સાચા સબમિશનને અમાન્ય બનાવે છે.
• અપૂરતા સ્પષ્ટ પ્રોમ્પ્ટ્સ² એવી જરૂરિયાતો છોડી દે છે જેને છુપાયેલા પરીક્ષણો ફરજિયાત કરે છે અને જેનો વાજબી રીતે અંદાજ લગાવી શકાય તેમ નથી.
• ઓછા કવરેજવાળા પરીક્ષણો વિનંતી કરેલ ફીચરની અપૂરતી ચકાસણી કરે છે, જેથી અપૂર્ણ સુધારાઓ પાસ થઈ શકે છે.
• ગેરમાર્ગે દોરતો પ્રોમ્પ્ટ મોડલોને ખોટી વર્તણૂક તરફ દોરી જાય છે અથવા પરીક્ષણો માટે જે જરૂરી છે તેનો વિરોધાભાસ કરે છે.

અમારા તારણો મુશ્કેલ પરંતુ ન્યાયી બેન્ચમાર્ક તૈયાર કરવાની કઠિનતા અને સ્કેલ કરી શકાય તેવી ડેટા ગુણવત્તા તપાસ માટે એજન્ટોની વધતી ઉપયોગિતા દર્શાવે છે. આ પરિણામોને ધ્યાનમાં રાખીને, અમારો અંદાજ છે કે SWE-bench Pro ના લગભગ 30% કાર્યો ખામીયુક્ત છે અને અમે સલાહ આપીએ છીએ કે મોડલ ડેવલપરો પરિણામોનું સાવધાનીપૂર્વક નિરીક્ષણ કરે.

અમારો હેતુ એ સુનિશ્ચિત કરવાનો છે કે કાર્યની નિષ્ફળતાઓ મોડલની વાસ્તવિક મર્યાદાઓને દર્શાવે અને કાર્યની સફળતાઓ પ્રોમ્પ્ટની જરૂરિયાતો માટે સંપૂર્ણ અને માન્ય ઉકેલો દર્શાવે. મૂલ્યાંકનમાં ઉપયોગમાં લેવાતા ડેટાની ગુણવત્તા ચકાસવા માટે, દરેક ડેટાપોઇન્ટ મોડલની ક્ષમતાઓને સચોટ રીતે દર્શાવે છે કે કેમ તેનું મૂલ્યાંકન કરવા માટે અમે એક ગુણવત્તા ખાતરી પાઇપલાઇન બનાવી છે.

પ્રારંભિક સ્વયંસંચાલિત ફિલ્ટર સંભવિત ખામીયુક્ત અથવા સમસ્યાવાળા ઉદાહરણોને ચિહ્નિત કરવા માટે મોડલને આપવામાં આવેલી સૂચનાઓ, કાર્ય ઉકેલવા માટે મોડલ દ્વારા કરવામાં આવેલા પ્રયાસો અને આ પ્રયાસોનું મૂલ્યાંકન કરવા માટે ઉપયોગમાં લેવાતા પરીક્ષણોની સમીક્ષા કરે છે. આ ફિલ્ટરે સંભવિત રીતે ખામીયુક્ત 286 કાર્યો ચિહ્નિત કર્યા. પછી અમે તે સબસેટની બે રીતે વધુ ઊંડાણપૂર્વકની સમીક્ષા કરી: માનવીય દેખરેખ હેઠળ એજન્ટ સમીક્ષા, જે ઇન્વેસ્ટિગેટર એજન્ટો સાથે વ્યાપક તપાસો અને અંતિમ માનવીય નિર્ણય કરે છે; અને અનુભવી સોફ્ટવેર ડેવલપરો સાથેનું માનવીય એનોટેશન અભિયાન.

દરેક ચિહ્નિત સમસ્યાનું Codex-આધારિત ઇન્વેસ્ટિગેટર એજન્ટો દ્વારા ઑડિટ કરવામાં આવે છે, જેમને કાર્યની રિપોઝિટરી અને એન્વાયર્નમેન્ટનો ઍક્સેસ આપવામાં આવ્યો હતોી. આ તેમને વાજબી કાર્ય અસ્પષ્ટતા, જેને ઘણીવાર નજીકના કોડ અને રિપોઝિટરીની પરંપરાઓનો અભ્યાસ કરીને ઉકેલી શકાય છે, તેને સાચી અપૂરતી સ્પષ્ટતાથી અલગ પાડવામાં મદદ કરે છે. એજન્ટ પરીક્ષણો ચલાવી શકે છે, રિપોઝિટરીમાં ફાઇલો તપાસી શકે છે અને કાર્ય પર મોડલના પ્રયાસો તથા તેમની સામાન્ય નિષ્ફળતાના પ્રકારોની તપાસ કરી શકે છે. આ ઊંડા ઑડિટના અનેક સ્વતંત્ર પુનરાવર્તનો પછી, એક સંશોધકે સારાંશોની સમીક્ષા કરી, અંતિમ નિર્ણય લીધો અને સંભવિત સમસ્યાઓને લેબલ કરી.

સાથે સાથે, અમે ચિહ્નિત સબસેટ પર માનવીય એનોટેશન ઝુંબેશ હાથ ધરી. અમે અનુભવી સોફ્ટવેર ઇજનેરો સાથે કામ કર્યું, જેમને કાર્યોની સમીક્ષા કરતા પહેલાં બેન્ચમાર્કના લક્ષ્યો, સમસ્યા વર્ગીકરણ અને અપ્રમાણભૂત કિસ્સાઓ અંગે તાલીમ આપવામાં આવી હતી. દરેક કાર્યની પાંચ એન્જિનિયરો દ્વારા સમીક્ષા કરવામાં આવી હતી.

સમીક્ષકોએ પાઇપલાઇન વિશ્લેષણ અથવા ટ્રાન્સક્રિપ્ટને સહાયક સંદર્ભ તરીકે ઉપયોગ કરતા પહેલાં દૃશ્યમાન સમસ્યા નિવેદન, ટેસ્ટ કેસો અને ગ્રાઉન્ડ-ટ્રુથ સંદર્ભ ઉકેલ, (જેને ગોલ્ડ પેચ તરીકે ઓળખવામાં આવે છે) પરથી સ્વતંત્ર નિર્ણય બનાવ્યો. પછી સમીક્ષકોએ ઠોસ પુરાવાના આધારે લેબલ અને ગંભીરતા રેટિંગ આપ્યું અને અસહમતિઓ અથવા ઓછા આત્મવિશ્વાસવાળા કિસ્સાઓને વધુ સમીક્ષા માટે આગળ મોકલ્યા.

માનવીય સમીક્ષકો ઇન્વેસ્ટિગેટર એજન્ટો કરતાં કાર્યોને ખામીયુક્ત તરીકે ચિહ્નિત કરવાની વધુ શક્યતા ધરાવતા હતા. બે સમીક્ષા માર્ગો વચ્ચે શ્રેણીઓ અંગે થોડો મતભેદ પણ હતો, પરંતુ કોઈ પણ ચિહ્નિત કાર્યમાં “ખામીયુક્ત નથી” સૌથી સામાન્ય માનવીય લેબલ નહોતું. એજન્ટ પાઇપલાઇન દ્વારા ચિહ્નિત કરવામાં આવેલી શ્રેણીઓમાંથી, 74% કિસ્સાઓમાં સમીક્ષકોના નિર્ણયો એકબીજા સાથે મેળ ખાતા હતા.

એજન્ટ પાઇપલાઇનની તુલનામાં, માનવીય સમીક્ષકો કોઈ કાર્ય માટે બહુવિધ લેબલ પસંદ કરે તેવી શક્યતા પણ વધુ હતી, જે દર્શાવે છે કે તેમને કાર્યો અનેક રીતે ખામીયુક્ત લાગ્યા અથવા તે એક જ શ્રેણીમાં સ્વચ્છ રીતે બંધબેસતા ન હતા. આ સૂચવે છે કે એજન્ટ-પ્લસ-રિવ્યુઅર પાઇપલાઇનના પરિણામે સાવચેતીપૂર્ણ લેબલિંગ થયું: તેણે માનવો દ્વારા ઓળખાયેલા તે જ વ્યાપક નિષ્ફળતાના પ્રકારોને પકડી લીધા, પરંતુ સમીક્ષકોએ વધારાની અથવા ઓવરલૅપ થતી સમસ્યાઓ જોયેલી હોય એવા કિસ્સાઓની ગણતરી ઓછી કરી. સૌથી મોટો તફાવત ઓછા કવરેજવાળા પરીક્ષણોમાં હતો, જેને માનવોએ 9.4% બેન્ચમાર્ક માટે સૌથી સામાન્ય સમસ્યા તરીકે પસંદ કર્યું, જ્યારે એજન્ટ પાઇપલાઇનમાં તે 4.1% હતું.

અમે ઓળખેલી સમસ્યાઓ, SWE-bench Verified માં મળેલા સમાન કિસ્સાઓ સાથે મળીને, બેન્ચમાર્ક્સની કડક તપાસના મહત્વને ઉજાગર કરે છે. ઓપન-સોર્સ રિપોઝિટરીઓમાંથી આવેલા ઇશ્યૂ અને પુલ રિક્વેસ્ટ્સ મૂળ માનવીય સહકાર માટે બનાવવામાં આવ્યા હતા, જે ઘણીવાર મેન્ટેનરો અને યોગદાનકર્તાઓ વચ્ચેની લાંબી ચર્ચાઓ દ્વારા થતી હોય છે. પરિણામે, સમસ્યાના વર્ણનો, મર્જ કરાયેલ કોડ અને યુનિટ ટેસ્ટ્સ હંમેશા મોડલોને વિશ્વસનીય રીતે મૂલ્યાંકિત કરવા માટે સ્વચ્છ, સ્વતંત્ર કાર્યો બનાવે તે રીતે સરખા બેસતા નથી. ખાસ કરીને, pull request માં સામેલ પરીક્ષણો અતિ કડક હોઈ શકે છે, કારણ કે તેઓ કાર્ય ઉકેલવા માટે અમલીકરણથી સ્વતંત્ર ધોરણ વ્યાખ્યાયિત કરવા કરતાં ચોક્કસ ફેરફારને માન્ય કરવા લખાયેલા હોય છે.

સાથે સાથે, પહેલાની સરખામણીમાં હવે મૂલ્યાંકનની ખામીઓ શોધવી વધુ સરળ બની ગઈ છે. મોડલ ક્ષમતાઓ સુધરે છે તેમ, અમે તે મોડલોનો ઉપયોગ પ્રોમ્પ્ટ્સ, પરીક્ષણો, પેચેસ, ટ્રેસ અને અપ્રમાણભૂત કિસ્સાઓને ઘણી વધારે ઊંડાણપૂર્વક અને સતત રીતે તપાસવા કરી શકીએ છીએ, જે એવી બેન્ચમાર્ક સમસ્યાઓને ઉજાગર કરવામાં મદદ કરે છે જેને અગાઉ મોટા પાયે શોધવી ખર્ચાળ અથવા અવ્યવહારુ હતી.

અમને આશા છે કે વ્યાપક મૂલ્યાંકન સમુદાય ખાસ કરીને મોડલ ક્ષમતાઓનું પરીક્ષણ કરવા માટે અનુભવી સોફ્ટવેર ડેવલપરો દ્વારા બનાવેલા નવા બેન્ચમાર્ક વિકસાવશે. આ અભિગમ મોડલ ક્ષમતાઓ માપવા માટે અમને જોઈએ તે ઊંચું ધોરણ અને વાસ્તવિકતા જાળવી શકે છે અને સમગ્ર પ્રક્રિયા દરમિયાન વધુ સારી માનવીય દેખરેખ શક્ય બનાવે છે. આ વિશ્લેષણમાં બહાર આવેલી સમસ્યાઓને ધ્યાનમાં રાખીને, અમે SWE-Bench Pro અપનાવવાની અમારી અગાઉની ભલામણ પાછી ખેંચીએ છીએ.

આખરે, મૂલ્યાંકન એવા બેન્ચમાર્ક્સ દ્વારા અર્થપૂર્ણ માહિતી આપતું હોવું જોઈએ જેમાં ચાલાકી કરવી મુશ્કેલ હોય, જેના પર વિશ્વાસ કરવો સરળ હોય અને જે મોડલની ક્ષમતા અથવા સંરેખણને વાસ્તવિક રીતે દર્શાવતા હોય. કારણ કે આ પરિણામો OpenAI ના ડિપ્લોયમેન્ટ અને સુરક્ષા નિર્ણયો માટે આધારરૂપ બને છે, અમે ટ્રેક કરતા મૂલ્યાંકનો માન્ય અને માહિતીપ્રદ હોવા જરૂરી છે.