2026 ജൂലൈ 8

കോഡിംഗ് വിലയിരുത്തലുകളിൽ ശബ്ദത്തിൽ നിന്ന് സിഗ്നൽ വേർതിരിക്കൽ

വിശദമായ ഓഡിറ്റിലൂടെ, SWE-Bench Pro-യിൽ വ്യാപകമായ ടാസ്ക് പ്രശ്നങ്ങൾ ഞങ്ങൾ കണ്ടെത്തുന്നു; ടാസ്കുകളുടെ ~30% തകരാറുള്ളവയാണെന്ന് കണക്കാക്കുന്നു.

ലോഡിംഗ്…

OpenAI-യുടെ പ്രിപെയർഡ്നസ് ഫ്രെയിംവർക്ക്⁠(പുതിയ വിൻഡോയിൽ തുറക്കുന്നു) പ്രകാരമുള്ള തീരുമാനങ്ങൾ ഉൾപ്പെടെ, ശരിയായ വിന്യാസത്തിനും സുരക്ഷാ തീരുമാനങ്ങൾക്കും ഞങ്ങളുടെ മോഡലുകളുടെ കഴിവുകൾ കൃത്യമായി അളക്കുന്നത് പ്രധാനമാണ്. ഓരോ മോഡൽ റിലീസിലും, മോഡൽ പുരോഗതി ട്രാക്ക് ചെയ്യാൻ ബാഹ്യവും ആന്തരികവുമായ വിവിധ ബെഞ്ച്മാർക്കുകൾ പ്രകാരമുള്ള ഫലങ്ങൾ ഞങ്ങൾ റിപ്പോർട്ട് ചെയ്യുന്നു. വിലയിരുത്തലുകളിൽ ഫലങ്ങളെ ബാധിക്കുന്ന പിഴവുകൾ ഉണ്ടെങ്കിൽ, അവ കഴിവുകളെക്കുറിച്ചുള്ള തെറ്റായ ധാരണ നൽകുകയും സുരക്ഷാ കേസുകളെ തെറ്റായി അവതരിപ്പിക്കുകയും ഗവേഷണ മുൻഗണനകളെ ബാധിക്കുകയും ചെയ്യും.

ഏറ്റവും വ്യാപകമായി ഉപയോഗിക്കുന്ന കോഡിംഗ് ബെഞ്ച്മാർക്കുകളിൽ ഒന്നായ SWE-bench Verified-ന് അടിസ്ഥാനപരമായ ഡിസൈൻ, കണ്ടാമിനേഷൻ പ്രശ്നങ്ങൾ ഉണ്ടായിരുന്നതിനെക്കുറിച്ച് ഞങ്ങൾ അടുത്തിടെ അന്വേഷിച്ചു; സോഫ്റ്റ്‌വെയർ വികസന കഴിവുകളെക്കുറിച്ച് ഈ മൂല്യനിർണ്ണയം മേലാൽ അർത്ഥവത്തായ സൂചന നൽകുന്നില്ലെന്നും കണ്ടെത്തി. അന്ന്, വിശാലമായ സമൂഹത്തെ SWE-Bench Pro-ലേക്ക് മാറാൻ ഞങ്ങൾ പ്രോത്സാഹിപ്പിച്ചു.

ദൈർഘ്യമേറിയ കാലയളവുകളിലും കൂടുതൽ യാഥാർഥ്യബോധമുള്ള കോഡിംഗ് ടാസ്കുകളിലും മോഡലുകളെ പരീക്ഷിച്ചുകൊണ്ട് ഏജന്റിക് കോഡിംഗ് കഴിവുകൾ മെച്ചമായി ട്രാക്ക് ചെയ്യുന്നതിന്, SWE-bench Verified-നെ മെച്ചപ്പെടുത്താൻ SWE-Bench Pro⁠(പുതിയ വിൻഡോയിൽ തുറക്കുന്നു) രൂപകൽപ്പന ചെയ്തു. SWE-bench Verified-ലേതുപോലെ, പൊതുവും സ്വകാര്യവുമായ ഒരു കൂട്ടം റിപ്പോസിറ്ററികളിലെ ഫീച്ചർ മാറ്റങ്ങളുടെ ചരിത്രത്തിൽ നിന്ന് പ്രോഗ്രാമാറ്റിക്കായാണ് ടാസ്കുകൾ ശേഖരിക്കുന്നത്. നിലവിലുള്ള പ്രവർത്തനക്ഷമതയ്ക്ക് കോട്ടം തട്ടാതെ ഒരു ഫീച്ചറിനായുള്ള പുതിയ ടെസ്റ്റുകൾ പാസാക്കുന്ന തരത്തിലുള്ള പരിഹാരം മോഡലുകൾ നടപ്പിലാക്കേണ്ടതുണ്ട്. 731 ടാസ്കുകളുള്ള പൊതുവിഭജനത്തിൽ, അത്യാധുനിക മോഡലുകളുടെ പാസ് നിരക്ക് എട്ട് മാസത്തിനുള്ളിൽ 23.3%-ൽ നിന്ന് 80.3%-ലേക്ക് ഉയർന്നു.

തുടർന്ന് SWE-Bench Pro-യിലും ഞങ്ങൾ സമാനമായ ഒരു ഓഡിറ്റ് നടത്തി; ഡാറ്റാപോയിന്റ് വിശകലന പൈപ്പ്ലൈൻ ഉപയോഗിച്ച് ഡാറ്റാസെറ്റ് അവലോകനം ചെയ്തു. മൂല്യനിർണയത്തിലെ സാധ്യതയുള്ള പിഴവുകൾ ഫ്ലാഗ് ചെയ്യാൻ പൈപ്പ്ലൈൻ ടാസ്കിലെ മോഡൽ ശ്രമങ്ങൾ, ടാസ്ക് മെറ്റാഡാറ്റ, പരാജയ ട്രെയ്സുകൾ എന്നിവ അവലോകനം ചെയ്തു. ഫ്ലാഗ് ചെയ്ത ഓരോ ടാസ്കും തുടർന്ന് നിരവധി ഇൻവെസ്റ്റിഗേറ്റർ-ഏജന്റ് പാസുകളിലൂടെ വിലയിരുത്തുകയും, പരിചയസമ്പന്നരായ അഞ്ച് സോഫ്റ്റ്‌വെയർ എഞ്ചിനീയർമാർ സ്വതന്ത്രമായി അവലോകനം ചെയ്യുകയും ചെയ്തു; കൂടുതൽ അന്വേഷണത്തിനായി അഭിപ്രായവ്യത്യാസങ്ങൾ അടുത്ത തലത്തിലേക്ക് വിട്ടു.

ഡാറ്റാസെറ്റിലെ വലിയൊരു ഭാഗത്ത് തകരാറുണ്ടാക്കുന്ന പ്രശ്നങ്ങളുടെ തെളിവുകൾ ഞങ്ങൾ കണ്ടെത്തുന്നു. ഞങ്ങളുടെ ഡാറ്റാപോയിന്റ് വിശകലന പൈപ്പ്ലൈൻ 200 (27.4%) തകരാറുള്ള ടാസ്കുകൾ ഫ്ലാഗ് ചെയ്തപ്പോൾ, മനുഷ്യ അനോട്ടേഷൻ ക്യാമ്പെയിൻ 249 (34.1%) എണ്ണം തിരിച്ചറിഞ്ഞു.

പ്രശ്നങ്ങൾ പ്രധാനമായും നാല് വിഭാഗങ്ങളിലായിരുന്നു:

അതികർശനമായ ടെസ്റ്റുകൾ¹ പ്രോംപ്റ്റിൽ വ്യക്തമാക്കിയിട്ടില്ലാത്ത നിർദ്ദിഷ്ട നടപ്പിലാക്കൽ വിശദാംശങ്ങൾ നിർബന്ധിതമാക്കുന്നു; അതുവഴി, പ്രവർത്തനപരമായി ശരിയായ നിരവധി സമർപ്പണങ്ങൾ അസാധുവാകുന്നു.
വ്യക്തമായി നിർവചിക്കാത്ത പ്രോംപ്റ്റുകൾ² മറഞ്ഞിരിക്കുന്ന ടെസ്റ്റുകൾ നിർബന്ധിതമാക്കുന്ന, യുക്തിപൂർവ്വം അനുമാനിക്കാനാകാത്ത ആവശ്യകതകൾ ഒഴിവാക്കുന്നു.
കുറഞ്ഞ കവറേജുള്ള ടെസ്റ്റുകൾ ആവശ്യപ്പെട്ട ഫീച്ചർ മതിയായി പരിശോധിക്കുന്നില്ല; അതിനാൽ അപൂർണ്ണമായ പരിഹാരങ്ങളും പാസാകാം.
ഒരു തെറ്റിദ്ധരിപ്പിക്കുന്ന പ്രോംപ്റ്റ് മോഡലുകളെ തെറ്റായ പെരുമാറ്റത്തിലേക്ക് നയിക്കുകയോ ആവശ്യപ്പെടുന്നതിന് വിരുദ്ധമായ ടെസ്റ്റുകൾ നടക്കാൻ ഇടയാക്കുകയോ ചെയ്യുന്നു.

കഠിനവും എന്നാൽ ന്യായവുമായ ബെഞ്ച്മാർക്കുകൾ പ്രത്യേകം തിരഞ്ഞെടുക്കുന്നതിലെ ബുദ്ധിമുട്ടും, മെച്ചപ്പെടുത്താവുന്ന ഡാറ്റ ഗുണനിലവാര പരിശോധനകൾക്കായുള്ള ഏജന്റുകളുടെ വർധിച്ചുവരുന്ന പ്രയോജനവും ഞങ്ങളുടെ കണ്ടെത്തലുകൾ ചൂണ്ടിക്കാണിക്കുന്നു. ഈ ഫലങ്ങളുടെ വെളിച്ചത്തിൽ, SWE-bench Pro ടാസ്കുകളുടെ ~30% തകരാറുള്ളവയാണെന്ന് ഞങ്ങൾ കണക്കാക്കുകയും മോഡൽ ഡെവലപ്പർമാർ ഫലങ്ങൾ ശ്രദ്ധാപൂർവ്വം പരിശോധിക്കണമെന്ന് ഉപദേശിക്കുകയും ചെയ്യുന്നു.

രീതിശാസ്ത്രം

ടാസ്ക് പരാജയങ്ങൾ യഥാർത്ഥ മോഡൽ പരിമിതികളെയും, ടാസ്ക് വിജയങ്ങൾ പ്രോംപ്റ്റ് ആവശ്യകതകൾക്കുള്ള പൂർണ്ണവും സാധുതയുള്ളതുമായ പരിഹാരങ്ങളെയും പ്രതിഫലിപ്പിക്കുന്നുവെന്ന് ഉറപ്പാക്കുകയാണ് ഞങ്ങളുടെ ലക്ഷ്യം. മൂല്യനിർണയത്തിൽ ഉപയോഗിച്ച ഡാറ്റയുടെ ഗുണനിലവാരം പരിശോധിക്കാൻ, ഓരോ ഡാറ്റാപോയിന്റും മോഡൽ കഴിവുകളെ കൃത്യമായി പ്രതിഫലിപ്പിക്കുന്നുണ്ടോ എന്ന് വിലയിരുത്തുന്ന ഒരു ഗുണനിലവാരം ഉറപ്പിക്കൽ പൈപ്പ്ലൈൻ ഞങ്ങൾ സൃഷ്ടിച്ചു.

ടാസ്കിന്റെ ഗുണനിലവാരം വിലയിരുത്താൻ ഓട്ടോമേറ്റ് ചെയ്ത സ്ക്രീനിംഗും മനുഷ്യ അവലോകനവും സംയോജിപ്പിച്ചുള്ള ഗുണനിലവാരം ഉറപ്പാക്കൽ വർക്ക്ഫ്ലോ. — ഒരു പ്രാഥമിക ഡാറ്റ ഗുണനിലവാര പൈപ്പ്ലൈൻ, അവലോകനത്തിനായി പ്രശ്നങ്ങൾ ഫ്ലാഗ് ചെയ്യുന്നു. ഫ്ലാഗ് ചെയ്ത ടാസ്കുകളെ ഏജന്റിന്റെ സഹായത്തോടെയുള്ള കൂടുതൽ ഗഹനമായ ഓഡിറ്റിലൂടെയും പരിചയസമ്പന്നരായ എഞ്ചിനീയർമാർ നടത്തുന്ന മനുഷ്യ അനോട്ടേഷൻ ക്യാമ്പെയിനിലൂടെയും ഞങ്ങൾ സാധൂകരിക്കുന്നു.

മോഡലിന് നൽകിയ നിർദേശങ്ങൾ, ടാസ്ക് പരിഹരിക്കാൻ മോഡൽ നടത്തിയ ശ്രമങ്ങൾ, ആ ശ്രമങ്ങൾ ഗ്രേഡ് ചെയ്യാൻ ഉപയോഗിച്ച ടെസ്റ്റുകൾ എന്നിവ സ്വയമേവയുള്ള പ്രാരംഭ ഫിൽട്ടർ അവലോകനം ചെയ്ത്, തകരാറുള്ളതോ പ്രശ്നകരമോ ആകാൻ സാധ്യതയുള്ള ഉദാഹരണങ്ങൾ ഫ്ലാഗ് ചെയ്യുന്നു. തകരാറുള്ളതാകാൻ സാധ്യതയുള്ള 286 ടാസ്കുകളെ ഈ ഫിൽട്ടർ ഫ്ലാഗ് ചെയ്തു. തുടർന്ന് ആ ഉപസമുച്ചയത്തെ ഞങ്ങൾ രണ്ട് രീതികളിൽ കൂടുതൽ ആഴത്തിൽ അവലോകനം ചെയ്തു: ഇൻവെസ്റ്റിഗേറ്റർ ഏജന്റുകളിലൂടെ, വ്യാപകമായ പരിശോധനകളും അന്തിമ മനുഷ്യ വിധിന്യായവും നടത്തുന്ന മനുഷ്യ മേൽനോട്ടത്തിലുള്ള ഏജന്റ് അവലോകനം; കൂടാതെ പരിചയസമ്പന്നരായ സോഫ്റ്റ്‌വെയർ ഡെവലപ്പർമാരുമായി ചേർന്ന് നടത്തിയ മനുഷ്യ അനോട്ടേഷൻ ക്യാമ്പെയിൻ.

മനുഷ്യ മേൽനോട്ടത്തിലുള്ള ഏജന്റ് അവലോകനം

ഫ്ലാഗ് ചെയ്ത ഓരോ പ്രശ്നവും, ടാസ്ക് റിപ്പോസിറ്ററിയിലേക്കും എൻവയോൺമെന്റിലേക്കും ആക്സസ് നൽകിയ Codex അടിസ്ഥാനത്തിലുള്ള ഇൻവെസ്റ്റിഗേറ്റർ ഏജന്റുകൾ ഉപയോഗിച്ച് ഓഡിറ്റ് ചെയ്യുന്നു. പലപ്പോഴും, അടുത്തുള്ള കോഡും റിപ്പോസിറ്ററി കൺവെൻഷനുകളും പഠിക്കുന്നതിലൂടെ പരിഹരിക്കാൻ കഴിയുന്ന ന്യായമായ ടാസ്ക് അവ്യക്തതയെ, യഥാർത്ഥത്തിൽ അപൂർണ്ണമായ വിവരണത്തിൽ നിന്ന് വേർതിരിച്ചറിയാൻ ഇത് അവയെ സഹായിക്കുന്നു. ഏജന്റിന് പരിശോധനകൾ നടത്താനും റിപ്പോയിലെ ഫയലുകൾ പരിശോധിക്കാനും മോഡലിന്റെ ശ്രമങ്ങളും ടാസ്കിലെ അവയുടെ പൊതുവായ പരാജയ രീതികളും അന്വേഷിക്കാനും കഴിയും. ഈ കൂടുതൽ ഗഹനമായ ഓഡിറ്റുകളുടെ നിരവധി സ്വതന്ത്ര ആവർത്തനങ്ങൾക്ക് ശേഷം, ഒരു ഗവേഷകൻ സംഗ്രഹങ്ങൾ അവലോകനം ചെയ്ത്, അന്തിമ വിധി നിർണയിക്കുകയും സാധ്യതയുള്ള പ്രശ്നങ്ങൾ ലേബൽ ചെയ്യുകയും ചെയ്തു.

മനുഷ്യ അനോട്ടേഷൻ ക്യാമ്പെയിൻ

സമാന്തരമായി, ഫ്ലാഗ് ചെയ്ത ഉപസമുച്ചയത്തിൽ ഞങ്ങൾ ഒരു മനുഷ്യ അനോട്ടേഷൻ ക്യാമ്പെയിൻ നടത്തി. ടാസ്കുകൾ അവലോകനം ചെയ്യുന്നതിന് മുമ്പ് ഞങ്ങൾ ബെഞ്ച്മാർക്ക് ലക്ഷ്യങ്ങൾ, പ്രശ്ന വർഗ്ഗീകരണം, എഡ്ജ് കേസുകൾ എന്നിവയിൽ പരിശീലനം ലഭിച്ച പരിചയസമ്പന്നരായ സോഫ്റ്റ്‌വെയർ എഞ്ചിനീയർമാർക്കൊപ്പം പ്രവർത്തിച്ചു. ഓരോ ടാസ്കും അഞ്ച് എഞ്ചിനീയർമാർ അവലോകനം ചെയ്തു.

പിന്തുണയ്ക്കുന്ന സന്ദർഭമായി പൈപ്പ്ലൈൻ വിശകലനത്തെയോ ട്രാൻസ്ക്രിപ്റ്റിനെയോ ഉപയോഗിക്കുന്നതിന് മുമ്പ്, ദൃശ്യമായ പ്രശ്ന പ്രസ്താവന, ടെസ്റ്റ് കേസുകൾ, ഗ്രൗണ്ട്-ട്രൂത്ത് റഫറൻസ് സൊല്യൂഷൻ (ഗോൾഡ് പാച്ച് എന്ന് അറിയപ്പെടുന്നത്) എന്നിവയിൽ നിന്ന് അവലോകകർ സ്വതന്ത്രമായ വിധിന്യായം രൂപപ്പെടുത്തി. തുടർന്ന് അവലോകകർ വ്യക്തമായ തെളിവുകളുടെ അടിസ്ഥാനത്തിൽ ഒരു ലേബലും തീവ്രത റേറ്റിംഗും നൽകി; അഭിപ്രായവ്യത്യാസങ്ങളോ കുറഞ്ഞ ആത്മവിശ്വാസമുള്ള കേസുകളോ കൂടുതൽ അവലോകനത്തിനായി വിട്ടു.

ടാസ്കുകൾ തകരാറുള്ളവയാണെന്ന് അടയാളപ്പെടുത്താൻ ഇൻവെസ്റ്റിഗേറ്റർ ഏജന്റുകളേക്കാൾ സാധ്യതയുണ്ടായിരുന്നത് മനുഷ്യ അവലോകകരായിരുന്നു. ഈ രണ്ട് അവലോകന പാതകളിലും, വിഭാഗങ്ങളെക്കുറിച്ച് ചില അഭിപ്രായവ്യത്യാസങ്ങളും ഉണ്ടായിരുന്നു; എന്നാൽ ഫ്ലാഗ് ചെയ്ത ഒരു ടാസ്കിലും “തകരാറില്ല” എന്നത് ഏറ്റവും സാധാരണമായ മനുഷ്യ ലേബൽ ആയിരുന്നില്ല. ഏജന്റ് പൈപ്പ്ലൈൻ ഫ്ലാഗ് ചെയ്ത വിഭാഗങ്ങളിൽ, 74% കേസുകൾ അവലോകകരുടെ വിധികളുമായി ഒത്തുപോയി.

ഏജന്റ് പൈപ്പ്ലൈനുമായി താരതമ്യപ്പെടുത്തുമ്പോൾ, മനുഷ്യ അവലോകകർ ഒരു ടാസ്കിന് ഒന്നിലധികം ലേബലുകൾ തിരഞ്ഞെടുക്കാനുള്ള സാധ്യതയും കൂടുതലായിരുന്നു; ടാസ്കുകൾ പല രീതിയിലും തകരാറുള്ളതായി അവർ കണ്ടുവെന്നോ ഒരൊറ്റ വിഭാഗത്തിൽ പൂർണ്ണമായും യോജിക്കുന്നില്ലെന്നോ ഇത് സൂചിപ്പിക്കുന്നു. ഏജന്റ്-പ്ലസ്-റിവ്യൂവർ പൈപ്പ്ലൈൻ യാഥാസ്ഥിതിക ലേബലിംഗിന് കാരണമായി എന്ന് ഇത് സൂചിപ്പിക്കുന്നു: മനുഷ്യർ തിരിച്ചറിഞ്ഞ അതേ വിശാലമായ പരാജയ രീതികൾ അത് പിടിച്ചെടുത്തു, അതേസമയം, അവലോകകർ അധികമോ ഓവർലാപ്പ് ചെയ്യുന്നതോ ആയി കണ്ട പ്രശ്നങ്ങൾ കുറച്ച് എണ്ണി. ഏറ്റവും വലിയ വ്യത്യാസം കുറഞ്ഞ കവറേജുള്ള ടെസ്റ്റുകളിലായിരുന്നു; ബെഞ്ച്മാർക്കിന്റെ 9.4%-ത്തിൽ മനുഷ്യർ ഇതിനെ ഏറ്റവും സാധാരണമായ പ്രശ്നമായി തിരഞ്ഞെടുത്തപ്പോൾ, ഏജന്റ് പൈപ്പ്‌ലൈനിൽ അത് 4.1% ആയിരുന്നു.

പരാജയ രീതികൾ

പല സന്ദർഭങ്ങളിലും ടാസ്ക് പ്രോംപ്റ്റ് ഒരു പ്രത്യേക നടപ്പിലാക്കൽ നിർദേശിച്ചെങ്കിലും, മറഞ്ഞിരിക്കുന്ന ടെസ്റ്റ് കേസുകൾ വ്യത്യസ്തമായ പെരുമാറ്റമാണ് പ്രതീക്ഷിച്ചത്.

This task involves normalizing table-of-contents entries and rendering them back to Markdown via TocEntry.to_markdown(). The task prompt specifies serialization down to character-level spacing, describing how exact spacing and pipes are enforced, and gives examples such as " | Chapter 1 | 1" and "** | Chapter 1 | 1":

ഒന്നുമില്ല

1"[space]| Chapter 1 | 1"
2"**[space]| Chapter 1 | 1"
3"[space]| Just title | "

The hidden test_to_markdown assertions instead require " | Chapter 1 | 1" and "** | Chapter 1 | 1":

ഒന്നുമില്ല

1"[space][space]| Chapter 1 | 1"
2"**[space][space]| Chapter 1 | 1"
3"[space][space]| Just title | "

There are two leading spaces in the hidden tests, but the example given to the model only contains one leading space. If a model rightly follows the given prompt, that one-character difference would fail the hidden test cases and the task would be marked incorrect.

ചർച്ച

ഞങ്ങൾ തിരിച്ചറിഞ്ഞ പ്രശ്നങ്ങൾ, SWE-bench Verified-ലെ സമാന കേസുകളുമായി ചേർന്ന്, ബെഞ്ച്മാർക്കുകൾ കർശനമായി പരിശോധിക്കുന്നതിന്റെ പ്രാധാന്യം അടിവരയിടുന്നു. ഓപ്പൺ സോഴ്സ് റിപ്പോസിറ്ററികളിലെ പ്രശ്നങ്ങളും pull requests ഉം ആദ്യം മനുഷ്യ സഹകരണത്തിനായാണ് സൃഷ്ടിച്ചത്; പലപ്പോഴും പരിപാലകരും സംഭാവകരും തമ്മിലുള്ള ദീർഘമായ തുടർ ചർച്ചകളിലൂടെയാണ് അവ രൂപപ്പെട്ടത്. തൽഫലമായി, മോഡലുകളെ വിശ്വസനീയമായി വിലയിരുത്താനായി വ്യക്തവും ഒറ്റപ്പെട്ടതുമായ ടാസ്കുകൾ രൂപപ്പെടുത്തുന്ന തരത്തിൽ പ്രശ്ന വിവരണങ്ങൾ, ലയിപ്പിച്ച കോഡ്, യൂണിറ്റ് ടെസ്റ്റുകൾ എന്നിവ തമ്മിൽ എപ്പോഴും പൊരുത്തപ്പെടുത്താൻ കഴിയണമെന്നില്ല. പ്രത്യേകിച്ച്, pull requests-ൽ ഉൾപ്പെടുത്തിയിരിക്കുന്ന ടെസ്റ്റുകൾ ഒരു ടാസ്ക് പരിഹരിക്കുന്നതിന് നടപ്പിലാക്കൽ-നിരപേക്ഷമായ ഒരു മാനദണ്ഡം നിർവചിക്കുന്നതിനേക്കാൾ, ഒരു പ്രത്യേക മാറ്റം സാധൂകരിക്കുന്നതിനായാണ് എഴുതിയിരിക്കുന്നത് എന്നതിനാൽ അവ അതികർശനമായിരിക്കാം.

അതേസമയം, കുറച്ച് കാലം മുമ്പത്തേതിനെക്കാൾ ഇപ്പോൾ മൂല്യനിർണയത്തിലെ പിഴവുകൾ കണ്ടെത്തുന്നത് എളുപ്പമാണ്. മോഡൽ കഴിവുകൾ മെച്ചപ്പെടുന്നതോടെ പ്രോംപ്റ്റുകൾ, ടെസ്റ്റുകൾ, പാച്ചുകൾ, ട്രേസുകൾ, എഡ്ജ് കേസുകൾ എന്നിവ കൂടുതൽ ഗഹനമായും സ്ഥിരതയോടെയും പരിശോധിക്കാൻ ആ മോഡലുകൾ തന്നെ ഉപയോഗിക്കാം; മുമ്പ് വലിയ തോതിൽ കണ്ടെത്തുന്നത് ചെലവേറിയതോ പ്രായോഗികമല്ലാത്തതോ ആയിരുന്ന ബെഞ്ച്മാർക്ക് പ്രശ്നങ്ങൾ പുറത്തുകൊണ്ടുവരാൻ ഇത് സഹായിക്കുന്നു.

മോഡൽ കഴിവുകൾ പ്രത്യേകമായി പരിശോധിക്കുന്നതിനായി പരിചയസമ്പന്നരായ സോഫ്റ്റ്‌വെയർ ഡെവലപ്പർമാർ നിർമ്മിക്കുന്ന പുതിയ ബെഞ്ച്മാർക്കുകൾ വിശാലമായ മൂല്യനിർണയ സമൂഹം വികസിപ്പിക്കുമെന്ന് ഞങ്ങൾ പ്രതീക്ഷിക്കുന്നു. മോഡൽ കഴിവുകൾ അളക്കാൻ നമുക്ക് ആവശ്യമായ ഉയർന്ന നിലവാരവും യാഥാർഥ്യബോധവും ആ സമീപനത്തിന് നിലനിർത്താനാകും; പ്രക്രിയയിലുടനീളം മികച്ച മനുഷ്യ മേൽനോട്ടത്തിനും അത് അവസരം നൽകുന്നു. ഈ വിശകലനത്തിൽ കണ്ടെത്തിയ പ്രശ്നങ്ങൾ പരിഗണിച്ച്, SWE-Bench Pro സ്വീകരിക്കണമെന്ന ഞങ്ങളുടെ മുൻ ശുപാർശ ഞങ്ങൾ പിൻവലിക്കുന്നു.

ആത്യന്തികമായി, ഒരു മൂല്യനിർണയം, കൈകാര്യം ചെയ്യാൻ പ്രയാസമുള്ളതും വിശ്വസിക്കാൻ എളുപ്പമുള്ളതും മോഡലിന്റെ കഴിവിനെയോ അലൈൻമെന്റിനെയോ യഥാർഥത്തിൽ പ്രതിഫലിപ്പിക്കുന്നതുമായ ബെഞ്ച്മാർക്കുകളിലൂടെ അർത്ഥവത്തായ സൂചന നൽകണം. ഈ ഫലങ്ങൾ OpenAI-യുടെ വിന്യാസവും സുരക്ഷാ തീരുമാനങ്ങളും അറിയിക്കുന്നതിനാൽ, ഞങ്ങൾ ട്രാക്ക് ചെയ്യുന്ന മൂല്യനിർണയങ്ങൾ സാധുതയുള്ളതും വിവരദായകവുമായിരിക്കണം.