கோடிங் மதிப்பீடுகளில் சிக்னலை இரைச்சலிலிருந்து பிரித்தல்

எங்கள் மாடல்களின் திறன்களைத் துல்லியமாக அளவிடுவது, OpenAI-இன் பிரிபேர்ட்நெஸ் ஃப்ரேம்வொர்க்⁠(புதிய சாளரத்தில் திறக்கும்) கீழான முடிவுகள் உட்பட, வலுவான வெளியீட்டு மற்றும் பாதுகாப்பு முடிவுகளுக்கு முக்கியமானது. ஒவ்வொரு மாடல் வெளியீட்டிலும், மாடல் முன்னேற்றத்தைத் தடமறிய பல்வேறு வெளிப்புற மற்றும் உள்துறை பெஞ்ச்மார்க்குகளுக்கான முடிவுகளை நாங்கள் அறிவிக்கிறோம். மதிப்பீடுகளில் முடிவுகளைப் பாதிக்கும் குறைகள் இருந்தால், அவை திறன்களைப் பற்றிய தவறான புரிதலை ஏற்படுத்தி, பாதுகாப்பு ஆதாரங்களைத் தவறாகக் காட்டி, ஆராய்ச்சி முன்னுரிமைகளையும் பாதிக்கலாம்.

மிகவும் பரவலாகப் பயன்படுத்தப்படும் கோடிங் பெஞ்ச்மார்க்குகளில் ஒன்றான SWE-bench Verified-இல் அடிப்படை வடிவமைப்பு மற்றும் மாசுபாடு சிக்கல்கள் இருந்ததை நாங்கள் சமீபத்தில் ஆய்வு செய்தோம்; மென்பொருள் மேம்பாட்டு திறன்கள் குறித்து அந்த மதிப்பீடு இனி அர்த்தமுள்ள சிக்னலை வழங்கவில்லை என்பதையும் கண்டறிந்தோம். அப்போது, பரந்த சமூகத்தை SWE-Bench Pro-க்கு மாறுமாறு நாங்கள் ஊக்குவித்தோம்.

SWE-Bench Pro⁠(புதிய சாளரத்தில் திறக்கும்), நீண்ட கால எல்லைகளிலும் மேலும் நிஜத்தன்மையுள்ள கோடிங் பணிகளிலும் மாடல்களைச் சோதித்து, ஏஜென்டிக் கோடிங் திறன்களை சிறப்பாகத் தடமறிய SWE-bench Verified-ஐ மேம்படுத்தும் நோக்கில் வடிவமைக்கப்பட்டது. SWE-bench Verified போலவே, பொது மற்றும் தனியார் கோடிங் களஞ்சியங்களின் தொகுப்பில் உள்ள அம்ச மாற்ற வரலாற்றிலிருந்து பணிகள் நிரல்முறையாகப் பெறப்படுகின்றன. தற்போதுள்ள செயல்பாட்டை உடைக்காமல், ஓர் அம்சத்துக்கான புதிய சோதனைகளைத் தாண்டும் தீர்வை மாடல்கள் செயல்படுத்த வேண்டும். 731 பணிகளைக் கொண்ட பொதுப் பிரிவில், அதிநவீன மாடல்கள் எட்டு மாதங்களில் 23.3% தேர்ச்சி விகிதத்திலிருந்து 80.3%-ஆக முன்னேறின.

அதன்பிறகு, SWE-Bench Pro மீதும் இதே போன்ற தணிக்கையை செய்து, தரவுப்புள்ளி பகுப்பாய்வு பைப்லைன் மூலம் தரவுத்தொகுப்பை மதிப்பாய்வு செய்துள்ளோம். சாத்தியமான மதிப்பீட்டு குறைகளை குறிக்க, பைப்லைன் பணியில் மாடல் மேற்கொண்ட முயற்சிகள், பணி மீத்தரவு மற்றும் தோல்வி தடங்களை மதிப்பாய்வு செய்தது. பின்னர் குறிக்கப்பட்ட ஒவ்வொரு பணியும் பல புலனாய்வாளர்-ஏஜென்ட் சுற்றுகள் மூலம் மதிப்பிடப்பட்டது; மேலும் ஐந்து அனுபவமுள்ள மென்பொருள் பொறியாளர்களால் சுயாதீனமாக மதிப்பாய்வு செய்யப்பட்டது. கருத்து வேறுபாடுகள் மேலதிக விசாரணைக்கு உயர்த்தப்பட்டன.

பிரச்சினைகள் முதன்மையாக நான்கு வகைகளாகப் பிரிந்தன:

• மிகக் கடுமையான சோதனைகள்¹ ப்ராம்ப்ட்டில் குறிப்பிடப்படாத குறிப்பிட்ட செயலாக்க விவரங்களை கட்டாயப்படுத்தி, செயல்பாட்டு ரீதியாக சரியான பல சமர்ப்பிப்புகளை செல்லாததாக்குகின்றன.
• போதிய விவரம் இல்லாத ப்ராம்ப்ட்கள்² மறைக்கப்பட்ட சோதனைகள் கட்டாயப்படுத்தும், நியாயமாக ஊகிக்க முடியாத தேவைகளை விட்டுவிடுகின்றன.
• குறைந்த கவரேஜ் சோதனைகள் கோரப்பட்ட அம்சத்தை போதிய அளவு சரிபார்க்காததால், முழுமையற்ற திருத்தங்களும் தேர்ச்சி பெறலாம்.
• தவறாக வழிநடத்தும் ப்ராம்ப்ட் தவறான நடத்தைக்கு மாடல்களைத் திருப்புகிறது அல்லது சோதனைகள் கோருவதற்கு முரணாக இருக்கிறது.

கடினமானதும் நியாயமானதுமான பெஞ்ச்மார்க்குகளைச் செம்மைப்படுத்துவதிலுள்ள சிரமத்தையும், விரிவான அளவிலான தரத் தரவு சரிபார்ப்புகளுக்கு ஏஜென்ட்களின் பயன்பாடு அதிகரித்து வருவதையும் எங்கள் கண்டுபிடிப்புகள் காட்டுகின்றன. இந்த முடிவுகளை முன்னிட்டு, SWE-bench Pro பணிகளில் சுமார் 30% செயலிழந்தவை என்று நாங்கள் மதிப்பிடுகிறோம்; மேலும் மாடல் உருவாக்குநர்கள் முடிவுகளை கவனமாக ஆய்வு செய்ய வேண்டும் என்று அறிவுறுத்துகிறோம்.

உண்மையான மாடல் வரம்புகளை பணி தோல்விகள் பிரதிபலிக்க வேண்டும்; ப்ராம்ப்ட் தேவைகளுக்கான முழுமையான மற்றும் செல்லுபடியான தீர்வுகளை பணி வெற்றிகள் பிரதிபலிக்க வேண்டும் என்பதே எங்கள் நோக்கம். மதிப்பீட்டில் பயன்படுத்தப்படும் தரவின் தரத்தைச் சரிபார்க்க, ஒவ்வொரு தரவுப்புள்ளியும் மாடல் திறன்களைத் துல்லியமாக பிரதிபலிக்கிறதா என்பதை மதிப்பிடும் தர உறுதி பைப்லைனை உருவாக்கினோம்.

மாடலுக்கு வழங்கப்பட்ட வழிமுறைகள், பணியைத் தீர்க்க மாடல் செய்த முயற்சிகள் மற்றும் அவற்றை மதிப்பிடப் பயன்படுத்தப்பட்ட சோதனைகளை ஒரு தொடக்க தானியக்க வடிகட்டி, மதிப்பாய்வு செய்து, செயலிழந்திருக்கக்கூடிய அல்லது பிரச்சினையுள்ள உதாரணங்களைக் குறிக்கிறது. இந்த வடிகட்டி செயலிழந்திருக்கக்கூடிய 286 பணிகளைக் குறித்தது. பின்னர் அந்த துணைத்தொகுப்பை இரு வழிகளில் ஆழமாக மதிப்பாய்வு செய்தோம்: புலனாய்வாளர் ஏஜென்ட்களுடன் விரிவான சரிபார்ப்புகளையும் இறுதி மனிதத் தீர்ப்பையும் மேற்கொள்ளும், மனித மேற்பார்வையுள்ள ஏஜென்ட் மதிப்பாய்வு; மற்றும் அனுபவமுள்ள மென்பொருள் டெவலப்பர்களுடன் நடைபெறும் மனித குறிப்பு முயற்சி.

குறிக்கப்பட்ட ஒவ்வொரு பிரச்சினையும், பணிக்கான கோடிங் களஞ்சியம் மற்றும் சூழலுக்கான அணுகல் வழங்கப்பட்ட Codex அடிப்படையிலான புலனாய்வாளர் ஏஜென்ட்களால் தணிக்கப்படுகிறது. அருகிலுள்ள கோடிங்கும் கோடிங் களஞ்சிய மரபுகளும் ஆய்வு செய்யப்படுவதன் மூலம் அடிக்கடி தீர்க்கக்கூடிய நியாயமான பணி தெளிவின்மையையும், உண்மையான போதிய விவரமின்மையையும் வேறுபடுத்த இது உதவுகிறது. ஏஜென்ட் சோதனைகளை இயக்கலாம், கோடிங் களஞ்சியத்தில் உள்ள கோப்புகளை ஆய்வு செய்யலாம், மேலும் பணியில் மாடல் மேற்கொண்ட முயற்சிகளையும் அவற்றின் பொதுவான தோல்வி முறைகளையும் விசாரிக்கலாம். இந்த ஆழமான தணிக்கைகளின் பல சுயாதீன மறுபதிப்புகளுக்குப் பிறகு, ஓர் ஆராய்ச்சியாளர் சுருக்கங்களை மதிப்பாய்வு செய்து, இறுதி தீர்ப்பை வழங்கி, சாத்தியமான பிரச்சினைகளுக்கு லேபிள் இட்டார்.

இணையாக, குறிக்கப்பட்ட துணைத்தொகுப்பில் மனித குறிப்பு முயற்சியை நடத்தியோம். பணிகளை மதிப்பாய்வு செய்வதற்கு முன், பெஞ்ச்மார்க் இலக்குகள், பிரச்சினை வகைப்பாடு, மற்றும் விளிம்பு நிலைகள் குறித்து பயிற்சி பெற்ற அனுபவமுள்ள மென்பொருள் பொறியாளர்களுடன் நாங்கள் பணியாற்றினோம். ஒவ்வொரு பணியும் ஐந்து பொறியாளர்களால் மதிப்பாய்வு செய்யப்பட்டது.

பைப்லைன் பகுப்பாய்வு அல்லது உரையாடல் பதிவை ஆதரவு சூழலாகப் பயன்படுத்துவதற்கு முன், மதிப்பாய்வாளர்கள் தென்படும் பிரச்சினை விளக்கம், சோதனை நிகழ்வுகள், மற்றும் உண்மை நிலை குறிப்பு தீர்வு (கோல்டுப் பேட்ச் என அறியப்படும்) ஆகியவற்றிலிருந்து சுயாதீன தீர்ப்பை உருவாக்கினர். பின்னர் மதிப்பாய்வாளர்கள் உறுதியான ஆதாரத்தின் அடிப்படையில் ஒரு லேபிளையும் தீவிரத்தன்மை மதிப்பீட்டையும் ஒதுக்கினர்; கருத்து வேறுபாடுகள் அல்லது குறைந்த நம்பிக்கை உள்ள நிகழ்வுகளை மேலதிக மதிப்பாய்வுக்கு உயர்த்தினர்.

மனித மதிப்பாய்வாளர்கள், புலனாய்வாளர் ஏஜென்ட்களை விட பணிகளை செயலிழந்தவையாகக் குறிக்கும் வாய்ப்பு அதிகமாக இருந்தது. இரு மதிப்பாய்வு பாதைகளுக்கும் இடையில் வகைகளில் சில கருத்து வேறுபாடுகளும் இருந்தன; ஆனால் குறிக்கப்பட்ட எந்தப் பணியிலும் “செயலிழக்கவில்லை” என்பது மிக பொதுவான மனித லேபிளாக இல்லை. ஏஜென்ட் பைப்லைன் குறித்த வகைகளில், மதிப்பாய்வாளர்களின் தீர்ப்புகள் 74% நிகழ்வுகளில் ஒத்திருந்தன.

ஏஜென்ட் பைப்லைனுடன் ஒப்பிடும்போது, மனித மதிப்பாய்வாளர்கள் ஒரு பணிக்குப் பல லேபிள்களைத் தேர்வுசெய்யும் வாய்ப்பும் அதிகமாக இருந்தது; அதாவது பணிகள் பல வழிகளில் செயலிழந்திருந்தன அல்லது ஒரு வகைக்குள் தெளிவாகப் பொருந்தவில்லை என்று அவர்கள் கண்டனர். இதனால், ஏஜென்ட்-மற்றும்-மதிப்பாய்வாளர் பைப்லைன் பாதுகாப்பான லேபிளிடலுக்கு வழிவகுத்தது என்று தெரிகிறது: மனிதர்கள் அடையாளம் கண்ட அதே பரந்த தோல்வி முறைகளை அது பிடித்துக்கொண்டாலும், மதிப்பாய்வாளர்கள் கூடுதல் அல்லது ஒன்றோடொன்று மீறும் பிரச்சினைகளை கண்ட இடங்களில் எண்ணிக்கையை குறைவாகப் பதிவு செய்தது. மிகப் பெரிய வேறுபாடு குறைந்த கவரேஜ் சோதனைகளில் இருந்தது; மனிதர்கள் அதை பெஞ்ச்மார்க்கின் 9.4%-க்கான மிக பொதுவான பிரச்சினையாகத் தேர்ந்தெடுத்தனர், ஏஜென்ட் பைப்லைனில் அது 4.1% மட்டுமே.

நாங்கள் அடையாளம் கண்ட பிரச்சினைகள், SWE-bench Verified-இல் உள்ள இதே போன்ற நிகழ்வுகளுடன் சேர்ந்து, பெஞ்ச்மார்க்குகளை கடுமையாகச் சரிபார்ப்பதன் முக்கியத்துவத்தை எடுத்துக்காட்டுகின்றன. திறந்த மூல கோடிங் களஞ்சியங்களில் உள்ள பிரச்சினைகளும் புல் ரிக்வெஸ்ட்களும் முதலில் மனித ஒத்துழைப்புக்காக உருவாக்கப்பட்டவை; பராமரிப்பாளர்கள் மற்றும் பங்களிப்பாளர்கள் இடையிலான நீண்ட முன்-பின் உரையாடல்கள் மூலம் அவை பெரும்பாலும் நடந்தன. இதன் விளைவாக, பிரச்சினை விளக்கங்கள், இணைக்கப்பட்ட கோடிங் மற்றும் யூனிட் சோதனைகள் எப்போதும் மாடல்களை நம்பத்தகுந்த வகையில் மதிப்பிடத் தேவையான சுத்தமான, தனித்துப் பிரிந்த பணிகளாக ஒன்றிணைவதில்லை. குறிப்பாக, புல் ரிக்வெஸ்ட்களில் சேர்க்கப்பட்ட சோதனைகள் மிகக் கடுமையாக இருக்கலாம்; ஏனெனில் அவை பணியைத் தீர்ப்பதற்கான செயலாக்க-சார்பற்ற தரநிலையை வரையறுப்பதற்குப் பதிலாக, குறிப்பிட்ட மாற்றத்தைச் சரிபார்க்க எழுதப்பட்டவை.

அதே நேரத்தில், சிறிது காலத்திற்கு முன்பை விட இப்போது மதிப்பீட்டு குறைகளை கண்டறிதல் எளிதாகியுள்ளது. மாடல் திறன்கள் மேம்படும் போது, ப்ராம்ப்ட்கள், சோதனைகள், பேட்ச்கள், தடங்கள் மற்றும் விளிம்பு நிலைகளை மிகவும் அதிக ஆழத்துடனும் ஒருமைப்பாட்டுடனும் ஆய்வு செய்ய அந்த மாடல்களையே பயன்படுத்தலாம்; முன்பு பெரிய அளவில் கண்டறிவது செலவானதாகவோ நடைமுறைக்கு ஒவ்வாததாகவோ இருந்த பெஞ்ச்மார்க் பிரச்சினைகளை வெளிக்கொணர இது உதவுகிறது.

மாடல் திறன்களைச் சோதிப்பதற்காகவே அனுபவமுள்ள மென்பொருள் டெவலப்பர்களால் உருவாக்கப்படும் புதிய பெஞ்ச்மார்க்குகளை பரந்த மதிப்பீட்டு சமூகம் உருவாக்கும் என்று நாங்கள் நம்புகிறோம். அந்த அணுகுமுறை, மாடல் திறன்களை அளவிட நாம் விரும்பும் உயர்ந்த தரத்தையும் நிஜத்தன்மையையும் பாதுகாக்க முடியும்; மேலும் செயல்முறை முழுவதும் சிறந்த மனித மேற்பார்வையையும் அனுமதிக்கும். இந்த பகுப்பாய்வில் வெளிப்பட்ட பிரச்சினைகளை கருத்தில் கொண்டு, SWE-Bench Pro-ஐ ஏற்க வேண்டும் என்ற எங்களின் முந்தைய பரிந்துரையை நாங்கள் திரும்பப் பெறுகிறோம்.

இறுதியில், ஒரு மதிப்பீடு சூழ்ச்சி செய்து வெல்வது கடினமான, நம்புவது எளிதான மற்றும் மாடல் திறன் அல்லது ஒழுங்கமைவை உண்மையாக பிரதிபலிக்கும் பெஞ்ச்மார்க்குகள் மூலம் அர்த்தமுள்ள சிக்னலை வழங்க வேண்டும். OpenAI-இன் வெளியீட்டு மற்றும் பாதுகாப்பு முடிவுகளுக்கு இந்த முடிவுகள் தகவல் அளிப்பதால், நாம் தடமறியும் மதிப்பீடுகள் செல்லுபடியாகவும் தகவலளிப்பதாகவும் இருக்க வேண்டும்.