ਕੋਡਿੰਗ ਮੁਲਾਂਕਣਾਂ ਵਿੱਚ ਸੰਕੇਤ ਨੂੰ ਸ਼ੋਰ ਤੋਂ ਵੱਖ ਕਰਨਾ

ਸਾਡੇ ਮਾਡਲਾਂ ਦੀਆਂ ਸਮਰੱਥਾਵਾਂ ਨੂੰ ਸਹੀ ਤਰ੍ਹਾਂ ਮਾਪਣਾ ਮਜ਼ਬੂਤ ਤੈਨਾਤੀ ਅਤੇ ਸੁਰੱਖਿਆ ਫ਼ੈਸਲਿਆਂ ਲਈ ਮਹੱਤਵਪੂਰਨ ਹੈ, ਜਿਸ ਵਿੱਚ OpenAI ਦੇ ਪ੍ਰਿਪੇਅਰਡਨੈਸ ਫ੍ਰੇਮਵਰਕ⁠(ਨਵੀਂ ਵਿੰਡੋ ਵਿੱਚ ਖੁੱਲ੍ਹਦਾ ਹੈ) ਹੇਠਲੇ ਫ਼ੈਸਲੇ ਵੀ ਸ਼ਾਮਲ ਹਨ. ਹਰ ਮਾਡਲ ਰਿਲੀਜ਼ ਨਾਲ, ਅਸੀਂ ਮਾਡਲ ਪ੍ਰਗਤੀ ਨੂੰ ਟ੍ਰੈਕ ਕਰਨ ਲਈ ਵੱਖ-ਵੱਖ ਬਾਹਰੀ ਅਤੇ ਅੰਦਰੂਨੀ ਬੈਂਚਮਾਰਕਾਂ ਦੇ ਨਤੀਜੇ ਰਿਪੋਰਟ ਕਰਦੇ ਹਾਂ. ਜਦੋਂ ਮੁਲਾਂਕਣਾਂ ਵਿੱਚ ਅਜਿਹੀਆਂ ਖਾਮੀਆਂ ਹੁੰਦੀਆਂ ਹਨ ਜੋ ਨਤੀਜਿਆਂ ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕਰਦੀਆਂ ਹਨ, ਤਾਂ ਉਹ ਸਮਰੱਥਾਵਾਂ ਬਾਰੇ ਗਲਤ ਸਮਝ ਦੇ ਸਕਦੀਆਂ ਹਨ, ਸੁਰੱਖਿਆ ਮਾਮਲਿਆਂ ਨੂੰ ਗਲਤ ਦਰਸਾ ਸਕਦੀਆਂ ਹਨ ਅਤੇ ਖੋਜ ਤਰਜੀਹਾਂ ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕਰ ਸਕਦੀਆਂ ਹਨ.

ਅਸੀਂ ਹਾਲ ਹੀ ਵਿੱਚ ਜਾਂਚਿਆ ਕਿ ਸਭ ਤੋਂ ਵੱਧ ਵਰਤੇ ਜਾਣ ਵਾਲੇ ਕੋਡਿੰਗ ਬੈਂਚਮਾਰਕਾਂ ਵਿੱਚੋਂ ਇੱਕ, SWE-bench Verified, ਵਿੱਚ ਮੂਲ ਡਿਜ਼ਾਈਨ ਅਤੇ ਦੂਸ਼ਣ ਸਮੱਸਿਆਵਾਂ ਸਨ, ਅਤੇ ਪਾਇਆ ਕਿ ਮੁਲਾਂਕਣ ਹੁਣ ਸਾਫ਼ਟਵੇਅਰ ਵਿਕਾਸ ਸਮਰੱਥਾਵਾਂ ਬਾਰੇ ਅਰਥਪੂਰਨ ਸੰਕੇਤ ਨਹੀਂ ਦਿੰਦਾ ਸੀ. ਉਸ ਵੇਲੇ, ਅਸੀਂ ਵੱਡੇ ਸਮੁਦਾਇ ਨੂੰ SWE-Bench Pro ਅਪਣਾਉਣ ਲਈ ਉਤਸ਼ਾਹਿਤ ਕੀਤਾ ਸੀ.

SWE-Bench Pro⁠(ਨਵੀਂ ਵਿੰਡੋ ਵਿੱਚ ਖੁੱਲ੍ਹਦਾ ਹੈ) ਨੂੰ SWE-bench Verified ਨਾਲੋਂ ਬਿਹਤਰ ਬਣਾਉਣ ਲਈ ਡਿਜ਼ਾਈਨ ਕੀਤਾ ਗਿਆ ਸੀ, ਤਾਂ ਜੋ ਮਾਡਲਾਂ ਨੂੰ ਲੰਬੇ ਸਮੇਂ-ਅੰਤਰਾਲਾਂ ਅਤੇ ਹੋਰ ਹਕੀਕਤੀ ਕੋਡਿੰਗ ਕੰਮਾਂ 'ਤੇ ਟੈਸਟ ਕਰਕੇ ਏਜੰਟਿਕ ਕੋਡਿੰਗ ਸਮਰੱਥਾਵਾਂ ਨੂੰ ਵਧੀਆ ਤਰ੍ਹਾਂ ਟ੍ਰੈਕ ਕੀਤਾ ਜਾ ਸਕੇ. SWE-bench Verified ਵਾਂਗ, ਕੰਮਾਂ ਨੂੰ ਸਰਕਾਰੀ ਅਤੇ ਨਿੱਜੀ ਰਿਪੋਜ਼ਟਰੀਆਂ ਦੇ ਇਕ ਸਮੂਹ ਵਿੱਚ ਫੀਚਰ ਬਦਲਾਅ ਦੇ ਇਤਿਹਾਸ ਤੋਂ ਪ੍ਰੋਗਰਾਮਾਤਮਕ ਤੌਰ 'ਤੇ ਲਿਆ ਜਾਂਦਾ ਹੈ. ਮਾਡਲਾਂ ਤੋਂ ਉਮੀਦ ਹੁੰਦੀ ਹੈ ਕਿ ਉਹ ਐਸਾ ਹੱਲ ਲਾਗੂ ਕਰਨ ਜੋ ਕਿਸੇ ਫੀਚਰ ਲਈ ਨਵੇਂ ਟੈਸਟ ਪਾਸ ਕਰੇ, ਬਿਨਾਂ ਮੌਜੂਦਾ ਕਾਰਗੁਜ਼ਾਰੀ ਨੂੰ ਤੋੜੇ. 731-ਕੰਮਾਂ ਵਾਲੇ ਜਨਤਕ ਸਪਲਿਟ 'ਤੇ, ਅਤਿ-ਆਧੁਨਿਕ ਮਾਡਲ ਅੱਠ ਮਹੀਨਿਆਂ ਵਿੱਚ 23.3% ਤੋਂ 80.3% ਪਾਸ ਦਰ ਤੱਕ ਸੁਧਰੇ.

ਇਸ ਤੋਂ ਬਾਅਦ ਅਸੀਂ SWE-Bench Pro 'ਤੇ ਵੀ ਮਿਲਦਾ-ਜੁਲਦਾ ਆਡਿਟ ਕੀਤਾ, ਜਿਸ ਵਿੱਚ ਡੇਟਾ-ਬਿੰਦੂ ਵਿਸ਼ਲੇਸ਼ਣ ਪਾਈਪਲਾਈਨ ਨਾਲ ਡੇਟਾਸੈੱਟ ਦੀ ਸਮੀਖਿਆ ਕੀਤੀ ਗਈ. ਪਾਈਪਲਾਈਨ ਨੇ ਸੰਭਾਵਿਤ ਮੁਲਾਂਕਣ ਖਾਮੀਆਂ ਚਿੰਨ੍ਹਿਤ ਕਰਨ ਲਈ ਕੰਮ 'ਤੇ ਮਾਡਲ ਕੋਸ਼ਿਸ਼ਾਂ, ਕੰਮ ਮੈਟਾਡਾਟਾ ਅਤੇ ਨਾਕਾਮੀ ਟ੍ਰੇਸਾਂ ਦੀ ਸਮੀਖਿਆ ਕੀਤੀ. ਹਰੇਕ ਚਿੰਨ੍ਹਿਤ ਕੰਮ ਦਾ ਫਿਰ ਕਈ ਜਾਂਚਕਰਤਾ-ਏਜੰਟ ਪਾਸਾਂ ਰਾਹੀਂ ਮੁਲਾਂਕਣ ਕੀਤਾ ਗਿਆ ਅਤੇ ਪੰਜ ਤਜਰਬੇਕਾਰ ਸਾਫ਼ਟਵੇਅਰ ਇੰਜੀਨੀਅਰਾਂ ਨੇ ਸੁਤੰਤਰ ਸਮੀਖਿਆ ਕੀਤੀ; ਅਸਹਿਮਤੀਆਂ ਨੂੰ ਹੋਰ ਜਾਂਚ ਲਈ ਅੱਗੇ ਭੇਜਿਆ ਗਿਆ.

ਸਮੱਸਿਆਵਾਂ ਮੁੱਖ ਤੌਰ 'ਤੇ ਚਾਰ ਸ਼੍ਰੇਣੀਆਂ ਵਿੱਚ ਆਈਆਂ:

• ਬਹੁਤ ਸਖ਼ਤ ਟੈਸਟ¹ ਪ੍ਰੌਂਪਟ ਵਿੱਚ ਨਾ ਦਿੱਤੇ ਖਾਸ ਲਾਗੂਕਰਨ ਵੇਰਵਿਆਂ ਨੂੰ ਲਾਜ਼ਮੀ ਬਣਾਉਂਦੇ ਹਨ, ਜਿਸ ਨਾਲ ਕਾਰਗੁਜ਼ਾਰੀ ਪੱਖੋਂ ਸਹੀ ਕਈ ਸਬਮਿਸ਼ਨਾਂ ਅਵੈਧ ਹੋ ਜਾਂਦੀਆਂ ਹਨ.
• ਘੱਟ-ਨਿਰਧਾਰਤ ਪ੍ਰੌਂਪਟ² ਉਹ ਲੋੜਾਂ ਛੱਡ ਦਿੰਦੇ ਹਨ ਜਿਨ੍ਹਾਂ ਨੂੰ ਲੁਕੇ ਟੈਸਟ ਲਾਗੂ ਕਰਦੇ ਹਨ ਅਤੇ ਜੋ ਵਾਜਬ ਤੌਰ 'ਤੇ ਅਨੁਮਾਨਣਯੋਗ ਨਹੀਂ ਹੁੰਦੀਆਂ.
• ਘੱਟ-ਕਵਰੇਜ ਟੈਸਟ ਮੰਗੇ ਗਏ ਫੀਚਰ ਦੀ ਪੂਰੀ ਜਾਂਚ ਨਹੀਂ ਕਰਦੇ, ਇਸ ਲਈ ਅਧੂਰੇ ਸੁਧਾਰ ਵੀ ਪਾਸ ਹੋ ਸਕਦੇ ਹਨ.
• ਭਰਮਾਉਣ ਵਾਲਾ ਪ੍ਰੌਂਪਟ ਮਾਡਲਾਂ ਨੂੰ ਗਲਤ ਵਿਹਾਰ ਵੱਲ ਲੈ ਜਾਂਦਾ ਹੈ ਜਾਂ ਟੈਸਟਾਂ ਦੀ ਲੋੜ ਨਾਲ ਵਿਰੋਧ ਕਰਦਾ ਹੈ.

ਸਾਡੇ ਨਤੀਜੇ ਦਿਖਾਉਂਦੇ ਹਨ ਕਿ ਮੁਸ਼ਕਲ ਪਰ ਨਿਆਂਪੂਰਨ ਬੈਂਚਮਾਰਕ ਤਿਆਰ ਕਰਨਾ ਔਖਾ ਹੈ ਅਤੇ ਸਕੇਲਯੋਗ ਡੇਟਾ-ਗੁਣਵੱਤਾ ਜਾਂਚਾਂ ਲਈ ਏਜੰਟਾਂ ਦੀ ਉਪਯੋਗਤਾ ਵਧ ਰਹੀ ਹੈ. ਇਨ੍ਹਾਂ ਨਤੀਜਿਆਂ ਦੇ ਆਧਾਰ 'ਤੇ, ਸਾਡਾ ਅੰਦਾਜ਼ਾ ਹੈ ਕਿ SWE-bench Pro ਦੇ ਲਗਭਗ ~30% ਕੰਮ ਟੁੱਟੇ ਹੋਏ ਹਨ, ਅਤੇ ਅਸੀਂ ਸਲਾਹ ਦਿੰਦੇ ਹਾਂ ਕਿ ਮਾਡਲ ਵਿਕਾਸਕਾਰ ਨਤੀਜਿਆਂ ਦੀ ਧਿਆਨ ਨਾਲ ਜਾਂਚ ਕਰਨ.

ਸਾਡਾ ਮਕਸਦ ਯਕੀਨੀ ਬਣਾਉਣਾ ਹੈ ਕਿ ਕੰਮਾਂ ਵਿੱਚ ਨਾਕਾਮੀਆਂ ਅਸਲ ਮਾਡਲ ਸੀਮਾਵਾਂ ਦਰਸਾਉਣ, ਅਤੇ ਕੰਮਾਂ ਵਿੱਚ ਸਫਲਤਾਵਾਂ ਪ੍ਰੌਂਪਟ ਲੋੜਾਂ ਲਈ ਪੂਰੇ ਅਤੇ ਵੈਧ ਹੱਲ ਦਰਸਾਉਣ. ਮੁਲਾਂਕਣ ਵਿੱਚ ਵਰਤੇ ਡੇਟਾ ਦੀ ਗੁਣਵੱਤਾ ਜਾਂਚਣ ਲਈ, ਅਸੀਂ ਇਹ ਆਕਲਨ ਕਰਨ ਵਾਸਤੇ ਗੁਣਵੱਤਾ-ਭਰੋਸਾ ਪਾਈਪਲਾਈਨ ਬਣਾਈ ਕਿ ਕੀ ਹਰ ਡੇਟਾ-ਬਿੰਦੂ ਮਾਡਲ ਸਮਰੱਥਾਵਾਂ ਨੂੰ ਸਹੀ ਦਰਸਾਉਂਦਾ ਹੈ.

ਸ਼ੁਰੂਆਤੀ ਆਟੋਮੈਟਿਕ ਫਿਲਟਰ ਮਾਡਲ ਨੂੰ ਦਿੱਤੀਆਂ ਹਦਾਇਤਾਂ, ਕੰਮ ਹੱਲ ਕਰਨ ਦੀਆਂ ਮਾਡਲ ਕੋਸ਼ਿਸ਼ਾਂ ਅਤੇ ਇਨ੍ਹਾਂ ਕੋਸ਼ਿਸ਼ਾਂ ਨੂੰ ਅੰਕਣ ਲਈ ਵਰਤੇ ਟੈਸਟਾਂ ਦੀ ਸਮੀਖਿਆ ਕਰਦਾ ਹੈ, ਤਾਂ ਜੋ ਸੰਭਾਵਿਤ ਟੁੱਟੀਆਂ ਜਾਂ ਸਮੱਸਿਆਗ੍ਰਸਤ ਮਿਸਾਲਾਂ ਚਿੰਨ੍ਹਿਤ ਹੋ ਸਕਣ. ਇਸ ਫਿਲਟਰ ਨੇ 286 ਸੰਭਾਵਿਤ ਟੁੱਟੇ ਕੰਮ ਚਿੰਨ੍ਹਿਤ ਕੀਤੇ. ਫਿਰ ਅਸੀਂ ਉਸ ਸਬਸੈੱਟ ਦੀ ਦੋ ਤਰੀਕਿਆਂ ਨਾਲ ਗਹਿਰੀ ਸਮੀਖਿਆ ਕੀਤੀ: ਮਨੁੱਖੀ ਨਿਗਰਾਨੀ ਵਾਲੀ ਏਜੰਟ ਸਮੀਖਿਆ, ਜੋ ਜਾਂਚਕਰਤਾ ਏਜੰਟਾਂ ਨਾਲ ਵਿਸਤ੍ਰਿਤ ਜਾਂਚਾਂ ਅਤੇ ਆਖਰੀ ਮਨੁੱਖੀ ਫ਼ੈਸਲਾ ਕਰਦੀ ਹੈ; ਅਤੇ ਤਜਰਬੇਕਾਰ ਸਾਫ਼ਟਵੇਅਰ ਵਿਕਾਸਕਾਰਾਂ ਨਾਲ ਮਨੁੱਖੀ ਐਨੋਟੇਸ਼ਨ ਮੁਹਿੰਮ.

ਹਰੇਕ ਚਿੰਨ੍ਹਿਤ ਸਮੱਸਿਆ ਦਾ ਆਡਿਟ Codex-ਆਧਾਰਿਤ ਜਾਂਚਕਰਤਾ ਏਜੰਟਾਂ ਨਾਲ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਜਿਨ੍ਹਾਂ ਨੂੰ ਕੰਮ ਦੀ ਰਿਪੋਜ਼ਟਰੀ ਅਤੇ ਵਾਤਾਵਰਣ ਤੱਕ ਪਹੁੰਚ ਦਿੱਤੀ ਗਈ ਸੀ. ਇਸ ਨਾਲ ਉਹ ਵਾਜਬ ਕੰਮ ਅਸਪਸ਼ਟਤਾ, ਜੋ ਨੇੜਲੇ ਕੋਡ ਅਤੇ ਰਿਪੋਜ਼ਟਰੀ ਰਵਾਇਤਾਂ ਪੜ੍ਹ ਕੇ ਅਕਸਰ ਹੱਲ ਹੋ ਸਕਦੀ ਹੈ, ਨੂੰ ਅਸਲ ਘੱਟ-ਨਿਰਧਾਰਤਾ ਤੋਂ ਵੱਖ ਕਰ ਸਕਦੇ ਹਨ. ਏਜੰਟ ਟੈਸਟ ਚਲਾ ਸਕਦਾ ਹੈ, ਰਿਪੋ ਵਿੱਚ ਫਾਈਲਾਂ ਦੀ ਜਾਂਚ ਕਰ ਸਕਦਾ ਹੈ ਅਤੇ ਕੰਮ 'ਤੇ ਮਾਡਲ ਕੋਸ਼ਿਸ਼ਾਂ ਅਤੇ ਉਨ੍ਹਾਂ ਦੇ ਆਮ ਨਾਕਾਮੀ ਢੰਗਾਂ ਦੀ ਪੜਤਾਲ ਕਰ ਸਕਦਾ ਹੈ. ਇਨ੍ਹਾਂ ਗਹਿਰੇ ਆਡਿਟਾਂ ਦੀਆਂ ਕਈ ਸੁਤੰਤਰ ਦੁਹਰਾਈਆਂ ਤੋਂ ਬਾਅਦ, ਇਕ ਖੋਜਕਰਤਾ ਨੇ ਸਾਰਾਂਸ਼ਾਂ ਦੀ ਸਮੀਖਿਆ ਕੀਤੀ, ਆਖਰੀ ਫ਼ੈਸਲਾ ਕੀਤਾ ਅਤੇ ਸੰਭਾਵਿਤ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਲੇਬਲ ਕੀਤਾ.

ਇਸੇ ਦੇ ਨਾਲ, ਅਸੀਂ ਚਿੰਨ੍ਹਿਤ ਸਬਸੈੱਟ 'ਤੇ ਮਨੁੱਖੀ ਐਨੋਟੇਸ਼ਨ ਮੁਹਿੰਮ ਚਲਾਈ. ਅਸੀਂ ਤਜਰਬੇਕਾਰ ਸਾਫ਼ਟਵੇਅਰ ਇੰਜੀਨੀਅਰਾਂ ਨਾਲ ਕੰਮ ਕੀਤਾ, ਜਿਨ੍ਹਾਂ ਨੂੰ ਕੰਮਾਂ ਦੀ ਸਮੀਖਿਆ ਤੋਂ ਪਹਿਲਾਂ ਬੈਂਚਮਾਰਕ ਟੀਚਿਆਂ, ਸਮੱਸਿਆ ਵਰਗੀਕਰਨ ਅਤੇ ਸੀਮਾਂਤੀ ਮਾਮਲਿਆਂ ਬਾਰੇ ਤਰਬੀਅਤ ਦਿੱਤੀ ਗਈ ਸੀ. ਹਰ ਕੰਮ ਦੀ ਪੰਜ ਇੰਜੀਨੀਅਰਾਂ ਨੇ ਸਮੀਖਿਆ ਕੀਤੀ.

ਸਮੀਖਿਆਕਾਰਾਂ ਨੇ ਪਾਈਪਲਾਈਨ ਵਿਸ਼ਲੇਸ਼ਣ ਜਾਂ ਟ੍ਰਾਂਸਕ੍ਰਿਪਟ ਨੂੰ ਸਹਾਇਕ ਸੰਦਰਭ ਵਜੋਂ ਵਰਤਣ ਤੋਂ ਪਹਿਲਾਂ, ਦਿਖਾਈ ਦੇ ਰਹੇ ਸਮੱਸਿਆ ਬਿਆਨ, ਟੈਸਟ ਕੇਸਾਂ ਅਤੇ ਗ੍ਰਾਊਂਡ-ਟ੍ਰੁਥ ਰੈਫਰੈਂਸ ਹੱਲ (ਜਿਸਨੂੰ ਗੋਲਡ ਪੈਚ ਕਿਹਾ ਜਾਂਦਾ ਹੈ) ਤੋਂ ਸੁਤੰਤਰ ਫ਼ੈਸਲਾ ਬਣਾਇਆ. ਫਿਰ ਸਮੀਖਿਆਕਾਰਾਂ ਨੇ ਠੋਸ ਸਬੂਤਾਂ ਦੇ ਆਧਾਰ 'ਤੇ ਲੇਬਲ ਅਤੇ ਗੰਭੀਰਤਾ ਰੇਟਿੰਗ ਦਿੱਤੀ, ਅਤੇ ਅਸਹਿਮਤੀਆਂ ਜਾਂ ਘੱਟ-ਭਰੋਸੇ ਵਾਲੇ ਮਾਮਲਿਆਂ ਨੂੰ ਹੋਰ ਸਮੀਖਿਆ ਲਈ ਅੱਗੇ ਭੇਜਿਆ.

ਮਨੁੱਖੀ ਸਮੀਖਿਆਕਾਰ ਜਾਂਚਕਰਤਾ ਏਜੰਟਾਂ ਨਾਲੋਂ ਵੱਧ ਸੰਭਾਵਨਾ ਨਾਲ ਕੰਮਾਂ ਨੂੰ ਟੁੱਟਿਆ ਹੋਇਆ ਨਿਸ਼ਾਨਿਤ ਕਰਦੇ ਸਨ. ਦੋਹਾਂ ਸਮੀਖਿਆ ਮਾਰਗਾਂ ਵਿਚਕਾਰ ਸ਼੍ਰੇਣੀਆਂ 'ਤੇ ਕੁਝ ਅਸਹਿਮਤੀ ਵੀ ਸੀ, ਪਰ ਕਿਸੇ ਵੀ ਚਿੰਨ੍ਹਿਤ ਕੰਮ ਵਿੱਚ “ਟੁੱਟਿਆ ਨਹੀਂ” ਸਭ ਤੋਂ ਆਮ ਮਨੁੱਖੀ ਲੇਬਲ ਨਹੀਂ ਸੀ. ਏਜੰਟ ਪਾਈਪਲਾਈਨ ਵੱਲੋਂ ਚਿੰਨ੍ਹਿਤ ਕੀਤੀਆਂ ਸ਼੍ਰੇਣੀਆਂ ਵਿੱਚ, ਸਮੀਖਿਆਕਾਰਾਂ ਦੇ ਫ਼ੈਸਲੇ 74% ਮਾਮਲਿਆਂ ਵਿੱਚ ਮਿਲਦੇ ਸਨ.

ਏਜੰਟ ਪਾਈਪਲਾਈਨ ਨਾਲ ਤੁਲਨਾ ਕਰਦੇ ਹੋਏ, ਮਨੁੱਖੀ ਸਮੀਖਿਆਕਾਰ ਕਿਸੇ ਕੰਮ ਲਈ ਕਈ ਲੇਬਲ ਚੁਣਨ ਦੀ ਵੱਧ ਸੰਭਾਵਨਾ ਰੱਖਦੇ ਸਨ, ਜਿਸ ਤੋਂ ਪਤਾ ਲੱਗਦਾ ਹੈ ਕਿ ਉਨ੍ਹਾਂ ਨੂੰ ਕੰਮ ਕਈ ਤਰੀਕਿਆਂ ਨਾਲ ਟੁੱਟੇ ਲੱਗੇ ਜਾਂ ਉਹ ਇਕੋ ਸ਼੍ਰੇਣੀ ਵਿੱਚ ਸਾਫ਼ ਨਹੀਂ ਫਿੱਟ ਹੁੰਦੇ ਸਨ. ਇਸ ਤੋਂ ਸੰਕੇਤ ਮਿਲਦਾ ਹੈ ਕਿ ਏਜੰਟ-ਪਲੱਸ-ਸਮੀਖਿਆਕਾਰ ਪਾਈਪਲਾਈਨ ਨੇ ਰੁੜੀਵਾਦੀ ਲੇਬਲਿੰਗ ਦਿੱਤੀ: ਇਸ ਨੇ ਮਨੁੱਖਾਂ ਵੱਲੋਂ ਪਛਾਣੇ ਉਹੀ ਵੱਡੇ ਨਾਕਾਮੀ ਢੰਗ ਫੜੇ, ਪਰ ਉਹ ਮਾਮਲੇ ਘੱਟ ਗਿਣੇ ਜਿੱਥੇ ਸਮੀਖਿਆਕਾਰਾਂ ਨੂੰ ਵਾਧੂ ਜਾਂ ਓਵਰਲੈਪ ਕਰਦੀਆਂ ਸਮੱਸਿਆਵਾਂ ਦਿਖੀਆਂ. ਸਭ ਤੋਂ ਵੱਡਾ ਅੰਤਰ ਘੱਟ-ਕਵਰੇਜ ਟੈਸਟਾਂ ਵਿੱਚ ਸੀ, ਜਿਨ੍ਹਾਂ ਨੂੰ ਮਨੁੱਖਾਂ ਨੇ ਬੈਂਚਮਾਰਕ ਦੇ 9.4% ਲਈ ਸਭ ਤੋਂ ਆਮ ਸਮੱਸਿਆ ਚੁਣਿਆ, ਜਦਕਿ ਏਜੰਟ ਪਾਈਪਲਾਈਨ ਵਿੱਚ ਇਹ 4.1% ਸੀ.

ਸਾਡੇ ਵੱਲੋਂ ਪਛਾਣੀਆਂ ਸਮੱਸਿਆਵਾਂ, SWE-bench Verified ਵਿੱਚ ਮਿਲਦੇ-ਜੁਲਦੇ ਮਾਮਲਿਆਂ ਨਾਲ ਮਿਲ ਕੇ, ਬੈਂਚਮਾਰਕਾਂ ਦੀ ਸਖ਼ਤ ਜਾਂਚ ਦੀ ਮਹੱਤਤਾ ਉਜਾਗਰ ਕਰਦੀਆਂ ਹਨ. ਓਪਨ-ਸੋਰਸ ਰਿਪੋਜ਼ਟਰੀਆਂ ਦੇ ਇਸ਼ੂ ਅਤੇ ਪੁਲ ਰਿਕਵੈਸਟ ਮੂਲ ਤੌਰ 'ਤੇ ਮਨੁੱਖੀ ਸਹਿਯੋਗ ਲਈ ਬਣਾਏ ਗਏ ਸਨ, ਅਕਸਰ ਮੇਂਟੇਨਰਾਂ ਅਤੇ ਯੋਗਦਾਨਕਾਰਾਂ ਵਿਚਕਾਰ ਲੰਬੀ ਗੱਲਬਾਤ ਰਾਹੀਂ. ਨਤੀਜੇ ਵਜੋਂ, ਸਮੱਸਿਆ ਵਰਣਨ, ਮਰਜ ਕੀਤਾ ਕੋਡ ਅਤੇ ਯੂਨਿਟ ਟੈਸਟ ਹਮੇਸ਼ਾਂ ਮਾਡਲਾਂ ਦੇ ਭਰੋਸੇਯੋਗ ਮੁਲਾਂਕਣ ਲਈ ਸਾਫ਼, ਅਲੱਗ ਕੰਮ ਨਹੀਂ ਬਣਾਉਂਦੇ. ਖਾਸ ਕਰਕੇ, ਪੁਲ ਰਿਕਵੈਸਟਾਂ ਵਿੱਚ ਸ਼ਾਮਲ ਟੈਸਟ ਬਹੁਤ ਸਖ਼ਤ ਹੋ ਸਕਦੇ ਹਨ, ਕਿਉਂਕਿ ਉਹ ਕੰਮ ਹੱਲ ਕਰਨ ਲਈ ਲਾਗੂਕਰਨ-ਅਗਨੋਸਟਿਕ ਮਿਆਰ ਬਣਾਉਣ ਦੀ ਬਜਾਏ ਕਿਸੇ ਖਾਸ ਬਦਲਾਅ ਦੀ ਪੁਸ਼ਟੀ ਲਈ ਲਿਖੇ ਜਾਂਦੇ ਹਨ.

ਇਸੇ ਸਮੇਂ, ਮੁਲਾਂਕਣ ਖਾਮੀਆਂ ਹੁਣ ਥੋੜ੍ਹੇ ਸਮੇਂ ਪਹਿਲਾਂ ਨਾਲੋਂ ਵੀ ਆਸਾਨੀ ਨਾਲ ਪਤਾ ਲੱਗ ਜਾਂਦੀਆਂ ਹਨ. ਜਿਵੇਂ ਮਾਡਲ ਸਮਰੱਥਾਵਾਂ ਸੁਧਰਦੀਆਂ ਹਨ, ਅਸੀਂ ਉਨ੍ਹਾਂ ਮਾਡਲਾਂ ਨਾਲ ਪ੍ਰੌਂਪਟਾਂ, ਟੈਸਟਾਂ, ਪੈਚਾਂ, ਟ੍ਰੇਸਾਂ ਅਤੇ ਸੀਮਾਂਤੀ ਮਾਮਲਿਆਂ ਦੀ ਕਾਫ਼ੀ ਵੱਧ ਗਹਿਰਾਈ ਅਤੇ ਸਥਿਰਤਾ ਨਾਲ ਜਾਂਚ ਕਰ ਸਕਦੇ ਹਾਂ, ਜਿਸ ਨਾਲ ਬੈਂਚਮਾਰਕ ਸਮੱਸਿਆਵਾਂ ਸਾਹਮਣੇ ਆਉਂਦੀਆਂ ਹਨ ਜੋ ਪਹਿਲਾਂ ਪੈਮਾਨੇ 'ਤੇ ਲੱਭਣ ਲਈ ਮਹਿੰਗੀਆਂ ਜਾਂ ਅਵਿਵਹਾਰਿਕ ਸਨ.

ਸਾਨੂੰ ਆਸ ਹੈ ਕਿ ਵੱਡਾ ਮੁਲਾਂਕਣ ਸਮੁਦਾਇ ਤਜਰਬੇਕਾਰ ਸਾਫ਼ਟਵੇਅਰ ਵਿਕਾਸਕਾਰਾਂ ਵੱਲੋਂ ਖਾਸ ਤੌਰ 'ਤੇ ਮਾਡਲ ਸਮਰੱਥਾਵਾਂ ਦੀ ਜਾਂਚ ਲਈ ਬਣਾਏ ਨਵੇਂ ਬੈਂਚਮਾਰਕ ਵਿਕਸਿਤ ਕਰੇਗਾ. ਇਹ ਢੰਗ ਮਾਡਲ ਸਮਰੱਥਾਵਾਂ ਨੂੰ ਮਾਪਣ ਲਈ ਚਾਹੀਦਾ ਉੱਚ ਮਿਆਰ ਅਤੇ ਹਕੀਕਤਪਸੰਦੀ ਕਾਇਮ ਰੱਖ ਸਕਦਾ ਹੈ, ਅਤੇ ਪੂਰੀ ਪ੍ਰਕਿਰਿਆ ਦੌਰਾਨ ਬਿਹਤਰ ਮਨੁੱਖੀ ਨਿਗਰਾਨੀ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ. ਇਸ ਵਿਸ਼ਲੇਸ਼ਣ ਵਿੱਚ ਸਾਹਮਣੇ ਆਈਆਂ ਸਮੱਸਿਆਵਾਂ ਦੇ ਮੱਦੇਨਜ਼ਰ, ਅਸੀਂ SWE-Bench Pro ਅਪਣਾਉਣ ਦੀ ਆਪਣੀ ਪਹਿਲਾਂ ਵਾਲੀ ਸਿਫ਼ਾਰਸ਼ ਵਾਪਸ ਲੈਂਦੇ ਹਾਂ.

ਅੰਤ ਵਿੱਚ, ਮੁਲਾਂਕਣ ਨੂੰ ਅਜਿਹੇ ਬੈਂਚਮਾਰਕਾਂ ਰਾਹੀਂ ਅਰਥਪੂਰਨ ਸੰਕੇਤ ਦੇਣਾ ਚਾਹੀਦਾ ਹੈ ਜਿਨ੍ਹਾਂ ਨਾਲ ਚਾਲਾਕੀ ਕਰਨੀ ਔਖੀ ਹੋਵੇ, ਜਿਨ੍ਹਾਂ 'ਤੇ ਭਰੋਸਾ ਕਰਨਾ ਆਸਾਨ ਹੋਵੇ ਅਤੇ ਜੋ ਸੱਚਮੁੱਚ ਮਾਡਲ ਸਮਰੱਥਾ ਜਾਂ ਅਲਾਈਨਮੈਂਟ ਦਰਸਾਉਂਦੇ ਹੋਣ. ਕਿਉਂਕਿ ਇਹ ਨਤੀਜੇ OpenAI ਦੇ ਤੈਨਾਤੀ ਅਤੇ ਸੁਰੱਖਿਆ ਫ਼ੈਸਲਿਆਂ ਨੂੰ ਜਾਣਕਾਰੀ ਦਿੰਦੇ ਹਨ, ਇਸ ਲਈ ਸਾਡੇ ਵੱਲੋਂ ਟ੍ਰੈਕ ਕੀਤੇ ਮੁਲਾਂਕਣ ਵੈਧ ਅਤੇ ਜਾਣਕਾਰੀਪੂਰਨ ਹੋਣੇ ਚਾਹੀਦੇ ਹਨ.