ಜುಲೈ 8, 2026

ಕೋಡಿಂಗ್ ಮೌಲ್ಯಮಾಪನಗಳಲ್ಲಿ ಸಂಕೇತವನ್ನು ಗದ್ದಲದಿಂದ ಬೇರ್ಪಡಿಸುವುದು

ವಿವರವಾದ ಆಡಿಟ್ ಮೂಲಕ, SWE-Bench Pro ನಲ್ಲಿ ವ್ಯಾಪಕ ಕಾರ್ಯ ಸಮಸ್ಯೆಗಳು ಕಂಡುಬಂದಿವೆ ಮತ್ತು ~30% ಕಾರ್ಯಗಳು ದೋಷಪೂರಿತವಾಗಿವೆ ಎಂದು ನಾವು ಅಂದಾಜಿಸುತ್ತೇವೆ.

ಲೋಡ್ ಆಗುತ್ತಿದೆ…

ನಮ್ಮ ಮಾಡೆಲ್‌ಗಳ ಸಾಮರ್ಥ್ಯಗಳನ್ನು ನಿಖರವಾಗಿ ಅಳೆಯುವುದು, OpenAIಯ ಪ್ರಿಪೇರ್ಡ್‌ನೆಸ್ ಫ್ರೇಮ್‌ವರ್ಕ್⁠(ಹೊಸ ಕಿಟಕಿಯಲ್ಲಿ ತೆರೆಯುತ್ತದೆ) ಅಡಿಯ ನಿರ್ಧಾರಗಳನ್ನು ಒಳಗೊಂಡಂತೆ, ಸಮರ್ಪಕ ನಿಯೋಜನೆ ಮತ್ತು ಸುರಕ್ಷತಾ ನಿರ್ಧಾರಗಳಿಗೆ ಮುಖ್ಯವಾಗಿದೆ. ಪ್ರತಿ ಮಾಡೆಲ್ ಬಿಡುಗಡೆಗೆ, ಮಾಡೆಲ್ ಪ್ರಗತಿಯನ್ನು ಟ್ರ್ಯಾಕ್ ಮಾಡಲು ವಿವಿಧ ಬಾಹ್ಯ ಮತ್ತು ಆಂತರಿಕ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳ ಫಲಿತಾಂಶಗಳನ್ನು ನಾವು ವರದಿ ಮಾಡುತ್ತೇವೆ. ಫಲಿತಾಂಶಗಳ ಮೇಲೆ ಪರಿಣಾಮ ಬೀರುವ ದೋಷಗಳು ಮೌಲ್ಯಮಾಪನಗಳಲ್ಲಿ ಇದ್ದರೆ, ಅವು ಸಾಮರ್ಥ್ಯಗಳ ಕುರಿತು ತಪ್ಪು ಅರಿವು ನೀಡಬಹುದು, ಸುರಕ್ಷತಾ ವಾದಗಳನ್ನು ತಪ್ಪಾಗಿ ಪ್ರತಿನಿಧಿಸಬಹುದು ಮತ್ತು ಸಂಶೋಧನಾ ಆದ್ಯತೆಗಳ ಮೇಲೆ ಪರಿಣಾಮ ಬೀರಬಹುದು.

ಅತ್ಯಂತ ವ್ಯಾಪಕವಾಗಿ ಬಳಸಲಾಗುವ ಕೋಡಿಂಗ್ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳಲ್ಲಿ ಒಂದಾದ SWE-bench Verified ನಲ್ಲಿ ಮೂಲಭೂತ ವಿನ್ಯಾಸ ಮತ್ತು ಮಾಲಿನ್ಯ ಸಮಸ್ಯೆಗಳು ಹೇಗಿದ್ದವು ಎಂಬುದನ್ನು ನಾವು ಇತ್ತೀಚೆಗೆ ಪರಿಶೀಲಿಸಿದೆವು, ಮತ್ತು ಆ ಮೌಲ್ಯಮಾಪನವು ಸಾಫ್ಟ್‌ವೇರ್ ಅಭಿವೃದ್ಧಿ ಸಾಮರ್ಥ್ಯಗಳ ಬಗ್ಗೆ ಅರ್ಥಪೂರ್ಣ ಸಂಕೇತವನ್ನು ಇನ್ನು ನೀಡುತ್ತಿಲ್ಲ ಎಂದು ಕಂಡುಕೊಂಡೆವು. ಆ ಸಮಯದಲ್ಲಿ, ವಿಶಾಲ ಸಮುದಾಯವು SWE-Bench Pro ಗೆ ಬದಲಾಯಿಸಲು ನಾವು ಪ್ರೋತ್ಸಾಹಿಸಿದೆವು.

ಏಜೆಂಟಿಕ್ ಕೋಡಿಂಗ್ ಸಾಮರ್ಥ್ಯಗಳನ್ನು ಉತ್ತಮವಾಗಿ ಟ್ರ್ಯಾಕ್ ಮಾಡಲು, ದೀರ್ಘ ಅವಧಿಯ ಮತ್ತು ಹೆಚ್ಚು ವಾಸ್ತವಿಕ ಕೋಡಿಂಗ್ ಕಾರ್ಯಗಳಲ್ಲಿ ಮಾಡೆಲ್‌ಗಳನ್ನು ಪರೀಕ್ಷಿಸುವ ಮೂಲಕ SWE-bench Verified ಅನ್ನು ಸುಧಾರಿಸುವಂತೆ SWE-Bench Pro⁠(ಹೊಸ ಕಿಟಕಿಯಲ್ಲಿ ತೆರೆಯುತ್ತದೆ) ಅನ್ನು ವಿನ್ಯಾಸಗೊಳಿಸಲಾಗಿತ್ತು. SWE-bench Verified ನಂತೆ, ಸಾರ್ವಜನಿಕ ಮತ್ತು ಖಾಸಗಿ ರಿಪೊಸಿಟರಿಗಳ ಸಮೂಹದಲ್ಲಿನ ವೈಶಿಷ್ಟ್ಯ ಬದಲಾವಣೆಗಳ ಇತಿಹಾಸದಿಂದ ಕಾರ್ಯಗಳನ್ನು ಪ್ರೋಗ್ರಾಮ್ಯಾಟಿಕ್ ರೀತಿಯಲ್ಲಿ ಪಡೆಯಲಾಗುತ್ತದೆ. ಈಗಿರುವ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಹಾಳುಮಾಡದೆ, ಒಂದು ವೈಶಿಷ್ಟ್ಯಕ್ಕಾಗಿ ಹೊಸ ಪರೀಕ್ಷೆಗಳನ್ನು ಪಾಸ್ ಮಾಡುವ ಪರಿಹಾರವನ್ನು ಮಾಡೆಲ್‌ಗಳು ಅನುಷ್ಠಾನಗೊಳಿಸಬೇಕಾಗುತ್ತದೆ. 731 ಕಾರ್ಯಗಳ ಸಾರ್ವಜನಿಕ ವಿಭಜನೆಯ ಮೇಲೆ, ಅತ್ಯಾಧುನಿಕ ಮಾಡೆಲ್‌ಗಳ ಪಾಸ್ ದರವು ಎಂಟು ತಿಂಗಳಲ್ಲಿ 23.3% ರಿಂದ 80.3%ಕ್ಕೆ ಸುಧಾರಿಸಿತು.

ಅದಾದ ನಂತರ ನಾವು SWE-Bench Pro ಮೇಲೆಯೂ ಇದೇ ರೀತಿಯ ಆಡಿಟ್ ನಡೆಸಿ, ಡೇಟಾಪಾಯಿಂಟ್ ವಿಶ್ಲೇಷಣಾ ಪೈಪ್‌ಲೈನ್ ಬಳಸಿ ಡೇಟಾಸೆಟ್ ಅನ್ನು ವಿಮರ್ಶಿಸಿದ್ದೇವೆ. ಸಂಭವನೀಯ ಮೌಲ್ಯಮಾಪನ ದೋಷಗಳನ್ನು ಗುರುತಿಸಲು ಪೈಪ್‌ಲೈನ್ ಕಾರ್ಯದ ಮೇಲಿನ ಮಾಡೆಲ್ ಪ್ರಯತ್ನಗಳು, ಕಾರ್ಯದ ಮೆಟಾಡೇಟಾ ಮತ್ತು ವಿಫಲತಾ ಟ್ರೇಸ್‌ಗಳನ್ನು ವಿಮರ್ಶಿಸಿತು. ಗುರುತಿಸಲಾದ ಪ್ರತಿ ಕಾರ್ಯವನ್ನು ನಂತರ ಅನೇಕ ತನಿಖಾಧಿಕಾರಿ-ಏಜೆಂಟ್ ಹಂತಗಳ ಮೂಲಕ ಮೌಲ್ಯಮಾಪನ ಮಾಡಲಾಯಿತು ಮತ್ತು ಐದು ಅನುಭವಿಗಳಾದ ಸಾಫ್ಟ್‌ವೇರ್ ಎಂಜಿನಿಯರ್‌ಗಳು ಸ್ವತಂತ್ರವಾಗಿ ವಿಮರ್ಶಿಸಿದರು; ಭಿನ್ನಾಭಿಪ್ರಾಯಗಳನ್ನು ಹೆಚ್ಚಿನ ತನಿಖೆಗೆ ಕಳುಹಿಸಲಾಯಿತು.

ಡೇಟಾಸೆಟ್‌ನ ಗಮನಾರ್ಹ ಭಾಗದಲ್ಲಿ ದೋಷಪೂರಿತ ಸಮಸ್ಯೆಗಳ ಸಾಕ್ಷ್ಯ ನಮಗೆ ಕಂಡುಬರುತ್ತದೆ. ನಮ್ಮ ಡೇಟಾಪಾಯಿಂಟ್ ವಿಶ್ಲೇಷಣಾ ಪೈಪ್‌ಲೈನ್ 200 (27.4%) ದೋಷಪೂರಿತ ಕಾರ್ಯಗಳನ್ನು ಗುರುತಿಸಿತು; ಮಾನವ ಟಿಪ್ಪಣಿಕರಣ ಅಭಿಯಾನವು 249 (34.1%) ಅನ್ನು ಗುರುತಿಸಿತು.

ಸಮಸ್ಯೆಗಳು ಮುಖ್ಯವಾಗಿ ನಾಲ್ಕು ವರ್ಗಗಳಿಗೆ ಸೇರಿದವು:

ಅತಿಯಾಗಿ ಕಟ್ಟುನಿಟ್ಟಿನ ಪರೀಕ್ಷೆಗಳು¹ ಪ್ರಾಂಪ್ಟ್‌ನಲ್ಲಿ ನಿರ್ದಿಷ್ಟಪಡಿಸದ ನಿರ್ದಿಷ್ಟ ಅನುಷ್ಠಾನ ವಿವರಗಳನ್ನು ಹೇರಿಕೆಯಾಗಿಸುತ್ತವೆ, ಇದರಿಂದ ಕಾರ್ಯಾತ್ಮಕವಾಗಿ ಸರಿಯಾದ ಅನೇಕ ಸಲ್ಲಿಕೆಗಳು ಅಮಾನ್ಯವಾಗುತ್ತವೆ.
ಅಪೂರ್ಣವಾಗಿ ನಿರ್ದಿಷ್ಟಪಡಿಸಿದ ಪ್ರಾಂಪ್ಟ್‌ಗಳು² ಮರೆಯಾದ ಪರೀಕ್ಷೆಗಳು ಹೇರಿಕೆಯಾಗಿಸುವ, ಮತ್ತು ಸಮಂಜಸವಾಗಿ ಊಹಿಸಲಾಗದ ಅವಶ್ಯಕತೆಗಳನ್ನು ಬಿಟ್ಟುಬಿಡುತ್ತವೆ.
ಕಡಿಮೆ ವ್ಯಾಪ್ತಿಯ ಪರೀಕ್ಷೆಗಳು ವಿನಂತಿಸಿದ ವೈಶಿಷ್ಟ್ಯವನ್ನು ಅಪೂರ್ತಿಯಾಗಿ ಪರಿಶೀಲಿಸುತ್ತವೆ, ಆದ್ದರಿಂದ ಅಪೂರ್ಣ ತಿದ್ದುಪಡಿಗಳೂ ಪಾಸ್ ಆಗಬಹುದು.
ತಪ್ಪುದಾರಿಗೆಳೆಯುವ ಪ್ರಾಂಪ್ಟ್ ಮಾಡೆಲ್‌ಗಳನ್ನು ತಪ್ಪು ವರ್ತನೆಯತ್ತ ಕೊಂಡೊಯ್ಯುತ್ತದೆ ಅಥವಾ ಪರೀಕ್ಷೆಗಳು ನಿರೀಕ್ಷಿಸುವುದಕ್ಕೆ ವಿರುದ್ಧವಾಗಿರುತ್ತದೆ.

ಕಠಿಣವಾದರೂ ನ್ಯಾಯಸಮ್ಮತವಾದ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳನ್ನು ರೂಪಿಸುವ ಕಷ್ಟವನ್ನೂ, ವಿಸ್ತರಣಾಶೀಲ ಡೇಟಾ ಗುಣಮಟ್ಟ ಪರಿಶೀಲನೆಗಳಿಗೆ ಏಜೆಂಟ್‌ಗಳ ಹೆಚ್ಚುತ್ತಿರುವ ಉಪಯುಕ್ತತೆಯನ್ನೂ ನಮ್ಮ ಕಂಡುಹಿಡಿಕೆಗಳು ಸೂಚಿಸುತ್ತವೆ. ಈ ಫಲಿತಾಂಶಗಳನ್ನು ಗಮನದಲ್ಲಿಟ್ಟುಕೊಂಡು, SWE-bench Pro ಕಾರ್ಯಗಳ ~30% ದೋಷಪೂರಿತವಾಗಿವೆ ಎಂದು ನಾವು ಅಂದಾಜಿಸುತ್ತೇವೆ, ಮತ್ತು ಮಾಡೆಲ್ ಅಭಿವೃದ್ಧಿಪಡಿಸುವವರು ಫಲಿತಾಂಶಗಳನ್ನು ಎಚ್ಚರಿಕೆಯಿಂದ ಪರಿಶೀಲಿಸಬೇಕೆಂದು ಸಲಹೆ ನೀಡುತ್ತೇವೆ.

ವಿಧಾನಶಾಸ್ತ್ರ

ಕಾರ್ಯ ವಿಫಲತೆಗಳು ನಿಜವಾದ ಮಾಡೆಲ್ ಮಿತಿಗಳನ್ನು ಪ್ರತಿಬಿಂಬಿಸಲಿ, ಮತ್ತು ಕಾರ್ಯ ಯಶಸ್ಸುಗಳು ಪ್ರಾಂಪ್ಟ್ ಅವಶ್ಯಕತೆಗಳಿಗೆ ಸಂಪೂರ್ಣ ಹಾಗೂ ಮಾನ್ಯ ಪರಿಹಾರಗಳನ್ನು ಪ್ರತಿಬಿಂಬಿಸಲಿ ಎಂಬುದೇ ನಮ್ಮ ಗುರಿ. ಮೌಲ್ಯಮಾಪನದಲ್ಲಿ ಬಳಸಿದ ಡೇಟಾದ ಗುಣಮಟ್ಟವನ್ನು ಪರಿಶೀಲಿಸಲು, ಪ್ರತಿ ಡೇಟಾಪಾಯಿಂಟ್ ಮಾಡೆಲ್ ಸಾಮರ್ಥ್ಯಗಳನ್ನು ನಿಖರವಾಗಿ ಪ್ರತಿಬಿಂಬಿಸುತ್ತದೆಯೇ ಎಂದು ಅಳೆಯಲು ನಾವು ಗುಣಮಟ್ಟ ಭರವಸೆ ಪೈಪ್‌ಲೈನ್ ಅನ್ನು ರಚಿಸಿದೆವು.

ಕಾರ್ಯದ ಗುಣಮಟ್ಟವನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡಲು ಸ್ವಯಂಚಾಲಿತ ಪರಿಶೀಲನೆ ಮತ್ತು ಮಾನವ ವಿಮರ್ಶೆಯನ್ನು ಸಂಯೋಜಿಸುವ ಗುಣಮಟ್ಟ ಭರವಸೆ ಕಾರ್ಯಪ್ರವಾಹ. — ಆರಂಭಿಕ ಡೇಟಾ ಗುಣಮಟ್ಟದ ಪೈಪ್‌ಲೈನ್ ವಿಮರ್ಶೆಗಾಗಿ ಸಮಸ್ಯೆಗಳನ್ನು ಗುರುತಿಸುತ್ತದೆ. ಗುರುತಿಸಲಾದ ಕಾರ್ಯಗಳ ಆಳವಾದ ಏಜೆಂಟ್-ಸಹಾಯಿತ ಆಡಿಟ್ ಮತ್ತು ಅನುಭವಿಗಳಾದ ಎಂಜಿನಿಯರ್‌ಗಳೊಂದಿಗೆ ನಡೆಸಿದ ಮಾನವ ಟಿಪ್ಪಣಿಕರಣ ಅಭಿಯಾನದ ಮೂಲಕ ನಾವು ದೃಢೀಕರಿಸುತ್ತೇವೆ.

ಆರಂಭಿಕ ಸ್ವಯಂಚಾಲಿತ ಫಿಲ್ಟರ್ ಮಾಡೆಲ್‌ಗೆ ನೀಡಿದ ಸೂಚನೆಗಳು, ಕಾರ್ಯವನ್ನು ಪರಿಹರಿಸಲು ಮಾಡೆಲ್ ಮಾಡಿದ ಪ್ರಯತ್ನಗಳು, ಮತ್ತು ಆ ಪ್ರಯತ್ನಗಳಿಗೆ ಮೌಲ್ಯನಿರ್ಣಯ ಮಾಡಲು ಬಳಸಿದ ಪರೀಕ್ಷೆಗಳನ್ನು ವಿಮರ್ಶಿಸಿ, ಬಹುಶಃ ದೋಷಪೂರಿತ ಅಥವಾ ಸಮಸ್ಯಾತ್ಮಕ ಉದಾಹರಣೆಗಳನ್ನು ಗುರುತಿಸುತ್ತದೆ. ಈ ಫಿಲ್ಟರ್ ದೋಷಪೂರಿತವಾಗಿರಬಹುದಾದ 286 ಕಾರ್ಯಗಳನ್ನು ಗುರುತಿಸಿತು. ನಂತರ ನಾವು ಆ ಉಪಸಮೂಹವನ್ನು ಎರಡು ವಿಧಾನಗಳಲ್ಲಿ ಹೆಚ್ಚು ಆಳವಾಗಿ ವಿಮರ್ಶಿಸಿದೆವು: ತನಿಖಾಧಿಕಾರಿ ಏಜೆಂಟ್‌ಗಳೊಂದಿಗೆ ವ್ಯಾಪಕ ಪರಿಶೀಲನೆಗಳು ಮತ್ತು ಅಂತಿಮ ಮಾನವ ತೀರ್ಪು ನಡೆಸುವ ಮಾನವ-ಮೇಲ್ವಿಚಾರಿತ ಏಜೆಂಟ್ ವಿಮರ್ಶೆ; ಮತ್ತು ಅನುಭವಿಗಳಾದ ಸಾಫ್ಟ್‌ವೇರ್ ಅಭಿವೃದ್ಧಿಪಡಿಸುವವರೊಂದಿಗೆ ನಡೆಸಿದ ಮಾನವ ಟಿಪ್ಪಣಿಕರಣ ಅಭಿಯಾನ.

ಮಾನವ-ಮೇಲ್ವಿಚಾರಿತ ಏಜೆಂಟ್ ವಿಮರ್ಶೆ

ಗುರುತಿಸಲಾದ ಪ್ರತಿ ಸಮಸ್ಯೆಯನ್ನು, ಕಾರ್ಯದ ರಿಪೊಸಿಟರಿ ಮತ್ತು ಪರಿಸರಕ್ಕೆ ಪ್ರವೇಶ ನೀಡಲಾಗಿದ್ದ Codex ಆಧಾರಿತ ತನಿಖಾಧಿಕಾರಿ ಏಜೆಂಟ್‌ಗಳಿಂದ ಆಡಿಟ್ ಮಾಡಲಾಗುತ್ತದೆ. ಇದು ಹತ್ತಿರದ ಕೋಡ್ ಮತ್ತು ರಿಪೊಸಿಟರಿ ಸಂಪ್ರದಾಯಗಳನ್ನು ಅಧ್ಯಯನ ಮಾಡುವ ಮೂಲಕ ಬಹುಸಾರಿ ಪರಿಹರಿಸಬಹುದಾದ ಸಮಂಜಸ ಕಾರ್ಯ ಅಸ್ಪಷ್ಟತೆಯನ್ನು ನಿಜವಾದ ಅಪೂರ್ಣ ನಿರ್ದಿಷ್ಟಪಡಿಸುವಿಕೆಯಿಂದ ಬೇರ್ಪಡಿಸಲು ಅವರಿಗೆ ಸಹಾಯ ಮಾಡುತ್ತದೆ. ಏಜೆಂಟ್ ಪರೀಕ್ಷೆಗಳನ್ನು ಚಲಾಯಿಸಬಹುದು, ರೆಪೋದಲ್ಲಿನ ಫೈಲ್‌ಗಳನ್ನು ಪರಿಶೀಲಿಸಬಹುದು, ಮತ್ತು ಮಾಡೆಲ್ ಪ್ರಯತ್ನಗಳು ಹಾಗೂ ಆ ಕಾರ್ಯದಲ್ಲಿನ ಅವುಗಳ ಸಾಮಾನ್ಯ ವಿಫಲತಾ ವಿಧಾನಗಳನ್ನು ತನಿಖೆ ಮಾಡಬಹುದು. ಈ ಆಳವಾದ ಆಡಿಟ್‌ಗಳ ಹಲವು ಸ್ವತಂತ್ರ ಪುನರಾವರ್ತನೆಗಳ ನಂತರ, ಒಬ್ಬ ಸಂಶೋಧಕ ಸಾರಾಂಶಗಳನ್ನು ವಿಮರ್ಶಿಸಿ, ಅಂತಿಮ ತೀರ್ಪು ನೀಡಿ, ಸಂಭವನೀಯ ಸಮಸ್ಯೆಗಳಿಗೆ ಲೇಬಲ್ ಹಾಕಿದರು.

ಮಾನವ ಟಿಪ್ಪಣಿಕರಣ ಅಭಿಯಾನ

ಇದರ ಜೊತೆಗೆ, ಗುರುತಿಸಲಾದ ಉಪಸಮೂಹದ ಮೇಲೆ ನಾವು ಮಾನವ ಟಿಪ್ಪಣಿಕರಣ ಅಭಿಯಾನವನ್ನು ನಡೆಸಿದೆವು. ಕಾರ್ಯಗಳನ್ನು ವಿಮರ್ಶಿಸುವ ಮೊದಲು ಬೆಂಚ್‌ಮಾರ್ಕ್ ಗುರಿಗಳು, ಸಮಸ್ಯಾ ವರ್ಗೀಕರಣ ಮತ್ತು ಅಂಚಿನ ಪ್ರಕರಣಗಳ ಕುರಿತು ತರಬೇತಿ ಪಡೆದ ಅನುಭವಿಗಳಾದ ಸಾಫ್ಟ್‌ವೇರ್ ಎಂಜಿನಿಯರ್‌ಗಳೊಂದಿಗೆ ನಾವು ಕೆಲಸ ಮಾಡಿದೆವು. ಪ್ರತಿ ಕಾರ್ಯವನ್ನು ಐದು ಎಂಜಿನಿಯರ್‌ಗಳು ವಿಮರ್ಶಿಸಿದರು.

ಪೈಪ್‌ಲೈನ್ ವಿಶ್ಲೇಷಣೆ ಅಥವಾ ಟ್ರಾನ್ಸ್‌ಕ್ರಿಪ್ಟ್ ಅನ್ನು ಪೂರಕ ಸಂದರ್ಭವಾಗಿ ಬಳಸುವ ಮೊದಲು, ವಿಮರ್ಶಕರು ಕಾಣುವ ಸಮಸ್ಯಾ ಹೇಳಿಕೆ, ಪರೀಕ್ಷಾ ಪ್ರಕರಣಗಳು ಮತ್ತು ಗ್ರೌಂಡ್-ಟ್ರೂತ್ ಉಲ್ಲೇಖ ಪರಿಹಾರವನ್ನು (ಗೋಲ್ಡ್ ಪ್ಯಾಚ್ ಎಂದು ಕರೆಯಲಾಗುತ್ತದೆ) ಆಧರಿಸಿ ಸ್ವತಂತ್ರ ತೀರ್ಪು ರೂಪಿಸಿದರು. ನಂತರ ವಿಮರ್ಶಕರು ದೃಢವಾದ ಸಾಕ್ಷ್ಯದ ಆಧಾರದ ಮೇಲೆ ಲೇಬಲ್ ಮತ್ತು ತೀವ್ರತಾ ರೇಟಿಂಗ್ ನೀಡಿದರು, ಮತ್ತು ಭಿನ್ನಾಭಿಪ್ರಾಯಗಳು ಅಥವಾ ಕಡಿಮೆ-ವಿಶ್ವಾಸದ ಪ್ರಕರಣಗಳನ್ನು ಹೆಚ್ಚಿನ ವಿಮರ್ಶೆಗೆ ಕಳುಹಿಸಿದರು.

ತನಿಖಾಧಿಕಾರಿ ಏಜೆಂಟ್‌ಗಳಿಗಿಂತ ಮಾನವ ವಿಮರ್ಶಕರು ಕಾರ್ಯಗಳನ್ನು ದೋಷಪೂರಿತವೆಂದು ಗುರುತಿಸುವ ಸಾಧ್ಯತೆ ಹೆಚ್ಚು ಇತ್ತು. ಎರಡು ವಿಮರ್ಶಾ ಮಾರ್ಗಗಳ ನಡುವೆ ವರ್ಗಗಳ ವಿಷಯದಲ್ಲಿಯೂ ಕೆಲವು ಭಿನ್ನಾಭಿಪ್ರಾಯವಿತ್ತು, ಆದರೆ ಗುರುತಿಸಲಾದ ಯಾವುದೇ ಕಾರ್ಯದಲ್ಲಿ “ದೋಷಪೂರಿತವಲ್ಲ” ಎಂಬುದು ಅತಿ ಸಾಮಾನ್ಯ ಮಾನವ ಲೇಬಲ್ ಆಗಿರಲಿಲ್ಲ. ಏಜೆಂಟ್ ಪೈಪ್‌ಲೈನ್ ಗುರುತಿಸಿದ ವರ್ಗಗಳಲ್ಲಿ, ವಿಮರ್ಶಕರ ತೀರ್ಪುಗಳು 74% ಪ್ರಕರಣಗಳಲ್ಲಿ ಹೊಂದಿಕೊಂಡವು.

ಏಜೆಂಟ್ ಪೈಪ್‌ಲೈನ್‌ಗೆ ಹೋಲಿಸಿದರೆ, ಮಾನವ ವಿಮರ್ಶಕರು ಒಂದು ಕಾರ್ಯಕ್ಕೆ ಅನೇಕ ಲೇಬಲ್‌ಗಳನ್ನು ಆಯ್ಕೆಮಾಡುವ ಸಾಧ್ಯತೆಯೂ ಹೆಚ್ಚು ಇತ್ತು; ಅಂದರೆ ಕಾರ್ಯಗಳು ಅನೇಕ ರೀತಿಯಲ್ಲಿ ದೋಷಪೂರಿತವಾಗಿವೆ ಎಂದು ಅವರು ಕಂಡರು ಅಥವಾ ಅವು ಒಂದೇ ವರ್ಗಕ್ಕೆ ಸ್ಪಷ್ಟವಾಗಿ ಹೊಂದಿಕೆಯಾಗಲಿಲ್ಲ. ಇದು ಏಜೆಂಟ್-ಮತ್ತು-ವಿಮರ್ಶಕರ ಪೈಪ್‌ಲೈನ್ ಸಂಯಮಿತ ಲೇಬಲಿಂಗ್‌ಗೆ ಕಾರಣವಾಯಿತು ಎಂದು ಸೂಚಿಸುತ್ತದೆ: ಮಾನವರು ಗುರುತಿಸಿದ ಅದೇ ವಿಶಾಲ ವಿಫಲತಾ ವಿಧಾನಗಳನ್ನು ಅದು ಹಿಡಿದಿಟ್ಟುಕೊಂಡಿತು, ಆದರೆ ವಿಮರ್ಶಕರು ಹೆಚ್ಚುವರಿ ಅಥವಾ ಆವರಿಸುವ ಸಮಸ್ಯೆಗಳನ್ನು ಕಂಡ ಪ್ರಕರಣಗಳನ್ನು ಕಡಿಮೆ ಎಣಿಸಿತು. ಅತಿದೊಡ್ಡ ವ್ಯತ್ಯಾಸ ಕಡಿಮೆ ವ್ಯಾಪ್ತಿಯ ಪರೀಕ್ಷೆಗಳಲ್ಲಿ ಕಂಡುಬಂತು; ಮಾನವರು ಇದನ್ನು ಬೆಂಚ್‌ಮಾರ್ಕ್‌ನ 9.4%ಕ್ಕೆ ಅತಿ ಸಾಮಾನ್ಯ ಸಮಸ್ಯೆಯಾಗಿ ಆಯ್ಕೆಮಾಡಿದರೆ, ಏಜೆಂಟ್ ಪೈಪ್‌ಲೈನ್‌ನಲ್ಲಿ ಅದು 4.1% ಆಗಿತ್ತು.

ವಿಫಲತಾ ವಿಧಾನಗಳು

ಹಲವು ಸಂದರ್ಭಗಳಲ್ಲಿ ಕಾರ್ಯದ ಪ್ರಾಂಪ್ಟ್ ನಿರ್ದಿಷ್ಟ ಅನುಷ್ಠಾನವನ್ನು ಸೂಚಿಸಿತ್ತು, ಆದರೆ ಮರೆಯಾದ ಪರೀಕ್ಷಾ ಪ್ರಕರಣಗಳು ಬೇರೆ ವರ್ತನೆಯನ್ನು ನಿರೀಕ್ಷಿಸಿದ್ದವು.

This task involves normalizing table-of-contents entries and rendering them back to Markdown via TocEntry.to_markdown(). The task prompt specifies serialization down to character-level spacing, describing how exact spacing and pipes are enforced, and gives examples such as " | Chapter 1 | 1" and "** | Chapter 1 | 1":

ಯಾವುದೂ ಇಲ್ಲ

1"[space]| Chapter 1 | 1"
2"**[space]| Chapter 1 | 1"
3"[space]| Just title | "

The hidden test_to_markdown assertions instead require " | Chapter 1 | 1" and "** | Chapter 1 | 1":

ಯಾವುದೂ ಇಲ್ಲ

1"[space][space]| Chapter 1 | 1"
2"**[space][space]| Chapter 1 | 1"
3"[space][space]| Just title | "

There are two leading spaces in the hidden tests, but the example given to the model only contains one leading space. If a model rightly follows the given prompt, that one-character difference would fail the hidden test cases and the task would be marked incorrect.

ಚರ್ಚೆ

ನಾವು ಗುರುತಿಸಿದ ಸಮಸ್ಯೆಗಳು, SWE-bench Verified ನಲ್ಲಿನ ಸಮಾನ ಪ್ರಕರಣಗಳೊಂದಿಗೆ ಸೇರಿ, ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳನ್ನು ಕಟ್ಟುನಿಟ್ಟಾಗಿ ಪರಿಶೀಲಿಸುವ ಮಹತ್ವವನ್ನು ತೋರಿಸುತ್ತವೆ. ಓಪನ್-ಸೋರ್ಸ್ ರಿಪೊಸಿಟರಿಗಳಲ್ಲಿನ ಸಮಸ್ಯೆಗಳು ಮತ್ತು ಪುಲ್ ರಿಕ್ವೆಸ್ಟ್‌ಗಳನ್ನು ಮೂಲತಃ ಮಾನವ ಸಹಯೋಗಕ್ಕಾಗಿ ರಚಿಸಲಾಗಿತ್ತು; ಅವು ಬಹುಸಾರಿ ನಿರ್ವಹಣಾಕಾರರು ಮತ್ತು ಕೊಡುಗೆದಾರರ ನಡುವಿನ ದೀರ್ಘ ಸಂವಾದಗಳ ಮೂಲಕ ರೂಪುಗೊಂಡಿದ್ದವು. ಫಲವಾಗಿ, ಸಮಸ್ಯಾ ವಿವರಣೆಗಳು, ವಿಲೀನಗೊಂಡ ಕೋಡ್ ಮತ್ತು ಯುನಿಟ್ ಪರೀಕ್ಷೆಗಳು ಮಾಡೆಲ್‌ಗಳನ್ನು ವಿಶ್ವಾಸಾರ್ಹವಾಗಿ ಮೌಲ್ಯಮಾಪನ ಮಾಡಲು ಸ್ವಚ್ಛ, ಪ್ರತ್ಯೇಕ ಕಾರ್ಯಗಳಾಗಿ ಸದಾ ಹೊಂದಿಕೆಯಾಗುವುದಿಲ್ಲ. ವಿಶೇಷವಾಗಿ, ಪುಲ್ ರಿಕ್ವೆಸ್ಟ್‌ಗಳಲ್ಲಿ ಸೇರಿಸಲಾದ ಪರೀಕ್ಷೆಗಳು ಅತಿಯಾಗಿ ಕಟ್ಟುನಿಟ್ಟಾಗಿರಬಹುದು; ಏಕೆಂದರೆ ಅವು ಕಾರ್ಯವನ್ನು ಪರಿಹರಿಸಲು ಅನುಷ್ಠಾನ-ನಿರಪೇಕ್ಷ ಮಾನದಂಡವನ್ನು ನಿರ್ಧರಿಸುವ ಬದಲು ನಿರ್ದಿಷ್ಟ ಬದಲಾವಣೆಯನ್ನು ದೃಢೀಕರಿಸಲು ಬರೆಯಲ್ಪಟ್ಟಿರುತ್ತವೆ.

ಅದೇ ಸಮಯದಲ್ಲಿ, ಮೌಲ್ಯಮಾಪನ ದೋಷಗಳನ್ನು ಪತ್ತೆಹಚ್ಚುವುದು ಇತ್ತೀಚಿನ ಅಲ್ಪಕಾಲದ ಹಿಂದೆ ಇದ್ದದ್ದಕ್ಕಿಂತ ಈಗ ಸುಲಭವಾಗಿದೆ. ಮಾಡೆಲ್ ಸಾಮರ್ಥ್ಯಗಳು ಸುಧಾರಿಸಿದಂತೆ, ಪ್ರಾಂಪ್ಟ್‌ಗಳು, ಪರೀಕ್ಷೆಗಳು, ಪ್ಯಾಚ್‌ಗಳು, ಟ್ರೇಸ್‌ಗಳು ಮತ್ತು ಅಂಚಿನ ಪ್ರಕರಣಗಳನ್ನು ಹೆಚ್ಚು ಆಳವಾಗಿ ಮತ್ತು ನಿರಂತರತೆಯಿಂದ ಪರಿಶೀಲಿಸಲು ನಾವು ಆ ಮಾಡೆಲ್‌ಗಳನ್ನು ಬಳಸಬಹುದು; ಇದರಿಂದ ಹಿಂದೆ ದೊಡ್ಡ ಪ್ರಮಾಣದಲ್ಲಿ ಪತ್ತೆಹಚ್ಚಲು ದುಬಾರಿ ಅಥವಾ ಅಪ್ರಾಯೋಗಿಕವಾಗಿದ್ದ ಬೆಂಚ್‌ಮಾರ್ಕ್ ಸಮಸ್ಯೆಗಳು ಹೊರಬರಲು ಸಹಾಯವಾಗುತ್ತದೆ.

ವಿಶಾಲ ಮೌಲ್ಯಮಾಪನ ಸಮುದಾಯವು ಮಾಡೆಲ್ ಸಾಮರ್ಥ್ಯಗಳನ್ನು ಪರೀಕ್ಷಿಸುವುದಕ್ಕಾಗಿಯೇ ಅನುಭವಿಗಳಾದ ಸಾಫ್ಟ್‌ವೇರ್ ಅಭಿವೃದ್ಧಿಪಡಿಸುವವರು ನಿರ್ಮಿಸಿದ ಹೊಸ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳನ್ನು ಅಭಿವೃದ್ಧಿಪಡಿಸಲಿ ಎಂದು ನಾವು ಆಶಿಸುತ್ತೇವೆ. ಆ ವಿಧಾನವು ಮಾಡೆಲ್ ಸಾಮರ್ಥ್ಯಗಳನ್ನು ಅಳೆಯಲು ನಮಗೆ ಬೇಕಾದ ಉನ್ನತ ಮಾನದಂಡ ಮತ್ತು ವಾಸ್ತವಿಕತೆಯನ್ನು ಉಳಿಸಬಹುದು, ಜೊತೆಗೆ ಪ್ರಕ್ರಿಯೆಯಾದ್ಯಂತ ಉತ್ತಮ ಮಾನವ ಮೇಲ್ವಿಚಾರಣೆಗೆ ಅವಕಾಶ ಮಾಡಿಕೊಡುತ್ತದೆ. ಈ ವಿಶ್ಲೇಷಣೆಯಲ್ಲಿ ಬಹಿರಂಗವಾದ ಸಮಸ್ಯೆಗಳ ಹಿನ್ನೆಲೆಯಲ್ಲಿ, SWE-Bench Pro ಅನ್ನು ಅಳವಡಿಸಿಕೊಳ್ಳುವ ನಮ್ಮ ಹಿಂದಿನ ಶಿಫಾರಸನ್ನು ನಾವು ಹಿಂಪಡೆಯುತ್ತೇವೆ.

ಕೊನೆಯಲ್ಲಿ, ಒಂದು ಮೌಲ್ಯಮಾಪನವು ಮೋಸಗೊಳಿಸಲು ಕಷ್ಟವಾದ, ನಂಬಲು ಸುಲಭವಾದ, ಮತ್ತು ಮಾಡೆಲ್ ಸಾಮರ್ಥ್ಯ ಅಥವಾ ಹೊಂದಾಣಿಕೆಯನ್ನು ನಿಜವಾಗಿಯೂ ಪ್ರತಿಬಿಂಬಿಸುವ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳ ಮೂಲಕ ಅರ್ಥಪೂರ್ಣ ಸಂಕೇತವನ್ನು ನೀಡಬೇಕು. ಈ ಫಲಿತಾಂಶಗಳು OpenAIಯ ನಿಯೋಜನೆ ಮತ್ತು ಸುರಕ್ಷತಾ ನಿರ್ಧಾರಗಳಿಗೆ ಮಾಹಿತಿ ನೀಡುವುದರಿಂದ, ನಾವು ಟ್ರ್ಯಾಕ್ ಮಾಡುವ ಮೌಲ್ಯಮಾಪನಗಳು ಮಾನ್ಯವಾಗಿಯೂ ಮಾಹಿತಿಪೂರ್ಣವಾಗಿಯೂ ಇರಬೇಕು.