ನಮ್ಮ ಮಾಡೆಲ್‌ಗಳಲ್ಲಿನ ಇತ್ತೀಚಿನ ಪ್ರಗತಿಯು COBOL, Fortran ಮತ್ತು Visual Basic ರೀತಿಯ ಕಡಿಮೆ ಕಲಿಕಾ ಸಂಪನ್ಮೂಲಗಳಿರುವ ಪ್ರೋಗ್ರಾಮಿಂಗ್ ಭಾಷೆಗಳಲ್ಲಿ ಸಾಫ್ಟ್‌ವೇರ್ ನಿರ್ಮಿಸಲು ಮತ್ತು ಸ್ಥಳಾಂತರಿಸಲು ಹೆಚ್ಚಿನ ಸಾಮರ್ಥ್ಯವನ್ನು ಒದಗಿಸುತ್ತದೆ. Python ಮತ್ತು JavaScript ನಂತಹ ಭಾಷೆಗಳಿಗೆ ಹೋಲಿಸಿದರೆ, ಈ ಭಾಷೆಗಳಲ್ಲಿ ಮಾಡೆಲ್‌ಗಳು ಕಲಿಯಲು ಲಭ್ಯವಿರುವ ಕೋಡ್ ಮತ್ತು ಡಾಕ್ಯುಮೆಂಟೇಶನ್ ಕೂಡ ಕಡಿಮೆ. ಆದರೂ, ಇವುಗಳು ವಿಶ್ವಾದ್ಯಂತ ನಿರ್ಣಾಯಕ ಮೂಲಸೌಕರ್ಯ ಮತ್ತು ಅಗತ್ಯ ಸೇವೆಗಳಿಗೆ ಆಧಾರವಾಗಿವೆ. COBOL ಶೇ. 40 ಕ್ಕೂ ಹೆಚ್ಚಿನ ಆನ್‌ಲೈನ್ ಬ್ಯಾಂಕಿಂಗ್ ವ್ಯವಸ್ಥೆಗಳು, ಶೇ. 80 ರಷ್ಟು ವ್ಯಕ್ತಿಗತ ಕ್ರೆಡಿಟ್ ಕಾರ್ಡ್ ವಹಿವಾಟುಗಳು ಮತ್ತು ಶೇ. 95 ರಷ್ಟು ATM ವಹಿವಾಟುಗಳಿಗೆ ಆಧಾರವಾಗಿದೆ(ಹೊಸ ಕಿಟಕಿಯಲ್ಲಿ ತೆರೆಯುತ್ತದೆ). Fortran ಅನ್ನು ಹವಾಮಾನ ಮುನ್ಸೂಚನೆ(ಹೊಸ ಕಿಟಕಿಯಲ್ಲಿ ತೆರೆಯುತ್ತದೆ) ಮತ್ತು ಪರಮಾಣು ರಿಯಾಕ್ಟರ್ ಸುರಕ್ಷತಾ ವಿಶ್ಲೇಷಣೆ(ಹೊಸ ಕಿಟಕಿಯಲ್ಲಿ ತೆರೆಯುತ್ತದೆ)ಯಲ್ಲಿ ಬಳಸಲಾಗುತ್ತದೆ. ಈ ಭಾಷೆಗಳಲ್ಲಿ ಕೆಲಸ ಮಾಡುವ AI ನ ಸಾಮರ್ಥ್ಯವನ್ನು ಸುಧಾರಿಸುವುದರಿಂದ, ಅಗತ್ಯ ಸೇವೆಗಳು ಅವಲಂಬಿಸಿರುವ ಸಾಫ್ಟ್‌ವೇರ್ ಅನ್ನು ನಿರ್ವಹಿಸಲು ಮತ್ತು ಆಧುನೀಕರಿಸಲು ತಂಡಗಳಿಗೆ ನೆರವಾಗಬಹುದು.
ಕೋಡಿಂಗ್ ಮಾಡೆಲ್‌ಗಳು ಈ ಭಾಷೆಗಳಲ್ಲಿ ಕೆಲಸ ಮಾಡಲು ಸಾಮಾನ್ಯವಾಗಿ ಕಷ್ಟಪಡುತ್ತವೆ ಎಂದು ಡೆವಲಪರ್‌ಗಳು ಮತ್ತು ಎಂಟರ್‌ಪ್ರೈಸ್ ಗ್ರಾಹಕರು ನಮಗೆ ತಿಳಿಸಿದ್ದಾರೆ. ಅವರ ಫೀಡ್‌ಬ್ಯಾಕ್ ಈ ಕೆಲಸಕ್ಕೆ ಮಾರ್ಗದರ್ಶನ ನೀಡುತ್ತಿದೆ. ಈ ಸಾಫ್ಟ್‌ವೇರ್ ಅನ್ನು ನಿರ್ವಹಿಸುವುದು ಮತ್ತು ಆಧುನೀಕರಿಸುವುದು ಕಷ್ಟವಾಗಬಹುದು: ಡಾಕ್ಯುಮೆಂಟೇಶನ್ ಅಪೂರ್ಣವಾಗಿರಬಹುದು, ಮೂಲ ಡೆವಲಪರ್‌ಗಳು ಕಂಪನಿ ತೊರೆದಿರಬಹುದು ಮತ್ತು ಪ್ರಮುಖ ವ್ಯವಹಾರ ನಿಯಮಗಳು ಕೋಡ್‌ನಲ್ಲಿ ಮಾತ್ರ ಇರಬಹುದು. ತಂಡಗಳು ದೋಷಗಳನ್ನು ಸರಿಪಡಿಸುತ್ತಿರಲಿ ಅಥವಾ ಮತ್ತೊಂದು ಭಾಷೆಗೆ ಸ್ಥಳಾಂತಿಸುತ್ತಿರಲಿ, ತಮ್ಮ ವ್ಯವಸ್ಥೆಗಳು ಅವಲಂಬಿಸಿರುವ ಕಾರ್ಯನಡವಳಿಕೆಯನ್ನು ಉಳಿಸಿಕೊಳ್ಳಬೇಕು.
ಪ್ರಗತಿಯನ್ನು ಅಳೆಯಲು, ನಾವು ಎರಡು ಮೌಲ್ಯಮಾಪನಗಳನ್ನು ಅಭಿವೃದ್ಧಿಪಡಿಸಿದ್ದೇವೆ. 20 ವಿಭಿನ್ನ ಪ್ರೋಗ್ರಾಮಿಂಗ್ ಭಾಷೆಗಳಲ್ಲಿ SQLite-ಹೊಂದಾಣಿಕೆಯ ಡೇಟಾಬೇಸ್ ಎಂಜಿನ್ ಅನ್ನು ಮೊದಲಿನಿಂದ ನಿರ್ಮಿಸಲು ಮಾಡೆಲ್‌ಗೆ ಸಾಧ್ಯವೇ ಎಂಬುದನ್ನು MultiLangBench ಪರೀಕ್ಷಿಸುತ್ತದೆ. ನಮ್ಮ COBOL ಸ್ಥಳಾಂತರದ ಮೌಲ್ಯಮಾಪನವು, ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ಪ್ರೋಗ್ರಾಂಗಳ ಕಾರ್ಯನಡವಳಿಕೆಯನ್ನು ಉಳಿಸಿಕೊಂಡೇ ಅವುಗಳನ್ನು ಮತ್ತೊಂದು ಭಾಷೆಗೆ ಸ್ಥಳಾಂತರಿಸಲು ಮಾಡೆಲ್‌ಗೆ ಸಾಧ್ಯವೇ ಎಂಬುದನ್ನು ಪರೀಕ್ಷಿಸುತ್ತದೆ. ಒಟ್ಟಾಗಿ, ಇವುಗಳೆರಡೂು ಪೂರಕ ಕೌಶಲ್ಯಗಳನ್ನು ಪರೀಕ್ಷಿಸುತ್ತವೆ: ಹೊಸ ಸಾಫ್ಟ್‌ವೇರ್ ನಿರ್ಮಿಸುವುದು ಮತ್ತು ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ಸಾಫ್ಟ್‌ವೇರ್‌ನ ಕಾರ್ಯಗಳನ್ನು ಉಳಿಸಿಕೊಳ್ಳುವುದಾಗಿದೆ.
ನಮ್ಮ ಇತ್ತೀಚಿನ ಮಾಡೆಲ್‌ಗಳು ಎರಡೂ ಮೌಲ್ಯಮಾಪನಗಳಲ್ಲಿ ಗಣನೀಯ ಸುಧಾರಣೆ ತೋರಿಸಿದ್ದು, ಕಡಿಮೆ ವೆಚ್ಚದಲ್ಲಿ ಹೆಚ್ಚು ನಿಖರತೆಯನ್ನು ಒದಗಿಸುತ್ತವೆ.
MultiLangBench ನಲ್ಲಿ, GPT‑6 Astra 20 ಪ್ರೋಗ್ರಾಮಿಂಗ್ ಭಾಷೆಗಳಲ್ಲಿ ಸರಾಸರಿ 87.4% ಪರೀಕ್ಷಾ ಉತ್ತೀರ್ಣತೆ ಸಾಧಿಸಿದೆ. GPT‑5.6 Sol ನಲ್ಲಿ ಇದು 26.8% ಆಗಿತ್ತು. ಪರೀಕ್ಷಿಸಿದ ಪ್ರತಿಯೊಂದು ಭಾಷೆಯಲ್ಲೂ ಸುಧಾರಣೆಯಾಗಿದೆ. GPT‑6 Luna ಕೂಡ GPT‑5.6 Sol ಗಿಂತ ಉತ್ತಮವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸಿ, ಅಂದಾಜು API ವೆಚ್ಚದಲ್ಲಿ ಸುಮಾರು 78% ಉಳಿತಾಯದೊಂದಿಗೆ 40.3% ಉತ್ತೀರ್ಣತೆ ಸಾಧಿಸಿದೆ.
ನಮ್ಮ COBOL ಸ್ಥಳಾಂತರದ ಮೌಲ್ಯಮಾಪನದಲ್ಲಿ, ಕಡಿಮೆ ರೀಜನಿಂಗ್ ಪ್ರಯತ್ನದಲ್ಲಿ GPT‑6.1 Sol 86.6% ನಿಖರತೆ ಸಾಧಿಸಿದೆ. GPT‑5.6 Sol ಕೇವಲ 5.4% ನಿಖರತೆ ಸಾಧಿಸಿತ್ತು. ವೆಚ್ಚವೂ 39% ಕಡಿಮೆಯಾಗಿದೆ. ಹೆಚ್ಚಿನ ರೀಜನಿಂಗ್ ಪ್ರಯತ್ನದಲ್ಲಿ ನಿಖರತೆ 97.9% ತಲುಪಿ, ಮೌಲ್ಯಮಾಪನದ ಗರಿಷ್ಠ ಮಿತಿಗೆ ಸಮೀಪಿಸುತ್ತದೆ.
ಒಟ್ಟಾಗಿ, ಈ ಫಲಿತಾಂಶಗಳು ನಮ್ಮ ಮಾಡೆಲ್‌ಗಳು ವಿವಿಧ ಪ್ರೋಗ್ರಾಮಿಂಗ್ ಭಾಷೆಗಳಲ್ಲಿ ಕೆಲಸ ಮಾಡುವಲ್ಲಿ ಗಮನಾರ್ಹವಾಗಿ ಸುಧಾರಿಸುತ್ತಿವೆ ಮತ್ತು ವೆಚ್ಚದ ದೃಷ್ಟಿಯಿಂದಲೂ ಹೆಚ್ಚು ಪರಿಣಾಮಕಾರಿಯಾಗುತ್ತಿವೆ ಎಂದು ತೋರಿಸುತ್ತವೆ.
MultiLangBench, ನಿರ್ದಿಷ್ಟ ಪ್ರೋಗ್ರಾಮಿಂಗ್ ಭಾಷೆಯಲ್ಲಿ SQLite-ಹೊಂದಾಣಿಕೆಯ ಡೇಟಾಬೇಸ್ ಎಂಜಿನ್ ನಿರ್ಮಿಸುವಂತೆ ಮಾಡೆಲ್‌ಗೆ ಸೂಚಿಸುತ್ತದೆ. ಮಾಡೆಲ್ ಕೋಡ್‌ಬೇಸ್ ಅನ್ನು ಸಂಘಟಿಸಬೇಕು, ಸ್ಥಿತಿಯನ್ನು ನಿರ್ವಹಿಸಬೇಕು, ದೋಷಗಳನ್ನು ನಿಭಾಯಿಸಬೇಕು ಮತ್ತು ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ಕಾರ್ಯಗಳನ್ನು ಉಳಿಸಿಕೊಂಡೇ ಹೊಸ ವೈಶಿಷ್ಟ್ಯಗಳನ್ನು ಸೇರಿಸಬೇಕು.
ವಿವಿಧ ಭಾಷೆಗಳಲ್ಲಿನ ಅನುಷ್ಠಾನಗಳನ್ನು ಹೋಲಿಸಲು, ನಾವು ಡೇಟಾಬೇಸ್ ಫೈಲ್‌ಗಳನ್ನು ಸಾಮಾನ್ಯ ಇಂಟರ್‌ಫೇಸ್ ಆಗಿ ಬಳಸುತ್ತೇವೆ. ಪರೀಕ್ಷೆಗೆ ಒಳಪಡುವ ಪ್ರೋಗ್ರಾಂ ಆರಂಭಿಕ ಡೇಟಾಬೇಸ್ ಮತ್ತು SQL ಕ್ವೆರಿಯನ್ನು ಸ್ವೀಕರಿಸಿ, ಮಾರ್ಪಡಿಸಿದ ಡೇಟಾಬೇಸ್ ಅನ್ನು ಉತ್ಪಾದಿಸುತ್ತದೆ. ಹೀಗೆ ದೊರೆತ ಡೇಟಾಬೇಸ್‌ನಲ್ಲಿ ನಿರೀಕ್ಷಿತ ವಿಷಯಗಳಿವೆಯೇ ಎಂದು ಪರಿಶೀಲಿಸಲು ನಾವು ಪ್ರಮಾಣಿತ SQLite ಅನುಷ್ಠಾನವನ್ನು ಬಳಸುತ್ತೇವೆ. ಇದರಿಂದ ಎಂಜಿನ್ ನಿರ್ಮಿಸಲು ಯಾವ ಭಾಷೆ ಬಳಸಿದ್ದರೂ ಒಂದೇ ರೀತಿಯ ಪರೀಕ್ಷೆಗಳನ್ನು ಅನ್ವಯಿಸಲು ಸಾಧ್ಯವಾಗುತ್ತದೆ.
SQLite ನ ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ಪರೀಕ್ಷಾ ಸಮೂಹದ ಪರೀಕ್ಷೆಗಳನ್ನು ನಾವು ಈ ಸ್ವರೂಪಕ್ಕೆ ಹೊಂದಿಸಿದ್ದೇವೆ. ದೀರ್ಘ ಕೋಡಿಂಗ್ ಅವಧಿಯಲ್ಲಿ ಮಾಡೆಲ್ ಎಷ್ಟು ಕಾರ್ಯನಿರ್ವಹಿಸುವ ವೈಶಿಷ್ಟ್ಯಗಳನ್ನು ನಿರ್ಮಿಸಬಲ್ಲದು ಎಂಬುದನ್ನು ಈ ಮೌಲ್ಯಮಾಪನ ಅಳೆಯುತ್ತದೆ. ಪರೀಕ್ಷಾ ಉತ್ತೀರ್ಣತೆಯ ಪ್ರಮಾಣ ಮತ್ತು API ವೆಚ್ಚ ಎರಡನ್ನೂ ವರದಿ ಮಾಡುತ್ತದೆ.
ಗರಿಷ್ಠ ರೀಜನಿಂಗ್ ಪ್ರಯತ್ನದಲ್ಲಿ GPT‑6 Astra 20 ಭಾಷೆಗಳಲ್ಲಿ ಸರಾಸರಿ 87.4% ಪರೀಕ್ಷಾ ಉತ್ತೀರ್ಣತೆ ಸಾಧಿಸಿದೆ. GPT‑5.6 Sol ನಲ್ಲಿ ಇದು 26.8% ಆಗಿತ್ತು. ಪರೀಕ್ಷಿಸಿದ ಪ್ರತಿಯೊಂದು ಭಾಷೆಯಲ್ಲೂ ಸುಧಾರಣೆಯಾಗಿದೆ. ಇವುಗಳಲ್ಲಿ COBOL (10.9% ರಿಂದ 72.1%), OCaml (25.6% ರಿಂದ 85.8%), Fortran (21.4% ರಿಂದ 83.5%) ಮತ್ತು Visual Basic (27.5% ರಿಂದ 89.4%) ಸೇರಿವೆ. Astra 20 ಭಾಷೆಗಳಲ್ಲಿ 19ರಲ್ಲಿ 83% ಕ್ಕಿಂತ ಹೆಚ್ಚು ಅಂಕ ಗಳಿಸಿದೆ. COBOL 72% ರೊಂದಿಗೆ ಅತ್ಯಂತ ಕಠಿಣ ಭಾಷೆಯಾಗಿ ಉಳಿದಿದೆ.
GPT‑6 Luna ಕಡಿಮೆ ವೆಚ್ಚದ ಆಯ್ಕೆಯಾಗಿದ್ದು, ಪರೀಕ್ಷಿಸಿದ ಪ್ರತಿಯೊಂದು ಭಾಷೆಯಲ್ಲೂ GPT‑5.6 Sol ಗಿಂತ ಉತ್ತಮವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ. ಗರಿಷ್ಠ ರೀಜನಿಂಗ್ ಪ್ರಯತ್ನದಲ್ಲಿ ಇದು ಸರಾಸರಿ 40.3% ಪರೀಕ್ಷಾ ಉತ್ತೀರ್ಣತೆ ಸಾಧಿಸುತ್ತದೆ. COBOL (10.9% ರಿಂದ 17.1%), OCaml (25.6% ರಿಂದ 34.1%), Fortran (21.4% ರಿಂದ 31.4%) ಮತ್ತು Visual Basic (27.5% ರಿಂದ 41.6%) ಭಾಷೆಗಳಲ್ಲೂ ಸುಧಾರಣೆ ಕಂಡುಬಂದಿದೆ. ಈ ಸುಧಾರಣೆಗಳಿಗೆ ಪ್ರತಿ ಮಾದರಿಯ ಅಂದಾಜು ಸರಾಸರಿ API ವೆಚ್ಚ $0.77 ಆಗಿದೆ. GPT‑5.6 Sol ನ $3.48 ವೆಚ್ಚಕ್ಕೆ ಹೋಲಿಸಿದರೆ ಇದು ಸುಮಾರು 78% ಕಡಿಮೆಯಾಗಿದೆ.
ನಾವು MultiLangBench ಮೌಲ್ಯಮಾಪನ ವ್ಯವಸ್ಥೆ ಮತ್ತು ಪರೀಕ್ಷಾ ಸಮೂಹವನ್ನು ಪ್ರತಿ ಭಾಷೆಯ ಫಲಿತಾಂಶಗಳೊಂದಿಗೆ GitHub(ಹೊಸ ಕಿಟಕಿಯಲ್ಲಿ ತೆರೆಯುತ್ತದೆ) ನಲ್ಲಿ ಬಿಡುಗಡೆ ಮಾಡುತ್ತಿದ್ದೇವೆ. ಮೌಲ್ಯಮಾಪನವು ಏನನ್ನು ಪರೀಕ್ಷಿಸುತ್ತದೆ ಎಂಬುದನ್ನು ಡೆವಲಪರ್‌ಗಳು ಪರಿಶೀಲಿಸಬಹುದು, ತಾವು ಬಳಸುವ ಭಾಷೆಗಳಲ್ಲಿನ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ವಿಮರ್ಶಿಸಬಹುದು ಮತ್ತು ತಮ್ಮ ಕೆಲಸಕ್ಕೆ ಮುಖ್ಯವಾದ ಕೊರತೆಗಳನ್ನು ಗುರುತಿಸಬಹುದು.
ನಮ್ಮ ಎರಡನೇ ಮೌಲ್ಯಮಾಪನವು, ಪ್ರತಿ ಪ್ರೋಗ್ರಾಂನ ಕಾರ್ಯಗಳನ್ನು ಉಳಿಸಿಕೊಂಡೇ COBOL ಪ್ರೋಗ್ರಾಂಗಳನ್ನು C++, Java, Kotlin, Python ಅಥವಾ Rust ಗೆ ಸ್ಥಳಾಂತರಿಸುವಂತೆ ಮಾಡೆಲ್‌ಗಳಿಗೆ ಸೂಚಿಸುತ್ತದೆ.
ಯಶಸ್ವಿ ಸ್ಥಳಾಂತರಕ್ಕೆ ಪ್ರೋಗ್ರಾಂನ ವ್ಯವಹಾರ ತರ್ಕ ಮತ್ತು COBOL ಭಾಷೆಯ ನಿರ್ದಿಷ್ಟ ಕಾರ್ಯನಡವಳಿಕೆ ಎರಡನ್ನೂ ಅರ್ಥಮಾಡಿಕೊಳ್ಳಬೇಕು. COBOL ಪ್ರೋಗ್ರಾಂಗಳು ಹೆಚ್ಚಾಗಿ ಹಣಕಾಸಿನ ವಹಿವಾಟುಗಳು ಮತ್ತು ವ್ಯವಹಾರ ದಾಖಲೆಗಳನ್ನು ಪ್ರಕ್ರಿಯೆಗೊಳಿಸುತ್ತವೆ. ಇವುಗಳಲ್ಲಿ ಪೂರ್ಣಾಂಕೀಕರಣದ ನಿಯಮಗಳು ಮತ್ತು ಕಾಣೆಯಾದ ದಾಖಲೆಗಳನ್ನು ನಿರ್ವಹಿಸುವ ವಿಧಾನಗಳಂತಹ ವಿವರಗಳು ವ್ಯವಹಾರದ ಅವಶ್ಯಕತೆಗಳನ್ನು ಪ್ರತಿಬಿಂಬಿಸುತ್ತವೆ. ಉದಾಹರಣೆಗೆ, ಪೂರ್ಣಾಂಕೀಕರಣವನ್ನು ಸ್ಪಷ್ಟವಾಗಿ ಸೂಚಿಸದ ಹೊರತು, COBOL ನ ಸ್ಥಿರ-ಬಿಂದು ಅಂಕಗಣಿತವು ಹೆಚ್ಚುವರಿ ದಶಮಾಂಶ ಅಂಕಿಗಳನ್ನು ತೆಗೆದುಹಾಕುತ್ತದೆ. ಬದಲಿಗೆ ಆ ಮೌಲ್ಯಗಳನ್ನು ಪೂರ್ಣಾಂಕೀಕರಿಸುವಂತೆ ಮರುಬರೆದ ಪ್ರೋಗ್ರಾಂ ದೋಷಗಳಿಲ್ಲದೆ ಕಾರ್ಯನಿರ್ವಹಿಸಿದರೂ, ವಿಭಿನ್ನ ಹಣಕಾಸು ಫಲಿತಾಂಶಗಳನ್ನು ನೀಡಬಹುದು.
ಈ ಕಾರ್ಯನಡವಳಿಕೆಗಳು ಉಳಿದಿವೆಯೇ ಎಂದು ಪರೀಕ್ಷಿಸಲು, ಗಮನಿಸಬಹುದಾದ ಔಟ್‌ಪುಟ್‌ಗಳು ಪ್ರತಿ ಬೈಟ್‌ನಲ್ಲೂ ಒಂದೇ ಆಗಿರಬೇಕೆಂದು ನಿರೀಕ್ಷಿಸುವ ಗುಪ್ತ ಪರೀಕ್ಷೆಗಳ ಮೂಲಕ ನಾವು ಮಾಡೆಲ್‌ಗಳನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡುತ್ತೇವೆ. ಎಲ್ಲಾ ಪರೀಕ್ಷೆಗಳಲ್ಲಿ ಉತ್ತೀರ್ಣವಾದರೆ ಮಾತ್ರ ಸ್ಥಳಾಂತರವನ್ನಿ ಯಶಸ್ವಿ ಎಂದು ಪರಿಗಣಿಸಲಾಗುತ್ತದೆ. ಹಳೆಯ ವ್ಯವಸ್ಥೆಗಳನ್ನು ನಿರ್ವಹಿಸುವ ಮತ್ತು ಆಧುನೀಕರಿಸುವ ತಂಡಗಳಿಗೆ ಇಂತಹ ಕಾರ್ಯನಡವಳಿಕೆ ಉಳಿಸುವ ಸಾಮರ್ಥ್ಯಗಳು ಉಪಯುಕ್ತವಾಗಿವೆ. ಆದರೂ, ನೈಜ ಬಳಕೆಯಲ್ಲಿರುವ ಸಾಫ್ಟ್‌ವೇರ್‌ಗೆ ಇವುಗಳನ್ನು ಅನ್ವಯಿಸುವಾಗ ತಜ್ಞರ ಪರಿಶೀಲನೆ ಮತ್ತು ವ್ಯವಸ್ಥೆಯ ವ್ಯವಹಾರ ನಿಯಮಗಳು ಹಾಗೂ ಅವಲಂಬನೆಗಳಿಗೆ ಅನುಗುಣವಾಗಿ ಪರೀಕ್ಷೆ ನಡೆಸುವುದು ಅಗತ್ಯವಾಗಿದೆ.
ಈ ಮೌಲ್ಯಮಾಪನದಲ್ಲಿ, ಕಡಿಮೆ ರೀಜನಿಂಗ್ ಪ್ರಯತ್ನದಲ್ಲಿ GPT‑6.1 Sol 86.6% ನಿಖರತೆ ಸಾಧಿಸಿದೆ. ಅದೇ ಸೆಟ್ಟಿಂಗ್‌ನಲ್ಲಿ GPT‑5.6 Sol 5.4% ನಿಖರತೆ ಸಾಧಿಸಿತ್ತು. GPT‑6.1 Sol ಗೆ ಅದರ API ವೆಚ್ಚದ ಕೇವಲ 61% ಸಾಕಾಗಿದೆ. ಹೆಚ್ಚಿನ ರೀಜನಿಂಗ್ ಪ್ರಯತ್ನದಲ್ಲಿ ನಿಖರತೆ 97.9% ತಲುಪಿ, ಮೌಲ್ಯಮಾಪನದ ಗರಿಷ್ಠ ಮಿತಿಗೆ ಸಮೀಪಿಸುತ್ತದೆ. ತಮ್ಮ ವ್ಯವಹಾರಗಳು ಅವಲಂಬಿಸಿರುವ ಸಾಫ್ಟ್‌ವೇರ್ ಅನ್ನು ಆಧುನೀಕರಿಸುವ ತಂಡಗಳಿಗೆ ಹೆಚ್ಚು ನಿಖರವಾದ, ಕೈಗೆಟುಕುವ ವೆಚ್ಚದ ಕೋಡ್ ಸ್ಥಳಾಂತರವನ್ನು ಒದಗಿಸುವ ನಿಟ್ಟಿನಲ್ಲಿ ಆಗಿರುವ ಪ್ರಗತಿಯನ್ನು ಈ ಮೌಲ್ಯಮಾಪನ ಫಲಿತಾಂಶಗಳು ತೋರಿಸುತ್ತವೆ.
ಡೆವಲಪರ್‌ಗಳು ಮತ್ತು ಎಂಟರ್‌ಪ್ರೈಸ್ ಗ್ರಾಹಕರ ನೇರ ಫೀಡ್‌ಬ್ಯಾಕ್ ಜೊತೆಗೆ ಈ ಮೌಲ್ಯಮಾಪನಗಳು, ನಮ್ಮ ಮಾಡೆಲ್‌ಗಳು ಎಲ್ಲಿ ಸುಧಾರಿಸುತ್ತಿವೆ ಮತ್ತು ಎಲ್ಲಿ ಇನ್ನೂ ಕೊರತೆಗಳಿವೆ ಎಂಬುದನ್ನು ತಿಳಿಯಲು ನೆರವಾಗುತ್ತವೆ.
ಹೆಚ್ಚಿನ ಭಾಷೆಗಳಲ್ಲಿ ಸಾಫ್ಟ್‌ವೇರ್ ಎಂಜಿನಿಯರಿಂಗ್ ಕೌಶಲ್ಯಗಳನ್ನು ಅನ್ವಯಿಸಲು ಮಾಡೆಲ್‌ಗಳಿಗೆ ನೆರವಾಗುವುದು ನಮ್ಮ ಗುರಿಯಾಗಿದೆ. ಇವುಗಳಲ್ಲಿ ಅಪರಿಚಿತ ರಿಪೊಸಿಟರಿಗಳನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳುವುದು, ಬದಲಾವಣೆಗಳನ್ನು ಯೋಜಿಸುವುದು, ಬಿಲ್ಡ್ ಪರಿಕರಗಳನ್ನು ಬಳಸುವುದು, ಪರೀಕ್ಷೆಗಳನ್ನು ನಡೆಸುವುದು ಮತ್ತು ವೈಫಲ್ಯಗಳ ದೋಷನಿವಾರಣೆ ಸೇರಿವೆ.
ನಿಮ್ಮ ತಂಡ ಬಳಸುವ ಭಾಷೆಗಳಲ್ಲಿನ ಕೋಡಿಂಗ್ ಕಾರ್ಯಗಳಿಗೆ ನಮ್ಮ ಇತ್ತೀಚಿನ ಮಾಡೆಲ್‌ಗಳನ್ನು API ಮೂಲಕ ಪ್ರಯತ್ನಿಸಬಹುದು. ಯಾವುದು ಉತ್ತಮವಾಗಿ ಕೆಲಸ ಮಾಡುತ್ತದೆ, ಮಾಡೆಲ್‌ಗಳು ಎಲ್ಲಿ ಕಷ್ಟಪಡುತ್ತವೆ ಮತ್ತು ಮುಂದೆ ಯಾವ ಭಾಷೆಗಳು ಅಥವಾ ವರ್ಕ್‌ಫ್ಲೋಗಳತ್ತ ನಾವು ಗಮನಹರಿಸಬೇಕು ಎಂಬ ನಿಮ್ಮ ಫೀಡ್‌ಬ್ಯಾಕ್ ನಮಗೆ ಮುಖ್ಯವಾಗಿದೆ. ನೀವು ಅವಲಂಬಿಸಿರುವ ಸಾಫ್ಟ್‌ವೇರ್‌ಗೆ ಉತ್ತಮ ಬೆಂಬಲ ನೀಡುವಂತೆ ಮಾಡೆಲ್‌ಗಳಿಗೆ ತರಬೇತಿ ನೀಡಲು ಮತ್ತು ಅವುಗಳನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡಲು ಇದು ಮಾರ್ಗದರ್ಶನ ನೀಡುತ್ತದೆ.
