ನೈಜ-ಪ್ರಪಂಚದ ಕಾರ್ಯಗಳಲ್ಲಿ ನಮ್ಮ ಮಾಡೆಲ್‌ಗಳ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಅಳೆಯುವುದು

ಕೃತಕ ಸಾಮಾನ್ಯ ಬುದ್ಧಿಮತ್ತೆಯು ಎಲ್ಲಾ ಮಾನವೀಯತೆಗೆ ಪ್ರಯೋಜನವನ್ನು ನೀಡುವುದನ್ನು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳುವುದು ನಮ್ಮ ಧ್ಯೇಯವಾಗಿದೆ. ನಮ್ಮ ಧ್ಯೇಯದ ಭಾಗವಾಗಿ, AI ಮಾಡೆಲ್‌ಗಳು ನೈಜ ಜಗತ್ತಿನಲ್ಲಿ ಜನರಿಗೆ ಹೇಗೆ ಸಹಾಯ ಮಾಡಬಹುದು ಎಂಬುದರ ಕುರಿತು ಪ್ರಗತಿಯನ್ನು ಪಾರದರ್ಶಕವಾಗಿ ಸಂವಹನ ಮಾಡಲು ನಾವು ಬಯಸುತ್ತೇವೆ. ಅದಕ್ಕಾಗಿಯೇ ನಾವು GDPval ಅನ್ನು ಪರಿಚಯಿಸುತ್ತಿದ್ದೇವೆ: ನಮ್ಮ ಮಾಡೆಲ್‌ಗಳು ಮತ್ತು ಇತರರು ಆರ್ಥಿಕವಾಗಿ ಮೌಲ್ಯಯುತವಾದ, ನೈಜ-ಪ್ರಪಂಚದ ಕಾರ್ಯಗಳಲ್ಲಿ ಎಷ್ಟು ಉತ್ತಮವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತಾರೆ ಎಂಬುದನ್ನು ಪತ್ತೆಹಚ್ಚಲು ಸಹಾಯ ಮಾಡಲು ವಿನ್ಯಾಸಗೊಳಿಸಲಾದ ಹೊಸ ಮೌಲ್ಯಮಾಪನ. ನಾವು ಒಟ್ಟು ದೇಶೀಯ ಉತ್ಪನ್ನ (GDP) ಪರಿಕಲ್ಪನೆಯನ್ನು ಪ್ರಮುಖ ಆರ್ಥಿಕ ಸೂಚಕವಾಗಿಟ್ಟುಕೊಂಡು ಪ್ರಾರಂಭಿಸಿ, GDPಗೆ ಹೆಚ್ಚಿನ ಕೊಡುಗೆ ನೀಡುವ ಕೈಗಾರಿಕೆಗಳಲ್ಲಿನ ಪ್ರಮುಖ ಉದ್ಯೋಗಗಳಿಂದ ಕಾರ್ಯಗಳನ್ನು ಪಡೆದುಕೊಂಡಿದ್ದರಿಂದ ಈ ಮೌಲ್ಯಮಾಪನವನ್ನು GDPval ಎಂದು ಕರೆಯುತ್ತೇವೆ.

ಜನರು ಸಾಮಾನ್ಯವಾಗಿ AI ನ ಸಮಾಜದ ಮೇಲೆ ಬೀರುವ ವ್ಯಾಪಕ ಪ್ರಭಾವದ ಬಗ್ಗೆ ಊಹಿಸುತ್ತಾರೆ, ಆದರೆ ಅದರ ಸಾಮರ್ಥ್ಯವನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳಲು ಸ್ಪಷ್ಟವಾದ ಮಾರ್ಗವೆಂದರೆ ಮಾಡೆಲ್‌ಗಳು ಈಗಾಗಲೇ ಏನು ಮಾಡಲು ಸಮರ್ಥವಾಗಿವೆ ಎಂಬುದನ್ನು ನೋಡುವುದು. ಇಂಟರ್ನೆಟ್‌ನಿಂದ ಸ್ಮಾರ್ಟ್‌ಫೋನ್‌ಗಳವರೆಗೆ—ಪ್ರಮುಖ ತಂತ್ರಜ್ಞಾನಗಳು ಆವಿಷ್ಕಾರದಿಂದ ವ್ಯಾಪಕ ಅಳವಡಿಕೆಗೆ—ಒಂದು ದಶಕಕ್ಕೂ ಹೆಚ್ಚು ಸಮಯ ತೆಗೆದುಕೊಂಡವು ಎಂದು ಇತಿಹಾಸ ತೋರಿಸುತ್ತದೆ. GDPval ನಂತಹ ಮೌಲ್ಯಮಾಪನಗಳು ಊಹೆಗಿಂತ ಹೆಚ್ಚಾಗಿ ಪುರಾವೆಗಳಲ್ಲಿ ಭವಿಷ್ಯದ AI ಸುಧಾರಣೆಗಳ ಕುರಿತು ಮೂಲಭೂತ ಸಂಭಾಷಣೆಗಳಿಗೆ ಸಹಾಯ ಮಾಡುತ್ತವೆ ಮತ್ತು ಕಾಲಾನಂತರದಲ್ಲಿ ಮಾಡೆಲ್ ಸುಧಾರಣೆಯನ್ನು ಪತ್ತೆಹಚ್ಚಲು ನಮಗೆ ಸಹಾಯ ಮಾಡಬಹುದು.

ಮಾಡೆಲ್ ತಾರ್ಕಿಕ ಸಾಮರ್ಥ್ಯಗಳ ಮಿತಿಗಳನ್ನು ತಳ್ಳುವಲ್ಲಿ ಸವಾಲಿನ ಶೈಕ್ಷಣಿಕ ಪರೀಕ್ಷೆಗಳು ಮತ್ತು ಸ್ಪರ್ಧಾತ್ಮಕ ಕೋಡಿಂಗ್ ಸವಾಲುಗಳಂತಹ ಹಿಂದಿನ AI ಮೌಲ್ಯಮಾಪನಗಳು ಅತ್ಯಗತ್ಯವಾಗಿದ್ದವು, ಆದರೆ ಅವು ಅನೇಕ ಜನರು ತಮ್ಮ ದೈನಂದಿನ ಕಾರ್ಯದಲ್ಲಿ ನಿರ್ವಹಿಸುವ ರೀತಿಯ ಕೆಲಸಗಳನ್ನು ಪೂರೈಸುವಲ್ಲಿ ಹೆಚ್ಚಾಗಿ ವಿಫಲವಾಗುತ್ತವೆ.

ಈ ಅಂತರವನ್ನು ಕಡಿಮೆ ಮಾಡಲು, ನಾವು ಹೆಚ್ಚು ವಾಸ್ತವಿಕ ಮತ್ತು ಆರ್ಥಿಕವಾಗಿ ಪ್ರಸ್ತುತ ಸಾಮರ್ಥ್ಯಗಳನ್ನು ಅಳೆಯುವ ಮೌಲ್ಯಮಾಪನಗಳನ್ನು ಅಭಿವೃದ್ಧಿಪಡಿಸುತ್ತಿದ್ದೇವೆ. ಈ ಪ್ರಗತಿಯು MMLU (ಡಜನ್‌ಗಟ್ಟಲೆ ವಿಷಯಗಳಲ್ಲಿ ಪರೀಕ್ಷಾ ಶೈಲಿಯ ಪ್ರಶ್ನೆಗಳು) ನಂತಹ ಕ್ಲಾಸಿಕ್ ಶೈಕ್ಷಣಿಕ ಮಾನದಂಡಗಳಿಂದ, SWE-Bench (ಸಾಫ್ಟ್‌ವೇರ್ ಎಂಜಿನಿಯರಿಂಗ್ ದೋಷ ಪರಿಹಾರ ಕಾರ್ಯಗಳು), MLE-Bench (ಮಾಡೆಲ್ ಟ್ರೈನಿಂಗ್ ಮತ್ತು ವಿಶ್ಲೇಷಣೆಯಂತಹ ಯಂತ್ರ ಕಲಿಕೆ ಎಂಜಿನಿಯರಿಂಗ್ ಕಾರ್ಯಗಳು), ಮತ್ತು ಪೇಪರ್-ಬೆಂಚ್ (ಸಂಶೋಧನಾ ಪ್ರಬಂಧಗಳ ಮೇಲಿನ ವೈಜ್ಞಾನಿಕ ತಾರ್ಕಿಕತೆ ಮತ್ತು ವಿಮರ್ಶೆ) ನಂತಹ ಹೆಚ್ಚು ಅನ್ವಯಿಕ ಮೌಲ್ಯಮಾಪನಗಳಿಗೆ ಮತ್ತು ಇತ್ತೀಚೆಗೆ SWE-Lancer (ನೈಜ ಪಾವತಿಗಳ ಆಧಾರದ ಮೇಲೆ ಸ್ವತಂತ್ರ ಸಾಫ್ಟ್‌ವೇರ್ ಎಂಜಿನಿಯರಿಂಗ್ ಪ್ರಾಜೆಕ್ಟ್‌ಗಳು) ನಂತಹ ಮಾರುಕಟ್ಟೆ ಆಧಾರಿತ ಮೌಲ್ಯಮಾಪನಗಳಿಗೆ ಸಾಗಿದೆ.

ಆ ಪ್ರಗತಿಯಲ್ಲಿ GDPval ಮುಂದಿನ ಹಂತವಾಗಿದೆ. ಇದು ವ್ಯಾಪಕ ಶ್ರೇಣಿಯ ವೃತ್ತಿಗಳು ಮತ್ತು ವಲಯಗಳಲ್ಲಿ ಅನುಭವಿ ವೃತ್ತಿಪರರ ನೈಜ-ಪ್ರಪಂಚದ ಜ್ಞಾನದ ಕೆಲಸದಿಂದ ನೇರವಾಗಿ ಪಡೆದ ಕಾರ್ಯಗಳಲ್ಲಿ ಮಾಡೆಲ್ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಅಳೆಯುತ್ತದೆ, ಆರ್ಥಿಕವಾಗಿ ಮೌಲ್ಯಯುತವಾದ ಕಾರ್ಯಗಳಲ್ಲಿ ಮಾಡೆಲ್‌ಗಳು ಹೇಗೆ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತವೆ ಎಂಬುದರ ಕುರಿತು ಸ್ಪಷ್ಟ ಚಿತ್ರಣವನ್ನು ಒದಗಿಸುತ್ತದೆ. ವಾಸ್ತವಿಕ ವೃತ್ತಿಪರ ಕಾರ್ಯಗಳ ಕುರಿತು ಮಾಡೆಲ್‌ಗಳನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡುವುದರಿಂದ ಅವರು ಪ್ರಯೋಗಾಲಯದಲ್ಲಿ ಎಷ್ಟು ಚೆನ್ನಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತಾರೆ ಎಂಬುದನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳಲು ಸಹಾಯ ಮಾಡುತ್ತದೆ, ಆದರೆ ಅವರು ಪ್ರತಿದಿನ ಮಾಡುವ ಕೆಲಸದಲ್ಲಿ ಜನರನ್ನು ಹೇಗೆ ಬೆಂಬಲಿಸಬಹುದು ಎಂಬುದನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳಲು ಸಹಾಯ ಮಾಡುತ್ತದೆ.

ಈ ಮೌಲ್ಯಮಾಪನದ ಮೊದಲ ಆವೃತ್ತಿಯಾದ GDPval, US GDP ಗೆ ಕೊಡುಗೆ ನೀಡುವ ಅಗ್ರ 9 ಕೈಗಾರಿಕೆಗಳಿಂದ ಆಯ್ಕೆ ಮಾಡಲಾದ 44 ವೃತ್ತಿಗಳನ್ನು ಒಳಗೊಂಡಿದೆ. GDPval ಪೂರ್ಣ ಸೆಟ್ 1,320 ವಿಶೇಷ ಕಾರ್ಯಗಳನ್ನು ಒಳಗೊಂಡಿದೆ (ಚಿನ್ನದ ಮುಕ್ತ ಮೂಲ ಸೆಟ್‌ನಲ್ಲಿ 220), ಪ್ರತಿಯೊಂದನ್ನು ಈ ಕ್ಷೇತ್ರಗಳಿಂದ ಸರಾಸರಿ 14 ವರ್ಷಗಳಿಗೂ ಹೆಚ್ಚು ಅನುಭವ ಹೊಂದಿರುವ ಅನುಭವಿ ವೃತ್ತಿಪರರು ಸೂಕ್ಷ್ಮವಾಗಿ ರಚಿಸಿದ್ದಾರೆ ಮತ್ತು ಪರಿಶೀಲಿಸಿದ್ದಾರೆ. ಪ್ರತಿಯೊಂದು ಕಾರ್ಯವು ಕಾನೂನು ಸಂಕ್ಷಿಪ್ತ ವಿವರಣೆ, ಎಂಜಿನಿಯರಿಂಗ್ ನೀಲನಕ್ಷೆ, ಗ್ರಾಹಕ ಬೆಂಬಲ ಸಂಭಾಷಣೆ ಅಥವಾ ನರ್ಸಿಂಗ್ ಕೇರ್ ಪ್ಲಾನ್‌ನಂತಹ ನೈಜ ಕೆಲಸದ ಉತ್ಪನ್ನಗಳನ್ನು ಆಧರಿಸಿದೆ.

GDPval ತನ್ನ ವಾಸ್ತವಿಕತೆ ಮತ್ತು ಮೌಲ್ಯಮಾಪನ ಮಾಡಲಾಗುವ ಕಾರ್ಯಗಳ ವೈವಿಧ್ಯತೆ ಎರಡರಲ್ಲೂ ವಿಶಿಷ್ಟವಾಗಿದೆ. ನಿರ್ದಿಷ್ಟ ಡೊಮೇನ್‌ಗಳ ಮೇಲೆ ಕೇಂದ್ರೀಕರಿಸುವ ಆರ್ಥಿಕ ಮೌಲ್ಯಕ್ಕೆ ಸಂಬಂಧಿಸಿದ ಇತರ ಮೌಲ್ಯಮಾಪನಗಳಿಗಿಂತ ಭಿನ್ನವಾಗಿ (ಉದಾ, SWE-Lancer), GDPval ಅನೇಕ ಕಾರ್ಯಗಳು ಮತ್ತು ಉದ್ಯೋಗಗಳನ್ನು ಒಳಗೊಂಡಿದೆ. ಮತ್ತು ಶೈಕ್ಷಣಿಕ ಪರೀಕ್ಷೆ ಅಥವಾ ಪರೀಕ್ಷೆಯ ಶೈಲಿಯಲ್ಲಿ (ಉದಾ, ಹ್ಯುಮಾನಿಟಿಯ ಕೊನೆಯ ಪರೀಕ್ಷೆ ಅಥವಾ MMLU) ಸಂಶ್ಲೇಷಿತವಾಗಿ ಕಾರ್ಯಗಳನ್ನು ರಚಿಸುವುದನ್ನು ಒಳಗೊಂಡಿರುವ ಮಾನದಂಡಗಳಿಗಿಂತ ಭಿನ್ನವಾಗಿ, GDPval ಇಂದು ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ನಿಜವಾದ ಕೆಲಸ ಅಥವಾ ಉತ್ಪನ್ನ ಅಥವಾ ಅದೇ ರೀತಿಯಾಗಿ ನಿರ್ಮಿಸಲಾದ ಕೆಲಸದ ಉತ್ಪನ್ನವಾಗಿರುವ ವಿತರಣೆಗಳನ್ನು ಆಧರಿಸಿದ ಕಾರ್ಯಗಳ ಮೇಲೆ ಕೇಂದ್ರೀಕರಿಸುತ್ತದೆ. 

ಸಾಂಪ್ರದಾಯಿಕ ಮಾನದಂಡಗಳಂತೆ, GDPval ಕಾರ್ಯಗಳು ಸರಳ ಪಠ್ಯ ಪ್ರಾಂಪ್ಟ್‌ಗಳಲ್ಲ. ಅವು ಉಲ್ಲೇಖ ಫೈಲ್‌ಗಳು ಮತ್ತು ಸಂದರ್ಭದೊಂದಿಗೆ ಬರುತ್ತವೆ ಮತ್ತು ನಿರೀಕ್ಷಿತ ವಿತರಣೆಗಳು ಸ್ಪ್ಯಾನ್ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳು, ಸ್ಲೈಡ್‌ಗಳು, ರೇಖಾಚಿತ್ರಗಳು, ಸ್ಪ್ರೆಡ್‌ಶೀಟ್‌ಗಳು ಮತ್ತು ಮಲ್ಟಿಮೀಡಿಯಾವನ್ನು ಒಳಗೊಂಡಿರುತ್ತವೆ. ಈ ವಾಸ್ತವಿಕತೆಯು GDPval ಅನ್ನು ಮಾಡೆಲ್‌ಗಳು ವೃತ್ತಿಪರರನ್ನು ಹೇಗೆ ಬೆಂಬಲಿಸಬಹುದು ಎಂಬುದರ ಹೆಚ್ಚು ವಾಸ್ತವಿಕ ಪರೀಕ್ಷೆಯನ್ನಾಗಿ ಮಾಡುತ್ತದೆ.

GDPval ಎಂಬುದು ಅನೇಕ ಆರ್ಥಿಕ ಕಾರ್ಯಗಳ ಪೂರ್ಣ ಸೂಕ್ಷ್ಮ ವ್ಯತ್ಯಾಸವನ್ನು ಪ್ರತಿಬಿಂಬಿಸದ ಆರಂಭಿಕ ಹಂತವಾಗಿದೆ. ಇದು 44 ಉದ್ಯೋಗಗಳು ಮತ್ತು ನೂರಾರು ಜ್ಞಾನ ಕಾರ್ಯ ಕಾರ್ಯಗಳನ್ನು ವ್ಯಾಪಿಸಿದ್ದರೂ, ಇದು ಒಂದು-ಶಾಟ್ ಮೌಲ್ಯಮಾಪನಗಳಿಗೆ ಸೀಮಿತವಾಗಿದೆ, ಆದ್ದರಿಂದ ಒಂದು ಮಾಡೆಲ್ ಸಂದರ್ಭವನ್ನು ನಿರ್ಮಿಸಬೇಕಾದ ಅಥವಾ ಬಹು ಡ್ರಾಫ್ಟ್‌ಗಳ ಮೂಲಕ ಸುಧಾರಿಸಬೇಕಾದ ಸಂದರ್ಭಗಳನ್ನು ಇದು ಸೆರೆಹಿಡಿಯುವುದಿಲ್ಲ. ಭವಿಷ್ಯದ ಆವೃತ್ತಿಗಳು ನೈಜ-ಪ್ರಪಂಚದ ಜ್ಞಾನ ಕಾರ್ಯದ ಸಂಕೀರ್ಣತೆಯನ್ನು ಉತ್ತಮವಾಗಿ ಪ್ರತಿಬಿಂಬಿಸಲು ಹೆಚ್ಚು ಸಂವಾದಾತ್ಮಕ ಕಾರ್ಯಪ್ರವಾಹಗಳು ಮತ್ತು ಸಂದರ್ಭ-ಸಮೃದ್ಧ ಕಾರ್ಯಗಳಿಗೆ ವಿಸ್ತರಿಸುತ್ತವೆ (ಕೆಳಗಿನ ನಮ್ಮ ಮಿತಿಗಳ ವಿಭಾಗದಲ್ಲಿ ಇನ್ನಷ್ಟು ನೋಡಿ).

GDPval 9 ಕೈಗಾರಿಕೆಗಳು ಮತ್ತು 44 ವೃತ್ತಿಗಳಲ್ಲಿ ಕಾರ್ಯಗಳನ್ನು ಒಳಗೊಳ್ಳುತ್ತದೆ ಮತ್ತು ಭವಿಷ್ಯದ ಆವೃತ್ತಿಗಳು ವ್ಯಾಪ್ತಿಯನ್ನು ವಿಸ್ತರಿಸುವುದನ್ನು ಮುಂದುವರಿಸುತ್ತವೆ. ಸೇಂಟ್ ಲೂಯಿಸ್‌ನ ಫೆಡರಲ್ ರಿಸರ್ವ್ ಬ್ಯಾಂಕ್‌ನ ದತ್ತಾಂಶದಿಂದ ನಿರ್ಧರಿಸಲ್ಪಟ್ಟಂತೆ, US GDP ಗೆ 5% ಕ್ಕಿಂತ ಹೆಚ್ಚು ಕೊಡುಗೆ ನೀಡುವ ಕೈಗಾರಿಕೆಗಳನ್ನು ಆಧರಿಸಿ ಆರಂಭಿಕ 9 ಕೈಗಾರಿಕೆಗಳನ್ನು ಆಯ್ಕೆ ಮಾಡಲಾಯಿತು. ನಂತರ, ಮೇ 2024 ರ US ಬ್ಯೂರೋ ಆಫ್ ಲೇಬರ್ ಸ್ಟ್ಯಾಟಿಸ್ಟಿಕ್ಸ್ (BLS) ಔದ್ಯೋಗಿಕ ಉದ್ಯೋಗ ವರದಿಯಿಂದ⁠(ಹೊಸ ಕಿಟಕಿಯಲ್ಲಿ ತೆರೆಯುತ್ತದೆ) ವೇತನ ಮತ್ತು ಉದ್ಯೋಗ ಡೇಟಾವನ್ನು ಬಳಸಿಕೊಂಡು, ಪ್ರತಿ ಉದ್ಯಮದೊಳಗಿನ ಒಟ್ಟು ವೇತನ ಮತ್ತು ಪರಿಹಾರಕ್ಕೆ ಹೆಚ್ಚಿನ ಕೊಡುಗೆ ನೀಡುವ ಮತ್ತು ಪ್ರಧಾನವಾಗಿ ಜ್ಞಾನದ ಕೆಲಸದ ಉದ್ಯೋಗಗಳಾದ 5 ವೃತ್ತಿಗಳನ್ನು ನಾವು ಆಯ್ಕೆ ಮಾಡಿದ್ದೇವೆ. ಉದ್ಯೋಗಗಳು ಪ್ರಧಾನವಾಗಿ ಜ್ಞಾನದ ಕೆಲಸವೇ ಎಂಬುದನ್ನು ನಿರ್ಧರಿಸಲು, ನಾವು US ಕಾರ್ಮಿಕ ಇಲಾಖೆಯಿಂದ ಪ್ರಾಯೋಜಿಸಲ್ಪಟ್ಟ US ವೃತ್ತಿಪರ ಮಾಹಿತಿಯ ಡೇಟಾಬೇಸ್ O*NET⁠(ಹೊಸ ಕಿಟಕಿಯಲ್ಲಿ ತೆರೆಯುತ್ತದೆ) ನಿಂದ ಕಾರ್ಯ ಡೇಟಾವನ್ನು ಬಳಸಿದ್ದೇವೆ. ನಾವು O*NET ನಲ್ಲಿ ಪ್ರತಿಯೊಂದು ಉದ್ಯೋಗಕ್ಕೂ ಪ್ರತಿಯೊಂದು ಕಾರ್ಯವು ಜ್ಞಾನದ ಕೆಲಸವೇ ಅಥವಾ ದೈಹಿಕ ಕೆಲಸ/ಕೈಯಿಂದ ಮಾಡಿದ ಶ್ರಮವೇ (ಭೌತಿಕ ಜಗತ್ತಿನಲ್ಲಿ ತೆಗೆದುಕೊಳ್ಳಬೇಕಾದ ಕ್ರಮಗಳು) ಎಂದು ವರ್ಗೀಕರಿಸಿದ್ದೇವೆ. ಒಂದು ಉದ್ಯೋಗವು ಅದರ ಘಟಕ ಕಾರ್ಯಗಳಲ್ಲಿ ಕನಿಷ್ಠ 60% ದೈಹಿಕ ಕೆಲಸ ಅಥವಾ ದೈಹಿಕ ಶ್ರಮವನ್ನು ಒಳಗೊಂಡಿಲ್ಲ ಎಂದು ವರ್ಗೀಕರಿಸಿದರೆ, ಅದನ್ನು "ಪ್ರಧಾನವಾಗಿ ಜ್ಞಾನದ ಕೆಲಸ" ಎಂದು ಅರ್ಹತೆ ಪಡೆಯಲಾಗುತ್ತದೆ. GDPval ನ ಮೊದಲ ಆವೃತ್ತಿಗೆ ನಾವು ಈ 60% ಮಿತಿಯನ್ನು ಆರಂಭಿಕ ಹಂತವಾಗಿ ಆರಿಸಿಕೊಂಡಿದ್ದೇವೆ, ನೈಜ-ಪ್ರಪಂಚದ ಉತ್ಪಾದಕತೆಯ ಮೇಲೆ AI ಹೆಚ್ಚಿನ ಪರಿಣಾಮ ಬೀರುವ ಉದ್ಯೋಗಗಳ ಮೇಲೆ ಕೇಂದ್ರೀಕರಿಸಿದ್ದೇವೆ. 

ಈ ಪ್ರಕ್ರಿಯೆಯು ಸೇರ್ಪಡೆಗಾಗಿ 44 ವೃತ್ತಿಗಳನ್ನು ನೀಡಿತು.

ಪ್ರತಿಯೊಂದು ಉದ್ಯೋಗಕ್ಕೂ, ನಾವು ಅನುಭವಿ ವೃತ್ತಿಪರರೊಂದಿಗೆ ಕೆಲಸ ಮಾಡಿ ಅವರ ದಿನನಿತ್ಯದ ಕೆಲಸವನ್ನು ಪ್ರತಿಬಿಂಬಿಸುವ ಪ್ರಾತಿನಿಧಿಕ ಕಾರ್ಯಗಳನ್ನು ರಚಿಸಿದ್ದೇವೆ. ಈ ವೃತ್ತಿಪರರು ಸರಾಸರಿ 14 ವರ್ಷಗಳ ಅನುಭವ ಹೊಂದಿದ್ದು, ಪ್ರಗತಿಯ ಬಲವಾದ ದಾಖಲೆಗಳನ್ನು ಹೊಂದಿದ್ದಾರೆ. ಪ್ರಾತಿನಿಧ್ಯವನ್ನು ಗರಿಷ್ಠಗೊಳಿಸಲು—ನಾವು ಉದ್ದೇಶಪೂರ್ವಕವಾಗಿ ವಿವಿಧ ಅಭ್ಯಾಸ ಕ್ಷೇತ್ರಗಳ ವಕೀಲರು ಮತ್ತು ವಿಭಿನ್ನ ಗಾತ್ರದ ಸಂಸ್ಥೆಗಳಂತಹ—ವ್ಯಾಪಕ ಶ್ರೇಣಿಯ ತಜ್ಞರನ್ನು ನೇಮಿಸಿಕೊಂಡಿದ್ದೇವೆ.

ಪ್ರತಿಯೊಂದು ಕಾರ್ಯವು ನಿಜವಾದ ಕೆಲಸದ ಪ್ರತಿನಿಧಿಯಾಗಿದೆ, ಇನ್ನೊಬ್ಬ ವೃತ್ತಿಪರರು ಪೂರ್ಣಗೊಳಿಸಲು ಸಾಧ್ಯವಾಗಿದೆ ಮತ್ತು ಮೌಲ್ಯಮಾಪನಕ್ಕೆ ಸ್ಪಷ್ಟವಾಗಿದೆ ಎಂದು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳಲು ಬಹು-ಹಂತದ ಪರಿಶೀಲನೆ ಪ್ರಕ್ರಿಯೆಯ ಮೂಲಕ ಸಾಗಿತು. ಸರಾಸರಿಯಾಗಿ, ಪ್ರತಿ ಕಾರ್ಯವು 5 ಸುತ್ತಿನ ತಜ್ಞರ ವಿಮರ್ಶೆಯನ್ನು ಪಡೆಯಿತು, ಇದರಲ್ಲಿ ಇತರ ಕಾರ್ಯ ಬರಹಗಾರರು, ಹೆಚ್ಚುವರಿ ವೃತ್ತಿಪರ ವಿಮರ್ಶಕರು ಮತ್ತು ಮಾಡೆಲ್ ಆಧಾರಿತ ಮೌಲ್ಯೀಕರಣದಿಂದ ಪರಿಶೀಲನೆಗಳು ಸೇರಿವೆ. 

ಫಲಿತಾಂಶದ ಡೇಟಾಸೆಟ್ ನಮ್ಮ ಓಪನ್ ಸೋರ್ಸ್ಡ್ ಗೋಲ್ಡ್ ಸೆಟ್‌ನಲ್ಲಿ ಪ್ರತಿ ಉದ್ಯೋಗಕ್ಕೆ 5 ಕಾರ್ಯಗಳೊಂದಿಗೆ ಪ್ರತಿ ಉದ್ಯೋಗಕ್ಕೆ 30 ಸಂಪೂರ್ಣವಾಗಿ ಪರಿಶೀಲಿಸಿದ ಕಾರ್ಯಗಳನ್ನು (ಪೂರ್ಣ-ಸೆಟ್) ಒಳಗೊಂಡಿದೆ, ಇದು ನೈಜ-ಪ್ರಪಂಚದ ಜ್ಞಾನ ಕಾರ್ಯದಲ್ಲಿ ಮಾಡೆಲ್ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡಲು ದೃಢವಾದ ಅಡಿಪಾಯವನ್ನು ಒದಗಿಸುತ್ತದೆ.

GDPval ಕಾರ್ಯಗಳಲ್ಲಿ ಮಾಡೆಲ್ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡಲು, ನಾವು ಪರಿಣಿತ "ಗ್ರೇಡರ್‌ಗಳು"—ಡೇಟಾಸೆಟ್‌ನಲ್ಲಿ ಪ್ರತಿನಿಧಿಸಲಾದ ಅದೇ ವೃತ್ತಿಗಳಿಂದ ಅನುಭವಿ ವೃತ್ತಿಪರರ ಗುಂಪನ್ನು ಅವಲಂಬಿಸಿದ್ದೇವೆ. ಈ ಗ್ರೇಡರ್‌ಗಳು ಮಾಡೆಲ್-ರಚಿತ ವಿತರಣೆಗಳನ್ನು ಕಾರ್ಯ ಬರಹಗಾರರು (AI ಅಥವಾ ಮಾನವ ನಿರ್ಮಿತ ಯಾವುದು ಎಂದು ತಿಳಿಯದೆ) ನಿರ್ಮಿಸಿದವುಗಳೊಂದಿಗೆ ಕುರುಡಾಗಿ ಹೋಲಿಸುತ್ತಾರೆ ಮತ್ತು ವಿಮರ್ಶೆಗಳು ಮತ್ತು ಶ್ರೇಯಾಂಕಗಳನ್ನು ನೀಡುತ್ತಾರೆ. ನಂತರ ಗ್ರೇಡರ್‌ಗಳು ಮಾನವ ಮತ್ತು AI ವಿತರಣೆಗಳನ್ನು ಶ್ರೇಣೀಕರಿಸುತ್ತಾರೆ ಮತ್ತು ಪ್ರತಿ AI ವಿತರಣೆಯನ್ನು ಪರಸ್ಪರ "ಉತ್ತಮ", "ಅಷ್ಟೇ ಒಳ್ಳೆಯದು" ಅಥವಾ "ಕೆಟ್ಟದು" ಎಂದು ವರ್ಗೀಕರಿಸುತ್ತಾರೆ.

ಕಾರ್ಯ ಬರಹಗಾರರು ತಮ್ಮ ವೃತ್ತಿಗಳಿಗೆ ವಿವರವಾದ ಸ್ಕೋರಿಂಗ್ ರೂಬ್ರಿಕ್‌ಗಳನ್ನು ಸಹ ರಚಿಸಿದರು, ಇದು ಶ್ರೇಣೀಕರಣ ಪ್ರಕ್ರಿಯೆಗೆ ಸ್ಥಿರತೆ ಮತ್ತು ಪಾರದರ್ಶಕತೆಯನ್ನು ಸೇರಿಸುತ್ತದೆ. ನಾವು "ಸ್ವಯಂಚಾಲಿತ ಗ್ರೇಡರ್" ಅನ್ನು ಸಹ ನಿರ್ಮಿಸಿದ್ದೇವೆ, ಇದು ಮಾನವ ತಜ್ಞರು ನಿರ್ದಿಷ್ಟ ವಿತರಣೆಯನ್ನು ಹೇಗೆ ನಿರ್ಣಯಿಸುತ್ತಾರೆ ಎಂಬುದನ್ನು ಅಂದಾಜು ಮಾಡಲು ತರಬೇತಿ ಪಡೆದ AI ವ್ಯವಸ್ಥೆಯಾಗಿದೆ. ಬೇರೆ ರೀತಿಯಲ್ಲಿ ಹೇಳುವುದಾದರೆ, ಪ್ರತಿ ಬಾರಿಯೂ ಪೂರ್ಣ ತಜ್ಞರ ಪರಿಶೀಲನೆಯನ್ನು ನಡೆಸುವ ಬದಲು, ಸ್ವಯಂಚಾಲಿತ ಗ್ರೇಡರ್ ಜನರು ಯಾವ ಔಟ್‌ಪುಟ್ ಅನ್ನು ಬಯಸುತ್ತಾರೆ ಎಂಬುದನ್ನು ತ್ವರಿತವಾಗಿ ಊಹಿಸಬಹುದು. ನಾವು ಈ ಪರಿಕರವನ್ನು evals.openai.com ಮೂಲಕ ಪ್ರಾಯೋಗಿಕ ಸಂಶೋಧನಾ ಸೇವೆಯಾಗಿ ಬಿಡುಗಡೆ ಮಾಡುತ್ತಿದ್ದೇವೆ, ಆದರೆ ಇದು ಇನ್ನೂ ತಜ್ಞ ಗ್ರೇಡರ್‌ಗಳಷ್ಟು ವಿಶ್ವಾಸಾರ್ಹವಾಗಿಲ್ಲ, ಆದ್ದರಿಂದ ನಾವು ಅವುಗಳನ್ನು ಬದಲಾಯಿಸಲು ಇದನ್ನು ಬಳಸುವುದಿಲ್ಲ. 

ಇಂದಿನ ಅತ್ಯುತ್ತಮ ಗಡಿನಾಡು ಮಾಡೆಲ್‌ಗಳು ಈಗಾಗಲೇ ಉದ್ಯಮ ತಜ್ಞರು ಉತ್ಪಾದಿಸುವ ಕೆಲಸದ ಗುಣಮಟ್ಟವನ್ನು ಸಮೀಪಿಸುತ್ತಿವೆ ಎಂದು ನಾವು ಕಂಡುಕೊಂಡಿದ್ದೇವೆ. ಇದನ್ನು ಪರೀಕ್ಷಿಸಲು, ನಾವು ಕುರುಡು ಮೌಲ್ಯಮಾಪನಗಳನ್ನು ನಡೆಸಿದ್ದೇವೆ, ಅಲ್ಲಿ ಉದ್ಯಮ ತಜ್ಞರು ಹಲವಾರು ಪ್ರಮುಖ ಮಾಡೆಲ್‌ಗಳಾದ - GPT‑4o, o4-mini, OpenAI o3, GPT‑5, Claude Opus 4.1, Gemini 2.5 Pro, ಮತ್ತು Grok 4 - ಗಳಿಂದ ವಿತರಣೆಗಳನ್ನು ಮಾನವ-ನಿರ್ಮಿತ ಕೆಲಸಕ್ಕೆ ಹೋಲಿಸಿದ್ದಾರೆ. GDPval ಚಿನ್ನದ ಸೆಟ್‌ನಲ್ಲಿ 220 ಕಾರ್ಯಗಳಲ್ಲಿ, ಮಾಡೆಲ್ ಔಟ್‌ಪುಟ್‌ಗಳನ್ನು ಉದ್ಯಮ ತಜ್ಞರಿಂದ ನೀಡಬಹುದಾದ ಫಲಿತಾಂಶಗಳಿಗಿಂತ ("ಗೆಲುವುಗಳು") ಅಥವಾ ("ಸಂಬಂಧಗಳು") ಉತ್ತಮವೆಂದು ರೇಟ್ ಮಾಡಿದಾಗ ನಾವು ದಾಖಲಿಸಿದ್ದೇವೆ, ಕೆಳಗಿನ ಬಾರ್ ಚಾರ್ಟ್‌ನಲ್ಲಿ ತೋರಿಸಿರುವಂತೆ. Claude Opus 4.1 ಸೆಟ್‌ನಲ್ಲಿ ಅತ್ಯುತ್ತಮ ಪ್ರದರ್ಶನ ನೀಡುವ ಮಾಡೆಲ್ಯಾಗಿದ್ದು, ವಿಶೇಷವಾಗಿ ಸೌಂದರ್ಯಶಾಸ್ತ್ರದಲ್ಲಿ (ಉದಾ, ಡಾಕ್ಯುಮೆಂಟ್ ಫಾರ್ಮ್ಯಾಟಿಂಗ್, ಸ್ಲೈಡ್ ಲೇಔಟ್) ಅತ್ಯುತ್ತಮವಾಗಿದೆ ಮತ್ತು GPT‑5 ನಿರ್ದಿಷ್ಟವಾಗಿ ನಿಖರತೆಯಲ್ಲಿ (ಉದಾ, ಡೊಮೇನ್-ನಿರ್ದಿಷ್ಟ ಜ್ಞಾನವನ್ನು ಕಂಡುಹಿಡಿಯುವುದು) ಅತ್ಯುತ್ತಮವಾಗಿದೆ. ಈ ಕಾರ್ಯಗಳಲ್ಲಿ ನಾವು ಕಾಲಾನಂತರದಲ್ಲಿ ಸ್ಪಷ್ಟ ಪ್ರಗತಿಯನ್ನು ಕಾಣುತ್ತೇವೆ. ಸ್ಪಷ್ಟ ರೇಖೀಯ ಪ್ರವೃತ್ತಿಯನ್ನು ಅನುಸರಿಸಿ, ಕಾರ್ಯಕ್ಷಮತೆಯು GPT‑4o (2024 ರ ವಸಂತಕಾಲದಲ್ಲಿ ಬಿಡುಗಡೆಯಾಯಿತು) ನಿಂದ GPT‑5 (2025 ರ ಬೇಸಿಗೆಯಲ್ಲಿ ಬಿಡುಗಡೆಯಾಯಿತು) ಗೆ ದ್ವಿಗುಣಗೊಂಡಿದೆ.

ಇದರ ಜೊತೆಗೆ, ಫ್ರಾಂಟಿಯರ್ ಮಾಡೆಲ್‌ಗಳು GDPval ಕಾರ್ಯಗಳನ್ನು ಉದ್ಯಮ ತಜ್ಞರಿಗಿಂತ ಸುಮಾರು 100 ಪಟ್ಟು ವೇಗವಾಗಿ ಮತ್ತು 100 ಪಟ್ಟು ಅಗ್ಗವಾಗಿ ಪೂರ್ಣಗೊಳಿಸಬಹುದು ಎಂದು ನಾವು ಕಂಡುಕೊಂಡಿದ್ದೇವೆ. ಆದಾಗ್ಯೂ, ಈ ಅಂಕಿಅಂಶಗಳು ಶುದ್ಧ ಮಾಡೆಲ್ ನಿರ್ಣಯ ಸಮಯ ಮತ್ತು API ಬಿಲ್ಲಿಂಗ್ ದರಗಳನ್ನು ಪ್ರತಿಬಿಂಬಿಸುತ್ತವೆ ಮತ್ತು ಆದ್ದರಿಂದ ನಮ್ಮ ಮಾಡೆಲ್‌ಗಳನ್ನು ಬಳಸಲು ನೈಜ ಕೆಲಸದ ಸ್ಥಳ ಸೆಟ್ಟಿಂಗ್‌ಗಳಲ್ಲಿ ಅಗತ್ಯವಿರುವ ಮಾನವ ಮೇಲ್ವಿಚಾರಣೆ, ಪುನರಾವರ್ತನೆ ಮತ್ತು ಏಕೀಕರಣ ಹಂತಗಳನ್ನು ಸೆರೆಹಿಡಿಯುವುದಿಲ್ಲ. ಆದರೂ, ವಿಶೇಷವಾಗಿ ಮಾಡೆಲ್‌ಗಳು ವಿಶೇಷವಾಗಿ ಪ್ರಬಲವಾಗಿರುವ ಕಾರ್ಯಗಳ ಉಪವಿಭಾಗದಲ್ಲಿ, ಮಾನವನೊಂದಿಗೆ ಪ್ರಯತ್ನಿಸುವ ಮೊದಲು ಮಾಡೆಲ್‌ಗೆ ಕೆಲಸವನ್ನು ನೀಡುವುದರಿಂದ ಸಮಯ ಮತ್ತು ಹಣವನ್ನು ಉಳಿಸುತ್ತದೆ ಎಂದು ನಾವು ನಿರೀಕ್ಷಿಸುತ್ತೇವೆ.

ಅಂತಿಮವಾಗಿ, GDPval ನಲ್ಲಿ ನಾವು ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಸುಧಾರಿಸಬಹುದೇ ಎಂದು ನಿರ್ಣಯಿಸಲು GPT‑5 ರ ಆಂತರಿಕ, ಪ್ರಾಯೋಗಿಕ ಆವೃತ್ತಿಯನ್ನು ಹಂತ ಹಂತವಾಗಿ ತರಬೇತಿ ನೀಡಿದ್ದೇವೆ. ಈ ಪ್ರಕ್ರಿಯೆಯು ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಸುಧಾರಿಸಿದೆ ಎಂದು ನಾವು ಕಂಡುಕೊಂಡಿದ್ದೇವೆ, ಇದು ಮತ್ತಷ್ಟು ಸಂಭಾವ್ಯ ಸುಧಾರಣೆಗೆ ಮಾರ್ಗವನ್ನು ರಚಿಸುತ್ತದೆ. ಇತರ ನಿಯಂತ್ರಿತ ಪ್ರಯೋಗಗಳು ಇದನ್ನು ಬೆಂಬಲಿಸುತ್ತವೆ: ಮಾಡೆಲ್ ಗಾತ್ರವನ್ನು ಹೆಚ್ಚಿಸುವುದು, ಹೆಚ್ಚು ತಾರ್ಕಿಕ ಹಂತಗಳನ್ನು ಪ್ರೋತ್ಸಾಹಿಸುವುದು ಮತ್ತು ಉತ್ಕೃಷ್ಟ ಕಾರ್ಯ ಸಂದರ್ಭವನ್ನು ನೀಡುವುದು ಪ್ರತಿಯೊಂದೂ ಅಳೆಯಬಹುದಾದ ಲಾಭಗಳಿಗೆ ಕಾರಣವಾಯಿತು.

ನಮ್ಮ ಪತ್ರಿಕೆಯಲ್ಲಿ ನೀವು ಸಂಪೂರ್ಣ ಫಲಿತಾಂಶಗಳನ್ನು ಓದಬಹುದು. ನಾವು GDPval ಕಾರ್ಯಗಳ ಚಿನ್ನದ ಉಪವಿಭಾಗ ಮತ್ತು ಸಾರ್ವಜನಿಕ ಶ್ರೇಣೀಕರಣ ಸೇವೆಯನ್ನು ಸಹ ಬಿಡುಗಡೆ ಮಾಡುತ್ತಿದ್ದೇವೆ ಇದರಿಂದ ಇತರ ಸಂಶೋಧಕರು ಈ ಕೆಲಸವನ್ನು ನಿರ್ಮಿಸಬಹುದು.

AI ಹೆಚ್ಚು ಸಮರ್ಥವಾಗುತ್ತಿದ್ದಂತೆ, ಅದು ಉದ್ಯೋಗ ಮಾರುಕಟ್ಟೆಯಲ್ಲಿ ಬದಲಾವಣೆಗಳನ್ನು ಉಂಟುಮಾಡುವ ಸಾಧ್ಯತೆಯಿದೆ. ಆರಂಭಿಕ GDPval ಫಲಿತಾಂಶಗಳು ಮಾಡೆಲ್‌ಗಳು ಈಗಾಗಲೇ ಕೆಲವು ಪುನರಾವರ್ತಿತ, ಉತ್ತಮವಾಗಿ ನಿರ್ದಿಷ್ಟಪಡಿಸಿದ ಕಾರ್ಯಗಳನ್ನು ತಜ್ಞರಿಗಿಂತ ವೇಗವಾಗಿ ಮತ್ತು ಕಡಿಮೆ ವೆಚ್ಚದಲ್ಲಿ ನಿರ್ವಹಿಸಬಹುದು ಎಂದು ತೋರಿಸುತ್ತವೆ. ಆದಾಗ್ಯೂ, ಹೆಚ್ಚಿನ ಕೆಲಸಗಳು ಬರೆದಿಡಬಹುದಾದ ಕಾರ್ಯಗಳ ಸಂಗ್ರಹಕ್ಕಿಂತ ಹೆಚ್ಚಿನದಾಗಿದೆ. GDPval ನಲ್ಲಿ AI ದಿನನಿತ್ಯದ ಕಾರ್ಯಗಳನ್ನು ಹೇಗೆ ನಿರ್ವಹಿಸುತ್ತದೆ ಎಂಬುದನ್ನು ಎತ್ತಿ ತೋರಿಸುತ್ತದೆ, ಇದರಿಂದಾಗಿ ಜನರು ಸೃಜನಶೀಲ, ತೀರ್ಪು-ಭಾರವಾದ ಕೆಲಸದ ಭಾಗಗಳಲ್ಲಿ ಹೆಚ್ಚಿನ ಸಮಯವನ್ನು ಕಳೆಯಬಹುದು. ಈ ರೀತಿಯಾಗಿ AI ಕಾರ್ಮಿಕರಿಗೆ ಪೂರಕವಾದಾಗ ಅದು ಗಮನಾರ್ಹ ಆರ್ಥಿಕ ಬೆಳವಣಿಗೆಗೆ ಕಾರಣವಾಗಬಹುದು. ಈ ಪರಿಕರಗಳಿಗೆ ಪ್ರವೇಶವನ್ನು ಪ್ರಜಾಪ್ರಭುತ್ವಗೊಳಿಸುವ ಮೂಲಕ, ಬದಲಾವಣೆಯ ಮೂಲಕ ಕಾರ್ಮಿಕರನ್ನು ಬೆಂಬಲಿಸುವ ಮೂಲಕ ಮತ್ತು ವ್ಯಾಪಕ ಕೊಡುಗೆಗೆ ಪ್ರತಿಫಲ ನೀಡುವ ವ್ಯವಸ್ಥೆಗಳನ್ನು ನಿರ್ಮಿಸುವ ಮೂಲಕ ಪ್ರತಿಯೊಬ್ಬರನ್ನು AI ನ "ಅಪ್ ಲಿಫ್ಟ್" ನಲ್ಲಿ ಇಡುವುದು ನಮ್ಮ ಗುರಿಯಾಗಿದೆ. 

GDPval ಒಂದು ಆರಂಭಿಕ ಹೆಜ್ಜೆ. ಇದು 44 ಉದ್ಯೋಗಗಳು ಮತ್ತು ನೂರಾರು ಕಾರ್ಯಗಳನ್ನು ಒಳಗೊಂಡಿದ್ದರೂ, ನಮ್ಮ ಪರೀಕ್ಷೆಯ ವ್ಯಾಪ್ತಿಯನ್ನು ವಿಸ್ತರಿಸಲು ಮತ್ತು ಫಲಿತಾಂಶಗಳನ್ನು ಹೆಚ್ಚು ಅರ್ಥಪೂರ್ಣವಾಗಿಸಲು ನಾವು ನಮ್ಮ ವಿಧಾನವನ್ನು ಪರಿಷ್ಕರಿಸುವುದನ್ನು ಮುಂದುವರಿಸುತ್ತಿದ್ದೇವೆ. ಪ್ರಸ್ತುತ ಮೌಲ್ಯಮಾಪನ ಆವೃತ್ತಿಯು ಒಂದೇ ಬಾರಿಗೆ ಮಾಡಬಹುದಾದದ್ದು, ಆದ್ದರಿಂದ ಒಂದು ಮಾಡೆಲ್ ಸಂದರ್ಭವನ್ನು ನಿರ್ಮಿಸಬೇಕಾದ ಅಥವಾ ಬಹು ಡ್ರಾಫ್ಟ್‌ಗಳ ಮೂಲಕ ಸುಧಾರಿಸಬೇಕಾದ ಸಂದರ್ಭಗಳನ್ನು ಇದು ಸೆರೆಹಿಡಿಯುವುದಿಲ್ಲ—ಉದಾಹರಣೆಗೆ, ಗ್ರಾಹಕ ಪ್ರತಿಕ್ರಿಯೆಯ ನಂತರ ಕಾನೂನು ಸಂಕ್ಷಿಪ್ತ ವಿವರಣೆಯನ್ನು ಪರಿಷ್ಕರಿಸುವುದು ಅಥವಾ ಅಸಂಗತತೆಯನ್ನು ಗುರುತಿಸಿದ ನಂತರ ಡೇಟಾ ವಿಶ್ಲೇಷಣೆಯನ್ನು ಪುನರಾವರ್ತಿಸುವುದು. ಹೆಚ್ಚುವರಿಯಾಗಿ, ನೈಜ ಜಗತ್ತಿನಲ್ಲಿ, ಕಾರ್ಯಗಳನ್ನು ಯಾವಾಗಲೂ ಪ್ರಾಂಪ್ಟ್ ಮತ್ತು ಉಲ್ಲೇಖ ಫೈಲ್‌ಗಳೊಂದಿಗೆ ಸ್ಪಷ್ಟವಾಗಿ ವ್ಯಾಖ್ಯಾನಿಸಲಾಗುವುದಿಲ್ಲ; ಉದಾಹರಣೆಗೆ, ಒಬ್ಬ ವಕೀಲರು ಕಾನೂನು ಬ್ರೀಫ್ ಅನ್ನು ರಚಿಸುವುದು ಅವರಿಗೆ ಸಹಾಯ ಮಾಡಲು ಸರಿಯಾದ ವಿಧಾನ ಎಂದು ನಿರ್ಧರಿಸುವ ಮೊದಲು ಅಸ್ಪಷ್ಟತೆಯನ್ನು ನ್ಯಾವಿಗೇಟ್ ಮಾಡಿ ತಮ್ಮ ಗ್ರಾಹಕರೊಂದಿಗೆ ಮಾತನಾಡಬೇಕಾಗಬಹುದು. ವೈವಿಧ್ಯಮಯ ಜ್ಞಾನ ಕಾರ್ಯಗಳಲ್ಲಿ ಪ್ರಗತಿಯನ್ನು ಉತ್ತಮವಾಗಿ ಅಳೆಯುವ ದೀರ್ಘಕಾಲೀನ ಗುರಿಯೊಂದಿಗೆ, ಹೆಚ್ಚಿನ ಉದ್ಯೋಗಗಳು, ಕೈಗಾರಿಕೆಗಳು ಮತ್ತು ಕಾರ್ಯ ಪ್ರಕಾರಗಳನ್ನು, ಹೆಚ್ಚಿದ ಪರಸ್ಪರ ಕ್ರಿಯೆಯನ್ನು ಮತ್ತು ಅಸ್ಪಷ್ಟತೆಯನ್ನು ನ್ಯಾವಿಗೇಟ್ ಮಾಡುವ ಹೆಚ್ಚಿನ ಕಾರ್ಯಗಳನ್ನು ಸೇರಿಸಲು ನಾವು GDPval ಅನ್ನು ವಿಸ್ತರಿಸಲು ಪ್ಲಾನ್ ಮಾಡಿದ್ದೇವೆ.

• ನೀವು GDPval ಗೆ ಕೊಡುಗೆ ನೀಡಲು ಆಸಕ್ತಿ ಹೊಂದಿರುವ ಉದ್ಯಮ ತಜ್ಞರಾಗಿದ್ದರೆ, ದಯವಿಟ್ಟು ಇಲ್ಲಿ ನಿಮ್ಮ ಆಸಕ್ತಿಯನ್ನು ತೋರಿಸಿ.
• ನೀವು OpenAI ನಲ್ಲಿ ಕೆಲಸ ಮಾಡುವ ಗ್ರಾಹಕರಾಗಿದ್ದರೆ ಮತ್ತು GDPval ನ ಭವಿಷ್ಯದ ಸುತ್ತಿಗೆ ಕೊಡುಗೆ ನೀಡಲು ಬಯಸಿದರೆ, ದಯವಿಟ್ಟು ಇಲ್ಲಿ ಆಸಕ್ತಿ ವ್ಯಕ್ತಪಡಿಸಿ.

ಸಮುದಾಯದ ಭಾಗವಹಿಸುವಿಕೆ ಅತ್ಯಗತ್ಯ—ಕೆಲಸದಲ್ಲಿರುವ ಜನರಿಗೆ AGI ಅನ್ನು ಹೆಚ್ಚು ಉಪಯುಕ್ತವಾಗಿಸುವ ನಮ್ಮ ಗುರಿಯನ್ನು ಹಂಚಿಕೊಳ್ಳುವ ಸಂಶೋಧಕರು, ವೈದ್ಯರು ಮತ್ತು ಸಂಸ್ಥೆಗಳೊಂದಿಗೆ GDPval ಅನ್ನು ನಿರ್ಮಿಸಲು ನಾವು ಉತ್ಸುಕರಾಗಿದ್ದೇವೆ.