LifeSciBench ಪರಿಚಯ

ಏಜೆಂಟಿಕ್ AI ವ್ಯವಸ್ಥೆಗಳು ವೈಜ್ಞಾನಿಕ ಕಾರ್ಯಗಳನ್ನು ಮಾಡುವಲ್ಲಿ ಹೆಚ್ಚಾಗಿ ಸಮರ್ಥವಾಗುತ್ತಿವೆ. ಆದರೆ ಜೀವ ವಿಜ್ಞಾನ ಸಂಶೋಧಕರಿಗೆ ಅವು ಎಷ್ಟು ಉಪಯುಕ್ತವೆಂಬುದು, ನೈಜ ಸಂಶೋಧನೆಯ ಸಂಕೀರ್ಣತೆಯನ್ನು ಅವು ಎಷ್ಟು ಚೆನ್ನಾಗಿ ನಿಭಾಯಿಸುತ್ತವೆ ಎಂಬುದರ ಮೇಲೆ ಅವಲಂಬಿತವಾಗಿದೆ. ಆ ಕೆಲಸವು ವಿರಳವಾಗಿ ಒಂದೇ ವಾಸ್ತವ-ಸ್ಮರಣೆ ಪ್ರಶ್ನೆಯಂತೆ ಅಥವಾ ಸರಳ ಭವಿಷ್ಯವಾಣಿ ಸಮಸ್ಯೆಯಂತೆ ಕಾಣುತ್ತದೆ. ಸಂಶೋಧಕರು ಅಪೂರ್ಣ ಸಾಕ್ಷ್ಯವನ್ನು ಅರ್ಥೈಸುತ್ತಾರೆ, ವಿರುದ್ಧ ಫಲಿತಾಂಶಗಳನ್ನು ಹೊಂದಿಸುತ್ತಾರೆ, ಕಠಿಣ ಪ್ರಯೋಗಗಳನ್ನು ವಿನ್ಯಾಸಗೊಳಿಸುತ್ತಾರೆ, ಅಸ್ಸೇ ದೋಷಗಳನ್ನು ಸರಿಪಡಿಸುತ್ತಾರೆ, ಅನುವಾದಾತ್ಮಕ ಅಪಾಯ ಮೌಲ್ಯಮಾಪನ ಮಾಡುತ್ತಾರೆ ಮತ್ತು ಅನಿಶ್ಚಿತತೆಯಲ್ಲಿ ಮುಂದಿನ ಹೆಜ್ಜೆ ನಿರ್ಧರಿಸುತ್ತಾರೆ.

ಪ್ರಸ್ತುತ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳು ಈ ಸಾಮರ್ಥ್ಯಗಳನ್ನು ಸಂಪೂರ್ಣವಾಗಿ ಹಿಡಿಯುವುದಿಲ್ಲ. ಅನೇಕ ಜೀವ ವಿಜ್ಞಾನ ಮೌಲ್ಯಮಾಪನಗಳು ಕಿರಿದಾದ ಕ್ಷೇತ್ರಗಳು ಅಥವಾ ಬೇರ್ಪಟ್ಟ ಕೌಶಲ್ಯಗಳ ಮೇಲೆ ಕೇಂದ್ರೀಕರಿಸುತ್ತವೆ; ಪರಿಣಾಮವಾಗಿ ರಚಿತ ಪ್ರಶ್ನಾ ರೂಪಗಳು ಮತ್ತು ಸ್ಪಷ್ಟ ಉಲ್ಲೇಖ ಉತ್ತರಗಳಿರುವ ಪ್ರಶ್ನೆಗಳು ಸೃಷ್ಟಿಯಾಗುತ್ತವೆ. ಅವು ಮೌಲ್ಯಯುತವಾದರೂ, ಸಂಶೋಧನಾ-ಮಟ್ಟದ ವಿಶಾಲ ಕೆಲಸದಲ್ಲಿ ಮಾಡೆಲ್ ನಿಜವಾಗಿ ಕೊಡುಗೆ ನೀಡಬಹುದೇ ಎಂಬುದನ್ನು ಅವು ಬಹುಪಾಲು ಅಳೆಯುವುದಿಲ್ಲ.

ಈ ಕೊರತೆಯನ್ನು ಕಡಿಮೆ ಮಾಡಲು ನಾವು LifeSciBench ಅನ್ನು ವಿನ್ಯಾಸಗೊಳಿಸಿದ್ದೇವೆ. ಪ್ರತಿ ಕಾರ್ಯವೂ Ph.D.-ಮಟ್ಟದ ತರಬೇತಿ ಹೊಂದಿದ ಮತ್ತು ಜೈವತಂತ್ರಜ್ಞಾನ ಹಾಗೂ ಔಷಧ ಕ್ಷೇತ್ರಗಳಲ್ಲಿ ಔಷಧ ಅನ್ವೇಷಣಾ ಕಾರ್ಯಕ್ರಮಗಳನ್ನು ಮುಂದೂಡಿದ ನೇರ ಅನುಭವವಿರುವ ಕಾರ್ಯನಿರತ ಜೀವ ವಿಜ್ಞಾನಿಗಳ ತೀರ್ಪಿನಲ್ಲಿ ನೆಲೆಯೂರಿದೆ.

LifeSciBench ಏಳು ಕಾರ್ಯಪ್ರವಾಹಗಳು ಮತ್ತು ಏಳು ಜೈವಿಕ ಕ್ಷೇತ್ರಗಳನ್ನು ಒಳಗೊಂಡ 750 ತಜ್ಞ-ರಚಿತ ಕಾರ್ಯಗಳನ್ನು ಹೊಂದಿದೆ.

LifeSciBench, AI ವ್ಯವಸ್ಥೆಗಳು ಕೇವಲ ಜೀವಶಾಸ್ತ್ರ ಪ್ರಶ್ನೆಗಳಿಗೆ ಉತ್ತರಿಸುವುದಲ್ಲ, ನೈಜ ಜೀವ ವಿಜ್ಞಾನ ಸಂಶೋಧನಾ ಕಾರ್ಯಗಳಿಗೆ ಬೆಂಬಲ ನೀಡಬಹುದೇ ಎಂಬುದನ್ನು ಅಳೆಯುತ್ತದೆ. ಬೆಂಚ್‌ಮಾರ್ಕ್ ವರ್ಗೀಕರಣವನ್ನು ನಿರ್ದಿಷ್ಟಗೊಳಿಸಲು, ಅನ್ವಯಿಕ ಸಂಶೋಧನಾ ಪರಿಸರಗಳಲ್ಲಿ ಅವರು ಹೆಚ್ಚು ಬಳಸುವ ಕಾರ್ಯಪ್ರವಾಹಗಳ ಬಗ್ಗೆ ಕಾರ್ಯನಿರತ ಜೀವ ವಿಜ್ಞಾನಿಗಳನ್ನು ನಾವು ಸಮೀಕ್ಷೆ ಮಾಡಿದೆವು. ನಂತರ ಅವರ ಪ್ರತಿಕ್ರಿಯೆಗಳನ್ನು ಏಳು ಮರುಕಳಿಸುವ ವರ್ಗಗಳಾಗಿ ಗುಂಪು ಮಾಡಿದೆವು: ಸಾಕ್ಷ್ಯ ನಿರ್ವಹಣೆ, ವಿಶ್ಲೇಷಣೆ, ವಿನ್ಯಾಸ ಮತ್ತು ಸುಧಾರಣೆ, ವೈಜ್ಞಾನಿಕ ರೀಜನಿಂಗ್, ಮಾನ್ಯೀಕರಣ ಮತ್ತು ಕಾರ್ಯಾಚರಣೆಗಳು, ಅನುವಾದ, ಮತ್ತು ವೈಜ್ಞಾನಿಕ ಸಂವಹನ.

ಪ್ರತಿ ಕಾರ್ಯವನ್ನು, ವಿಜ್ಞಾನಿ ಜ್ಞಾನಿಯ ಸಹೋದ್ಯೋಗಿಗೆ ನೀಡಬಹುದಾದ ವಿನಂತಿಯಂತೆ ರಚಿಸಲಾಗಿದೆ: ವೈಜ್ಞಾನಿಕ ಪ್ರಾಂಪ್ಟ್, ಸಂಬಂಧಿತ ಸಂದರ್ಭ ಅಥವಾ ಆರ್ಟಿಫ್ಯಾಕ್ಟ್‌ಗಳು, ಮತ್ತು ಮುಕ್ತ-ಉತ್ತರ ಪ್ರತಿಕ್ರಿಯೆ. ತಜ್ಞರು ಬರೆದ ರೂಬ್ರಿಕ್‌ಗಳು, ನಿರ್ದಿಷ್ಟ ಸಮಸ್ಯೆಗೆ ಮಾಡೆಲ್ ಸರಿಯಾದ ಉತ್ತರವನ್ನು, ವಿಜ್ಞಾನಿ ನಿರೀಕ್ಷಿಸುವ ಸರಿಯಾದ ವಿವರ, ಸಮರ್ಥನೆ, ಎಚ್ಚರಿಕೆಗಳು ಮತ್ತು ಸ್ವರೂಪದೊಂದಿಗೆ ನೀಡಬಹುದೇ ಎಂದು ಮೌಲ್ಯಮಾಪನ ಮಾಡುತ್ತವೆ.

ನೈಜ ಜಗತ್ತಿನ ವೈಜ್ಞಾನಿಕ ಬಳಕೆಗೆ ಬೇಕಾದ ಕಡಿಮೆ ಸ್ಪಷ್ಟವಾದ ಪ್ರಾಯೋಗಿಕ ಕೌಶಲ್ಯಗಳ ಜೊತೆಗೆ LifeSciBench ವೈಜ್ಞಾನಿಕ ರೀಜನಿಂಗ್ ಅನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡುತ್ತದೆ. ಇದರ ಕಾರ್ಯಗಳು ಮಾಡೆಲ್‌ಗಳಿಗೆ ನೈಜ ಸಂಶೋಧನಾ ಸಮಸ್ಯೆಗಳಲ್ಲಿ ಕೆಲಸ ಮಾಡಲು ಹೇಳುತ್ತವೆ: ಸಾಕ್ಷ್ಯವನ್ನು ಅರ್ಥೈಸುವುದು, ಕ್ಷೇತ್ರಾಧಾರಿತ ತೀರ್ಪು ಮಾಡುವುದು, ಮತ್ತು ತಜ್ಞ ವಿಮರ್ಶಕರಿಗೆ ಉಪಯುಕ್ತವಾಗುವ ತೀರ್ಮಾನಗಳನ್ನು ಸಂವಹನ ಮಾಡುವುದು. ಅನೇಕ ಕಾರ್ಯಗಳು ಪ್ರಾಂಪ್ಟ್ ಪಠ್ಯಕ್ಕಷ್ಟೇ ಅವಲಂಬಿಸದೆ, ಅನಿಶ್ಚಿತತೆಯನ್ನು ನಿಭಾಯಿಸುವುದನ್ನೂ ಬೆಂಬಲ ಡೇಟಾ ಫೈಲ್‌ಗಳ ಮೇಲೆ ರೀಜನಿಂಗ್ ಮಾಡುವುದನ್ನೂ ಮಾಡೆಲ್‌ಗಳಿಂದ ಬೇಡುತ್ತವೆ.

ಈ ಬೆಂಚ್‌ಮಾರ್ಕ್ ಅನ್ನು ಜೀವ ವಿಜ್ಞಾನ ಕೆಲಸದ ಸಂಕೀರ್ಣತೆಯನ್ನು ಪ್ರತಿಬಿಂಬಿಸಲು ವಿನ್ಯಾಸಗೊಳಿಸಲಾಗಿದೆ. ಒಟ್ಟಿನಲ್ಲಿ, 79% ಕಾರ್ಯಗಳಿಗೆ ಹಲವು ರೀಜನಿಂಗ್ ಅಥವಾ ನಿರ್ಧಾರ ಹಂತಗಳು ಬೇಕಾಗುತ್ತವೆ; ಪ್ರತಿ ಕಾರ್ಯಕ್ಕೆ ಸರಾಸರಿ ನಾಲ್ಕು ಹಂತಗಳು. LifeSciBench ಚಿತ್ರಗಳು, PDFಗಳು, ಕೋಷ್ಟಕಗಳು, ಅನುಕ್ರಮ ಫೈಲ್‌ಗಳು, ರಚನೆ ಅಥವಾ ರಾಸಾಯನಿಕ ಫೈಲ್‌ಗಳು, ಮತ್ತು ವೆಬ್ ಉಲ್ಲೇಖಗಳನ್ನು ಒಳಗೊಂಡ 1,062 ಸಂಲಗ್ನ ಆರ್ಟಿಫ್ಯಾಕ್ಟ್‌ಗಳನ್ನು ಹೊಂದಿದೆ. ಕಾರ್ಯಗಳ ಅರ್ಧಕ್ಕಿಂತ ಹೆಚ್ಚು (53%) ಕನಿಷ್ಠ ಒಂದು ಆರ್ಟಿಫ್ಯಾಕ್ಟ್‌ನಿಂದ ಮಾಹಿತಿಯನ್ನು ಅರ್ಥೈಸಲು ಅಥವಾ ಸಂಶ್ಲೇಷಿಸಲು ಮಾಡೆಲ್‌ಗಳನ್ನು ಬೇಡುತ್ತವೆ.

ವಿವಿಧ ಜೀವ ವಿಜ್ಞಾನ ಶಾಖೆಗಳ 173 ತಜ್ಞ ವಿಜ್ಞಾನಿಗಳು ಈ ಕಾರ್ಯಗಳನ್ನು ರಚಿಸಿದರು. ಪ್ರತಿ ವಿಜ್ಞಾನಿಗೂ Ph.D.-ಮಟ್ಟದ ತರಬೇತಿ ಮತ್ತು ಜೈವತಂತ್ರಜ್ಞಾನ ಅಥವಾ ಔಷಧ ಉದ್ಯಮದ ಅನುಭವವಿತ್ತು. ಸ್ವೀಕೃತಿಗೆ ಮುನ್ನ ಕಾರ್ಯಗಳು ಅಗತ್ಯವಿರುವಷ್ಟು ಪರಿಷ್ಕರಣಾ ಚಕ್ರಗಳನ್ನು ಕಾಣಬಹುದಾಗಿತ್ತು, ಸುತ್ತುಗಳ ಸಂಖ್ಯೆಗೆ ನಿಗದಿತ ಮಿತಿ ಇರಲಿಲ್ಲ; ಸ್ವೀಕೃತ ಕಾರ್ಯಗಳು ಸರಾಸರಿ ಆರು ಸ್ವಯಂನಿರ್ದೇಶಿತ ಸ್ವಯಂಚಾಲಿತ ವಿಮರ್ಶಾ ಚಕ್ರಗಳನ್ನು ಮತ್ತು ಕನಿಷ್ಠ ಎರಡು ತಜ್ಞ ವಿಮರ್ಶಾ ಸುತ್ತುಗಳನ್ನು ಪೂರ್ಣಗೊಳಿಸಿದವು. ವಿಮರ್ಶೆಗಳು ಪರಿಶೀಲಿಸಬಹುದಾದ ಸರಿಯಾದ ಉತ್ತರ ಅಥವಾ ಬಲವಾದ ತಜ್ಞ ಒಮ್ಮತದಲ್ಲಿ ನೆಲೆಯೂರಿದ್ದವು; ಸಂಬಂಧಿತ ಕ್ಷೇತ್ರದ ವಿಮರ್ಶಕರಲ್ಲಿ ಕನಿಷ್ಠ 90% ಒಪ್ಪಿಗೆ ಇತ್ತು. ಈ ಪ್ರಕ್ರಿಯೆ ಸ್ವೀಕೃತ ಕಾರ್ಯಗಳು ವೈಜ್ಞಾನಿಕವಾಗಿ ಆಧಾರಿತವಾಗಿವೆ, ಮೌಲ್ಯಮಾಪನಕ್ಕೆ ಸಾಕಷ್ಟು ಸ್ಪಷ್ಟವಾಗಿವೆ, ಮತ್ತು ಅನ್ವಯಿಕ ಸಂಶೋಧನೆಯನ್ನು ಪ್ರತಿನಿಧಿಸುತ್ತವೆ ಎಂಬುದನ್ನು ಖಚಿತಪಡಿಸಿತು.

LifeSciBench ಕಾರ್ಯಗಳನ್ನು ವಿವರವಾದ, ಕಾರ್ಯ-ನಿರ್ದಿಷ್ಟ ರೂಬ್ರಿಕ್‌ನಿಂದ ಮೌಲ್ಯಮಾಪನ ಮಾಡಲಾಗುತ್ತದೆ; ಅದು ನಿರೀಕ್ಷಿತ ಪ್ರತಿಕ್ರಿಯೆಯನ್ನು ನಿರ್ದಿಷ್ಟ ವೈಜ್ಞಾನಿಕ ಹೇಳಿಕೆಗಳು, ಲೆಕ್ಕಾಚಾರಗಳು, ನಿರ್ಧಾರಗಳು, ಸಮರ್ಥನೆಗಳು ಮುಂತಾದವುಗಳಾಗಿ ವಿಭಜಿಸುತ್ತದೆ. ಪೂರ್ಣ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ನಲ್ಲಿ, ತಜ್ಞರು ರೂಪಿಸಿದ ರೂಬ್ರಿಕ್‌ಗಳು 19,020 ಮಾನದಂಡಗಳನ್ನು ಹೊಂದಿವೆ—ಪ್ರತಿ ಕಾರ್ಯಕ್ಕೆ ಸರಾಸರಿ 25—ವೈಜ್ಞಾನಿಕ ಸರಿತನ ಮತ್ತು ಸಂಶೋಧನಾ ನಿರ್ಧಾರಗಳಿಗೆ ಉಪಯುಕ್ತತೆಯನ್ನು ಅಳೆಯಲು.

ಈ ವಿನ್ಯಾಸವು ವೈಜ್ಞಾನಿಕ ಕೆಲಸವನ್ನು ಪ್ರಾಯೋಗಿಕವಾಗಿ ಹೇಗೆ ಮೌಲ್ಯಮಾಪನ ಮಾಡಲಾಗುತ್ತದೆ ಎಂಬುದನ್ನು ಪ್ರತಿಬಿಂಬಿಸುತ್ತದೆ: ಅನೇಕ ಜೀವ ವಿಜ್ಞಾನ ಕಾರ್ಯಗಳನ್ನು ಅಂತಿಮ ಉತ್ತರ ಮಾತ್ರ ಪರಿಶೀಲಿಸಿ ಅಂಕ ನೀಡಲಾಗುವುದಿಲ್ಲ. ಉತ್ತರವು ಸರಿಯಾದ ಉನ್ನತ-ಮಟ್ಟದ ತೀರ್ಮಾನಕ್ಕೆ ಬಂದರೂ, ಉದಾಹರಣೆಗೆ ಪ್ರಮುಖ ಅಸ್ಸೇ ಮಿತಿಯನ್ನು ಗಮನಿಸದಿದ್ದರೆ ಅಥವಾ ಪರಿಣಾಮಕಾರಿ ಜೈವಿಕ ಸೂಕ್ಷ್ಮಾಂಶವನ್ನು ಸ್ವಯಂ ಮುಂದಿಡದಿದ್ದರೆ, ಅದು ಅಪೂರ್ಣವೆಂದು ತೀರ್ಪಾಗಬಹುದು. ವಿರುದ್ಧವಾಗಿ, ಭಾಗಶಃ ಉತ್ತರವು ಕಾರ್ಯವನ್ನು ಸಂಪೂರ್ಣವಾಗಿ ಪರಿಹರಿಸದಿದ್ದರೂ ಉನ್ನತ-ಗುಣಮಟ್ಟದ ರೀಜನಿಂಗ್ ಹೊಂದಿರಬಹುದು.

ಸೂಕ್ಷ್ಮ ರೂಬ್ರಿಕ್‌ಗಳು ಈ ವ್ಯತ್ಯಾಸವನ್ನು ಹಿಡಿಯುತ್ತವೆ. LifeSciBench ಅಂತಿಮ ಉತ್ತರದ ನಿಖರತೆಯಷ್ಟೇ ಅಲ್ಲ, ಮಾಡೆಲ್ ವೈಜ್ಞಾನಿಕವಾಗಿ ಮಾನ್ಯ ಮತ್ತು ಕಾರ್ಯಪ್ರಯೋಜನಕಾರಿ ರೀತಿಯಲ್ಲಿ ಉತ್ತರ ತಲುಪುತ್ತದೆಯೇ ಎಂಬುದನ್ನೂ ಮೌಲ್ಯಮಾಪನ ಮಾಡುತ್ತದೆ.

ಸ್ವತಂತ್ರ ತಜ್ಞ ವಿಮರ್ಶೆಯ ಮೂಲಕ ನಾವು LifeSciBench ಅನ್ನು ಮಾನ್ಯಗೊಳಿಸಿದೆವು. ಪ್ರತಿಕ್ರಿಯೆ ಕಾರ್ಯಗಳನ್ನು ಬರೆಯುವಲ್ಲಿ ಭಾಗಿಯಾಗಿರದ 453 ವಿಮರ್ಶಕರಿಂದ ಬಂದಿತು. ಆ ವಿಮರ್ಶಕರಲ್ಲಿ 97% ಜನರಿಗೆ Ph.D. ಅಥವಾ ಸಮಾನ ಡಾಕ್ಟರೇಟ್ ಇತ್ತು; ಸರಾಸರಿ 12 ವರ್ಷದ ಕ್ಷೇತ್ರಾನುಭವ ಮತ್ತು 14 ಸಮವಿಮರ್ಶಿತ ಪ್ರಕಟಣೆಗಳಿದ್ದವು; 88% ಜನರು ಕನಿಷ್ಠ ಒಂದು ಪ್ರಶಸ್ತಿ ಅಥವಾ ಫೆಲೋಶಿಪ್ ಪಡೆದಿದ್ದಾಗಿ ಹೇಳಿದರು.

ಪ್ರತಿ ಕಾರ್ಯವು ಬಲವಾದ ಬೆಂಚ್‌ಮಾರ್ಕ್ ಪ್ರಶ್ನೆಗೆ ಬೇಕಾದ ಗುಣಗಳನ್ನು ಪ್ರತಿಬಿಂಬಿಸುತ್ತದೆಯೇ ಎಂದು ವಿಮರ್ಶಕರು ಅಂಕ ನೀಡಿದರು: ನೈಜ ಸಂಶೋಧನಾ ಕೆಲಸಕ್ಕೆ ಹೊಂದಾಣಿಕೆ, ವೈಜ್ಞಾನಿಕ ರೀಜನಿಂಗ್ ಮತ್ತು ಕ್ಷೇತ್ರ ಪರಿಣತಿಯನ್ನು ಸೂಕ್ತವಾಗಿ ಪರೀಕ್ಷಿಸುವುದು, ಸಾಕ್ಷ್ಯ ಅಥವಾ ತಜ್ಞ ಒಮ್ಮತದಲ್ಲಿ ನೆಲೆಯೂರುವುದು, ಮತ್ತು ಮಾಡೆಲ್ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಅಳೆಯಲು ಒಟ್ಟಾರೆ ಉಪಯುಕ್ತತೆ. ಪ್ರತಿ ವರ್ಗದಲ್ಲೂ ಒಪ್ಪಿಗೆ 96% ಮೀರಿತು.

ವಿಮರ್ಶಕರ ಟಿಪ್ಪಣಿಗಳು ಪ್ರಮಾಣಾತ್ಮಕ ರೇಟಿಂಗ್‌ಗಳನ್ನು ಬಲಪಡಿಸಿದವು:

ನಾವು ಪರಸ್ಪರಪೂರಕ ಎರಡು ಮಾಪಕಗಳನ್ನು ವರದಿ ಮಾಡುತ್ತೇವೆ. ಪಾಸ್ ದರವೆಂದರೆ, ಮಾಡೆಲ್ 70% ಕಾರ್ಯ-ಮಟ್ಟದ ಯಶಸ್ಸಿನ ಮಿತಿಯನ್ನು ಪೂರೈಸುವ ಕಾರ್ಯಗಳ ಶೇಕಡಾವಾರು. ಸ್ಕೋರ್ ಸರಾಸರಿ ರೂಬ್ರಿಕ್ ಪ್ರತಿಫಲ; ಪೂರ್ಣ ಕಾರ್ಯ ಪರಿಹಾರವಾಗದಿದ್ದರೂ ವೈಯಕ್ತಿಕ ಮಾನದಂಡಗಳಿಗೆ ಭಾಗಶಃ ಕ್ರೆಡಿಟ್ ನೀಡುತ್ತದೆ. ಇವೆರಡೂ ಮುಖ್ಯ, ಏಕೆಂದರೆ ವೈಜ್ಞಾನಿಕ ಕಾರ್ಯಕ್ಕೆ ನೀಡಿದ ಪ್ರತಿಕ್ರಿಯೆ ಪೂರ್ಣ ಉತ್ತರದ ಎಲ್ಲಾ ಅವಶ್ಯಕತೆಗಳನ್ನು ಪೂರೈಸದೆ ಇದ್ದರೂ ಭಾಗಶಃ ಸರಿಯಾಗಿರಬಹುದು ಅಥವಾ ಉಪಯುಕ್ತವಾಗಿರಬಹುದು.

ಮಾಡೆಲ್ ಕಾರ್ಯಕ್ಷಮತೆ ಕಾರ್ಯ ಪ್ರಕಾರ, ಕಾರ್ಯಪ್ರವಾಹ ಮತ್ತು ಪ್ರತಿಕ್ರಿಯೆ ಸ್ವರೂಪದಂತೆ ಬಹಳ ಬದಲಾಗುತ್ತದೆ.

LifeSciBench ತೋರಿಸುವಂತೆ, ಮುಂಚೂಣಿ ಮಾಡೆಲ್‌ಗಳು ವೈಜ್ಞಾನಿಕ ಸಂಶ್ಲೇಷಣೆ, ಸಂವಹನ ಮತ್ತು ರಚಿತ ವ್ಯಾಖ್ಯಾನ ಒಳಗೊಂಡ ಕಾರ್ಯಗಳಲ್ಲಿ ಸಂಬಂಧಿತವಾಗಿ ಅತ್ಯಂತ ಬಲವಾಗಿವೆ. ನಿರಪೇಕ್ಷ ಪಾಸ್ ದರಗಳು ಇನ್ನೂ ಮಧ್ಯಮವಾಗಿವೆ, ಆದ್ದರಿಂದ ಈ ಬೆಂಚ್‌ಮಾರ್ಕ್ ಕ್ಷೇತ್ರಗಳು ತುಂಬಿಹೋಗಿಲ್ಲ; ಆದರೆ GPT‑Rosalind, GPT‑5.5 ಗಿಂತ ಅರ್ಥಪೂರ್ಣ ಪ್ರಗತಿ ತೋರಿಸಿ, ಒಟ್ಟಾರೆ ನಿಖರ ಪಾಸ್ ದರವನ್ನು 25.7% ರಿಂದ 36.1% ಗೆ ಹೆಚ್ಚಿಸಿದೆ.

ಮಾಡೆಲ್ ಸಾಮರ್ಥ್ಯಗಳ ಪ್ರಗತಿಯ ಅತ್ಯಂತ ಬಲವಾದ ದಿಕ್ಕುಗಳು ವೈಜ್ಞಾನಿಕ ಸಂವಹನ ಮತ್ತು ಅನುವಾದದಲ್ಲಿ ಕಾಣುತ್ತವೆ. ಉದಾಹರಣೆಗೆ, ವೈಜ್ಞಾನಿಕ ಸಂವಹನ ಪಾಸ್ ದರ GPT‑5.5 ಗೆ 56.3% ರಿಂದ GPT‑Rosalind ಗೆ 71.1% ಆಗುತ್ತದೆ; ಈ ವರ್ಗ ಚಿಕ್ಕದು (n=9), ಆದ್ದರಿಂದ ಎಚ್ಚರಿಕೆಯಿಂದ ಅರ್ಥೈಸಬೇಕು, ಆದರೆ ಸಾಕ್ಷ್ಯವನ್ನು ಸಂಘಟಿಸಿ ತಜ್ಞರಿಗೆ ಮನವರಿಕೆ ಮಾಡುವ ವಿವರಣೆಗಳನ್ನು ನೀಡುವ ಸಾಮರ್ಥ್ಯದಲ್ಲಿ ಮುಂಚೂಣಿ ಮಾಡೆಲ್‌ಗಳು ವೇಗವಾಗಿ ಸುಧಾರಿಸುತ್ತಿವೆ ಎಂಬುದನ್ನು ಸೂಚಿಸುತ್ತದೆ. ಅನುವಾದವು (ಔಷಧ ಅಭಿವೃದ್ಧಿಯ “ಬೆಂಚ್-ಟು-ಬೆಡ್‌ಸೈಡ್” ಪ್ರಕ್ರಿಯೆ) ಇದೇ ಮಾದರಿಯನ್ನು ತೋರಿಸುತ್ತದೆ; GPT‑5.5 ಗೆ 36.8% ರಿಂದ GPT‑Rosalind ಗೆ 57.7% ಆಗಿ ಏರಿ, ಪ್ರೀಕ್ಲಿನಿಕಲ್ ಸಾಕ್ಷ್ಯವನ್ನು ಕ್ಲಿನಿಕಲ್ ಪರಿಣಾಮಗಳಿಗೆ ಸಂಪರ್ಕಿಸುವ ಸಾಮರ್ಥ್ಯದಲ್ಲಿ ಮಾಡೆಲ್‌ಗಳು ಬೇಗ ಸುಧಾರಿಸುತ್ತಿವೆ ಎಂದು ಸೂಚಿಸುತ್ತದೆ.

ರೂಬ್ರಿಕ್-ಮಟ್ಟದ ಫಲಿತಾಂಶಗಳೂ ಇದೇ ದಿಕ್ಕನ್ನು ತೋರಿಸುತ್ತವೆ. ತಜ್ಞರಿಗೆ ಉಪಯುಕ್ತ ಅಥವಾ ಕ್ರಮಗೊಳ್ಳಬಹುದಾದ ಔಟ್‌ಪುಟ್‌ಗಳನ್ನು ಬೇಕಾಗಿಸುವ ಕಾರ್ಯಗಳಲ್ಲಿ, GPT‑5.5 ಗೆ 29.1% ಇರುವುದಕ್ಕೆ ಹೋಲಿಸಿದರೆ GPT‑Rosalind 44.7% ಸ್ಕೋರ್ ಮಾಡುತ್ತದೆ. ಅನಿಶ್ಚಿತತೆ ಮತ್ತು ಎಚ್ಚರಿಕೆ ನಿರ್ವಹಣೆ ಬೇಕಾದ ಕಾರ್ಯಗಳಲ್ಲಿ, 29.3% ಗೆ ಹೋಲಿಸಿದರೆ ಅದು 44.8% ಸ್ಕೋರ್ ಮಾಡುತ್ತದೆ. ಸ್ಪಷ್ಟ ಸಾಕ್ಷ್ಯ ಗಡಿ ಇರುವ ಮತ್ತು ರಚಿತ ವೈಜ್ಞಾನಿಕ ತೀರ್ಪು ಬೇಕಾದ ಕಾರ್ಯಗಳಲ್ಲಿ ಮಾಡೆಲ್‌ಗಳು ಹೆಚ್ಚು ಉಪಯುಕ್ತವೆಂದು ಈ ಮಾದರಿ ಸೂಚಿಸುತ್ತದೆ.

ಆರ್ಟಿಫ್ಯಾಕ್ಟ್‌ಭಾರಿತ, ವಿನ್ಯಾಸಭಾರಿತ ಮತ್ತು ಕಾರ್ಯಾಚರಣಾ ನಿರ್ಬಂಧಗಳಿರುವ ವೈಜ್ಞಾನಿಕ ಕೆಲಸದಲ್ಲಿ ಕಾರ್ಯಕ್ಷಮತೆ ಬಹಳ ದುರ್ಬಲವಾಗಿದೆ. ವಿಶೇಷವಾಗಿ, ವಿನ್ಯಾಸ, ಸುಧಾರಣೆ ಮತ್ತು ಭವಿಷ್ಯವಾಣಿ ಅತ್ಯಂತ ಕಠಿಣ ಕಾರ್ಯಪ್ರವಾಹಗಳಲ್ಲಿ ಒಂದಾಗಿಯೇ ಉಳಿದಿದೆ; GPT‑Rosalind ಪಾಸ್ ದರ 30.7%; ವಿಶ್ಲೇಷಣೆಯೂ 30.3% ನಲ್ಲಿ ಸಮಾನವಾಗಿ ಕಠಿಣ.

ಆರ್ಟಿಫ್ಯಾಕ್ಟ್ ಬಳಕೆ ವಿಶೇಷವಾಗಿ ಸ್ಪಷ್ಟ ಕೊರತೆ. ಆರ್ಟಿಫ್ಯಾಕ್ಟ್‌ಭಾರಿತ ಪರಿಸರಗಳಲ್ಲಿ GPT‑Rosalind, GPT‑5.5 ಗಿಂತ ಉತ್ತಮವಾದರೂ, ಅದರ ಪಾಸ್ ದರ ಪಠ್ಯ-ಮಾತ್ರ ಕಾರ್ಯಗಳಲ್ಲಿ 45.1% ಇಂದ ಆರ್ಟಿಫ್ಯಾಕ್ಟ್‌ಗಳು ಅಥವಾ URLಗಳಿರುವ ಕಾರ್ಯಗಳಲ್ಲಿ 28.1% ಕ್ಕೆ ಇಳಿಯುತ್ತದೆ. GPT‑5.5 ಕೂಡ ಇದೇ ಮಾದರಿಯನ್ನು ತೋರಿಸಿ, 29.9% ಇಂದ 21.9% ಕ್ಕೆ ಇಳಿಯುತ್ತದೆ. ಇನ್ನಷ್ಟು ವಿವರವಾದ ವಿಶ್ಲೇಷಣೆ, ಮುಂಚೂಣಿ ಮಾಡೆಲ್‌ಗಳು ಸಂಕೀರ್ಣ ಚಿತ್ರಗಳು ಅಥವಾ ದೊಡ್ಡ ಅನುಕ್ರಮ ಫೈಲ್‌ಗಳಿಂದ ಮಾಹಿತಿ ತೆಗೆಯಲು ಮತ್ತು ಅದನ್ನು ಅಂತಿಮ ಉತ್ತರದಲ್ಲಿ ಒಗ್ಗೂಡಿಸಲು ಹೋರಾಡುತ್ತವೆ ಎಂದು ದೃಢಪಡಿಸುತ್ತದೆ.

ಉತ್ತರದ ಸ್ವರೂಪವೂ ಮುಖ್ಯ. ನಿಖರ ಅನುಕ್ರಮ, ರಚನೆ ಅಥವಾ ಕನ್‌ಸ್ಟ್ರಕ್ಟ್-ಮಟ್ಟದ ಔಟ್‌ಪುಟ್‌ಗಳನ್ನು ಬೇಕಾಗಿಸುವ ಕಾರ್ಯಗಳು ಕಡಿಮೆ ಪಾಸ್ ದರ ತೋರಿಸುತ್ತವೆ: GPT‑Rosalind ಸಂಖ್ಯಾತ್ಮಕ ಕಾರ್ಯಗಳಲ್ಲಿ ಕೇವಲ 14.8% ಮತ್ತು ಅನುಕ್ರಮ ಅಥವಾ ರಚನೆ ಔಟ್‌ಪುಟ್‌ಗಳಲ್ಲಿ 24.0% ತಲುಪುತ್ತದೆ. ಕನ್‌ಸ್ಟ್ರಕ್ಟ್-ರಚನೆ ಕಾರ್ಯಗಳೂ ಭಂಗುರವಾಗಿವೆ; GPT‑Rosalind 27.3% ನಲ್ಲಿ ಇದ್ದು GPT‑5.5 ಗಿಂತ ಸ್ವಲ್ಪವೇ ಸುಧಾರಣೆ ತೋರಿಸುತ್ತದೆ. ಈ ಅಂತರದ ಒಂದು ಭಾಗ ನಿಖರ-ಉತ್ತರ ಕಾರ್ಯಗಳ ಕಠಿಣ ಮೌಲ್ಯಮಾಪನ ಮೇಲ್ಮೈಯಿಂದಾಗಿರಬಹುದು; ಲೆಕ್ಕಾಚಾರ ಅಥವಾ ಸ್ವರೂಪದ ಸಣ್ಣ ವ್ಯತ್ಯಾಸವೂ ಪ್ರತಿಕ್ರಿಯೆಯನ್ನು ಪಾಸ್ ಮಿತಿಗಿಂತ ಕೆಳಗಿಡಬಹುದು. ಆದರೂ, ಈ ವೈಫಲ್ಯಗಳು ವೈಜ್ಞಾನಿಕವಾಗಿ ಮಹತ್ವದವು; ಏಕೆಂದರೆ ಅನೇಕ ಜೀವ ವಿಜ್ಞಾನ ಕಾರ್ಯಪ್ರವಾಹಗಳಿಗೆ CRISPR/HDR ದಾನಿ ವಿನ್ಯಾಸ ಅಥವಾ siRNA ವಿನ್ಯಾಸದಂತೆ, ನೇರವಾಗಿ ಬಳಸಲು ಸಾಕಷ್ಟು ನಿಖರವಾದ ಔಟ್‌ಪುಟ್‌ಗಳು ಬೇಕಾಗುತ್ತವೆ.

ಮಾಡೆಲ್‌ಗಳು ಕಾರ್ಯವನ್ನು ಪೂರ್ಣವಾಗಿ ಪರಿಹರಿಸದೆ ಕೆಲವೊಮ್ಮೆ ಮಧ್ಯದವರೆಗೆ ಬರುತ್ತವೆ. ಸುಮಾರು 14% ಕಾರ್ಯಗಳಲ್ಲಿ, ನಿಖರ-ಪಾಸ್ ಮಿತಿಯನ್ನು ದಾಟದಿದ್ದರೂ ಮಾಡೆಲ್‌ಗಳು ಗಣನೀಯ ರೂಬ್ರಿಕ್ ಕ್ರೆಡಿಟ್ ಗಳಿಸಿದವು. GPT‑Rosalind ಗೆ, 109 ಕಾರ್ಯಗಳಲ್ಲಿ ಪಾಸ್ ದರಗಳು 20% ಕ್ಕಿಂತ ಕಡಿಮೆ ಇದ್ದರೂ ಕನಿಷ್ಠ 50% ರೂಬ್ರಿಕ್ ಪ್ರತಿಫಲ ಸಿಕ್ಕಿತು. ಪ್ರಯೋಗದಲ್ಲಿ, ಮಾಡೆಲ್‌ಗಳು ಸಂಬಂಧಿತ ಸಾಕ್ಷ್ಯವನ್ನು ಗುರುತಿಸಬಹುದು ಅಥವಾ ಸಾಧ್ಯವಾದ ಭಾಗಶಃ ಉತ್ತರ ನೀಡಬಹುದು; ಆದರೆ ಪ್ರಮುಖ ನಿರ್ಬಂಧ ತಪ್ಪಿಸುವುದು, ತಪ್ಪು ಸಾಕ್ಷ್ಯ ಬಳಸುವುದು, ಅಪೂರ್ಣ ಲೆಕ್ಕಾಚಾರ ಮಾಡುವುದು, ಅಥವಾ ತಮ್ಮ ರೀಜನಿಂಗ್ ಅನ್ನು ವೈಜ್ಞಾನಿಕವಾಗಿ ಉಪಯುಕ್ತ ಅಂತಿಮ ನಿರ್ಧಾರಕ್ಕೆ ಸಂಪರ್ಕಿಸದಿರುವುದರಿಂದ ಇನ್ನೂ ವಿಫಲವಾಗಬಹುದು.

LifeSciBench, ಜೀವ ವಿಜ್ಞಾನ ಸಂಶೋಧನೆಗೆ AI ವ್ಯವಸ್ಥೆಗಳು ಎಷ್ಟು ಉಪಯುಕ್ತವಾಗಬಹುದು ಎಂಬುದನ್ನು ಅಳೆಯುವತ್ತ ಒಂದು ಹೆಜ್ಜೆ; ಆದರೆ ಜೀವಂತ ಸಂಶೋಧನಾ ಪರಿಸರಗಳಲ್ಲಿ ಮಾಡೆಲ್‌ಗಳನ್ನು ಅಧ್ಯಯನ ಮಾಡುವುದಕ್ಕೆ ಇದು ಪರ್ಯಾಯವಲ್ಲ. ಈ ಬೆಂಚ್‌ಮಾರ್ಕ್ ಮರುಕಳಿಸುವ ಉದ್ಯಮ ಕಾರ್ಯಪ್ರವಾಹಗಳನ್ನು ಪ್ರತಿಬಿಂಬಿಸುವ ಸ್ವಯಂಸಂಪೂರ್ಣ ಕಾರ್ಯಗಳ ಮೇಲೆ ಕೇಂದ್ರೀಕರಿಸುತ್ತದೆ; ಆದರೆ ಅನೇಕ ವೈಜ್ಞಾನಿಕ ವಿಶೇಷತೆಗಳು ಮತ್ತು ಕಾರ್ಯಪ್ರಕಾರಗಳು ಇದರ ಇಂದಿನ ವ್ಯಾಪ್ತಿಗೆ ಹೊರಗಿವೆ. ನೈಜ ಸಂಶೋಧನೆ ಪುನರಾವರ್ತಿತ: ವಿಜ್ಞಾನಿಗಳು ಹೊಸ ಸಾಕ್ಷ್ಯ ಸಂಗ್ರಹಿಸುತ್ತಾರೆ, ಉಪಕಲ್ಪನೆಗಳನ್ನು ಪರಿಷ್ಕರಿಸುತ್ತಾರೆ, ಅನುಗಾಮಿ ಪ್ರಯೋಗಗಳನ್ನು ವಿನ್ಯಾಸಗೊಳಿಸುತ್ತಾರೆ, ಮತ್ತು ಫಲಿತಾಂಶಗಳು ಬರುತ್ತಿದ್ದಂತೆ ಯೋಜನೆಗಳನ್ನು ಹೊಂದಿಸಿಕೊಳ್ಳುತ್ತಾರೆ.

ಆದ್ದರಿಂದ LifeSciBench ನಲ್ಲಿ ಬಲವಾದ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ನೈಜ ಕಾರ್ಯ-ಮಟ್ಟದ ಸಾಮರ್ಥ್ಯದ ಸಾಕ್ಷ್ಯವೆಂದು ಅರ್ಥೈಸಬೇಕು; ನಂತರದ ಸಂಶೋಧನಾ ಪರಿಣಾಮದ ನೇರ ಮಾಪನವೆಂದು ಅಲ್ಲ. ಬೆಂಚ್‌ಮಾರ್ಕ್ ಉದ್ಯಮ ಕಾರ್ಯಪ್ರವಾಹಗಳಲ್ಲಿ ನೆಲೆಯೂರಿದೆ; ಆದರೆ ಕಾಲಕ್ರಮದಲ್ಲಿ ಮೂಡುವ ಅಂಶಗಳ ಮೇಲೆ ಪ್ರಗತಿ ಅವಲಂಬಿಸುವ ಜೀವಂತ ಸಂಶೋಧನಾ ಕಾರ್ಯಕ್ರಮಗಳ ಪೂರ್ಣ ವೈವಿಧ್ಯ ಅಥವಾ ಚಲನೆಗಳನ್ನು ಹಿಡಿಯುವುದಿಲ್ಲ.

ಮುಂದಿನ ಹೆಜ್ಜೆ ಬೆಂಚ್‌ಮಾರ್ಕ್ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಜೀವಂತ ಸಂಶೋಧನಾ ಕಾರ್ಯಪ್ರವಾಹಗಳ ನಿಯೋಜನಾ ಅಧ್ಯಯನಗಳಿಗೆ ಸಂಪರ್ಕಿಸುವುದು. LifeSciBench ಅನ್ನು ಕಾರ್ಯನಿರತ ವಿಜ್ಞಾನಿಗಳೊಂದಿಗೆ ಅಭಿವೃದ್ಧಿಪಡಿಸಿದರೂ, AI ವ್ಯವಸ್ಥೆಗಳು ಅನ್ವೇಷಣೆಯನ್ನು ವೇಗಗೊಳಿಸುತ್ತವೆಯೇ ಅಥವಾ R&D ಫಲಿತಾಂಶಗಳನ್ನು ಸುಧಾರಿಸುತ್ತವೆಯೇ ಎಂಬುದನ್ನು ಅಳೆಯಲು, ನೈಜ ಸಂಶೋಧನಾ ಪರಿಸರಗಳಲ್ಲಿ, ದೀರ್ಘ ಅವಧಿಗಳಲ್ಲಿ, ಮತ್ತು ರೀಜನಿಂಗ್, ಪ್ರತಿಕ್ರಿಯೆ ಹಾಗೂ ಪ್ರಯೋಗಾತ್ಮಕ ಅನುಗಮನದ ಹಲವು ಸುತ್ತುಗಳಾದ್ಯಂತ ಮಾಡೆಲ್ ಬಳಕೆ ಮತ್ತು ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಅಧ್ಯಯನ ಮಾಡಬೇಕಾಗುತ್ತದೆ.