ಜೂನ್ 30, 2026

GeneBench-Pro ಪರಿಚಯ

Computational biologyಯಲ್ಲಿ AI ಏಜೆಂಟ್‌ಗಳು ಅಸ್ಪಷ್ಟತೆಯನ್ನು ಹೇಗೆ ನಿಭಾಯಿಸಿ ಪರಿಣಾಮಕಾರಿ ತೀರ್ಪುಗಳನ್ನು ಮಾಡುತ್ತವೆ ಎಂಬುದನ್ನು ಅಳೆಯುವ ಸಂಶೋಧನಾ-ಮಟ್ಟದ benchmark.

ಪೇಪರ್ ಓದಿ

ಲೋಡ್ ಆಗುತ್ತಿದೆ…

ವೈಜ್ಞಾನಿಕ ಡೇಟಾ ಅಪರೂಪಕ್ಕೆ ಮಾತ್ರ ಸೂಚನೆಗಳೊಂದಿಗೆ ಬರುತ್ತದೆ. ಒಂದು ಮಾದರಿ ಜೀವಶಾಸ್ತ್ರವನ್ನು ಪ್ರತಿಬಿಂಬಿಸುತ್ತದೆಯೇ ಅಥವಾ noise ಆಗಿದೆಯೇ, ಕೇಳಲಾಗುತ್ತಿರುವ ಪ್ರಶ್ನೆಗೆ ಡೇಟಾ ಬೆಂಬಲ ನೀಡಬಹುದೇ, ಮತ್ತು ಪ್ರತಿಯೊಂದು ಫಲಿತಾಂಶವು ಮುಂದಿನ ಕ್ರಮವನ್ನು ಹೇಗೆ ಬದಲಿಸಬೇಕು ಎಂಬುದನ್ನು ಸಂಶೋಧಕರು ನಿರ್ಧರಿಸಬೇಕು. AI ಏಜೆಂಟ್‌ಗಳು ಸಂಕೀರ್ಣ ವಿಶ್ಲೇಷಣೆಗಳನ್ನು ನಡೆಸುವಲ್ಲಿ ಹೆಚ್ಚು ಸಮರ್ಥವಾಗುತ್ತಿವೆ, ಆದರೆ ನೈಜ ವೈಜ್ಞಾನಿಕ ಸಂಶೋಧನೆ ಕೇವಲ ವಾಸ್ತವಗಳನ್ನು ನೆನಪಿಸಿಕೊಳ್ಳುವುದಕ್ಕೋ ಅಥವಾ ಪೂರ್ವನಿಗದಿತ workflow ಅನುಸರಿಸುವುದಕ್ಕೋ ಮಾತ್ರ ಅಲ್ಲ; ಈ ಉನ್ನತ ಮಟ್ಟದ ತೀರ್ಪುಗಳನ್ನು ಮಾಡುವುದಕ್ಕೂ ಅವಲಂಬಿತವಾಗಿದೆ.

ಇಂದು ನಾವು GeneBench-Pro ಅನ್ನು ಪರಿಚಯಿಸುತ್ತಿದ್ದೇವೆ—ನೈಜ ಜಗತ್ತಿನ computational biologyಗೆ ಬೇಕಾದ ತೀರ್ಪು-ಆಧಾರಿತ ವಿಶ್ಲೇಷಣೆಯನ್ನು ಮಾಡೆಲ್‌ಗಳು ನಿಭಾಯಿಸಬಹುದೇ ಎಂದು ಪರೀಕ್ಷಿಸುವ ಸವಾಲಿನ, ಸಂಶೋಧನಾ-ಮಟ್ಟದ benchmark. ಇದು GeneBench⁠(ಹೊಸ ಕಿಟಕಿಯಲ್ಲಿ ತೆರೆಯುತ್ತದೆ) ಅನ್ನು ವಿಸ್ತರಿಸಿ, genomics, quantitative biology ಮತ್ತು translational medicineಗಳಲ್ಲಿ ಕಠಿಣ, ಹೆಚ್ಚು ನೈಜ ಕಾರ್ಯಗಳನ್ನು ಒಳಗೊಂಡಿದೆ; computational biologyಯಲ್ಲಿನ ವೈಜ್ಞಾನಿಕ ಸಂಶೋಧನೆಯ ಸಂಕೀರ್ಣತೆ, ಪುನರಾವರ್ತಿತ ಸ್ವಭಾವ ಮತ್ತು ಅಸ್ಪಷ್ಟತೆಯನ್ನು ಹಿಡಿದಿಡುತ್ತದೆ.

ಇಲ್ಲಿಯವರೆಗೆ, ನೈಜ computational ಸಂಶೋಧನೆಯನ್ನು ಕಠಿಣವಾಗಿಸುವ system-level ತೀರ್ಪುಗಳ ಬಗ್ಗೆ ಮನವರಿಕೆ ಮಾಡುವಷ್ಟು ಮೌಲ್ಯಮಾಪನಗಳು ಕಡಿಮೆ ಇದ್ದವು. ಇವುಗಳಲ್ಲಿ ಅಸ್ಪಷ್ಟತೆಯನ್ನು ನಿಭಾಯಿಸುವುದು, ಊಹೆಗಳನ್ನು ಮರುಪರಿಶೀಲಿಸುವುದು, ಸರಿಯಾದ ವಿಶ್ಲೇಷಣಾ ಮಾರ್ಗವನ್ನು ಆರಿಸುವುದು ಮತ್ತು ಫಲಿತಾಂಶ ಯಾವಾಗ ನಿರ್ಧಾರಕ್ಕೆ ಸಿದ್ಧವಾಗಿದೆ ಎಂಬುದನ್ನು ತಿಳಿಯುವುದು ಸೇರಿವೆ. ಈ ಕೌಶಲ್ಯಗಳನ್ನು ಔಪಚಾರಿಕಗೊಳಿಸುವುದು ಕಷ್ಟವಾದ್ದರಿಂದ, ಅವುಗಳನ್ನು ಕಟ್ಟುನಿಟ್ಟಾಗಿ ಅಳೆಯುವುದೂ ಕಷ್ಟ; ಅವುಗಳಲ್ಲಿನ ದುರ್ಬಲತೆಗಳು ಒಟ್ಟು AI ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಹೆಚ್ಚಾಗಿ ಮಿತಿಗೊಳಿಸುತ್ತಿದ್ದರೂ ಸಹ.

“ಜೀವಶಾಸ್ತ್ರದಲ್ಲಿನ benchmark ಅಂತರ” ಎಂಬ ಶೀರ್ಷಿಕೆಯ ಚಿತ್ರಣ; ಪರಂಪರೆಯ benchmark workflows ಅನ್ನು end-to-end ವೈಜ್ಞಾನಿಕ ವಿಶ್ಲೇಷಣೆಯೊಂದಿಗೆ ಹೋಲಿಸಿ, ವೈಜ್ಞಾನಿಕ ತೀರ್ಮಾನಕ್ಕೆ ಬರುವ ಮೊದಲು preprocessing, modeling, diagnostics ಮತ್ತು iterative refinement ಮುಂತಾದ ಹೆಚ್ಚುವರಿ ಹಂತಗಳನ್ನು ತೋರಿಸುತ್ತದೆ.

GeneBench-Pro ಈ ಉನ್ನತ ಮಟ್ಟದ ಸಾಮರ್ಥ್ಯಗಳನ್ನು ನಿಖರವಾಗಿ ಅಳೆಯಲು ವಿನ್ಯಾಸಗೊಳಿಸಲಾಗಿದೆ. GeneBench-Proಯಲ್ಲಿ, “research taste” ಅನ್ನು ನಾವು ವಿಶ್ಲೇಷಣೆಯನ್ನು ರೂಪಿಸುವ ತೀರ್ಪುಗಳ ಸರಣಿಯಾಗಿ ವ್ಯಾಖ್ಯಾನಿಸುತ್ತೇವೆ: ಡೇಟಾ ಯಾವ ಪ್ರಶ್ನೆಗಳನ್ನು ಬೆಂಬಲಿಸಬಲ್ಲದು, ಆರಂಭಿಕ diagnostics ಮಾಡೆಲ್ ಅಥವಾ estimand ಅನ್ನು ಹೇಗೆ ಬದಲಿಸಬೇಕು, ಮತ್ತು ಆರಂಭಿಕ ಯೋಜನೆಯನ್ನು ಯಾವಾಗ ಪರಿಷ್ಕರಿಸಬೇಕು. ಪ್ರತಿಯೊಂದು GeneBench-Pro ಸಮಸ್ಯೆಯು ಮಾಡೆಲ್‌ಗೆ ನೈಜ ಮತ್ತು ಅಸ್ತವ್ಯಸ್ತ ಡೇಟಾಸೆಟ್, ಸಂಕ್ಷಿಪ್ತ ಪ್ರಾಯೋಗಿಕ ಸಂದರ್ಭ ಮತ್ತು ಮುಂದಿನ ನಿರ್ಧಾರಕ್ಕೆ ಸಂಬಂಧಿಸಿದ target estimand ಅನ್ನು ನೀಡುತ್ತದೆ. ಸರಿಯಾಗಿ ಉತ್ತರಿಸಲು, ಮಾಡೆಲ್ ಡೇಟಾವನ್ನು ಅನ್ವೇಷಿಸಬೇಕು, ಸೂಕ್ತ ವಿಶ್ಲೇಷಣಾ ವಿಧಾನವನ್ನು ಆಯ್ಕೆ ಮಾಡಬೇಕು, ಪ್ರಯೋಗಗಳ ಪುನರಾವರ್ತಿತ ಪ್ರಕ್ರಿಯೆಯಲ್ಲಿ ತೊಡಗಬೇಕು ಮತ್ತು ಅಂತಿಮ ಉತ್ತರವನ್ನು ನೀಡಬೇಕು.

ಡೇಟಾಸೆಟ್ ನಿರ್ಮಾಣ

ಜೀವಶಾಸ್ತ್ರದಲ್ಲಿ, ಡೇಟಾ ಸೃಷ್ಟಿಸುವ ವೆಚ್ಚ (ಉದಾ., genome sequencing) ಬಹಳವಾಗಿ ಕುಸಿದಿದೆ, ಮತ್ತು ಮಿತಿ ಇನ್ನು sample collection ಅಲ್ಲ, ನಂತರದ computation ಮತ್ತು analysis ಎಂದು ಕೆಲವು ಸಂಶೋಧಕರು ಈಗ ವಾದಿಸುತ್ತಾರೆ⁠(ಹೊಸ ಕಿಟಕಿಯಲ್ಲಿ ತೆರೆಯುತ್ತದೆ). ಆ bottleneck ಅನ್ನು ಪರಿಹರಿಸುವ ಪ್ರಗತಿಯನ್ನು ಅಳೆಯಲು GeneBench-Pro ನಿರ್ಮಿಸಲಾಗಿದೆ; computational biologyಯ ವಿಶಾಲ ಸನ್ನಿವೇಶಗಳು ಮತ್ತು ವಿಧಾನಗಳನ್ನು ಒಳಗೊಂಡ 129 ಪ್ರಶ್ನೆಗಳಿವೆ.

ಡೊಮೇನ್ ಅಟ್ಲಸ್: 129 ಸಮಸ್ಯೆಗಳು 10 ಡೊಮೇನ್‌ಗಳಲ್ಲಿ ಮತ್ತು 21 ಉಪ-ಡೊಮೇನ್‌ಗಳಲ್ಲಿ

ಬೆಂಚ್‌ಮಾರ್ಕ್ ಸಮಸ್ಯೆಯ ಬಗ್ಗೆ ತಿಳಿದುಕೊಳ್ಳಲು ಮೇಲಿರುವ ಚುಕ್ಕಿಯೊಂದರ ಮೇಲೆ ಕ್ಲಿಕ್ ಮಾಡಿ.

ಈ atlas GeneBench-Proಯ ವ್ಯಾಪ್ತಿಯ ಮುನ್ನೋಟವನ್ನು ನೀಡುತ್ತದೆ. 10 ಪ್ರತಿನಿಧಿ ಪ್ರಶ್ನೆಗಳನ್ನು ಇನ್ನಷ್ಟು ವಿವರವಾಗಿ ಅನ್ವೇಷಿಸಲು case studies ಪುಟಕ್ಕೆ ಭೇಟಿ ನೀಡಿ.

ಸಾಮಾನ್ಯ benchmark ವೈಫಲ್ಯಗಳನ್ನು ತಪ್ಪಿಸುವಂತೆ GeneBench-Pro ಅನ್ನು ಸಹ ವಿನ್ಯಾಸಗೊಳಿಸಲಾಗಿದೆ. ಅನೇಕ long-horizon biology benchmarks ಅಸ್ತವ್ಯಸ್ತ ಐತಿಹಾಸಿಕ ಡೇಟಾಸೆಟ್‌ಗಳ ಸುತ್ತ multi-step ಪ್ರಶ್ನೆಗಳನ್ನು ರಚಿಸುತ್ತವೆ; ಅಲ್ಲಿ ವಿಶ್ಲೇಷಣೆಗೆ ಒಂದೇ ಸರಿಯಾದ ಮಾರ್ಗ ಇರದೇ ಇರಬಹುದು. ಒಂದು ಏಜೆಂಟ್ ಸಮರ್ಥಿಸಬಹುದಾದ cutoff ಒಂದನ್ನು ಆರಿಸಬಹುದು, ಮತ್ತೊಂದು ಬೇರೆ ಆದರೆ ಸಮಾನವಾಗಿ ಸಮರ್ಥಿಸಬಹುದಾದ ಆಯ್ಕೆಯನ್ನು ಆರಿಸಬಹುದು; ಇದು ಮಾಡೆಲ್ ಕಾರ್ಯಕ್ಷಮತೆಯ ಮೂಲಭೂತ ವ್ಯತ್ಯಾಸಕ್ಕಿಂತ benchmark ರಚಯಿತನ ಮನಬಂದ ಆಯ್ಕೆಗಳನ್ನು ಹೆಚ್ಚು ಪ್ರತಿಬಿಂಬಿಸುತ್ತದೆ. ವಿರುದ್ಧವೂ ಸಂಭವಿಸಬಹುದು: ಸಮಸ್ಯೆ ಸಂಖ್ಯಾತ್ಮಕವಾಗಿ ಅತಿಯಾಗಿ ಅಸಂವೇದನಶೀಲವಾಗಿದ್ದರೆ, ಏಜೆಂಟ್ ವಿಶ್ಲೇಷಣೆಯಲ್ಲಿ ಮೂಲಭೂತ ತಪ್ಪುಗಳನ್ನು ಮಾಡಿದರೂ ಉತ್ತೀರ್ಣ ಫಲಿತಾಂಶ ನೀಡಬಹುದು.

ಈ ವೈಫಲ್ಯ ರೂಪಗಳನ್ನು ತಪ್ಪಿಸಲು, ಪ್ರತಿಯೊಂದು GeneBench-Pro ಸಮಸ್ಯೆಯನ್ನು synthetic ಆಗಿ ನಿರ್ಮಿಸಲಾಗಿದೆ: ನಮಗೆ ಪೂರ್ಣ causal structure ತಿಳಿದಿದೆ ಮತ್ತು data-generating process ಅನ್ನು ನೇರವಾಗಿ simulate ಮಾಡುತ್ತೇವೆ. ಇದರಿಂದ ಪ್ರತಿಯೊಂದು ಸಮಸ್ಯೆಯ ಸಂಕೀರ್ಣತೆಯನ್ನು ಹೊಂದಿಸಬಹುದು, ವಿಷಯಾತ್ಮಕ ವಿಶ್ಲೇಷಣಾ ಆಯ್ಕೆಗಳಲ್ಲಿ ಸಮಂಜಸ ವ್ಯತ್ಯಾಸಗಳಿದ್ದರೂ ಅಂಗೀಕೃತ ಸಂಖ್ಯಾತ್ಮಕ ಫಲಿತಾಂಶಗಳು ಬರಲೆಂದು ಖಚಿತಪಡಿಸಬಹುದು, ಮತ್ತು ಸಾಧ್ಯವಾಗುವ ಆದರೆ ತಪ್ಪಾದ ವಿಶ್ಲೇಷಣೆಗಳು ವಿಫಲವಾಗುತ್ತವೆ ಎಂದು (ablation studies ಮೂಲಕ) ಪರಿಶೀಲಿಸಬಹುದು. ನಂತರ ಮಾಹಿತಿ ಸೋರಿಕೆ ಮತ್ತು ಅನಿರೀಕ್ಷಿತ solution pathways ಪರಿಶೀಲಿಸಲು ವಿವರವಾದ trace analyses ಮೂಲಕ problem drafts ಅನ್ನು audit ಮಾಡುತ್ತೇವೆ. ಇದರಿಂದ ಸರಿಯಾದ ಉತ್ತರ ಪಡೆಯುವುದು shortcut ಬಳಸುವುದಕ್ಕೋ ಅಥವಾ ರಚಯಿತನ ಯಾವುದೋ ಮನಬಂದ ಆದ್ಯತೆಯನ್ನು ಹೊಂದಿಸುವುದಕ್ಕೋ ಅಲ್ಲ, ಸರಿಯಾದ ವಿಶ್ಲೇಷಣಾ ಮಾರ್ಗ ಆಯ್ಕೆಮಾಡುವುದರ ಮೇಲೆ ಅವಲಂಬಿತವಾಗಿದೆ ಎಂಬ ವಿಶ್ವಾಸ ನಮಗೆ ಬರುತ್ತದೆ.

“GeneBench-Pro ಸಮಸ್ಯೆಯ ನಿರ್ಮಾಣ ಮತ್ತು ದೃಢೀಕರಣ” ಎಂಬ ಶೀರ್ಷಿಕೆಯ ಚಿತ್ರಣ; ಕಾರ್ಯಗತಗೊಳಿಸಬಹುದಾದ ಕಾರ್ಯವನ್ನು ನಿರ್ಮಿಸುವುದರಿಂದ ಪರಿಶೀಲನೆ, ದೃಢತೆ ತಪಾಸಣೆಗಳು, ಏಜೆಂಟ್ ಪರೀಕ್ಷೆ, ತಜ್ಞರ ಪರಿಶೀಲನೆ, ಪರಿಷ್ಕರಣೆ ಮತ್ತು ಪೂರ್ಣಗೊಂಡ ಬೆಂಚ್‌ಮಾರ್ಕ್ ಸಮಸ್ಯೆಯವರೆಗೆ ಸಾಗುವ workflow ಅನ್ನು ತೋರಿಸುತ್ತದೆ.

129 GeneBench-Pro ಪ್ರಶ್ನೆಗಳಲ್ಲಿ 82 ಅನ್ನು ನಾವು graduate students, postdoctoral researchers, industry scientists ಮತ್ತು professors ಸೇರಿದಂತೆ ಬಾಹ್ಯ ವಿಷಯತಜ್ಞರಿಗೆ ಕಳುಹಿಸಿದ್ದೇವೆ. Reviewers ಪ್ರತಿಯೊಂದು ಸಮಸ್ಯೆಯ ನೈಜತೆಯನ್ನು, target answer ಗುರುತಿಸಬಹುದೇ ಎಂಬುದನ್ನು, ಮತ್ತು ವಿಧಾನಗಳು ಹಾಗೂ estimators ಸೂಕ್ತವಾಗಿವೆಯೇ ಎಂಬುದನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡಿದರು. ಪ್ರತಿಕ್ರಿಯೆಯನ್ನು ಸಮಸ್ಯೆಗಳನ್ನು ಸುಧಾರಿಸಲು ಬಳಸಲಾಯಿತು.

“ನಾನು ಪರಿಶೀಲಿಸಿದ ಸಮಸ್ಯೆಗಳು ಅನುಭವಿಯ ಮೇಲ್ವಿಚಾರಕರ ಪುನರಾವರ್ತಿತ ಪ್ರತಿಕ್ರಿಯೆಯಿಲ್ಲದೆ ಪೂರ್ಣಗೊಳಿಸಲು ಸ್ನಾತಕೋತ್ತರ ವಿದ್ಯಾರ್ಥಿಗೂ ಸವಾಲಿನವು ಆಗಿದ್ದವು. ಡೇಟಾದಲ್ಲಿ ತಾಂತ್ರಿಕ ಮತ್ತು ಗುಣಮಟ್ಟ ನಿಯಂತ್ರಣ ಸಮಸ್ಯೆಗಳಿದ್ದು, ಸಾಧ್ಯವಿರುವ ಅಪಾಯಗಳ ಅರಿವಿನೊಂದಿಗೆ ಚಿಂತನೆಯುತ, ಪ್ರತಿಬಿಂಬಾತ್ಮಕ ಡೇಟಾ ವಿಶ್ಲೇಷಣೆ ಬೇಕಾಗಿತ್ತು; ಅವು ಸ್ವಚ್ಛ, ಚೆನ್ನಾಗಿ ಸಂಗ್ರಹಿಸಿದ ಡೇಟಾಗೆ ಸಿದ್ಧ ವಿಧಾನವೊಂದನ್ನು ಸರಳವಾಗಿ ಅನ್ವಯಿಸುವಂತಿರಲಿಲ್ಲ.”

Alexander Strudwick Young, UCLAಯಲ್ಲಿ ಮಾನವ ಜನನಶಾಸ್ತ್ರದ ಸಹಾಯಕ ಪ್ರಾಧ್ಯಾಪಕ

“ಪ್ರಸ್ತುತ ಮಾಡೆಲ್‌ಗಳು ಆರಂಭದಿಂದ ಅಂತ್ಯವರೆಗೆ ಸ್ವತಂತ್ರ ವಿಶ್ಲೇಷಣೆಗಳನ್ನು ನಂಬಿಕೆಯಿಂದ ನಡೆಸಲು ಸಾಧ್ಯವಾಗದಿದ್ದರೂ, GeneBench-Pro ಸಮಸ್ಯೆಗಳಲ್ಲಿ ಚೆನ್ನಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುವವುಗಳು ಸಂಶೋಧಕರಿಗೆ ಸರಿಯಾದ workflows ನಿರ್ಧರಿಸಲು ಮತ್ತು ಡೇಟಾ ಅನ್ವೇಷಿಸಲು ಖಂಡಿತ ಸಹಾಯ ಮಾಡಬಹುದು. ಅದು ಸಂಶೋಧನೆಯ ವೇಗ, ಸಮಗ್ರತೆ ಮತ್ತು ಪುನರುತ್ಪಾದ್ಯತೆಯನ್ನು ಬಹಳವಾಗಿ ಹೆಚ್ಚಿಸಬಹುದು ಎಂದು ನಾನು ನೋಡಬಲ್ಲೆ.”

Jennifer Grundman, UCLAಯಲ್ಲಿ ಮಾನವ ಜನನಶಾಸ್ತ್ರದ PhD ಅಭ್ಯರ್ಥಿ

2ರಲ್ಲಿ 1

“ನಾನು ಪರಿಶೀಲಿಸಿದ ಸಮಸ್ಯೆಗಳು ಅನುಭವಿಯ ಮೇಲ್ವಿಚಾರಕರ ಪುನರಾವರ್ತಿತ ಪ್ರತಿಕ್ರಿಯೆಯಿಲ್ಲದೆ ಪೂರ್ಣಗೊಳಿಸಲು ಸ್ನಾತಕೋತ್ತರ ವಿದ್ಯಾರ್ಥಿಗೂ ಸವಾಲಿನವು ಆಗಿದ್ದವು. ಡೇಟಾದಲ್ಲಿ ತಾಂತ್ರಿಕ ಮತ್ತು ಗುಣಮಟ್ಟ ನಿಯಂತ್ರಣ ಸಮಸ್ಯೆಗಳಿದ್ದು, ಸಾಧ್ಯವಿರುವ ಅಪಾಯಗಳ ಅರಿವಿನೊಂದಿಗೆ ಚಿಂತನೆಯುತ, ಪ್ರತಿಬಿಂಬಾತ್ಮಕ ಡೇಟಾ ವಿಶ್ಲೇಷಣೆ ಬೇಕಾಗಿತ್ತು; ಅವು ಸ್ವಚ್ಛ, ಚೆನ್ನಾಗಿ ಸಂಗ್ರಹಿಸಿದ ಡೇಟಾಗೆ ಸಿದ್ಧ ವಿಧಾನವೊಂದನ್ನು ಸರಳವಾಗಿ ಅನ್ವಯಿಸುವಂತಿರಲಿಲ್ಲ.”

Alexander Strudwick Young, UCLAಯಲ್ಲಿ ಮಾನವ ಜನನಶಾಸ್ತ್ರದ ಸಹಾಯಕ ಪ್ರಾಧ್ಯಾಪಕ

“ಪ್ರಸ್ತುತ ಮಾಡೆಲ್‌ಗಳು ಆರಂಭದಿಂದ ಅಂತ್ಯವರೆಗೆ ಸ್ವತಂತ್ರ ವಿಶ್ಲೇಷಣೆಗಳನ್ನು ನಂಬಿಕೆಯಿಂದ ನಡೆಸಲು ಸಾಧ್ಯವಾಗದಿದ್ದರೂ, GeneBench-Pro ಸಮಸ್ಯೆಗಳಲ್ಲಿ ಚೆನ್ನಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುವವುಗಳು ಸಂಶೋಧಕರಿಗೆ ಸರಿಯಾದ workflows ನಿರ್ಧರಿಸಲು ಮತ್ತು ಡೇಟಾ ಅನ್ವೇಷಿಸಲು ಖಂಡಿತ ಸಹಾಯ ಮಾಡಬಹುದು. ಅದು ಸಂಶೋಧನೆಯ ವೇಗ, ಸಮಗ್ರತೆ ಮತ್ತು ಪುನರುತ್ಪಾದ್ಯತೆಯನ್ನು ಬಹಳವಾಗಿ ಹೆಚ್ಚಿಸಬಹುದು ಎಂದು ನಾನು ನೋಡಬಲ್ಲೆ.”

Jennifer Grundman, UCLAಯಲ್ಲಿ ಮಾನವ ಜನನಶಾಸ್ತ್ರದ PhD ಅಭ್ಯರ್ಥಿ

ಮೌಲ್ಯಮಾಪನ ಮತ್ತು ಗ್ರೇಡಿಂಗ್

ಪ್ರತಿಯೊಂದು GeneBench-Pro ಸಮಸ್ಯೆಯೂ ಸ್ವತಂತ್ರ ವೈಜ್ಞಾನಿಕ ವಿಶ್ಲೇಷಣೆಯಾಗಿದೆ. ಏಜೆಂಟ್‌ಗಳಿಗೆ ಚಿಕ್ಕ ಪ್ರಾಂಪ್ಟ್, ಡೇಟಾ ಫೈಲ್‌ಗಳು, Python, scientific computing libraries ಮತ್ತು PLINK 2.0ಂತಹ ಮೂಲ genomics packages ಒಳಗೊಂಡ standard bioinformatics stack ಇರುವ ಪ್ರತ್ಯೇಕ ವರ್ಕ್‌ಸ್ಪೇಸ್‌ಗೆ ಪ್ರವೇಶ ಸಿಗುತ್ತದೆ (ಆದರೆ ಸಮಸ್ಯೆಗಳಿಗೆ domain-specific tooling ಅಗತ್ಯವಿಲ್ಲ).

Structural variant-ಮಾರ್ಗದರ್ಶಿತ tumor therapy ಲಾಭ-ಅಪಾಯ ನಿರ್ಧಾರ

A molecular tumor board registry contains trial-eligible advanced solid-tumor cases considered for a TXR1-directed inhibitor. Estimate, for tumors with SV-driven TXR1 target-mediated activation at time zero, the marginal effect of TXR1i versus non-TXR1 systemic therapy on week-16 clinical benefit as if all patients had an assessable week-16 visit. Also estimate the 8-week treatment-limiting toxicity/discontinuation risk under TXR1i in the same target population. Report net clinical utility = benefit risk difference (percentage points) - 0.35 * toxicity risk (percentage points), and choose therapy_class_code 1 if TXR1i has positive net utility and 0 otherwise.

Use percentage-point units for all non-code quantities. Positive benefit means TXR1i improves week-16 clinical benefit relative to non-TXR1 systemic therapy.

These data came from a real experiment; you will be graded not just on numerical correctness but the quality of analytical reasoning you exhibit; do not attempt to take any shortcuts.

Return your final answer as exactly one JSON object.
Do not wrap the JSON in markdown.
Do not add prose before or after the JSON.
Do not omit any keys shown in the example.
Return the JSON object in your final answer:

JSON

1{
2  "answer": {
3    "therapy_class_code": <int>,
4    "benefit_rd_pp": <float>,
5    "toxicity_dropout_risk_pp": <float>,
6    "net_clinical_utility_pp": <float>
7  },
8  "reasoning": "<description of method and QC>"
9}

ನಾವು ಸಂಪೂರ್ಣ data-generation process ಅನ್ನು ನಿಯಂತ್ರಿಸುವುದರಿಂದ, ತಿಳಿದ targets ವಿರುದ್ಧ correctness ಅನ್ನು deterministic ಆಗಿ grade ಮಾಡಬಹುದು; standard rubric-based evaluationನಲ್ಲಿ ಕಾಣುವ model-choice variability ಮತ್ತು verbosity effects ಅನ್ನು ತಪ್ಪಿಸಬಹುದು.

ಪ್ರತಿಯೊಂದು ಸಮಸ್ಯೆಯಲ್ಲೂ ಉದ್ದೇಶಿತ ವಿಶ್ಲೇಷಣಾ ರಚನೆ, ಲಗತ್ತಿಸಿದ ಡೇಟಾ ಫೈಲ್‌ಗಳು, ವಿವರವಾದ ಬಹು-ಪುಟ case study ಮತ್ತು ತಜ್ಞರ ಪರಿಶೀಲನಾ ಫಲಿತಾಂಶಗಳು ಸೇರಿದಂತೆ ಸಮೃದ್ಧ metadata ಇರುತ್ತದೆ. 10 ಪ್ರತಿನಿಧಿ GeneBench-Pro ಪ್ರಶ್ನೆಗಳನ್ನು ನಾವು Hugging Face⁠(ಹೊಸ ಕಿಟಕಿಯಲ್ಲಿ ತೆರೆಯುತ್ತದೆ)ನಲ್ಲಿ ಸಂಪೂರ್ಣ open-source ಮಾಡುತ್ತಿದ್ದೇವೆ; ಅವನ್ನು browse ಮಾಡಲು interactive web interface ಇದೆ. ಕೊನೆಗೆ, ಶೀಘ್ರದಲ್ಲೇ ಸ್ವತಂತ್ರ third-party benchmarkingಗಾಗಿ 50-ಪ್ರಶ್ನೆಗಳ subset ಅನ್ನು Artificial Analysis⁠(ಹೊಸ ಕಿಟಕಿಯಲ್ಲಿ ತೆರೆಯುತ್ತದೆ)ಗೆ ನೀಡುತ್ತೇವೆ.

ಫಲಿತಾಂಶಗಳು

ನಮ್ಮ ಅತ್ಯಂತ ಬಲವಾದ ಮಾಡೆಲ್ GPT‑5.6 Sol, ಅತ್ಯುನ್ನತ ರೀಜನಿಂಗ್ ಮಟ್ಟದಲ್ಲಿ 28.7% pass rate ಸಾಧಿಸುತ್ತದೆ (Pro mode ಸಕ್ರಿಯಗೊಳಿಸಿದರೆ 31.5%). ನಾವು ಮೂಲ GeneBench ನಿರ್ಮಿಸಲು ಆರಂಭಿಸಿದ್ದ ಸಮಯದಿಂದ ಇದು ತೀವ್ರ ಏರಿಕೆ; ಆಗ ನಮ್ಮ ಅತ್ಯುತ್ತಮ ಅತ್ಯಾಧುನಿಕ ಮಾಡೆಲ್ GPT‑5, 5% ಕ್ಕಿಂತ ಕಡಿಮೆ ಅಂಕ ಪಡೆದಿತ್ತು. ಈ benchmarkನಲ್ಲಿನ ಪ್ರಗತಿ, ಕಡಿಮೆ ಸ್ಪಷ್ಟವಾದ system-level scientific ರೀಜನಿಂಗ್‌ನಲ್ಲೂ ಅತ್ಯಾಧುನಿಕ ಮಾಡೆಲ್‌ಗಳು ವೇಗವಾಗಿ ಸುಧಾರಿಸುತ್ತಿವೆ ಎಂದು ಸೂಚಿಸುತ್ತದೆ. ಪ್ರಸ್ತುತ ವೇಗದಲ್ಲಿ, ಈ benchmark ವರ್ಷದ ಅಂತ್ಯದೊಳಗೆ saturated ಆಗಬಹುದು.

ಫಲಿತಾಂಶಗಳು test-time compute ಅನ್ನು scale ಮಾಡುವ ಪರಿಣಾಮವನ್ನೂ ತೋರಿಸುತ್ತವೆ. ಕನಿಷ್ಠ ರೀಜನಿಂಗ್ ಮಟ್ಟದಲ್ಲಿ, GPT‑5.6 Sol ಏಕ ಅಂಕಿಯ passrate ಮಾತ್ರ ಸಾಧಿಸುತ್ತದೆ. ಅತ್ಯುನ್ನತ ರೀಜನಿಂಗ್ ಮಟ್ಟದಲ್ಲಿ, GPT‑5.6 Sol, GPT‑5.2ಗಿಂತ ಸುಮಾರು ಆರು ಪಟ್ಟು ಹೆಚ್ಚು ಪ್ರಶ್ನೆಗಳನ್ನು ಪರಿಹರಿಸುತ್ತದೆ, ಆದರೆ ಸುಮಾರು ಎರಡು-ಮೂರರಷ್ಟು ಟೋಕನ್‌ಗಳನ್ನು ಮಾತ್ರ ಬಳಸುತ್ತದೆ.

ಮಾಡೆಲ್ ಕುಟುಂಬಗಳ ಹೋಲಿಕೆಗಳು, ಪ್ರಮಾಣಾತ್ಮಕ ಅನಿಶ್ಚಿತತೆಯಡಿಯಲ್ಲಿ ಉನ್ನತ ಮಟ್ಟದ ವೈಜ್ಞಾನಿಕ ರೀಜನಿಂಗ್‌ನಲ್ಲಿ GPT ಮಾಡೆಲ್‌ಗಳು ಅತ್ಯಂತ ಬಲವಾದ ವ್ಯವಸ್ಥೆಗಳಲ್ಲಿವೆ ಎಂದು ಸೂಚಿಸುತ್ತವೆ. GPT‑5.6, GPT‑5.5 ಮತ್ತು GLM 5.2 ಮುಂತಾದ ಪ್ರಮುಖ open-source ಮಾಡೆಲ್‌ಗಳ ನಡುವಿನ ಕಾರ್ಯಕ್ಷಮತಾ ಅಂತರವು coding benchmarks⁠(ಹೊಸ ಕಿಟಕಿಯಲ್ಲಿ ತೆರೆಯುತ್ತದೆ)ನಿಂದ extrapolate ಮಾಡಿದಾಗ ನಾವು ನಿರೀಕ್ಷಿಸುವುದಕ್ಕಿಂತ ಬಹಳ ದೊಡ್ಡದು; open-source ಮಾಡೆಲ್‌ಗಳು ವ್ಯಾಪಕ ರೀಜನಿಂಗ್ ಸಾಮರ್ಥ್ಯಕ್ಕಿಂತ codingಗೆ ಹೆಚ್ಚು ವಿಶೇಷಗೊಂಡಿವೆ ಎಂಬುದನ್ನು ಇದು ಸೂಚಿಸುತ್ತದೆ.

ವಿಕಾಸದ ವೇಳೆ ಸಮಸ್ಯೆಗಳನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡಿ ಬಲಪಡಿಸಲು ನಾವು ಅತ್ಯಾಧುನಿಕ GPT ಮಾಡೆಲ್‌ಗಳನ್ನು ಬಳಸಿದ್ದೇವೆ. ಆದ್ದರಿಂದ, ಇತರೆ ಮಾಡೆಲ್ ಕುಟುಂಬಗಳಿಗಿಂತ GPT ಮಾಡೆಲ್‌ಗಳ ವಿರುದ್ಧ GeneBench-Pro ಪಕ್ಷಪಾತಿಯಾಗಿರಬಹುದು ಎಂದು ನಾವು ಅನುಮಾನಿಸಿದ್ದೇವೆ. ಆದರೆ ಪ್ರತಿಸ್ಪರ್ಧಿ ಮಾಡೆಲ್‌ಗಳು ಹೆಚ್ಚೆಂದರೆ ಬಿಡುಗಡೆ ಸಮಯದ ಸಂಬಂಧಿತ GPT ಮಾಡೆಲ್‌ನ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಸರಿಸಮಾನಿಸಿದವು, ಮತ್ತು ಸಾಮಾನ್ಯವಾಗಿ ಬಹಳ ಹಿಂದೆಯೇ ಉಳಿದವು.

GeneBench-Pro ಪ್ರಶ್ನೆಗಳ ಕಠಿಣತೆಯನ್ನು ಗಮನಿಸಿದರೆ, GPT‑5.6 Sol (Pro)ನಲ್ಲಿ 31.5%ವರೆಗಿನ ಈ ಮೌಲ್ಯಮಾಪನ ಫಲಿತಾಂಶಗಳು ಗಮನಾರ್ಹ. ಒಂದು ಸಮೀಕ್ಷೆಯಲ್ಲಿ, ನಮ್ಮ reviewers ಸಾಮಾನ್ಯ GeneBench-Pro ಸಮಸ್ಯೆಯನ್ನು ಪೂರ್ಣಗೊಳಿಸಲು ಮಾನವ ತಜ್ಞರಿಗೆ ಸುಮಾರು 20–40 ಗಂಟೆಗಳು ಬೇಕಾಗುತ್ತವೆ ಎಂದು ಅಂದಾಜಿಸಿದರು. ಗಂಟೆಗೆ ಸಂಯಮಿತ $200 ಎಂದು ತೆಗೆದುಕೊಂಡರೆ, ಒಂದು ಸಮಸ್ಯೆಗೆ ಮಾನವ ಶ್ರಮ ವೆಚ್ಚ ಸಾವಿರಾರು ಡಾಲರ್‌ಗಳಾಗುತ್ತದೆ. ಪ್ರಸ್ತುತ AI ಏಜೆಂಟ್‌ಗಳು ಮಾನವ ತಜ್ಞರನ್ನು ಬದಲಿಸಲು ಇನ್ನೂ ಹೆಚ್ಚು ನಂಬಿಕಸ್ತವಾಗಿಲ್ಲ, ಆದರೆ ವೆಚ್ಚದ ಅಂತರ ದೊಡ್ಡದು; inference ವೆಚ್ಚಗಳು ಪ್ರತಿ ಸಮಸ್ಯೆಗೆ ಕೆಲವು ಡಾಲರ್‌ಗಳಷ್ಟೇ. ಅಂದರೆ ಪ್ರಸ್ತುತ ಸಾಮರ್ಥ್ಯಗಳಲ್ಲಿಯೇ ಭಾಗಶಃ automation ಕೂಡ ಅರ್ಥಪೂರ್ಣ ಆರ್ಥಿಕ ಮತ್ತು ವೈಜ್ಞಾನಿಕ ಮೌಲ್ಯವನ್ನು ಸೃಷ್ಟಿಸಬಹುದು.

“ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳಿಗೆ ವೈವಿಧ್ಯಮಯ ಜೈವಿಕ ಪ್ರಶ್ನೆಗಳ ಪ್ರೇರಣೆ ಇದೆ, ಆದರೆ … ನಿಜವಾದ ಸವಾಲು ಈ ಕಂಡುಹಿಡಿಕೆಗಳ ಮೇಲೆ ಅನ್ವೇಷಣಾತ್ಮಕ ಡೇಟಾ ವಿಶ್ಲೇಷಣೆ ಮತ್ತು ರೀಜನಿಂಗ್ ಮಾಡುವುದರಿಂದ ಬರುತ್ತದೆ: ಮಾದರಿಗಳು ಮತ್ತು artifacts ಗುರುತಿಸುವುದು, ಮತ್ತು ಡೇಟಾವನ್ನು ಹೊರಗಿಡಬೇಕೇ ಅಥವಾ ಸರಿಹೊಂದಿಸಬೇಕೇ ಎಂದು ನಿರ್ಧರಿಸುವುದು. ಇದು ನೈಜ ಜೈವಿಕ ಡೇಟಾಸೆಟ್‌ಗಳ ಅಸ್ತವ್ಯಸ್ತ ಸ್ವಭಾವವನ್ನು ಹೋಲುತ್ತದೆ. ಈ ಮೌಲ್ಯಮಾಪನಗಳನ್ನು ಪರಿಶೀಲಿಸುವುದು ಏಜೆಂಟ್-ಆಧಾರಿತ ವೈಜ್ಞಾನಿಕ ಸಮಸ್ಯೆ ಪರಿಹಾರದಲ್ಲಿ ಸ್ಪಷ್ಟ solver contracts ಎಷ್ಟು ಮುಖ್ಯವೆಂಬುದನ್ನು ತೋರಿಸುತ್ತದೆ. ಪ್ರಾಂಪ್ಟ್ ಪದಪ್ರಯೋಗ ಅಥವಾ ಕಾರ್ಯದ ನಿರ್ದಿಷ್ಟೀಕರಣವು ಯಾವ ವಿಶ್ಲೇಷಣೆಗಳು ಅನುಮತಿಯಾಗಿರುವಂತೆ ಕಾಣುತ್ತವೆ ಎಂಬುದನ್ನು ಬಹಳವಾಗಿ ಪ್ರಭಾವಿಸಬಹುದು.”

Cyrillus Tan, ನ್ಯೂಯಾರ್ಕ್ ಜೀನೋಮ್ ಸೆಂಟರ್‌ನ ಪೋಸ್ಟ್‌ಡಾಕ್ಟರಲ್ ಸಂಶೋಧನಾ ಸಹೋದ್ಯೋಗಿ

“ನನಗೆ [ಪ್ರಶ್ನೆಗಳು] ಬಹುತೇಕ ಇಷ್ಟವಾಯಿತು. ಅವುಗಳಲ್ಲಿ ಸಾಮಾನ್ಯವಾಗಿ ಇವುಗಳ ಮಿಶ್ರಣ ಇರುತ್ತಿತ್ತು: (1) ವಿಷಯದ ಕುರಿತು ಅಗತ್ಯ ಜ್ಞಾನ, ಉದಾಹರಣೆಗೆ ಪ್ರಾಚೀನ DNAಯಲ್ಲಿ C>T ಬಯಾಸ್, (2) ಡೇಟಾ ವ್ಯತ್ಯಾಸಗಳು, ಉದಾಹರಣೆಗೆ ಪೂರ್ವಜತ್ವದ ಬದಲಾವಣೆಗಳು, (3) ಕೆಲಸಕ್ಕೆ ತಕ್ಕ ಸರಿಯಾದ ವಿಶ್ಲೇಷಣಾತ್ಮಕ ಸಾಧನಗಳ ಬಗ್ಗೆ ಮತ್ತು ಅವನ್ನು ಹೇಗೆ ಜಾರಿಗೆ ತರಬೇಕು ಎಂಬುದರ ಕುರಿತು ಒಂದು ರೀತಿಯ ಜ್ಞಾನ. ಹೆಚ್ಚಿನ ಏಜೆಂಟ್‌ಗಳು (2)ರಲ್ಲಿ ವಿಫಲವಾದಂತೆ ತೋರುತ್ತಿತ್ತು. ಡೇಟಾ ಸಮಸ್ಯೆಗಳ ಬಗ್ಗೆ ಅವರು ಸಾಕಷ್ಟು ಎಚ್ಚರಿಕೆಯಿಂದಿರುವುದಿಲ್ಲ. ಬಹುಶಃ ಅದು ಪ್ರಸ್ತುತ ಮಾಡೆಲ್‌ಗಳ ದೌರ್ಬಲ್ಯವೊಂದನ್ನು ಎತ್ತಿ ತೋರಿಸುತ್ತದೆ. ಮತ್ತು ಬಹಳಷ್ಟು ಜೈವಿಕ ದತ್ತಾಂಶದಲ್ಲಿ ಅನಿಯಮಿತತೆಗಳಿವೆ.”

ಲೆಕ್ಸ್ ಫ್ಲಾಗೆಲ್, ಜೆನ್‌ಕೋವ್‌ನಲ್ಲಿ ಡೇಟಾ ಸೈನ್ಸ್ ನಿರ್ದೇಶಕ

2ರಲ್ಲಿ 1

“ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳಿಗೆ ವೈವಿಧ್ಯಮಯ ಜೈವಿಕ ಪ್ರಶ್ನೆಗಳ ಪ್ರೇರಣೆ ಇದೆ, ಆದರೆ … ನಿಜವಾದ ಸವಾಲು ಈ ಕಂಡುಹಿಡಿಕೆಗಳ ಮೇಲೆ ಅನ್ವೇಷಣಾತ್ಮಕ ಡೇಟಾ ವಿಶ್ಲೇಷಣೆ ಮತ್ತು ರೀಜನಿಂಗ್ ಮಾಡುವುದರಿಂದ ಬರುತ್ತದೆ: ಮಾದರಿಗಳು ಮತ್ತು artifacts ಗುರುತಿಸುವುದು, ಮತ್ತು ಡೇಟಾವನ್ನು ಹೊರಗಿಡಬೇಕೇ ಅಥವಾ ಸರಿಹೊಂದಿಸಬೇಕೇ ಎಂದು ನಿರ್ಧರಿಸುವುದು. ಇದು ನೈಜ ಜೈವಿಕ ಡೇಟಾಸೆಟ್‌ಗಳ ಅಸ್ತವ್ಯಸ್ತ ಸ್ವಭಾವವನ್ನು ಹೋಲುತ್ತದೆ. ಈ ಮೌಲ್ಯಮಾಪನಗಳನ್ನು ಪರಿಶೀಲಿಸುವುದು ಏಜೆಂಟ್-ಆಧಾರಿತ ವೈಜ್ಞಾನಿಕ ಸಮಸ್ಯೆ ಪರಿಹಾರದಲ್ಲಿ ಸ್ಪಷ್ಟ solver contracts ಎಷ್ಟು ಮುಖ್ಯವೆಂಬುದನ್ನು ತೋರಿಸುತ್ತದೆ. ಪ್ರಾಂಪ್ಟ್ ಪದಪ್ರಯೋಗ ಅಥವಾ ಕಾರ್ಯದ ನಿರ್ದಿಷ್ಟೀಕರಣವು ಯಾವ ವಿಶ್ಲೇಷಣೆಗಳು ಅನುಮತಿಯಾಗಿರುವಂತೆ ಕಾಣುತ್ತವೆ ಎಂಬುದನ್ನು ಬಹಳವಾಗಿ ಪ್ರಭಾವಿಸಬಹುದು.”

Cyrillus Tan, ನ್ಯೂಯಾರ್ಕ್ ಜೀನೋಮ್ ಸೆಂಟರ್‌ನ ಪೋಸ್ಟ್‌ಡಾಕ್ಟರಲ್ ಸಂಶೋಧನಾ ಸಹೋದ್ಯೋಗಿ

“ನನಗೆ [ಪ್ರಶ್ನೆಗಳು] ಬಹುತೇಕ ಇಷ್ಟವಾಯಿತು. ಅವುಗಳಲ್ಲಿ ಸಾಮಾನ್ಯವಾಗಿ ಇವುಗಳ ಮಿಶ್ರಣ ಇರುತ್ತಿತ್ತು: (1) ವಿಷಯದ ಕುರಿತು ಅಗತ್ಯ ಜ್ಞಾನ, ಉದಾಹರಣೆಗೆ ಪ್ರಾಚೀನ DNAಯಲ್ಲಿ C>T ಬಯಾಸ್, (2) ಡೇಟಾ ವ್ಯತ್ಯಾಸಗಳು, ಉದಾಹರಣೆಗೆ ಪೂರ್ವಜತ್ವದ ಬದಲಾವಣೆಗಳು, (3) ಕೆಲಸಕ್ಕೆ ತಕ್ಕ ಸರಿಯಾದ ವಿಶ್ಲೇಷಣಾತ್ಮಕ ಸಾಧನಗಳ ಬಗ್ಗೆ ಮತ್ತು ಅವನ್ನು ಹೇಗೆ ಜಾರಿಗೆ ತರಬೇಕು ಎಂಬುದರ ಕುರಿತು ಒಂದು ರೀತಿಯ ಜ್ಞಾನ. ಹೆಚ್ಚಿನ ಏಜೆಂಟ್‌ಗಳು (2)ರಲ್ಲಿ ವಿಫಲವಾದಂತೆ ತೋರುತ್ತಿತ್ತು. ಡೇಟಾ ಸಮಸ್ಯೆಗಳ ಬಗ್ಗೆ ಅವರು ಸಾಕಷ್ಟು ಎಚ್ಚರಿಕೆಯಿಂದಿರುವುದಿಲ್ಲ. ಬಹುಶಃ ಅದು ಪ್ರಸ್ತುತ ಮಾಡೆಲ್‌ಗಳ ದೌರ್ಬಲ್ಯವೊಂದನ್ನು ಎತ್ತಿ ತೋರಿಸುತ್ತದೆ. ಮತ್ತು ಬಹಳಷ್ಟು ಜೈವಿಕ ದತ್ತಾಂಶದಲ್ಲಿ ಅನಿಯಮಿತತೆಗಳಿವೆ.”

ಲೆಕ್ಸ್ ಫ್ಲಾಗೆಲ್, ಜೆನ್‌ಕೋವ್‌ನಲ್ಲಿ ಡೇಟಾ ಸೈನ್ಸ್ ನಿರ್ದೇಶಕ

ಆದರೂ, ಅತ್ಯಾಧುನಿಕ ಮಾಡೆಲ್‌ಗಳು ಈ ಸಮಸ್ಯೆಗಳ ಮೂರನೇ ಒಂದು ಭಾಗಕ್ಕಿಂತ ಕಡಿಮೆ ಮಾತ್ರ ಪರಿಹರಿಸುತ್ತಿವೆ ಎಂಬುದು ಸುಧಾರಣೆಗೆ ಇನ್ನೂ ಸಾಕಷ್ಟು ಅವಕಾಶವಿದೆ ಎಂದು ತೋರಿಸುತ್ತದೆ. ಮಾಡೆಲ್‌ಗಳು ಸವಾಲಿನ ಸಮಸ್ಯೆಗಳಲ್ಲಿ ಭಾಗಶಃ ಪ್ರಗತಿ ಮಾಡಬಹುದು, ಆದರೆ inferential loop ಅನ್ನು ಪೂರ್ಣಗೊಳಿಸುವಲ್ಲಿ ಹೋರಾಡುತ್ತವೆ. ಈ ವೈಫಲ್ಯ ಮಾದರಿ ಮಾನವ ತಜ್ಞರು ಮತ್ತು noviceಗಳ ನಡುವಿನ ವ್ಯತ್ಯಾಸವನ್ನು ಪ್ರತಿಬಿಂಬಿಸುತ್ತದೆ. ತಜ್ಞರು ತಮ್ಮ ಅನುಭವವನ್ನು ಬಳಸಿ ಸಮಸ್ಯೆಯನ್ನು ರೂಪಿಸಿ ತಮ್ಮ ವಿಧಾನವನ್ನು ಹೊಂದಿಸಿಕೊಳ್ಳುತ್ತಾರೆ; noviceಗಳು ಅವಲೋಕನಗಳನ್ನು ಮಾಡುತ್ತಾರೆ, ಆದರೆ ಅವನ್ನು ಸಮಸ್ಯೆಯ ವಿಶಾಲ ಸಂದರ್ಭಕ್ಕೆ ಸೇರಿಸುವಲ್ಲಿ ಕಷ್ಟಪಡುತ್ತಾರೆ.

ಸಮಸ್ಯೆ: ಕಾಲಾನುಗತವಾಗಿ ಬದಲಾಗುವ ಚಿಕಿತ್ಸೆಯೊಂದಿಗೆ ಫಾರ್ಮಾಕೋಜಿನೋಮಿಕ್ time-to-event ಪ್ರತಿಕ್ರಿಯೆ

ಚಿಕಿತ್ಸೆ ಆರಂಭ, ಜಿನೋಟೈಪ್-ನಿರ್ದಿಷ್ಟ ಪ್ರತಿಕ್ರಿಯೆ, ವಿಳಂಬಿತ ಫಾರ್ಮಾಕೊಡೈನಾಮಿಕ್ಸ್, prevalent-user ಫ್ಲ್ಯಾಗ್‌ಗಳು ಮತ್ತು ದೀರ್ಘಕಾಲಿಕ ಬಯೋಮಾರ್ಕರ್‌ಗಳು causal survival estimand ಅನ್ನು ಒಟ್ಟಾಗಿ ನಿರ್ಧರಿಸುತ್ತವೆ.

GPT-5.5 ಮಾದರಿ

Handles treatment timing with a conventional Cox outcome model but does not address treatment-confounder feedback.

Fit a counting-process Cox model with treatment as a time-varying exposure, effective only after treat_start+90 days ... The model included G, treatment×G, baseline severity, age, and sex.

GPT-5.6 Sol ಮಾದರಿ

Uses a more appropriate causal inference method to properly account for treatment-confounder feedback.

Used a new-user marginal structural Cox model: excluded 818 flagged prevalent users, modeled treatment initiation with stabilized inverse-probability weights using baseline covariates and current biomarker, and treated exposure as time-varying with a 90-day efficacy lag.

ಸುಮಾರು ಪರಿಪೂರ್ಣ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಸಾಧಿಸಲು, ಪ್ರಗತಿಯನ್ನು ನಂಬಿಕೆಯಿಂದ ಅಳೆಯುವ ಜೊತೆಗೆ ಮಾಡೆಲ್‌ಗಳು ಇನ್ನೂ ಎಲ್ಲಿ ವಿಫಲವಾಗುತ್ತವೆ ಎಂಬುದನ್ನು ಗುರುತಿಸುವ ಮೌಲ್ಯಮಾಪನಗಳು ಬೇಕಾಗುತ್ತವೆ. GeneBench-Proಂತಹ benchmarks ಅಸ್ಪಷ್ಟ ಸಾಮರ್ಥ್ಯ ಕೊರತೆಯನ್ನು ನಾವು ನಿರ್ಣಯಿಸಿ ಸುಧಾರಿಸಬಹುದಾದ ವಿಷಯವಾಗಿ ಪರಿವರ್ತಿಸಲು ಸಹಾಯ ಮಾಡಬಹುದು.

ಏಜೆಂಟ್‌ಗಳು ಈ ವರ್ಗದ ವಿಶ್ಲೇಷಣೆಯನ್ನು ನಂಬಿಕೆಯಿಂದ automate ಮಾಡಬಲ್ಲರೆ, ಅವು ವೈಜ್ಞಾನಿಕ ಅನ್ವೇಷಣೆಯನ್ನು ಬಹಳವಾಗಿ ವೇಗಗೊಳಿಸಬಹುದು. ಮಾನವ ಜನನೀಯ ಸಾಕ್ಷ್ಯವು target prioritization ಮತ್ತು translational follow-upಗೆ ಈಗಾಗಲೇ ಕೇಂದ್ರವಾಗಿದೆ, ಏಕೆಂದರೆ genetic support ಇರುವ mechanisms ಅನುಮೋದಿತ ಚಿಕಿತ್ಸೆಗಳ ಕಡೆಗೆ ಸಾಗುವ ಸಾಧ್ಯತೆ ಹೆಚ್ಚು.

ಇದೇ ವೇಳೆ, sequencing ವೆಚ್ಚಗಳು ಭಾರಿಯಾಗಿ ಕುಸಿದಿವೆ, ಮತ್ತು biobank-ಮಟ್ಟದ datasets ಈಗ molecular, phenotypic ಮತ್ತು ಆರೋಗ್ಯ-ದಾಖಲೆ ಮಾಹಿತಿಯನ್ನು ಅಪೂರ್ವ ವ್ಯಾಪ್ತಿಯಲ್ಲಿ ಜೋಡಿಸುತ್ತವೆ. ಮಿತಿಗೊಳಿಸುವ ಅಂಶ data generationನಿಂದ ಮಾಹಿತಿಯನ್ನು actionable insights ಆಗಿ ಪರಿವರ್ತಿಸುವುದಕ್ಕೆ ಸರಿಯುತ್ತಿದೆ. ಮಾನವ ತಜ್ಞರ ತಂಡಗಳು ಈಗ ನಿರ್ವಹಿಸುವ ವಿಶ್ಲೇಷಣೆಗಳನ್ನು ನಿರಂತರವಾಗಿ ಮಾಡಬಲ್ಲ ಮಾಡೆಲ್‌ಗಳು hypothesis triage, target follow-up, ಮತ್ತು data generation ಹಾಗೂ decision-making ನಡುವಿನ iteration cycle ಅನ್ನು ವೇಗಗೊಳಿಸಿ ಕೈಗಾರಿಕಾ ಸಂಶೋಧನೆಯನ್ನು ಪರಿವರ್ತಿಸಬಹುದು.

GeneBench-Pro, ಅನುಭವಿಗಳಲ್ಲಿರುವ ಉತ್ತಮ ವೈಜ್ಞಾನಿಕ ತೀರ್ಪಿಗೆ ಸಂಬಂಧಿಸಿದ ಹೆಚ್ಚು ಅಮೂರ್ತ ಕೌಶಲ್ಯಗಳನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡುವ ಆರಂಭಿಕ ಪ್ರಯತ್ನವಾಗಿದೆ. ಈ ಕೌಶಲ್ಯಗಳು ಅವರಿಗೆ ಅತ್ಯಂತ ಭರವಸೆಯ ಆರಂಭಿಕ ವಿಶ್ಲೇಷಣೆಗಳನ್ನು ಊಹಿಸಿ ಗುರುತಿಸಲು, ಡೇಟಾ ಆರಂಭಿಕ ಊಹೆಗಳಿಗೆ ವಿರುದ್ಧವಾದಾಗ ತಮ್ಮ ಚಿಂತನೆ ಮರುಪರಿಶೀಲಿಸಿ ಪರಿಷ್ಕರಿಸಲು, ಮತ್ತು downstream clinical, academic ಅಥವಾ business ನಿರ್ಧಾರಗಳು ಅವಲಂಬಿಸಬಹುದಾದ ತೀರ್ಮಾನಗಳಿಗೆ ಬರಲು ನೆರವಾಗುತ್ತವೆ.

ಮಾಡೆಲ್ ಸಾಮರ್ಥ್ಯಗಳು ಮುಂದುವರಿದಂತೆ, ಕೇವಲ ಪುಸ್ತಕ ಜ್ಞಾನ ಅಥವಾ routine analyses ನಡೆಸುವ ಸಾಮರ್ಥ್ಯವನ್ನು ಪರೀಕ್ಷಿಸುವ benchmarksಗಿಂತ, ಈ ಉನ್ನತ ಅಮೂರ್ತ ಮಟ್ಟಗಳಲ್ಲಿ ಮಾಡೆಲ್ ಸಾಮರ್ಥ್ಯಗಳನ್ನು ಪರಿಶೀಲಿಸುವ benchmarks ಹೆಚ್ಚು ಉಪಯುಕ್ತವಾಗುತ್ತವೆ ಎಂದು ನಾವು ನಿರೀಕ್ಷಿಸುತ್ತೇವೆ.

2026

ಲೇಖಕ

OpenAI

ಓದು ಮುಂದುವರಿಸಿ

ಎಲ್ಲವನ್ನೂ ನೋಡಿ

A near-autonomous AI chemist improves a challenging reaction

ಸಮೀಪ-ಸ್ವಾಯತ್ತ AI ರಸಾಯನಶಾಸ್ತ್ರಜ್ಞನು ಔಷಧೀಯ ರಸಾಯನಶಾಸ್ತ್ರದಲ್ಲಿ ಸವಾಲಿನ ಪ್ರತಿಕ್ರಿಯೆಯನ್ನು ಸುಧಾರಿಸುತ್ತಾನೆ

ಸಂಶೋಧನೆಜೂನ್ 17, 2026

LifeSciBench ಪರಿಚಯ

ಸಂಶೋಧನೆಜೂನ್ 17, 2026

ನಿಯೋಜನೆಯನ್ನು ಸಿಮ್ಯುಲೇಟ್ ಮಾಡಿ ಬಿಡುಗಡೆಗೂ ಮೊದಲು ಮಾಡೆಲ್ ವರ್ತನೆಯನ್ನು ಊಹಿಸುವುದು

ಸಂಶೋಧನೆಜೂನ್ 16, 2026