LifeSciBench का परिचय

एजेंटिक AI सिस्टम वैज्ञानिक कार्य करने में लगातार अधिक सक्षम होते जा रहे हैं. हालाँकि, जीवन विज्ञान शोधकर्ताओं के लिए उनकी उपयोगिता इस पर निर्भर करती है कि वे वास्तविक शोध की जटिलता को कितनी अच्छी तरह संभालते हैं. यह काम शायद ही कभी किसी एक तथ्य-स्मरण प्रश्न या साफ-सुथरी भविष्यवाणी समस्या जैसा होता है. शोधकर्ता अधूरे साक्ष्य की व्याख्या करते हैं, विरोधाभासी परिणामों का सामंजस्य करते हैं, कठिन प्रयोग डिज़ाइन करते हैं, असे की समस्याएँ दूर करते हैं, ट्रांसलेशनल जोखिम का मूल्यांकन करते हैं, और अनिश्चितता में अगला कदम तय करते हैं.

मौजूदा बेंचमार्क इन क्षमताओं को पूरी तरह नहीं पकड़ते. जीवन विज्ञान के कई मूल्यांकन संकीर्ण क्षेत्रों या अलग-थलग कौशलों पर केंद्रित होते हैं, जिससे संरचित प्रश्न प्रारूपों और साफ संदर्भ उत्तरों वाले प्रश्न बनते हैं. वे उपयोगी हैं, फिर भी अक्सर यह सही मायने में नहीं परख पाते कि कोई मॉडल शोध-स्तर के व्यापक काम में योगदान दे सकता है या नहीं.

हमने इस अंतर को कम करने में मदद के लिए LifeSciBench डिज़ाइन किया. हर कार्य उन सक्रिय जीवन वैज्ञानिकों के निर्णय पर आधारित है जिनके पास Ph.D.-स्तर का प्रशिक्षण और बायोटेक तथा फ़ार्मास्यूटिकल परिवेशों में ड्रग डिस्कवरी कार्यक्रमों को आगे बढ़ाने का प्रत्यक्ष अनुभव है.

LifeSciBench में सात वर्कफ़्लो और सात जैविक क्षेत्रों में फैले 750 विशेषज्ञ-लिखित कार्य शामिल हैं.

LifeSciBench यह मापता है कि AI सिस्टम केवल जीवविज्ञान के प्रश्नों का उत्तर देने के बजाय वास्तविक जीवन विज्ञान शोध कार्यों में सहायता कर सकते हैं या नहीं. बेंचमार्क टैक्सोनॉमी परिभाषित करने के लिए, हमने सक्रिय जीवन वैज्ञानिकों से उन वर्कफ़्लो के बारे में सर्वे किया जिनका वे अनुप्रयुक्त शोध परिवेशों में सबसे अधिक उपयोग करते हैं. फिर हमने उनके उत्तरों को सात बार-बार आने वाली श्रेणियों में रखा: साक्ष्य प्रबंधन, विश्लेषण, डिज़ाइन और ऑप्टिमाइज़ेशन, वैज्ञानिक रीज़निंग, वैलिडेशन और ऑपरेशंस, अनुवाद, और वैज्ञानिक संचार.

हर कार्य उस अनुरोध की तरह संरचित है जो कोई वैज्ञानिक किसी जानकार सहयोगी को दे सकता है: वैज्ञानिक प्रॉम्प्ट, कोई भी प्रासंगिक संदर्भ या आर्टिफैक्ट, और मुक्त-उत्तर प्रतिक्रिया. विशेषज्ञों द्वारा लिखे रूब्रिक यह मूल्यांकन करते हैं कि कोई मॉडल किसी विशिष्ट समस्या के लिए वह सही उत्तर दे सकता है या नहीं, जिसमें विवरण, औचित्य, सावधानियों और फ़ॉर्मैटिंग का वही स्तर हो जिसकी वैज्ञानिक अपेक्षा करेगा.

LifeSciBench वैज्ञानिक रीज़निंग के साथ-साथ उन कम स्पष्ट परिभाषित, व्यावहारिक कौशलों का मूल्यांकन करता है जो वास्तविक दुनिया में वैज्ञानिक उपयोग के लिए आवश्यक हैं. इसके कार्य मॉडल से वास्तविक शोध समस्याओं पर काम करवाते हैं: साक्ष्य की व्याख्या करना, क्षेत्र-आधारित निर्णय लेना, और ऐसे निष्कर्ष संप्रेषित करना जो विशेषज्ञ समीक्षकों के लिए उपयोगी हों. कई कार्यों में मॉडल को केवल प्रॉम्प्ट टेक्स्ट पर निर्भर रहने के बजाय अनिश्चितता संभालनी और सहायक डेटा फ़ाइलों पर रीज़निंग करनी होती है.

बेंचमार्क को जीवन विज्ञान कार्य की जटिलता दर्शाने के लिए डिज़ाइन किया गया है. कुल मिलाकर, 79% कार्यों में रीज़निंग या निर्णय लेने के कई चरण चाहिए होते हैं, प्रति कार्य औसतन चार चरण. LifeSciBench में 1,062 संलग्न आर्टिफैक्ट शामिल हैं, जिनमें चित्र, PDF, तालिकाएँ, अनुक्रम फ़ाइलें, संरचना या रासायनिक फ़ाइलें, और वेब संदर्भ शामिल हैं. आधे से अधिक कार्यों (53%) में मॉडल को कम से कम एक आर्टिफैक्ट से जानकारी की व्याख्या या संश्लेषण करना होता है.

कार्य विभिन्न जीवन विज्ञान विषयों के 173 विशेषज्ञ वैज्ञानिकों ने बनाए. हर वैज्ञानिक के पास Ph.D.-स्तर का प्रशिक्षण और जैव-प्रौद्योगिकी या फ़ार्मास्यूटिकल उद्योग का अनुभव था. स्वीकृति से पहले कार्यों में जितने आवश्यक हों उतने संशोधन चक्र हो सकते थे, राउंड की संख्या पर कोई तय सीमा नहीं थी; स्वीकृत कार्यों में औसतन छह स्व-निर्देशित स्वचालित समीक्षा चक्र हुए और विशेषज्ञ समीक्षा के कम से कम दो राउंड पूरे हुए. समीक्षाएँ या तो सत्यापनीय सही उत्तर पर आधारित थीं या मजबूत विशेषज्ञ सहमति पर, जिसमें संबंधित क्षेत्र के समीक्षकों के बीच कम से कम 90% सहमति थी. इस प्रक्रिया ने यह सुनिश्चित करने में मदद की कि स्वीकृत कार्य वैज्ञानिक आधार पर टिके, ग्रेड करने के लिए पर्याप्त स्पष्ट, और अनुप्रयुक्त शोध के प्रतिनिधि हों.

LifeSciBench कार्यों की ग्रेडिंग विस्तृत, कार्य-विशिष्ट रूब्रिक से की जाती है, जो अपेक्षित प्रतिक्रिया को विशिष्ट वैज्ञानिक दावों, गणनाओं, निर्णयों, औचित्यों आदि में विभाजित करता है. पूरे बेंचमार्क में, विशेषज्ञों द्वारा विकसित रूब्रिक में 19,020 मानदंड शामिल हैं, औसतन 25 प्रति कार्य, ताकि वैज्ञानिक शुद्धता और शोध निर्णयों के लिए उपयोगिता दोनों का आकलन किया जा सके.

यह डिज़ाइन दिखाता है कि व्यवहार में वैज्ञानिक काम का मूल्यांकन कैसे होता है: जीवन विज्ञान के कई कार्यों को केवल अंतिम उत्तर जाँचकर ग्रेड नहीं किया जा सकता. कोई प्रतिक्रिया सही उच्च-स्तरीय निष्कर्ष तक पहुँच सकती है, लेकिन फिर भी अधूरी मानी जा सकती है, उदाहरण के लिए, यदि वह किसी प्रमुख असे सीमा को अनदेखा कर दे या अत्यधिक महत्वपूर्ण जैविक सूक्ष्मता को सक्रिय रूप से सामने न लाए. इसके विपरीत, कोई आंशिक प्रतिक्रिया उच्च-गुणवत्ता वाली रीज़निंग रख सकती है, भले ही वह कार्य को पूरी तरह हल न करे.

सूक्ष्म रूब्रिक इस बारीकी को पकड़ते हैं. LifeSciBench केवल अंतिम उत्तर की शुद्धता नहीं, बल्कि यह भी मूल्यांकन करता है कि कोई मॉडल अपने उत्तर तक वैज्ञानिक रूप से वैध और संचालन की दृष्टि से उपयोगी तरीके से पहुँचता है या नहीं.

हमने स्वतंत्र विशेषज्ञ समीक्षा के माध्यम से LifeSciBench को सत्यापित किया. फ़ीडबैक 453 समीक्षकों से आया, जो कार्य लिखने में शामिल नहीं थे. इन समीक्षकों में 97% के पास Ph.D. या समकक्ष डॉक्टरेट थी, औसतन 12 वर्ष का क्षेत्रीय अनुभव और 14 पीयर-रिव्यू प्रकाशन थे; 88% ने कम से कम एक पुरस्कार या फ़ेलोशिप मिलने की सूचना दी.

समीक्षकों ने यह स्कोर किया कि हर कार्य एक मजबूत बेंचमार्क प्रश्न के लिए आवश्यक गुणों को दर्शाता है या नहीं: वास्तविक शोध कार्य से मेल, वैज्ञानिक रीज़निंग और क्षेत्रीय विशेषज्ञता की उपयुक्त जाँच, साक्ष्य या विशेषज्ञ सहमति में आधार, और मॉडल प्रदर्शन के आकलन के लिए समग्र उपयोगिता. हर श्रेणी में सहमति 96% से अधिक रही.

समीक्षकों की टिप्पणियों ने मात्रात्मक रेटिंग को और मजबूत किया:

हम दो पूरक मेट्रिक रिपोर्ट करते हैं. पास दर उन कार्यों का प्रतिशत है जिनमें कोई मॉडल 70% की कार्य-स्तरीय सफलता सीमा पूरी करता है. स्कोर औसत रूब्रिक रिवॉर्ड है, जो पूरा कार्य हल न होने पर भी व्यक्तिगत मानदंडों के लिए आंशिक श्रेय देता है. दोनों मायने रखते हैं, क्योंकि वैज्ञानिक कार्य पर कोई प्रतिक्रिया पूर्ण उत्तर की हर आवश्यकता पूरी किए बिना भी आंशिक रूप से सही या उपयोगी हो सकती है.

मॉडल का प्रदर्शन कार्य प्रकार, वर्कफ़्लो और प्रतिक्रिया प्रारूप के अनुसार काफ़ी बदलता है.

LifeSciBench दिखाता है कि फ़्रंटियर मॉडल वैज्ञानिक संश्लेषण, संचार और संरचित व्याख्या से जुड़े कार्यों में अपेक्षाकृत सबसे मजबूत हैं. पूर्ण पास दरें अभी भी सीमित हैं, इसलिए ये बेंचमार्क क्षेत्र संतृप्ति से बहुत दूर हैं, लेकिन GPT‑Rosalind, GPT‑5.5 की तुलना में सार्थक प्रगति दिखाता है, जिससे कुल सटीक पास दर 25.7% से बढ़कर 36.1% हो जाती है.

मॉडल क्षमताओं में प्रगति की सबसे मजबूत दिशाएँ वैज्ञानिक संचार और अनुवाद में दिखाई देती हैं. उदाहरण के लिए, वैज्ञानिक संचार की पास दर GPT‑5.5 के 56.3% से बढ़कर GPT‑Rosalind के लिए 71.1% हो जाती है; यह श्रेणी छोटी है (n=9), इसलिए इसकी व्याख्या सावधानी से की जानी चाहिए, लेकिन यह संकेत देती है कि फ़्रंटियर मॉडल साक्ष्य को व्यवस्थित करने और विशेषज्ञों के लिए प्रभावी व्याख्याएँ तैयार करने की क्षमता में तेज़ी से सुधर रहे हैं. अनुवाद, यानी दवा विकास की "बेंच-टू-बेडसाइड" प्रक्रिया, भी ऐसा ही पैटर्न दिखाता है, GPT‑5.5 के 36.8% से बढ़कर GPT‑Rosalind के लिए 57.7% हो जाता है, जिससे संकेत मिलता है कि मॉडल प्रीक्लिनिकल साक्ष्य को क्लिनिकल निहितार्थों से जोड़ने की क्षमता में तेज़ी से सुधर रहे हैं.

रूब्रिक-स्तरीय परिणाम भी इसी दिशा की ओर संकेत करते हैं. विशेषज्ञों के लिए उपयोगी या कार्रवाई योग्य आउटपुट की आवश्यकता वाले कार्यों में, GPT‑Rosalind 44.7% स्कोर करता है, जबकि GPT‑5.5 का स्कोर 29.1% है. अनिश्चितता और सावधानियों को संभालने की आवश्यकता वाले कार्यों में, यह 44.8% स्कोर करता है, जबकि तुलना में 29.3% है. यह पैटर्न संकेत देता है कि मॉडल तब सबसे उपयोगी होते हैं जब कार्य की साक्ष्य सीमा स्पष्ट हो और वह संरचित वैज्ञानिक निर्णय की माँग करे.

आर्टिफैक्ट-प्रधान, डिज़ाइन-प्रधान और संचालनगत रूप से बाधित वैज्ञानिक कार्यों में प्रदर्शन बहुत कमजोर रहता है. विशेष रूप से, डिज़ाइन, ऑप्टिमाइज़ेशन & प्रेडिक्शन सबसे कठिन वर्कफ़्लो में से एक बना रहता है, जिसमें GPT‑Rosalind की पास दर 30.7% है; विश्लेषण भी 30.3% पर समान रूप से कठिन है.

आर्टिफैक्ट का उपयोग एक खास तौर पर स्पष्ट कमी है. हालाँकि GPT‑Rosalind आर्टिफैक्ट-प्रधान स्थितियों में GPT‑5.5 से बेहतर प्रदर्शन करता है, फिर भी इसकी पास दर केवल टेक्स्ट वाले कार्यों में 45.1% से घटकर आर्टिफैक्ट या URL वाले कार्यों में 28.1% रह जाती है. GPT‑5.5 भी यही पैटर्न दिखाता है, 29.9% से घटकर 21.9%. एक अधिक विस्तृत विश्लेषण पुष्टि करता है कि फ़्रंटियर मॉडल जटिल चित्रों या बड़ी अनुक्रम फ़ाइलों से जानकारी निकालने और उस जानकारी को अंतिम उत्तर में जोड़ने में संघर्ष करते हैं.

उत्तर का प्रारूप भी मायने रखता है. सटीक अनुक्रम, संरचना या कंस्ट्रक्ट-स्तर के आउटपुट की आवश्यकता वाले कार्य कम पास दरें दिखाते हैं: GPT‑Rosalind संख्यात्मक कार्यों में केवल 14.8% और अनुक्रम या संरचना आउटपुट में 24.0% तक पहुँचता है. कंस्ट्रक्ट-जनरेशन कार्य भी नाज़ुक हैं, जिनमें GPT‑Rosalind 27.3% पर है और GPT‑5.5 की तुलना में बहुत कम सुधार दिखाता है. इस अंतर का कुछ हिस्सा सटीक-उत्तर कार्यों के लिए कठोर ग्रेडिंग सतह को दर्शा सकता है, जहाँ गणना या फ़ॉर्मैटिंग में छोटे अंतर प्रतिक्रिया को पास सीमा से नीचे पहुँचा सकते हैं. फिर भी, ये विफलताएँ वैज्ञानिक रूप से अर्थपूर्ण हैं, क्योंकि कई जीवन विज्ञान वर्कफ़्लो में ऐसे आउटपुट चाहिए होते हैं जो सीधे उपयोग करने के लिए पर्याप्त सटीक हों, जैसे CRISPR/HDR डोनर डिज़ाइन या siRNA डिज़ाइन में.

मॉडल अक्सर कार्य का कुछ हिस्सा पूरा कर लेते हैं, लेकिन उसे पूरी तरह हल नहीं कर पाते. लगभग 14% कार्यों में, मॉडल सटीक-पास सीमा पूरी न करने के बावजूद पर्याप्त रूब्रिक श्रेय अर्जित करते हैं. GPT‑Rosalind के लिए, 109 कार्यों की पास दरें 20% से कम थीं, फिर भी उन्हें कम से कम 50% रूब्रिक रिवॉर्ड मिला. व्यवहार में, इसका मतलब है कि मॉडल प्रासंगिक साक्ष्य पहचान सकते हैं या संभावित आंशिक उत्तर दे सकते हैं, लेकिन फिर भी विफल हो जाते हैं क्योंकि वे कोई प्रमुख बाधा छोड़ देते हैं, गलत साक्ष्य का उपयोग करते हैं, अधूरी गणना करते हैं, या अपनी रीज़निंग को वैज्ञानिक रूप से उपयोगी अंतिम निर्णय से नहीं जोड़ते.

LifeSciBench यह मापने की दिशा में एक कदम है कि AI सिस्टम जीवन विज्ञान शोध के लिए कितने उपयोगी हो सकते हैं, लेकिन यह लाइव शोध परिवेशों में मॉडल का अध्ययन करने का विकल्प नहीं है. बेंचमार्क ऐसे स्व-समाहित कार्यों पर केंद्रित है जो बार-बार आने वाले उद्योग वर्कफ़्लो को दर्शाते हैं, जबकि कई वैज्ञानिक विशेषज्ञताएँ और कार्य प्रकार इसके मौजूदा दायरे से बाहर रहते हैं. वास्तविक शोध पुनरावृत्तिमय होता है: वैज्ञानिक नए साक्ष्य जुटाते हैं, परिकल्पनाएँ संशोधित करते हैं, अनुवर्ती प्रयोग डिज़ाइन करते हैं, और परिणाम सामने आने पर अपनी योजनाएँ बदलते हैं.

इसलिए LifeSciBench पर मजबूत प्रदर्शन को वास्तविक कार्य-स्तरीय क्षमता के साक्ष्य के रूप में समझना चाहिए, न कि डाउनस्ट्रीम शोध प्रभाव के प्रत्यक्ष माप के रूप में. बेंचमार्क उद्योग वर्कफ़्लो पर आधारित है, लेकिन यह लाइव शोध कार्यक्रमों की पूरी विविधता या गतिशीलता को नहीं पकड़ता, जहाँ प्रगति समय के साथ सामने आने वाले कारकों पर निर्भर करती है.

अगला कदम बेंचमार्क प्रदर्शन को लाइव शोध वर्कफ़्लो में डिप्लॉयमेंट अध्ययनों से जोड़ना है. हालाँकि LifeSciBench सक्रिय वैज्ञानिकों के साथ विकसित किया गया था, यह मापने के लिए कि AI सिस्टम खोज को तेज़ करते हैं या R&D परिणामों में सुधार करते हैं, वास्तविक शोध परिवेशों में, लंबी समयावधि में, और रीज़निंग, फ़ीडबैक तथा प्रायोगिक अनुवर्ती के कई दौरों में मॉडल उपयोग और प्रदर्शन का अध्ययन करना होगा.