LifeSciBenchची ओळख

एजंटिक AI प्रणाली वैज्ञानिक कार्ये करण्यास अधिकाधिक सक्षम होत आहेत. तथापि, जीवन-विज्ञान संशोधकांसाठी त्यांची उपयुक्तता वास्तविक संशोधनातील गुंतागुंत त्या किती चांगल्या हाताळतात यावर अवलंबून असते. असे काम क्वचितच एखाद्या एकाच तथ्य-आठवण प्रश्नासारखे किंवा स्वच्छ भाकीत समस्येसारखे दिसते. संशोधक अपूर्ण पुराव्यांचा अर्थ लावतात, विरोधी निकाल जुळवतात, कठीण प्रयोग डिझाइन करतात, अस्सेतील अडचणी सोडवतात, ट्रान्सलेशनल जोखीम तपासतात आणि अनिश्चिततेत पुढे काय करायचे ते ठरवतात.

सध्याचे बेंचमार्क या क्षमतांचे पूर्ण चित्र पकडत नाहीत. अनेक जीवन-विज्ञान मूल्यमापने अरुंद क्षेत्रांवर किंवा वेगळ्या कौशल्यांवर लक्ष केंद्रित करतात, त्यामुळे प्रश्नांची रचना ठरावीक असते आणि संदर्भ उत्तरे स्वच्छ असतात. ती उपयुक्त असली तरी, संशोधन-स्तरीय कामाच्या विस्तृत पट्ट्यात मॉडेल खरोखर योगदान देऊ शकते का हे ती अनेकदा नीट मोजू शकत नाहीत.

ही दरी कमी करण्यासाठी आम्ही LifeSciBench तयार केले. प्रत्येक कार्य हे Ph.D.-स्तरीय प्रशिक्षण घेतलेल्या आणि जैवतंत्रज्ञान व औषधनिर्मिती वातावरणात औषध शोध कार्यक्रम पुढे नेण्याचा थेट अनुभव असलेल्या कार्यरत जीवन-विज्ञान तज्ज्ञांच्या निर्णयावर आधारित आहे.

LifeSciBench मध्ये सात कार्यप्रवाह आणि सात जैविक क्षेत्रांमध्ये पसरलेली 750 तज्ज्ञांनी लिहिलेली कार्ये आहेत.

LifeSciBench AI प्रणाली वास्तववादी जीवन-विज्ञान संशोधन कार्यांना आधार देऊ शकतात का हे मोजते, फक्त जीवशास्त्र प्रश्नांची उत्तरे देतात का हे नाही. बेंचमार्क टॅक्सोनॉमी ठरवण्यासाठी, आम्ही अनुप्रयुक्त संशोधन वातावरणात सर्वाधिक वापरल्या जाणाऱ्या कार्यप्रवाहांबद्दल कार्यरत जीवन-विज्ञान तज्ज्ञांचे सर्वेक्षण केले. त्यानंतर आम्ही त्यांच्या प्रतिसादांना सात वारंवार दिसणाऱ्या श्रेणींमध्ये गटबद्ध केले: पुरावा हाताळणी, विश्लेषण, डिझाइन आणि ऑप्टिमायझेशन, वैज्ञानिक रीझनिंग, प्रमाणीकरण आणि ऑपरेशन्स, ट्रान्सलेशन, आणि वैज्ञानिक संप्रेषण.

प्रत्येक कार्य एखादा वैज्ञानिक जाणकार सहकाऱ्याला देईल अशा विनंतीसारखे रचलेले आहे: वैज्ञानिक प्रॉम्प्ट, संबंधित संदर्भ किंवा आर्टिफॅक्ट्स, आणि मुक्त-उत्तर प्रतिसाद. तज्ज्ञांनी लिहिलेली रुब्रिक्स विशिष्ट समस्येसाठी मॉडेल योग्य उत्तर, योग्य तपशील, समर्थन, सावधगिरी आणि वैज्ञानिक अपेक्षित करेल असे फॉरमॅटिंग देऊ शकते का हे तपासतात.

LifeSciBench वैज्ञानिक रीझनिंगबरोबरच प्रत्यक्ष वैज्ञानिक वापरासाठी आवश्यक असलेल्या, कमी स्पष्टपणे परिभाषित व्यावहारिक कौशल्यांचे मूल्यमापन करते. यातील कार्ये मॉडेलना वास्तववादी संशोधन समस्यांवर काम करायला लावतात: पुरावे समजून घेणे, क्षेत्राधारित निर्णय घेणे आणि तज्ज्ञ समीक्षकांना उपयुक्त ठरतील असे निष्कर्ष मांडणे. अनेक कार्यांमध्ये मॉडेलना अनिश्चितता हाताळावी लागते आणि फक्त प्रॉम्प्ट मजकुरावर अवलंबून न राहता सहाय्यक डेटा फायलींवरून रीझनिंग करावे लागते.

हा बेंचमार्क जीवन-विज्ञान कामातील गुंतागुंत प्रतिबिंबित करण्यासाठी डिझाइन केलेला आहे. एकूण 79% कार्यांना अनेक रीझनिंग किंवा निर्णय-घेण्याच्या पायऱ्या लागतात, आणि प्रत्येक कार्यासाठी सरासरी चार पायऱ्या असतात. LifeSciBench मध्ये आकृत्या, PDFs, तक्ते, सिक्वेन्स फायली, स्ट्रक्चर किंवा रासायनिक फायली आणि वेब संदर्भ अशा 1,062 संलग्न आर्टिफॅक्ट्सचा समावेश आहे. निम्म्याहून अधिक कार्यांमध्ये (53%) मॉडेलना किमान एका आर्टिफॅक्टमधील माहितीचा अर्थ लावावा किंवा ती एकत्रित करावी लागते.

विविध जीवन-विज्ञान शाखांतील 173 तज्ज्ञ वैज्ञानिकांनी ही कार्ये तयार केली. प्रत्येक वैज्ञानिकाकडे Ph.D.-स्तरीय प्रशिक्षण आणि जैवतंत्रज्ञान किंवा औषधनिर्मिती उद्योगातील अनुभव होता. स्वीकृतीपूर्वी कार्यांना आवश्यक तितक्या दुरुस्ती चक्रांतून जाता येत होते, फेऱ्यांच्या संख्येवर निश्चित मर्यादा नव्हती; स्वीकारलेल्या कार्यांनी सरासरी सहा स्व-निर्देशित स्वयंचलित पुनरावलोकन चक्रे पूर्ण केली आणि तज्ज्ञ पुनरावलोकनाच्या किमान दोन फेऱ्या पूर्ण केल्या. पुनरावलोकने पडताळता येणाऱ्या योग्य उत्तरावर किंवा मजबूत तज्ज्ञ सहमतीवर आधारित होती, आणि संबंधित क्षेत्रातील समीक्षकांमध्ये किमान 90% सहमती होती. या प्रक्रियेने स्वीकारलेली कार्ये वैज्ञानिकदृष्ट्या आधारलेली, गुणांकनासाठी पुरेशी स्पष्ट आणि अनुप्रयुक्त संशोधनाचे प्रतिनिधित्व करणारी आहेत याची खात्री करण्यात मदत केली.

LifeSciBench कार्यांना तपशीलवार, कार्य-विशिष्ट रुब्रिकने गुण दिले जातात, जी अपेक्षित प्रतिसादाला विशिष्ट वैज्ञानिक दावे, गणना, निर्णय, समर्थन इत्यादींमध्ये विभागते. संपूर्ण बेंचमार्कमध्ये, तज्ज्ञांनी विकसित केलेल्या रुब्रिक्समध्ये 19,020 निकष आहेत—प्रत्येक कार्यामागे सरासरी 25—जे वैज्ञानिक अचूकता आणि संशोधन निर्णयांसाठी उपयुक्तता दोन्ही मोजतात.

ही रचना वैज्ञानिक काम प्रत्यक्षात कसे मोजले जाते ते प्रतिबिंबित करते: अनेक जीवन-विज्ञान कार्यांचे गुणांकन फक्त अंतिम उत्तर तपासून करता येत नाही. एखादा प्रतिसाद उच्च पातळीवरील योग्य निष्कर्षापर्यंत पोहोचू शकतो, पण उदाहरणार्थ तो महत्त्वाची अस्से मर्यादा चुकवतो किंवा फार परिणामकारक जैविक बारकावा पुढाकाराने मांडत नाही, तर तो अपूर्ण मानला जाऊ शकतो. उलट, एखादा अंशतः प्रतिसाद कार्य पूर्णपणे सोडवत नसला तरी त्यात उच्च-गुणवत्तेचे रीझनिंग असू शकते.

सूक्ष्म रुब्रिक्स हा बारकावा पकडतात. LifeSciBench फक्त अंतिम उत्तराची अचूकता मोजत नाही; मॉडेल वैज्ञानिकदृष्ट्या वैध आणि कार्यात्मकदृष्ट्या उपयुक्त मार्गाने उत्तरापर्यंत पोहोचते का हेही मोजते.

आम्ही स्वतंत्र तज्ज्ञ पुनरावलोकनाद्वारे LifeSciBench प्रमाणित केले. कार्ये लिहिण्यात सहभागी नसलेल्या 453 समीक्षकांकडून अभिप्राय मिळाला. या समीक्षकांपैकी 97% कडे Ph.D. किंवा समतुल्य डॉक्टरेट होती, क्षेत्रातील सरासरी 12 वर्षांचा अनुभव आणि 14 सहकर्मी-पुनरावलोकित प्रकाशने होती; 88% जणांनी किमान एक पुरस्कार किंवा फेलोशिप मिळाल्याचे नोंदवले.

प्रत्येक कार्य मजबूत बेंचमार्क प्रश्नासाठी आवश्यक गुण दाखवते का याला समीक्षकांनी गुण दिले: प्रत्यक्ष जगातील संशोधनाशी संरेखन, वैज्ञानिक रीझनिंग आणि क्षेत्रतज्ज्ञतेची योग्य चाचणी, पुरावा किंवा तज्ज्ञ सहमतीवर आधार, आणि मॉडेल कार्यप्रदर्शनाचे मूल्यमापन करण्यासाठी एकूण उपयुक्तता. प्रत्येक श्रेणीत सहमती 96% पेक्षा जास्त होती.

समीक्षकांच्या टिप्पण्यांनी परिमाणात्मक रेटिंग्ज अधिक बळकट केल्या:

आम्ही दोन परस्परपूरक मेट्रिक्स नोंदवतो. उत्तीर्ण दर म्हणजे ज्या कार्यांमध्ये मॉडेल 70% या कार्य-स्तरीय यश मर्यादेला पोहोचते त्यांची टक्केवारी. स्कोर म्हणजे सरासरी रुब्रिक रिवॉर्ड, ज्यात संपूर्ण कार्य न सुटले तरी स्वतंत्र निकषांसाठी अंशतः श्रेय दिले जाते. दोन्ही महत्त्वाचे आहेत, कारण वैज्ञानिक कार्याला दिलेला प्रतिसाद पूर्ण उत्तराच्या प्रत्येक अटी पूर्ण न करता अंशतः योग्य किंवा उपयुक्त असू शकतो.

मॉडेलचे कार्यप्रदर्शन कार्यप्रकार, कार्यप्रवाह आणि प्रतिसाद स्वरूपानुसार मोठ्या प्रमाणात बदलते.

LifeSciBench दाखवते की फ्रंटियर मॉडेल्स वैज्ञानिक संश्लेषण, संप्रेषण आणि संरचित अर्थलावणी असलेल्या कार्यांमध्ये तुलनेने सर्वाधिक मजबूत आहेत. निरपेक्ष उत्तीर्ण दर अजूनही मध्यम आहेत, त्यामुळे ही बेंचमार्क क्षेत्रे अजून संपृक्त झालेली नाहीत; परंतु GPT‑Rosalind ने GPT‑5.5 पेक्षा अर्थपूर्ण प्रगती दाखवली आहे, एकूण अचूक उत्तीर्ण दर 25.7% वरून 36.1% पर्यंत वाढवला आहे.

मॉडेल क्षमतांमधील प्रगतीची सर्वात मजबूत दिशा वैज्ञानिक संप्रेषण आणि ट्रान्सलेशनमध्ये दिसते. उदाहरणार्थ, वैज्ञानिक संप्रेषणातील उत्तीर्ण दर GPT‑5.5 साठी 56.3% वरून GPT‑Rosalind साठी 71.1% पर्यंत वाढतो; ही श्रेणी लहान आहे (n=9), म्हणून तिचा अर्थ सावधपणे लावावा, पण यावरून फ्रंटियर मॉडेल्स पुरावे मांडणे आणि तज्ज्ञांसाठी पटणारी स्पष्टीकरणे तयार करणे यात झपाट्याने सुधारत आहेत असे सूचित होते. ट्रान्सलेशन म्हणजे औषध विकासातील "प्रयोगशाळेतून रुग्णापर्यंत" प्रक्रिया याचसारखा नमुना दाखवते: GPT‑5.5 साठी 36.8% वरून GPT‑Rosalind साठी 57.7% पर्यंत वाढते, म्हणजे मॉडेल्स प्रीक्लिनिकल पुरावे क्लिनिकल परिणामांशी जोडण्याच्या क्षमतेत जलद सुधारत आहेत.

रुब्रिक-स्तरीय निकालही त्याच दिशेकडे निर्देश करतात. तज्ज्ञांना उपयुक्त किंवा कृतीयोग्य आउटपुट आवश्यक असलेल्या कार्यांवर GPT‑Rosalind 44.7% गुण मिळवते, तर GPT‑5.5 साठी हे 29.1% आहे. अनिश्चितता आणि सावधगिरी हाताळण्याची गरज असलेल्या कार्यांवर ते 44.8% गुण मिळवते, तुलनेत 29.3%. या नमुन्यावरून सूचित होते की कार्याला स्पष्ट पुरावा-सीमा असते आणि संरचित वैज्ञानिक निर्णयाची गरज असते तेव्हा मॉडेल्स सर्वाधिक उपयुक्त ठरतात.

आर्टिफॅक्ट्सवर जास्त अवलंबून, डिझाइनप्रधान आणि कार्यात्मक मर्यादा असलेल्या वैज्ञानिक कामांमध्ये कार्यप्रदर्शन अजून खूपच कमजोर आहे. विशेषतः, डिझाइन, ऑप्टिमायझेशन, & प्रेडिक्शन हा अजूनही सर्वात कठीण कार्यप्रवाहांपैकी एक आहे, GPT‑Rosalind चा उत्तीर्ण दर 30.7% आहे; विश्लेषणही 30.3% वर तितकेच कठीण आहे.

आर्टिफॅक्ट वापर हा विशेषतः स्पष्ट अंतर आहे. आर्टिफॅक्ट-प्रधान परिस्थितीत GPT‑Rosalind GPT‑5.5 पेक्षा चांगले काम करत असले तरी, त्याचा उत्तीर्ण दर फक्त मजकूर असलेल्या कार्यांवर 45.1% वरून आर्टिफॅक्ट्स किंवा URLs असलेल्या कार्यांवर 28.1% पर्यंत घसरतो. GPT‑5.5 मध्येही तोच नमुना दिसतो, 29.9% वरून 21.9% पर्यंत घट होते. अधिक तपशीलवार विश्लेषण पुष्टी करते की फ्रंटियर मॉडेल्स जटिल आकृत्यांमधून किंवा मोठ्या सिक्वेन्स फायलींमधून माहिती काढणे आणि ती अंतिम उत्तरात समाविष्ट करणे यात अडखळतात.

उत्तराचे स्वरूपही महत्त्वाचे असते. अचूक सिक्वेन्स, स्ट्रक्चर किंवा कन्स्ट्रक्ट-स्तरीय आउटपुट आवश्यक असलेल्या कार्यांमध्ये उत्तीर्ण दर कमी दिसतात: GPT‑Rosalind संख्यात्मक कार्यांवर फक्त 14.8% आणि सिक्वेन्स किंवा स्ट्रक्चर आउटपुटवर 24.0% पर्यंत पोहोचते. कन्स्ट्रक्ट-जनरेशन कार्येही नाजूक ठरतात; GPT‑Rosalind 27.3% वर आहे आणि GPT‑5.5 पेक्षा फारशी सुधारणा दाखवत नाही. या अंतराचा काही भाग अचूक-उत्तर कार्यांसाठी असलेल्या अधिक कठोर गुणांकन पृष्ठभागामुळे असू शकतो, जिथे गणना किंवा फॉरमॅटिंगमधील छोटे फरकही प्रतिसादाला उत्तीर्ण मर्यादेखाली ढकलू शकतात. तरीही, या अपयशांना वैज्ञानिक अर्थ आहे, कारण CRISPR/HDR डोनर डिझाइन किंवा siRNA डिझाइनसारख्या अनेक जीवन-विज्ञान कार्यप्रवाहांना थेट वापरता येतील इतकी अचूक आउटपुट्स लागतात.

मॉडेल्स अनेकदा कार्य काही अंशी पार पाडतात, पण ते पूर्णपणे सोडवत नाहीत. सुमारे 14% कार्यांमध्ये, मॉडेल्सनी अचूक-उत्तीर्ण मर्यादा पूर्ण केली नाही तरी मोठे रुब्रिक श्रेय मिळवले. GPT‑Rosalind साठी, 109 कार्यांचे उत्तीर्ण दर 20% पेक्षा कमी होते, तरीही त्यांना किमान 50% रुब्रिक रिवॉर्ड मिळाले. प्रत्यक्षात याचा अर्थ असा की मॉडेल्स संबंधित पुरावे ओळखू शकतात किंवा संभाव्य अंशतः उत्तर देऊ शकतात, पण तरीही एखादी महत्त्वाची अट चुकवतात, चुकीचा पुरावा वापरतात, अपूर्ण गणना करतात किंवा आपले रीझनिंग वैज्ञानिकदृष्ट्या उपयुक्त अंतिम निर्णयाशी जोडत नाहीत म्हणून अपयशी ठरतात.

LifeSciBench जीवन-विज्ञान संशोधनासाठी AI प्रणाली किती उपयुक्त ठरू शकतात हे मोजण्याकडे टाकलेले एक पाऊल आहे, पण प्रत्यक्ष संशोधन वातावरणात मॉडेल्सचा अभ्यास करण्याचा तो पर्याय नाही. हा बेंचमार्क पुनरावृत्ती होणाऱ्या उद्योग कार्यप्रवाहांचे प्रतिनिधित्व करणाऱ्या स्वयंपूर्ण कार्यांवर लक्ष केंद्रित करतो, पण अनेक वैज्ञानिक विशेषता आणि कार्यप्रकार त्याच्या सध्याच्या व्याप्तीबाहेर ठेवतो. खरे संशोधन पुनरावृत्तीपूर्ण असते: वैज्ञानिक नवे पुरावे गोळा करतात, गृहीते सुधारतात, पुढील प्रयोग डिझाइन करतात आणि निकाल मिळत गेल्यावर योजना बदलतात.

म्हणून LifeSciBench वरील मजबूत कार्यप्रदर्शनाचा अर्थ प्रत्यक्ष कार्य-स्तरीय क्षमतेचा पुरावा असा लावावा, पुढील संशोधन परिणामाचा थेट माप म्हणून नव्हे. हा बेंचमार्क उद्योग कार्यप्रवाहांवर आधारित आहे, पण प्रत्यक्ष संशोधन कार्यक्रमांची पूर्ण विविधता किंवा गतिशीलता पकडत नाही, जिथे प्रगती काळानुसार उलगडणाऱ्या घटकांवर अवलंबून असते.

पुढील पाऊल म्हणजे बेंचमार्क कार्यप्रदर्शन प्रत्यक्ष संशोधन कार्यप्रवाहांतील तैनाती अभ्यासांशी जोडणे. LifeSciBench कार्यरत वैज्ञानिकांसह विकसित केले असले तरी, AI प्रणाली शोधाला गती देतात का किंवा R&D परिणाम सुधारतात का हे मोजण्यासाठी वास्तविक संशोधन वातावरणात, दीर्घ कालावधीत आणि रीझनिंग, अभिप्राय व प्रायोगिक पाठपुरावा यांच्या अनेक फेऱ्यांत मॉडेल वापर व कार्यप्रदर्शनाचा अभ्यास करावा लागेल.