GeneBench-Pro सादर करत आहे

वैज्ञानिक डेटा सहसा सूचनांसह येत नाही. संशोधकांनी ठरवले पाहिजे की एखादा पॅटर्न जीवशास्त्रीय प्रक्रियांचे प्रतिबिंब आहे की यादृच्छिक व्यत्यय, उपलब्ध डेटा विचारल्या जात असलेल्या प्रश्नाला आधार देऊ शकतो का, आणि प्रत्येक निष्कर्षामुळे त्यांनी पुढे काय करावे यात कसा बदल व्हायला हवा. AI एजंट्स गुंतागुंतीची विश्लेषणे पार पाडण्यास अधिकाधिक सक्षम होत आहेत. परंतु खरे वैज्ञानिक संशोधन केवळ तथ्ये आठवण्यावर किंवा पूर्वनिर्धारित कार्यप्रवाहाचे अनुसरण करण्यावर अवलंबून नसून, अशा उच्च-स्तरीय निर्णय घेण्यावरही अवलंबून असते.

आज, आम्ही GeneBench-Pro सादर करत आहोत—हा एक आव्हानात्मक, संशोधन-स्तरीय बेंचमार्क आहे, जो वास्तविक जगातील संगणकीय जीवशास्त्रात आवश्यक असलेल्या निर्णयक्षमतेवर आधारित विश्लेषण करण्यास मॉडेल सक्षम आहेत का हे तपासण्यासाठी तयार केला आहे. हे GeneBench⁠(नवीन विंडोमध्ये उघडेल) चा विस्तार करून जीनोमिक्स, परिमाणात्मक जीवशास्त्र आणि ट्रान्सलेशनल मेडिसिनमधील अधिक कठीण व अधिक वास्तववादी कार्यांचा समावेश करते, तसेच संगणकीय जीवशास्त्रातील वैज्ञानिक संशोधनाची गुंतागुंत, पुनरावृत्तीशील स्वरूप आणि संदिग्धता टिपते. 

आजपर्यंत, वास्तविक जगातील संगणकीय संशोधन कठीण बनवणाऱ्या प्रणाली-स्तरीय विवेकाधारित निर्णयांची पटण्याजोगी मूल्यमापने फारच कमी झाली आहेत. यामध्ये संदिग्धता हाताळणे, गृहीतके सुधारित करणे, विश्लेषणाचा योग्य मार्ग निवडणे आणि एखादा परिणाम निर्णय घेण्यासाठी कधी तयार आहे हे जाणणे यांचा समावेश होतो. ही कौशल्ये औपचारिक स्वरूपात मांडणे कठीण असल्यामुळे, त्यांचे काटेकोरपणे मूल्यांकन करणेही कठीण ठरते, अशा वेळी की त्यांच्यातील कमकुवतपणा एकूण AI कार्यक्षमतेवर वाढत्या प्रमाणात मर्यादा आणत आहे.

GeneBench-Pro या उच्च-स्तरीय क्षमतांचे अचूकपणे मोजमाप करण्यासाठी डिझाइन केलेले आहे. GeneBench-Pro मध्ये, आम्ही “संशोधन अभिरुची”ची व्याख्या विश्लेषणाला आकार देणाऱ्या निर्णयात्मक निवडींच्या साखळ्या अशी करतो: डेटा कोणत्या प्रश्नांना आधार देऊ शकतो, सुरुवातीच्या निदानांनी मॉडेल किंवा एस्टिमँडमध्ये कसा बदल घडवावा, आणि प्रारंभिक आराखडा कधी सुधारित करणे आवश्यक आहे. GeneBench-Pro मधील प्रत्येक समस्या मॉडेलला वास्तववादी आणि अव्यवस्थित डेटासेट, संक्षिप्त प्रायोगिक संदर्भ आणि पुढील टप्प्यातील निर्णयाशी जोडलेला लक्ष्य एस्टिमँड देते. अचूक उत्तर देण्यासाठी, मॉडेलने डेटाचे अन्वेषण करणे, योग्य विश्लेषणात्मक दृष्टिकोन निवडणे, प्रयोगांच्या पुनरावृत्तीशील प्रक्रियेत सहभागी होणे आणि अंतिम उत्तर सादर करणे आवश्यक आहे.

जीवशास्त्रात, डेटा निर्मितीचा खर्च (उदा., जीनोम अनुक्रमण) नाट्यमयरीत्या घटला आहे, आणि काही संशोधक आता असा युक्तिवाद करतात⁠(नवीन विंडोमध्ये उघडेल) की मर्यादक घटक आता नमुना संकलन राहिलेले नाही, तर पुढील टप्प्यातील संगणन आणि विश्लेषण आहे. GeneBench-Pro ची रचना त्या अडथळ्यावर उपाय करण्यात झालेल्या प्रगतीचे मूल्यांकन करण्यासाठी केली आहे. यात संगणकीय जीवशास्त्रातील विविध संदर्भ आणि पद्धती व्यापणारे 129 प्रश्न आहेत.

GeneBench-Pro हे सामान्य बेंचमार्क अपयशे टाळण्यासाठीही डिझाइन केलेले आहे. अनेक दीर्घ-कालावधीचे जीवशास्त्रीय बेंचमार्क्स अव्यवस्थित ऐतिहासिक डेटासेट्सवर आधारित बहु-टप्प्यांचे प्रश्न तयार करतात, जिथे विश्लेषणातून जाण्याचा एकमेव योग्य मार्ग नसू शकतो. एखादा एजंट एक समर्थनीय कटऑफ निवडू शकतो, तर दुसरा एजंट वेगळा पण तितकाच समर्थनीय पर्याय निवडू शकतो, ज्यातून मॉडेलच्या कामगिरीतील कोणत्याही मूलभूत फरकांपेक्षा बेंचमार्क निर्मात्याने केलेल्या मनमानी निवडी अधिक प्रतिबिंबित होतात. उलटही घडू शकते: जर एखादी समस्या संख्यात्मकदृष्ट्या खूपच असंवेदनशील असेल, तर एजंट विश्लेषणात मूलभूत चुका करूनही उत्तीर्ण ठरणारा निकाल तयार करू शकतो.

अपयशाच्या या पद्धती टाळण्यासाठी, प्रत्येक GeneBench-Pro समस्या कृत्रिमरीत्या तयार केली जाते: आम्हाला पूर्ण कारणात्मक रचना माहीत आहे आणि आम्ही डेटा-निर्मिती प्रक्रियेचे थेट अनुकरण करतो. त्यामुळे आम्हाला प्रत्येक समस्येची गुंतागुंत समायोजित करता येते, व्यक्तिनिष्ठ विश्लेषणात्मक निवडींमधील वाजवी फरक असूनही स्वीकार्य संख्यात्मक परिणाम मिळतात याची खात्री करता येते, आणि (अॅब्लेशन अभ्यासांद्वारे) संभाव्य वाटणारी पण चुकीची विश्लेषणे अपयशी ठरतात हे पडताळता येते. त्यानंतर, माहितीची गळती आणि अनपेक्षित समाधान-मार्ग तपासण्यासाठी आम्ही तपशीलवार ट्रेस विश्लेषणांद्वारे समस्यांच्या मसुद्यांचे ऑडिट करतो. यामुळे आम्हाला खात्री होते की योग्य उत्तर मिळणे हे योग्य विश्लेषणात्मक मार्ग निवडण्यावर अवलंबून आहे, शॉर्टकटचा फायदा उठवण्यावर किंवा लेखकाच्या मनमानी पसंतीशी जुळवून घेण्यावर नाही.

आम्ही 129 GeneBench-Pro प्रश्नांपैकी 82 प्रश्न बाह्य विषय-क्षेत्रातील तज्ज्ञांना पाठवले, ज्यामध्ये पदव्युत्तर विद्यार्थी, पोस्टडॉक्टोरल संशोधक, उद्योग क्षेत्रातील वैज्ञानिक आणि प्राध्यापक यांचा समावेश होता. समीक्षकांनी प्रत्येक समस्येची वास्तवाशी सुसंगतता, लक्ष्यित उत्तर ओळखता येते का, आणि पद्धती व अंदाजक योग्य होते का यांचे मूल्यांकन केले. समस्या सुधारण्यासाठी अभिप्रायाचा वापर करण्यात आला.

प्रत्येक GeneBench-Pro समस्या ही एक स्वयंपूर्ण वैज्ञानिक विश्लेषण आहे. एजंट्सना एक लहान प्रॉम्प्ट, डेटा फाइल्स आणि Python, वैज्ञानिक संगणन लायब्ररी तसेच PLINK 2.0 सारखी मूलभूत जीनोमिक्स पॅकेजेस समाविष्ट असलेल्या मानक जैवमाहितीशास्त्र स्टॅकसह विलग वर्कस्पेसमध्ये प्रवेश मिळतो (जरी समस्यांसाठी क्षेत्र-विशिष्ट साधनांची आवश्यकता नसते).

आम्ही संपूर्ण डेटा-निर्मिती प्रक्रिया नियंत्रित करत असल्यामुळे, आम्ही ज्ञात लक्ष्यांच्या संदर्भात अचूकतेचे निर्धारवादी पद्धतीने मूल्यमापन करू शकतो, ज्यामुळे मानक रूब्रिक-आधारित मूल्यमापनात आढळणारी मॉडेल-निवडीतील बदलशीलता आणि शब्दबंबाळतेचे परिणाम टाळता येतात.

प्रत्येक समस्येसोबत समृद्ध मेटाडेटाही दिलेला असतो, ज्यामध्ये अपेक्षित विश्लेषण संरचना, संलग्न डेटा फाइल्स, तपशीलवार अनेक-पृष्ठांचा प्रकरण अभ्यास आणि तज्ज्ञ पुनरावलोकनाचे निष्कर्ष यांचा समावेश असतो. आम्ही 10 प्रातिनिधिक GeneBench-Pro प्रश्न Hugging Face⁠(नवीन विंडोमध्ये उघडेल) वर पूर्णपणे ओपन-सोर्स करत आहोत, तसेच ते ब्राउझ करण्यासाठी इंटरॅक्टिव्ह वेब इंटरफेस देत आहोत. शेवटी, नजीकच्या भविष्यात आम्ही स्वतंत्र, तृतीय-पक्ष बेंचमार्किंगसाठी Artificial Analysis⁠(नवीन विंडोमध्ये उघडेल) ला 50 प्रश्नांचा उपसंच प्रदान करू.

आमचे सर्वात मजबूत मॉडेल, GPT‑5.6 Sol, सर्वोच्च रीझनिंग स्तरावर 28.7% उत्तीर्ण दर गाठते (Pro मोड सक्षम केल्यास 31.5%). आम्ही मूळ GeneBench तयार करण्यास सुरुवात केली तेव्हाच्या तुलनेत ही मोठी वाढ आहे; त्या वेळी, आमचे सर्वोत्तम अत्याधुनिक मॉडेल, GPT‑5, याचा स्कोअर 5% पेक्षा कमी होता. या बेंचमार्कवरील प्रगती सूचित करते की अत्याधुनिक मॉडेल्स जलदगतीने सुधारत आहेत, अगदी कमी ठोस, प्रणाली-स्तरीय वैज्ञानिक रीझनिंगमध्येही. सध्याच्या गतीने, हा बेंचमार्क वर्षाच्या अखेरीपर्यंत संतृप्त होऊ शकतो.

निष्कर्ष चाचणीच्या वेळी संगणनाच्या प्रमाण वाढीचा परिणामही दर्शवितात. सर्वात कमी रीझनिंग पातळीवर, GPT‑5.6 Sol फक्त एक-अंकी पास दर गाठते. सर्वोच्च रीझनिंग स्तरावर, GPT‑5.6 Sol हे GPT‑5.2 पेक्षा जवळपास सहा पट अधिक प्रश्न सोडवते करते, आणि त्यासाठी सुमारे दोन-तृतीयांश इतकेच टोकन वापरते.

मॉडेल कुटुंबांमधील तुलनांवरून असे सूचित होते की परिमाणात्मक अनिश्चिततेच्या परिस्थितीत उच्च-स्तरीय वैज्ञानिक रीझनिंगसाठी GPT मॉडेल्स हे सर्वात सक्षम प्रणालींपैकी आहेत. GPT‑5.6 यांच्यातील कार्यप्रदर्शनातील अंतर GPT‑5.5 आणि GLM 5.2 सारख्या अग्रगण्य ओपन-सोर्स मॉडेल्समधील अंतर कोडिंग बेंचमार्क⁠(नवीन विंडोमध्ये उघडेल)वरून अनुमान लावताना तुम्ही अपेक्षा करू त्यापेक्षा लक्षणीयरीत्या मोठे आहे, यावरून असे सूचित होते की ओपन-सोर्स मॉडेल्स व्यापक रीझनिंग क्षमतेपेक्षा कोडिंगसाठी अधिक विशेषीकृत आहेत.

विकासादरम्यान समस्यांचे मूल्यांकन करण्यासाठी आणि त्यांना अधिक मजबूत करण्यासाठी आम्ही अत्याधुनिक GPT मॉडेल्स वापरले. त्यामुळे, आम्हाला शंका होती की GeneBench-Pro इतर मॉडेल परिवारांच्या तुलनेत GPT मॉडेल्सविरुद्ध पक्षपाती असू शकते. तथापि, प्रतिस्पर्धी मॉडेल्स किमान रिलीजच्या वेळी संबंधित GPT मॉडेलच्या कामगिरीशी बरोबरी करत, आणि बहुतेक वेळा लक्षणीयरीत्या मागे पडत असत.

हे मूल्यांकन निकाल—GPT‑5.6 Sol (Pro) वर 31.5% इतके उच्च—GeneBench-Pro प्रश्नांच्या कठीणतेचा विचार करता उल्लेखनीय आहेत. एका सर्वेक्षणात, आमच्या परीक्षकांनी अंदाज व्यक्त केला की सामान्य GeneBench-Pro समस्या पूर्ण करण्यासाठी मानवी तज्ज्ञाला सुमारे 20–40 तास लागतील. प्रति तास $200 असा माफक अंदाज धरला, तरी एका समस्येसाठी लागणाऱ्या मानवी श्रमांचा खर्च हजारो डॉलर्समध्ये जातो. सध्याचे AI एजंट्स मानवी तज्ज्ञांची जागा घेण्याइतके अजूनही विश्वासार्ह नाहीत, मात्र खर्चातील तफावत मोठी आहे, कारण इन्फरन्सचा खर्च प्रति समस्येस केवळ काही डॉलर इतकाच आहे. याचा अर्थ असा की सध्याच्या क्षमतांच्या पातळीवर अंशतः स्वयंचलनदेखील लक्षणीय आर्थिक आणि वैज्ञानिक मूल्य निर्माण करू शकते.

तरीही, अत्याधुनिक मॉडेल्स या समस्यांपैकी एक-तृतीयांशापेक्षा कमीच सोडवतात, हे दाखवते की सुधारणा करण्यासाठी मोठा वाव आहे. मॉडेल आव्हानात्मक समस्यांवर अंशतः प्रगती करू शकतात, परंतु ते अनुमान लावण्याच्या प्रक्रियेला पूर्ण करण्यास अडचणीत असतात. अपयशाचा हा नमुना मानवी तज्ज्ञ आणि नवशिके यांच्यातील तफावत प्रतिबिंबित करतो. तज्ज्ञ तुमचा अनुभव वापरून समस्येची चौकट ठरवतात आणि तुमची पद्धत त्यानुसार अनुकूलित करतात, तर नवशिके निरीक्षणे करतात पण ती समस्येच्या व्यापक संदर्भात समाकलित करण्यात त्यांना अडचण येते.

जवळजवळ परिपूर्ण कामगिरी साध्य करण्यासाठी अशा मूल्यमापनांची आवश्यकता आहे, जी प्रगती विश्वासार्हपणे मोजतील आणि मॉडेल अजूनही कुठे अपयशी ठरतात हे ओळखतील. जीनबेंच-Pro सारखे बेंचमार्क अस्पष्ट क्षमता कमतरतेचे निदान करून त्यात सुधारणा करता येईल अशा स्थितीत रूपांतर करण्यास मदत करू शकतात. 

जर एजंट्स या प्रकारचे विश्लेषण विश्वसनीयपणे स्वयंचलित करू शकले, तर ते वैज्ञानिक शोध प्रक्रियेला लक्षणीय गती देऊ शकतील. मानवी आनुवंशिक पुरावा आधीच लक्ष्यांच्या प्राधान्यक्रम निर्धारणात आणि रूपांतरात्मक पुढील पाठपुराव्यात मध्यवर्ती ठरतो, कारण आनुवंशिक आधार असलेल्या यंत्रणांमुळे मंजूर उपचारांपर्यंत पोहोचण्याची शक्यता खूप जास्त असते.

दरम्यान, सिक्वेन्सिंगचे खर्च मोठ्या प्रमाणात घसरले आहेत, आणि बायोबँक-स्तरावरील डेटासेट्स आता आण्विक, फेनोटाइपिक आणि हेल्थ-रेकॉर्ड माहिती अभूतपूर्व व्याप्तीने जोडतात. मर्यादक घटक डेटा निर्मितीपासून माहितीचे कृतीयोग्य अंतर्दृष्टींमध्ये रूपांतर करण्याकडे सरकत आहे. मानवी तज्ज्ञांच्या संघांद्वारे सध्या हाताळली जाणारी विश्लेषणे सातत्याने करू शकणारे मॉडेल, गृहीतकांची छाननी, लक्ष्यांचा पुढील पाठपुरावा आणि डेटा निर्मिती व निर्णयप्रक्रिया यांमधील पुनरावृत्ती चक्र वेगवान करून औद्योगिक संशोधनात मोठा बदल घडवू शकतात.

GeneBench-Pro हे अनुभवी व्यक्तींमध्ये असलेल्या चांगल्या वैज्ञानिक निर्णयक्षमतेशी संबंधित अधिक अमूर्त कौशल्यांचे मूल्यांकन करण्याचा प्रारंभिक प्रयत्न आहे. ही कौशल्ये त्यांना सर्वाधिक आशादायक प्रारंभिक विश्लेषणे अंतर्ज्ञानाने जाणण्यास आणि ओळखण्यास, डेटा प्रारंभिक गृहीतकांना विरोध करतात तेव्हा पुनरावृत्तीने विचार करण्यास आणि तुमच्या विचारांमध्ये सुधारणा करण्यास, तसेच पुढील नैदानिक, शैक्षणिक किंवा व्यावसायिक निर्णय ज्यावर अवलंबून असू शकतात अशा निष्कर्षांपर्यंत पोहोचण्यास सक्षम करतात. 

आम्हाला अपेक्षा आहे की मॉडेलच्या क्षमता जसजशा प्रगत होतील, तसतसे अमूर्ततेच्या या उच्च स्तरांवर मॉडेलच्या क्षमतांची चाचपणी करणारे बेंचमार्क अधिकाधिक उपयुक्त ठरतील, केवळ पुस्तकी ज्ञान किंवा नियमित विश्लेषणे पार पाडण्याची क्षमता तपासणाऱ्या बेंचमार्कच्या पलीकडे.