पेश है GeneBench-Pro

वैज्ञानिक डेटा शायद ही कभी निर्देशों के साथ आता है. शोधकर्ताओं को यह तय करना होता है कि कोई पैटर्न जैविक प्रक्रियाओं को दर्शाता है या शोर को, डेटा पूछे जा रहे प्रश्न का उत्तर देने के लिए पर्याप्त आधार प्रदान कर सकता है या नहीं, और प्रत्येक परिणाम से उनके अगले कदमों में कैसे बदलाव आना चाहिए. AI एजेंट जटिल विश्लेषण करने में लगातार अधिक सक्षम होते जा रहे हैं, लेकिन वास्तविक वैज्ञानिक अनुसंधान केवल तथ्यों को याद करने या किसी पूर्व-निर्धारित कार्यप्रवाह का पालन करने पर ही निर्भर नहीं करता, बल्कि इन उच्च-स्तरीय निर्णयों को लेने पर भी निर्भर करता है.

आज हम GeneBench-Pro पेश कर रहे हैं—एक चुनौतीपूर्ण, शोध-स्तर का बेंचमार्क, जो यह परीक्षण करने के लिए है कि क्या मॉडल उस तरह के निर्णय-प्रधान विश्लेषण को संभाल सकते हैं जिसकी वास्तविक दुनिया की कंप्यूटेशनल बायोलॉजी में आवश्यकता होती है. यह GeneBench⁠(एक नई विंडो में खुलेगा) का विस्तार करता है, ताकि जीनोमिक्स, मात्रात्मक जीवविज्ञान और ट्रांसलेशनल मेडिसिन में अधिक कठिन और अधिक यथार्थवादी कार्यों को शामिल किया जा सके, और कम्प्यूटेशनल बायोलॉजी में वैज्ञानिक अनुसंधान की जटिलता, पुनरावृत्त प्रकृति और अस्पष्टता को कैप्चर किया जा सके. 

अब तक, उन प्रणाली-स्तरीय विवेकाधारित निर्णयों के बहुत कम ठोस आकलन हुए हैं, जो वास्तविक दुनिया में संगणनात्मक अनुसंधान को कठिन बनाते हैं. इनमें अस्पष्टता से निपटना, मान्यताओं को संशोधित करना, विश्लेषण का सही मार्ग चुनना और यह जानना शामिल है कि कोई परिणाम कब निर्णय लेने के लिए तैयार है. चूँकि इन कौशलों को औपचारिक रूप देना कठिन है, इसलिए उनका कठोरता से आकलन करना भी कठिन है, जबकि इनमें मौजूद कमजोरियाँ समग्र एआई प्रदर्शन को लगातार अधिक सीमित कर रही हैं.

GeneBench-Pro को इन उच्च-स्तरीय क्षमताओं को सटीक रूप से मापने के लिए डिज़ाइन किया गया है. GeneBench-Pro में, हम “research taste” को उन विवेक-आधारित निर्णयों की शृंखलाओं के रूप में परिभाषित करते हैं जो किसी विश्लेषण को आकार देती हैं: डेटा किन प्रश्नों का समर्थन कर सकता है, प्रारंभिक डायग्नॉस्टिक्स को मॉडल या एस्टिमैंड को कैसे बदलना चाहिए, और कब किसी शुरुआती योजना को संशोधित करने की आवश्यकता होती है. प्रत्येक GeneBench-Pro प्रश्न मॉडल को एक यथार्थपरक और अव्यवस्थित डेटासेट, संक्षिप्त प्रयोगात्मक संदर्भ, और डाउनस्ट्रीम निर्णय से जुड़ा एक लक्षित एस्टिमैंड प्रदान करता है. सही उत्तर देने के लिए, मॉडल को डेटा को एक्सप्लोर करना होगा, उपयुक्त विश्लेषणात्मक दृष्टिकोण चुनना होगा, प्रयोग की पुनरावृत्त प्रक्रिया में शामिल होना होगा, और अंतिम उत्तर देना होगा.

जीवविज्ञान में, डेटा उत्पन्न करने की लागत (जैसे, जीनोम अनुक्रमण) नाटकीय रूप से कम हो गई है, और कुछ शोधकर्ता अब तर्क देते हैं⁠(एक नई विंडो में खुलेगा) कि सीमित करने वाला कारक अब नमूना संग्रह नहीं, बल्कि बाद की संगणना और विश्लेषण है. GeneBench-Pro को उस बाधा को दूर करने में हुई प्रगति का आकलन करने के लिए बनाया गया है, जिसमें कम्प्यूटेशनल बायोलॉजी सेटिंग्स और विधियों की व्यापक रेंज को कवर करने वाले 1,29 प्रश्न शामिल हैं.

GeneBench-Pro को आम बेंचमार्क विफलताओं से बचने के लिए भी डिज़ाइन किया गया है. कई लंबी अवधि वाले जीवविज्ञान बेंचमार्क अव्यवस्थित ऐतिहासिक डेटासेट के इर्द-गिर्द बहु-चरणीय प्रश्न तैयार करते हैं, जहाँ विश्लेषण के माध्यम से आगे बढ़ने का कोई एकमात्र सही मार्ग नहीं हो सकता. एक एजेंट कोई एक तर्कसंगत रूप से उचित ठहराया जा सकने वाला कटऑफ़ चुन सकता है, जबकि दूसरा एजेंट कोई अलग लेकिन समान रूप से उचित ठहराया जा सकने वाला विकल्प चुन सकता है, जो मॉडल के प्रदर्शन में किसी भी मूलभूत अंतर से अधिक बेंचमार्क निर्माता द्वारा किए गए मनमाने चयनों को दर्शाता है. इसका उल्टा भी हो सकता है: यदि कोई समस्या संख्यात्मक रूप से बहुत असंवेदनशील है, तो कोई एजेंट विश्लेषण में बुनियादी त्रुटियाँ कर सकता है और फिर भी पास होने वाला परिणाम दे सकता है.

इन विफलता मोड से बचने के लिए, प्रत्येक GeneBench-Pro समस्या कृत्रिम रूप से बनाई जाती है: हम पूरी कारणात्मक संरचना जानते हैं और डेटा उत्पन्न करने की प्रक्रिया को सीधे सिम्युलेट करते हैं. इससे हमें प्रत्येक समस्या की जटिलता को समायोजित करने, यह सुनिश्चित करने कि व्यक्तिपरक विश्लेषणात्मक विकल्पों में उचित अंतर होने पर भी स्वीकृत संख्यात्मक परिणाम प्राप्त हों, और यह सत्यापित करने में मदद मिलती है कि एब्लेशन अध्ययनों के माध्यम से संभाव्य लेकिन गलत विश्लेषण विफल सिद्ध हों. फिर हम सूचना के रिसाव और अनपेक्षित समाधान मार्गों की जाँच करने के लिए विस्तृत ट्रेस विश्लेषणों के माध्यम से समस्या के मसौदों का ऑडिट करते हैं. इससे हमें यह विश्वास मिलता है कि सही उत्तर तक पहुँचना सही विश्लेषणात्मक मार्ग चुनने पर निर्भर करता है, न कि किसी शॉर्टकट का लाभ उठाने या लेखक की किसी मनमानी प्राथमिकता से मेल खाने पर.

हमने GeneBench-Pro के 129 प्रश्नों में से 82 बाहरी डोमेन विशेषज्ञों को भेजे, जिनमें स्नातकोत्तर छात्र, पोस्टडॉक्टोरल शोधकर्ता, उद्योग जगत के वैज्ञानिक और प्रोफ़ेसर शामिल थे. समीक्षकों ने प्रत्येक समस्या की यथार्थपरकता, यह कि लक्षित उत्तर पहचाना जा सकता था या नहीं, और यह कि विधियाँ और अनुमानक उपयुक्त थे या नहीं, का आकलन किया. फ़ीडबैक का उपयोग समस्याओं को सुधारने के लिए किया गया.

GeneBench-Pro की प्रत्येक समस्या एक स्वतंत्र वैज्ञानिक विश्लेषण है. एजेंट्स को एक पृथक वर्कस्पेस का एक्सेस मिलता है, जिसमें एक संक्षिप्त प्रॉम्प्ट, डेटा फ़ाइलें, और एक मानक बायोइन्फॉर्मेटिक्स स्टैक शामिल होता है, जिसमें Python, वैज्ञानिक कंप्यूटिंग लाइब्रेरीज़, और PLINK 2.0 जैसे बुनियादी जीनोमिक्स पैकेज शामिल हैं (हालांकि समस्याओं के लिए डोमेन-विशिष्ट टूलिंग की आवश्यकता नहीं होती).

चूंकि हम पूरी डेटा-जनरेशन प्रक्रिया को नियंत्रित करते हैं, हम ज्ञात लक्ष्यों के आधार पर सहीपन का नियतात्मक मूल्यांकन कर सकते हैं, जिससे मानक रूब्रिक-आधारित मूल्यांकन में पाई जाने वाली मॉडल-चयन परिवर्तनशीलता और वाचालता के प्रभावों से बचा जा सकता है.

प्रत्येक समस्या के साथ समृद्ध मेटाडेटा भी आता है, जिसमें अभिप्रेत विश्लेषण संरचना, संलग्न डेटा फ़ाइलें, विस्तृत बहु-पृष्ठ केस स्टडी और विशेषज्ञ समीक्षा के परिणाम शामिल हैं. हम दस प्रातिनिधिक GeneBench-Pro प्रश्नों को Hugging Face⁠(एक नई विंडो में खुलेगा) पर पूरी तरह ओपन-सोर्स कर रहे हैं, और उन्हें ब्राउज़ करने के लिए एक इंटरैक्टिव वेब इंटरफ़ेस भी उपलब्ध करा रहे हैं. अंततः, हम निकट भविष्य में स्वतंत्र, तृतीय-पक्ष बेंचमार्किंग के लिए Artificial Analysis⁠(एक नई विंडो में खुलेगा) को 50 प्रश्नों का उपसमुच्चय प्रदान करेंगे.

हमारा सबसे शक्तिशाली मॉडल, GPT‑5.6 Sol, सबसे ऊँचे रीज़निंग स्तर पर 28.7 % की पास दर हासिल करता है (Pro मोड सक्षम होने पर 31.5 %). यह उस समय की तुलना में तेज़ वृद्धि है जब हमने मूल GeneBench बनाना शुरू किया था, उस समय हमारे सर्वश्रेष्ठ अत्याधुनिक मॉडल, GPT‑5, ने 5 % से कम स्कोर किया था. इस बेंचमार्क पर प्रगति से संकेत मिलता है कि अत्याधुनिक मॉडल तेज़ी से बेहतर हो रहे हैं, यहाँ तक कि कम ठोस, सिस्टम-स्तरीय वैज्ञानिक रीज़निंग में भी. मौजूदा गति से, यह बेंचमार्क वर्ष के अंत तक अपनी संतृप्ति सीमा तक पहुँच सकता है.

परिणाम टेस्ट-टाइम कंप्यूट को स्केल करने के प्रभाव को भी दर्शाते हैं. सबसे निचले रीज़निंग स्तर पर, GPT‑5.6 Sol केवल एक अंकीय पास रेट ही हासिल करता है. सबसे उच्च रीज़निंग स्तर पर, GPT‑5.6 Sol GPT‑5.2 की तुलना में लगभग छह गुना अधिक सवाल हल करता है. लगभग दो-तिहाई टोकन का उपयोग करते हुए ऐसा करता है.

मॉडल फ़ैमिलीज़ के बीच की तुलनाएँ संकेत देती हैं कि GPT मॉडल मात्रात्मक अनिश्चितता के तहत उच्च-स्तरीय वैज्ञानिक रीज़निंग में सबसे मज़बूत सिस्टम्स में से हैं. GPT‑5.6 के बीच प्रदर्शन का अंतर, GPT‑5.5 और GLM 5.2 जैसे अग्रणी ओपन-सोर्स मॉडल के बीच का फ़र्क कोडिंग बेंचमार्क⁠(एक नई विंडो में खुलेगा) से अनुमान लगाने पर हमारी अपेक्षा से काफ़ी बड़ा है, जिससे संकेत मिलता है कि ओपन-सोर्स मॉडल व्यापक रीज़निंग की तुलना में कोडिंग के लिए ज़्यादा विशेषीकृत हैं.

हमने विकास के दौरान समस्याओं का मूल्यांकन करने और उन्हें अधिक मज़बूत बनाने के लिए अत्याधुनिक GPT मॉडल का उपयोग किया. इसलिए, हमें संदेह था कि GeneBench-Pro अन्य मॉडल परिवारों की तुलना में GPT मॉडल के विरुद्ध पक्षपाती हो सकता है. हालाँकि, प्रतिस्पर्धी मॉडल ज़्यादा से ज़्यादा रिलीज़ के समय संबंधित GPT मॉडल के प्रदर्शन की बराबरी ही कर पाए, और आम तौर पर काफ़ी पीछे रह गए.

मूल्यांकन के ये नतीजे—GPT‑5.6 Sol (Pro) पर 31.5% तक—GeneBench-Pro प्रश्नों की कठिनाई को देखते हुए उल्लेखनीय हैं. एक सर्वेक्षण में, हमारे समीक्षकों ने अनुमान लगाया कि एक सामान्य GeneBench-Pro समस्या को पूरा करने में किसी मानव विशेषज्ञ को लगभग 20–40 घंटे लगेंगे. प्रति घंटे $200 के अनुमान पर भी, इससे एक समस्या की मानवीय श्रम लागत हजारों डॉलर तक पहुँच जाती है. वर्तमान एआई एजेंट अभी भी मानव विशेषज्ञों की जगह लेने के लिए बहुत अविश्वसनीय हैं, लेकिन लागत का अंतर बड़ा है, जहाँ इन्फ़रेंस लागत केवल प्रति समस्या कुछ डॉलर है. इसका मतलब है कि मौजूदा क्षमताओं के स्तर पर आंशिक स्वचालन भी महत्वपूर्ण आर्थिक और वैज्ञानिक मूल्य सृजित कर सकता है.

फिर भी, यह तथ्य कि अत्याधुनिक मॉडल अभी भी इन समस्याओं में से एक तिहाई से भी कम हल कर पाते हैं, दिखाता है कि सुधार की पर्याप्त गुंजाइश है. मॉडल चुनौतीपूर्ण समस्याओं पर आंशिक प्रगति कर सकते हैं, लेकिन वे अनुमानात्मक चक्र को पूरा करने में संघर्ष करते हैं. यह विफलता पैटर्न मानव विशेषज्ञों और नौसिखियों के बीच के अंतर को प्रतिबिंबित करता है. विशेषज्ञ अपने अनुभव का उपयोग समस्या को रूपरेखित करने और अपने दृष्टिकोण को अनुकूलित करने के लिए करते हैं, जबकि नौसिखिए अवलोकन तो करते हैं, लेकिन उन्हें समस्या के व्यापक संदर्भ में एकीकृत करने में संघर्ष करते हैं.

लगभग पूर्ण प्रदर्शन हासिल करने के लिए ऐसे मूल्यांकन की आवश्यकता होगी जो प्रगति को विश्वसनीय रूप से मापें और यह पहचानें कि मॉडल अभी भी कहाँ विफल होते हैं. GeneBench-Pro जैसे बेंचमार्क क्षमता-संबंधी अस्पष्ट कमी को स्पष्ट रूप में बदलने में मदद कर सकते हैं, जिसे हम निदान कर सकें और सुधार कर सकें. 

यदि एजेंट इस प्रकार के विश्लेषण को विश्वसनीय रूप से स्वचालित कर सकें, तो वे वैज्ञानिक खोज को काफी तेज कर सकते हैं. मानव आनुवंशिक साक्ष्य पहले से ही लक्ष्य प्राथमिकता निर्धारण और अनुवर्ती कार्य में केंद्रीय भूमिका निभाता है, क्योंकि जिन तंत्रों को आनुवंशिक समर्थन प्राप्त होता है, उनके स्वीकृत उपचारों तक पहुँचने की संभावना कहीं अधिक होती है.

इस बीच, अनुक्रमण की लागतें तेज़ी से घटी हैं, और बायोबैंक-स्तर के डेटासेट अब आणविक, फीनोटाइपिक और हेल्थ-रिकॉर्ड जानकारी को अभूतपूर्व व्यापकता के साथ जोड़ते हैं. अब बाधक कारक डेटा उत्पन्न करने से जानकारी को कार्रवाई योग्य अंतर्दृष्टियों में बदलने की ओर स्थानांतरित हो रहा है. ऐसे मॉडल, जो वर्तमान में मानव विशेषज्ञों की टीमों द्वारा संभाले जाने वाले विश्लेषणों को लगातार कर सकते हैं, परिकल्पनाओं की प्राथमिकता-छंटाई, लक्ष्यों पर अनुवर्ती कार्रवाई, और डेटा उत्पन्न करने तथा निर्णय-निर्माण के बीच पुनरावृत्ति चक्र को तेज़ करके औद्योगिक अनुसंधान को रूपांतरित कर सकते हैं.

GeneBench-Pro अनुभवी व्यक्तियों के अच्छे वैज्ञानिक विवेक में निहित अधिक अमूर्त कौशलों का मूल्यांकन करने का प्रारंभिक प्रयास है. ये कौशल उन्हें सर्वाधिक आशाजनक प्रारंभिक विश्लेषणों को सहज-बोध से समझने और पहचानने, डेटा के प्रारंभिक धारणाओं का खंडन करने पर अपनी सोच को क्रमिक रूप से परिष्कृत और संशोधित करने, तथा ऐसे निष्कर्षों पर पहुँचने में सक्षम बनाते हैं जिन पर आगे के नैदानिक, शैक्षणिक या व्यावसायिक निर्णय निर्भर हो सकते हैं. 

हमारा अनुमान है कि जैसे-जैसे मॉडल की क्षमताएँ उन्नत होंगी, वैसे-वैसे ऐसे बेंचमार्क अधिक उपयोगी होते जाएँगे जो अमूर्तन के इन उच्चतर स्तरों पर मॉडल की क्षमताओं को परखते हैं, उन बेंचमार्क से आगे जो केवल किताबी ज्ञान या नियमित विश्लेषण करने की क्षमता की जाँच करते हैं.