GeneBench-Pro کا تعارف
ایک تحقیقی سطح کا benchmark جو ناپتا ہے کہ AI ایجنٹس computational biology میں ابہام سے کیسے نمٹتے اور اہم فیصلے کیسے کرتے ہیں.
سائنسی ڈیٹا شاذ و نادر ہی ہدایات کے ساتھ آتا ہے. محققین کو فیصلہ کرنا پڑتا ہے کہ کوئی پیٹرن حیاتیات کی عکاسی کرتا ہے یا شور کی، ڈیٹا پوچھے گئے سوال کا ساتھ دے سکتا ہے یا نہیں، اور یہ کہ ہر نتیجے کی بنیاد پر انہیں آئندہ کیا اقدام کرنا چاہیے. AI ایجنٹس پیچیدہ تجزیے انجام دینے میں مسلسل زیادہ قابل ہو رہے ہیں، مگر حقیقی سائنسی تحقیق صرف حقائق یاد کرنے یا پہلے سے طے شدہ ورک فلو پر چلنے پر نہیں بلکہ ایسے اعلیٰ سطحی فیصلے کرنے پر بھی منحصر ہے.
آج ہم GeneBench-Pro متعارف کرا رہے ہیں—ایک مشکل، تحقیقی سطح کا بینچ مارک جو یہ جانچتا ہے کہ کیا ماڈلز اس فیصلہ طلب تجزیے کو سنبھال سکتے ہیں جو حقیقی دنیا کی computational biology میں درکار ہوتا ہے. یہ GeneBench(نئی ونڈو میں کھلتا ہے) کو آگے بڑھاتا ہے تاکہ genomics، quantitative biology، اور translational medicine میں زیادہ مشکل اور حقیقت سے قریب تر کام شامل ہوں، اور computational biology میں سائنسی تحقیق کی پیچیدگی، تکراری نوعیت، اور ابہام کو گرفت میں لاتا ہے.
اب تک ایسے system-level فیصلوں کے قائل کرنے والے جائزے کم رہے ہیں جو حقیقی دنیا کی computational research کو مشکل بناتے ہیں. ان میں ابہام سنبھالنا، مفروضوں پر نظرثانی، درست تجزیاتی راستہ چننا، اور یہ جاننا شامل ہے کہ نتیجہ کب فیصلے کے لیے تیار ہے. چونکہ ان صلاحیتوں کو باضابطہ شکل دینا مشکل ہے، اس لیے انہیں سختی سے جانچنا بھی مشکل ہے، جبکہ انہی میں کمزوریاں مجموعی AI کارکردگی کو بڑھتی ہوئی حد تک محدود کر رہی ہیں.
GeneBench-Pro انہی اعلیٰ سطحی صلاحیتوں کو درست طور پر ناپنے کے لیے بنایا گیا ہے. GeneBench-Pro میں ہم “research taste” کو ان فیصلوں کی زنجیروں کے طور پر بیان کرتے ہیں جو تجزیے کو شکل دیتی ہیں: ڈیٹا کن سوالات کا ساتھ دے سکتا ہے، ابتدائی diagnostics ماڈل یا estimand کو کیسے بدلیں، اور ابتدائی منصوبے پر کب نظرثانی ضروری ہے. GeneBench-Pro کا ہر مسئلہ ماڈل کو ایک حقیقت سے قریب اور بے ترتیب ڈیٹاسیٹ، مختصر تجرباتی سیاق، اور downstream فیصلے سے وابستہ ہدف estimand دیتا ہے. درست جواب کے لیے ماڈل کو ڈیٹا کھنگالنا، مناسب تجزیاتی طریقہ چننا، تجربات کے تکراری عمل میں شامل ہونا، اور آخری جواب دینا پڑتا ہے.
حیاتیات میں ڈیٹا پیدا کرنے کی لاگت (مثلاً genome sequencing) ڈرامائی طور پر کم ہوئی ہے، اور کچھ محققین اب دلیل دیتے ہیں(نئی ونڈو میں کھلتا ہے) کہ محدود کرنے والا عنصر نمونے جمع کرنا نہیں بلکہ downstream computation اور analysis ہے. GeneBench-Pro اسی bottleneck کو دور کرنے میں پیش رفت جانچنے کے لیے بنایا گیا ہے، جس میں computational biology کے وسیع حالات اور طریقوں پر 129 سوالات شامل ہیں.
ڈومین اٹلس: ۱۲۹ مسائل ۱۰ ڈومینز اور ۲۱ ذیلی ڈومینز میں
بینچ مارک مسئلے کے بارے میں جاننے کے لیے اوپر موجود کسی نقطے پر کلک کریں.
یہ اٹلس GeneBench-Pro کی وسعت کی ایک جھلک پیش کرتا ہے. 10 نمائندہ سوالات کو مزید تفصیل سے دیکھنے کے لیے کیس اسٹڈیز کا صفحہ ملاحظہ کریں.
GeneBench-Pro کو عام benchmark ناکامیوں سے بچنے کے لیے بھی ڈیزائن کیا گیا ہے. بہت سے long-horizon biology benchmarks بے ترتیب تاریخی ڈیٹاسیٹس کے گرد multi-step سوالات بناتے ہیں، جہاں تجزیے کا کوئی ایک درست راستہ نہیں ہو سکتا. ایک ایجنٹ کوئی قابل دفاع cutoff چن سکتا ہے، جبکہ دوسرا مختلف مگر اتنا ہی قابل دفاع اختیار چن سکتا ہے؛ یہ فرق ماڈل کارکردگی کے بنیادی فرق سے زیادہ benchmark بنانے والے کے من مانے انتخاب کو ظاہر کرتا ہے. اس کے برعکس بھی ہو سکتا ہے: اگر مسئلہ عددی طور پر بہت غیر حساس ہو تو ایجنٹ تجزیے میں بنیادی غلطیاں کر کے بھی passing result دے سکتا ہے.
ان ناکامیوں سے بچنے کے لیے GeneBench-Pro کا ہر مسئلہ synthetic طور پر بنایا جاتا ہے: ہمیں مکمل causal structure معلوم ہوتا ہے اور ہم data-generating process کو براہ راست simulate کرتے ہیں. اس سے ہم ہر مسئلے کی پیچیدگی tune کر سکتے ہیں، یہ یقینی بنا سکتے ہیں کہ subjective analytical choices میں معقول فرق پھر بھی accepted numerical results دے، اور ablation studies کے ذریعے تصدیق کر سکتے ہیں کہ plausible مگر غلط analyses ناکام ہوں. پھر ہم detailed trace analyses کے ذریعے problem drafts کا audit کرتے ہیں تاکہ information leakage اور غیر ارادی solution pathways کی جانچ ہو سکے. اس سے ہمیں اعتماد ہوتا ہے کہ درست جواب صحیح analytical pathway چننے پر منحصر ہے، نہ کہ کسی shortcut سے فائدہ اٹھانے یا مصنف کی من مانی ترجیح سے matching پر.
ہم نے GeneBench-Pro کے 129 میں سے 82 سوالات بیرونی domain experts کو بھیجے، جن میں graduate students، postdoctoral researchers، industry scientists، اور professors شامل تھے. ریویورز نے ہر مسئلے کی حقیقت پسندی، ہدف جواب کی identifiable حیثیت، اور methods و estimators کی موزونیت کا جائزہ لیا. فیڈبیک کو مسائل بہتر بنانے کے لیے استعمال کیا گیا.
“جن مسائل کا میں نے جائزہ لیا، انہیں کسی تجربہ کار نگران کی بار بار رائے کے بغیر مکمل کرنا گریجویٹ طالب علم کے لیے بھی مشکل ہوتا. ڈیٹا میں تکنیکی اور کوالٹی کنٹرول کے مسائل تھے، جنہیں کامیابی سے حل کرنے کے لیے ممکنہ خطرات کے شعور کے ساتھ سوچ سمجھ کر اور غور و فکر پر مبنی ڈیٹا تجزیہ درکار تھا؛ یہ صاف اور اچھی طرح مرتب ڈیٹا پر کوئی تیار شدہ طریقہ بس لاگو کرنے کا معاملہ نہیں تھا.”
“اگرچہ موجودہ ماڈلز ابھی آغاز سے اختتام تک آزاد تجزیے قابل اعتماد طریقے سے نہیں چلا سکتے، GeneBench-Pro مسائل پر اچھی کارکردگی دکھانے والے ماڈلز واضح طور پر محققین کو درست ورک فلو طے کرنے اور ڈیٹا کھنگالنے میں مدد دے سکتے ہیں. میں دیکھ سکتی ہوں کہ اس سے تحقیق کی رفتار، جامعیت، اور reproducibility میں بڑی بہتری آئے گی.”
GeneBench-Pro کا ہر مسئلہ ایک مکمل خود مختار سائنسی تجزیہ ہے. ایجنٹس کو ایک isolated ورک اسپیس تک رسائی ملتی ہے جس میں مختصر پرومپٹ، data files، اور standard bioinformatics stack شامل ہوتا ہے، جیسے Python، scientific computing libraries، اور PLINK 2.0 جیسے بنیادی genomics packages، اگرچہ مسائل کو domain-specific tooling کی ضرورت نہیں ہوتی.
Structural variant سے رہنمائی یافتہ tumor therapy کا benefit-risk فیصلہ
چونکہ ہم پورے data-generation process کو control کرتے ہیں، ہم known targets کے مقابلے correctness کو deterministic انداز میں grade کر سکتے ہیں، اور standard rubric-based evaluation میں پائی جانے والی model-choice variability اور verbosity effects سے بچتے ہیں.
ہر مسئلے کے ساتھ rich metadata بھی آتا ہے، جس میں intended analysis structure، attached data files، detailed multi-page case study، اور expert review outcomes شامل ہیں. ہم 10 نمائندہ GeneBench-Pro سوالات کو Hugging Face(نئی ونڈو میں کھلتا ہے) پر مکمل طور پر open-source کر رہے ہیں، اور انہیں دیکھنے کے لیے ایک interactive web interface بھی ہے. آخر میں، ہم مستقبل قریب میں آزاد third-party benchmarking کے لیے Artificial Analysis(نئی ونڈو میں کھلتا ہے) کو 50 سوالات کا subset فراہم کریں گے.
ہمارا سب سے مضبوط ماڈل، GPT‑5.6 Sol، سب سے اعلیٰ ریزننگ سطح پر 28.7% پاس ریٹ حاصل کرتا ہے (Pro mode فعال ہونے پر 31.5%). یہ اس وقت کے مقابلے میں تیز اضافہ ہے جب ہم نے اصل GeneBench بنانا شروع کیا تھا؛ اس وقت ہمارا بہترین جدید ترین ماڈل (GPT‑5)، 5% سے کم اسکور کر رہا تھا. اس benchmark پر پیش رفت بتاتی ہے کہ جدید ترین ماڈلز تیزی سے بہتر ہو رہے ہیں، حتیٰ کہ کم ملموس، systems-level scientific ریزننگ میں بھی. موجودہ رفتار سے یہ benchmark سال کے آخر تک saturated ہو سکتا ہے.
نتائج test-time compute کو scale کرنے کا اثر بھی دکھاتے ہیں. سب سے کم ریزننگ سطح پر GPT‑5.6 Sol صرف single-digit پاس ریٹ حاصل کرتا ہے. سب سے اعلیٰ ریزننگ سطح پر GPT‑5.6 Sol تقریباً دو تہائی ٹوکنز استعمال کرتے ہوئے GPT‑5.2 کے مقابلے میں قریباً چھ گنا زیادہ سوالات حل کرتا ہے.
ماڈل خاندانوں کے درمیان موازنوں سے معلوم ہوتا ہے کہ quantitative uncertainty کے تحت high-level scientific ریزننگ میں GPT ماڈلز مضبوط ترین systems میں شامل ہیں. GPT‑5.6، GPT‑5.5 اور GLM 5.2 جیسے leading open-source ماڈلز کے درمیان performance gap اس سے کافی بڑا ہے جس کی توقع ہم coding benchmarks(نئی ونڈو میں کھلتا ہے) سے extrapolate کرتے ہوئے کرتے، جو اشارہ دیتا ہے کہ open-source ماڈلز وسیع تر ریزننگ ability کے مقابلے coding کے لیے زیادہ specialized ہیں.
development کے دوران ہم نے مسائل کو evaluate اور harden کرنے کے لیے جدید ترین GPT ماڈلز استعمال کیے. اسی بنا پر ہمیں شبہ تھا کہ GeneBench-Pro دیگر ماڈل خاندانوں کے مقابلے GPT ماڈلز کے خلاف biased ہو سکتا ہے. تاہم competitor ماڈلز زیادہ سے زیادہ release کے وقت corresponding GPT ماڈل کی performance کے برابر پہنچے، اور عموماً کافی پیچھے رہے.
یہ evaluation results—GPT‑5.6 Sol (Pro) پر 31.5% تک—GeneBench-Pro سوالات کی مشکل کے پیش نظر غیر معمولی ہیں. ایک survey میں ہمارے reviewers نے اندازہ لگایا کہ ایک عام GeneBench-Pro مسئلہ مکمل کرنے میں انسانی ماہر کو تقریباً 20–40 گھنٹے لگیں گے. محتاط اندازے کے مطابق $200 فی گھنٹہ پر، ایک مسئلے کی human labor cost ہزاروں dollars تک پہنچتی ہے. موجودہ AI ایجنٹس ابھی انسانی ماہرین کی جگہ لینے کے لیے بہت غیر قابل اعتماد ہیں، مگر cost gap بڑا ہے، inference costs ہر مسئلے پر صرف چند dollars ہیں. اس کا مطلب ہے کہ موجودہ صلاحیتوں کے ساتھ جزوی automation بھی meaningful economic اور scientific value پیدا کر سکتی ہے.
“بینچ مارکس کو حیاتیاتی سوالات کی متنوع رینج سے تحریک ملتی ہے، مگر … اصل چیلنج تحقیقی ڈیٹا تجزیے اور ان دریافتوں پر ریزننگ سے آتا ہے: پیٹرنز اور آرٹی فیکٹس کی شناخت، اور یہ فیصلہ کہ ڈیٹا کو خارج کیا جائے یا ایڈجسٹ. یہ حقیقی حیاتیاتی ڈیٹاسیٹس کی بے ترتیبی سے ملتا جلتا ہے. ان ایویلیوایشنز کا جائزہ دکھاتا ہے کہ ایجنٹ پر مبنی سائنسی مسئلہ حل کرنے میں واضح solver contracts کتنے اہم ہیں. پرومپٹ کی مختلف عبارت یا ٹاسک کی وضاحت اس بات کو بہت متاثر کر سکتی ہے کہ کون سے تجزیے قابل اجازت نظر آتے ہیں.”
“مجھے [سوالات] زیادہ تر پسند آئے. ان میں عموماً ان چیزوں کا امتزاج ہوتا تھا: (1) موضوع کا مطلوبہ علم، جیسے قدیم ڈی این اے میں C>T bias، (2) ڈیٹا میں تضادات، جیسے آبائی نسب کی ادلا بدلیاں، (3) کام کے لیے درست تجزیاتی ٹولز اور انہیں نافذ کرنے کے طریقے کا ایک طرح کا علم. ایسا لگتا تھا کہ زیادہ تر ایجنٹس (2) پر ناکام ہو گئے. وہ ڈیٹا کے مسائل کے بارے میں کافی محتاط نہیں ہیں. شاید یہ موجودہ ماڈل کی ایک کمزوری کو اجاگر کرتا ہے. اور حیاتیاتی ڈیٹا کی بڑی مقدار میں بے قاعدگیاں پائی جاتی ہیں.”
پھر بھی، یہ حقیقت کہ جدید ترین ماڈلز ان مسائل کے ایک تہائی سے بھی کم حل کرتے ہیں، دکھاتی ہے کہ بہت بہتری کی گنجائش باقی ہے. ماڈلز مشکل مسائل پر جزوی پیش رفت کر سکتے ہیں، مگر inferential loop مکمل کرنے میں جدوجہد کرتے ہیں. ناکامی کا یہ pattern انسانی ماہرین اور نوآموزوں کے فرق کی عکاسی کرتا ہے. ماہرین اپنے تجربے سے مسئلے کو frame کرتے اور اپنا طریقہ adapt کرتے ہیں، جبکہ نوآموز observations تو کرتے ہیں مگر انہیں مسئلے کے وسیع تر سیاق میں integrate کرنے میں مشکل محسوس کرتے ہیں.
مسئلہ: وقت کے ساتھ بدلتے علاج میں فارماکوجینومک ٹائم-ٹو-ایونٹ ردعمل
GPT-5.5 پیٹرن
GPT-5.6 Sol پیٹرن
تقریباً کامل performance حاصل کرنے کے لیے ایسی evaluations درکار ہوں گی جو progress کو قابل اعتماد طور پر ناپیں اور یہ بھی بتائیں کہ ماڈلز اب بھی کہاں ناکام ہوتے ہیں. GeneBench-Pro جیسے benchmarks ایک مبہم capability deficiency کو ایسی چیز میں بدلنے میں مدد دے سکتے ہیں جس کی ہم تشخیص اور بہتری کر سکیں.
اگر ایجنٹس اس نوع کے analysis کو قابل اعتماد طور پر automate کر سکیں تو وہ scientific discovery کو نمایاں طور پر تیز کر سکتے ہیں. Human genetic evidence پہلے ہی target prioritization اور translational follow-up میں مرکزی حیثیت رکھتا ہے، کیونکہ genetic support والے mechanisms کے approved treatments تک پہنچنے کا امکان کہیں زیادہ ہوتا ہے.
اسی دوران sequencing costs بہت کم ہو چکی ہیں، اور biobank-scale datasets اب molecular، phenotypic، اور health-record information کو غیر معمولی وسعت پر جوڑتے ہیں. محدود کرنے والا عنصر data generation سے بدل کر معلومات کو actionable insights میں تبدیل کرنے پر آ رہا ہے. وہ ماڈلز جو ایسے analyses مستقل طور پر انجام دے سکیں جنہیں آج human experts کی teams سنبھالتی ہیں، hypothesis triage، target follow-up، اور data generation و decision-making کے درمیان iteration cycle کو تیز کر کے industrial research کو بدل سکتے ہیں.
GeneBench-Pro تجربہ کار ماہرین میں پائی جانے والی اچھی scientific judgment کی زیادہ abstract skills کو evaluate کرنے کی ابتدائی کوشش ہے. یہ skills انہیں سب سے promising initial analyses کو intuit اور identify کرنے، data کے initial assumptions سے ٹکرانے پر اپنی سوچ کو iterate اور revise کرنے، اور ایسے conclusions تک پہنچنے کے قابل بناتی ہیں جن پر downstream clinical، academic، یا business decisions منحصر ہو سکتے ہیں.
ہم توقع کرتے ہیں کہ جیسے جیسے ماڈل capabilities بڑھیں گی، ایسے benchmarks جو abstraction کی ان بلند سطحوں پر ماڈل abilities کو probe کرتے ہیں، ان benchmarks سے زیادہ مفید ہوتے جائیں گے جو صرف book knowledge یا routine analyses انجام دینے کی ability جانچتے ہیں.
