LifeSciBench کا تعارف
حقیقی لائف سائنس تحقیق پر مبنی, ماہرین کا لکھا اور جائزہ لیا ہوا بینچ مارک
ایجنٹک AI سسٹم سائنسی ٹاسکس انجام دینے میں تیزی سے زیادہ قابل ہو رہے ہیں. تاہم لائف سائنس محققین کے لیے ان کی افادیت اس پر منحصر ہے کہ وہ حقیقی تحقیق کی پیچیدگی کو کتنی خوبی سے ہینڈل کرتے ہیں. یہ کام شاذ و نادر ہی کسی ایک فیکٹ-ری کال سوال یا صاف پری ڈکشن مسئلے جیسا ہوتا ہے. محققین نامکمل شواہد کی تشریح کرتے ہیں, متضاد نتائج میں تطبیق پیدا کرتے ہیں, مشکل تجربات ڈیزائن کرتے ہیں, مضامین کی خرابی دور کرتے ہیں, روایتی خطرہ کا اندازہ لگاتے ہیں, اور غیر یقینی صورت حال میں اگلا قدم طے کرتے ہیں.
موجودہ بینچ مارکس ان صلاحیتوں کو مکمل طور پر شامل نہیں کرتے. لائف سائنسز کے بہت سے جائزے محدود ڈومینز یا الگ تھلگ مہارتوں پر مرکوز ہوتے ہیں, جس کے نتیجے میں سوالات زیادہ تر منظم فارمیٹس اور واضح ریفرنس جوابات تک محدود رہتے ہیں. اگرچہ یہ مفید ہیں, لیکن یہ اکثر اس بات کا حقیقی اندازہ لگانے میں ناکام رہتے ہیں کہ آیا کوئی ماڈل تحقیقاتی سطح کے وسیع تر کاموں میں مؤثر طور پر حصہ ڈال سکتا ہے یا نہیں.
ہم نے LifeSciBench کو اس خلا کو پُر کرنے کے لیے ڈیزائن کیا ہے. ہر ٹاسک کی بنیاد ایسے عملی لائف سائنس دانوں کے فیصلے پر رکھی گئی ہے جو PhD سطح کی تربیت رکھتے ہیں اور بایوٹیک اور فارماسیوٹیکل ماحول میں ڈرگ ڈسکوری پروگرامز کو آگے بڑھانے کا براہِ راست تجربہ رکھتے ہیں.
LifeSciBench میں ماہرین کے لکھے 750 ٹاسکس شامل ہیں, جو سات ورک فلوز اور سات بایولوجیکل ڈومینز پر پھیلے ہوئے ہیں.
1,062
کام کے آرٹیفیکٹس
173
سائنس داں معاونین
19,020
روبرک کا معیار
453
ماہر جائزہ کاران
LifeSciBench کن چیزوں کی پیمائش کرتا ہے
LifeSciBench اس بات کا جائزہ لیتا ہے کہ آیا AI سسٹمز صرف حیاتیات کے سوالات کے جوابات دینے کے بجائے حقیقی لائف سائنس ریسرچ ٹاسکس میں معاونت فراہم کر سکتے ہیں یا نہیں. بینچ مارک کی ٹیکسونومی کی تعریف کے لیے, ہم نے عملی تحقیقاتی ماحول میں کام کرنے والے لائف سائنس دانوں سے ان ورک فلوز کے بارے میں سروے کیا جو وہ سب سے زیادہ استعمال کرتے ہیں. اس کے بعد ہم نے ان کے جوابات کو سات بار بار آنے والی کیٹیگریز میں تقسیم کیا: شواہد کا انتظام, تجزیہ, ڈیزائن اور آپٹیمائزیشن, سائنسی استدلال, توثیق اور آپریشنز, ترجمہ, اور سائنسی مواصلات.
ہر ٹاسک کو اس طرح تشکیل دیا گیا ہے جیسے کوئی سائنس دان کسی باخبر تعاون کار کو درخواست دے سکتا ہے: اس میں ایک سائنسی پرومپٹ، متعلقہ سیاق و سباق یا مواد, اور ایک آزاد جواب شامل ہوتا ہے. ماہرین کے لکھے ہوئے روبریکس اس بات کا جائزہ لیتے ہیں کہ آیا ماڈل کسی مخصوص مسئلے کے لیے درست جواب پیدا کر سکتا ہے یا نہیں, اور ساتھ ہی یہ بھی کہ وہ جواب مطلوبہ تفصیل, جواز, احتیاطی نکات, اور اس فارمیٹنگ کے ساتھ ہو جو ایک سائنس دان توقع کرے گا.
ڈیٹاسیٹ کی تعمیر
LifeSciBench سائنسی استدلال کے ساتھ ساتھ ان کم واضح لیکن عملی مہارتوں کا بھی جائزہ لیتا ہے جو حقیقی دنیا میں سائنسی استعمال کے لیے ضروری ہیں. اس کے ٹاسکس ماڈلز سے تقاضا کرتے ہیں کہ وہ حقیقی تحقیقاتی مسائل پر کام کریں: شواہد کی تشریح کریں, ڈومین کے مطابق درست فیصلے کریں, اور ایسے نتائج بیان کریں جو ماہر ریویورز کے لیے مفید ہوں. بہت سے ٹاسکس میں یہ بھی شامل ہوتا ہے کہ ماڈلز غیر یقینی صورتحال کو ہینڈل کریں اور صرف پرومپٹ ٹیکسٹ پر انحصار کرنے کے بجائے معاون ڈیٹا فائلز کی بنیاد پر استدلال کریں.
یہ بینچ مارک لائف سائنس کے کام کی پیچیدگی کو ظاہر کرنے کے لیے ڈیزائن کیا گیا ہے. مجموعی طور پر 79% ٹاسکس میں ریزننگ یا فیصلہ سازی کے متعدد مراحل درکار ہوتے ہیں, اور ہر ٹاسک میں اوسطاً چار مراحل شامل ہوتے ہیں. LifeSciBench میں 1,062 منسلک معاون مواد شامل ہیں جن میں تصاویر, PDFs, ٹیبلز, سیکوئنس فائلز, اسٹرکچر یا کیمیکل فائلز, اور ویب ریفرنسز شامل ہیں. آدھے سے زیادہ ٹاسکس (53%) میں ماڈلز کو کم از کم ایک معاون مواد سے معلومات کی تشریح یا انضمام کرنا ہوتا ہے.
ٹاسکس 173 ماہر سائنس دانوں نے مختلف لائف سائنس ڈسپلنز میں تیار کیے. ہر سائنس داں PhD سطح کی تربیت رکھتا تھا اور بایوٹیکنالوجی یا فارماسیوٹیکل انڈسٹری میں تجربہ بھی رکھتا تھا. ٹاسکس کو قبول کیے جانے سے پہلے جتنے چاہیں ریویژن سائیکلز سے گزارا جا سکتا تھا, اور اس کی کوئی مقررہ حد نہیں تھی. قبول شدہ ٹاسکس میں اوسطاً چھ آٹومیٹڈ ریویو سائیکلز شامل تھے, اور کم از کم دو مرتبہ ماہرین کے ذریعے ریویوز مکمل کی گئیں. ریویوز کو یا تو کسی قابلِ تصدیق درست جواب یا مضبوط ماہر اتفاقِ رائے کی بنیاد پر انجام دیا گیا, اور متعلقہ ڈومین میں کم از کم 90% ریویورز کے درمیان اتفاق پایا گیا. اس عمل نے اس بات کو یقینی بنانے میں مدد دی کہ منظور شدہ ٹاسکس سائنسی طور پر مضبوط ہوں, گریڈ کیے جانے کے لیے واضح ہوں, اور اطلاقی تحقیق کی حقیقی عکاسی کرتے ہوں.
گریڈنگ اور روبریک کی تفصیل
LifeSciBench کے ٹاسکس کو ایک تفصیلی, ٹاسک-مخصوص روبریک کے ذریعے گریڈ کیا جاتا ہے، جو متوقع جواب کو مخصوص سائنسی دعووں, حسابات (کیلکولیشنز), فیصلوں, جواز (جسٹیفکیشنز) اور دیگر متعلقہ عناصر میں تقسیم کرتا ہے. پورے بینچ مارک میں, ماہرین کے تیار کردہ روبریکس میں مجموعی طور پر 19,020 معیار شامل ہیں—جو فی ٹاسک اوسطاً 25 بنتے ہیں—تاکہ نہ صرف سائنسی درستگی بلکہ تحقیقاتی فیصلوں کے لیے افادیت کا بھی جائزہ لیا جا سکے.
یہ ڈیزائن اس بات کی عکاسی کرتا ہے کہ عملی طور پر سائنسی کام کی جانچ کیسے کی جاتی ہے: لائف سائنس کے بہت سے ٹاسکس کو صرف حتمی جواب دیکھ کر گریڈ نہیں کیا جا سکتا. ایک جواب مجموعی طور پر درست نتیجے تک پہنچ سکتا ہے, لیکن پھر بھی اسے نامکمل سمجھا جا سکتا ہے اگر, مثال کے طور پر, وہ کسی اہم اسیس کی حد کو نظر انداز کرے یا کسی انتہائی اہم حیاتیاتی نکتے کو بروقت سامنے نہ لائے۔ اس کے برعکس، ایک جزوی جواب میں اعلیٰ معیار کی ریزننگ کی صلاحیت موجود ہو سکتی ہے, چاہے وہ ٹاسک کو مکمل طور پر حل نہ بھی کرے.
تفصیلی روبریکس اس باریک بینی کو شامل کرتے ہیں. LifeSciBench نہ صرف حتمی جواب کی درستگی کا جائزہ لیتا ہے, بلکہ یہ بھی دیکھتا ہے کہ آیا ماڈل اپنے جواب تک سائنسی طور پر درست اور عملی طور پر مفید طریقے سے پہنچتا ہے یا نہیں.
مقالات، اشکال، جدولوں، اور تجرباتی ریکارڈز سے سائنسی شواہد نکالنا، ملانا، اور آڈٹ کرنا.
ایوال کی مثال
We’re preparing for a Type B FDA meeting on AAV9-microDys-X, an AAV9-based micro-dystrophin gene therapy for Duchenne muscular dystrophy that expresses a 138 kDa construct from an MCK promoter, and we want a hard-nosed critique of whether our current package really supports accelerated approval on micro-dystrophin expression as a surrogate endpoint reasonably likely to predict clinical benefit.
Study context: open-label Phase 1b/2 in 12 ambulatory boys age 4–7 with confirmed DMD and out-of-frame rod-domain deletions. The package is:
- Pre-treatment vastus lateralis biopsies: 0–3% of healthy-control dystrophin by quantitative Western blot using MANEX1A against the N-terminal actin-binding domain.
- 12-week post-treatment contralateral vastus lateralis biopsies: mean micro-dystrophin 38% of healthy control (range 18–61%) by the same Western blot, normalized to total protein by Coomassie staining.
- Post-treatment immunofluorescence: sarcolemmal signal in 75–95% of fibers using a polyclonal anti-dystrophin C-terminal antibody.
- 48-week function: mean NSAA change +1.4 points from baseline versus −0.6 in an external published natural-history registry cohort (p = 0.03 by unpaired t-test).
- Safety: transient transaminitis in 8/12 patients managed with steroid taper; one resolved myocarditis; no deaths.
- Biodistribution/persistence: AAV9 vector genomes detectable in muscle at 12 weeks at a mean of 2.3 vector genomes per nucleus.
- Eligibility: no baseline anti-AAV9 neutralizing antibodies (titer <1:400) and no exon-44 deletions.
Please pressure-test this package item by item: where would FDA or a skeptical reviewer say the evidence, as presented, fails to support our conclusion, and what additional data, analyses, or design changes would be needed to close those gaps if possible? For anything not specified, assume what is known from other clinical-grade 138 kDa micro-dystrophin programs and relevant clinical trials through December 31, 2025 also applies.
امیدوار کا جواب
Bottom line: پیش کردہ صورت میں، یہ package micro-dystrophin expression کو clinical benefit کی پیش گوئی کے لیے معقول حد تک likely surrogate endpoint کے طور پر accelerated approval support کرنے کے لیے کافی مضبوط نہیں ہے. ایک skeptical FDA reviewer شاید biomarker، functional، durability، safety، اور generalizability evidence کو materially under-supported سمجھے گا.
Package Item | Key Failure Mode | کیا درکار ہوگا |
|---|---|---|
Western blot quantification | MANEX1A ایک N-terminal epitope سے bind کرتا ہے جو endogenous full-length dystrophin اور micro-dystrophin transgene دونوں میں مشترک ہے، اس لیے assay transgene کو residual/revertant dystrophin سے صاف طور پر distinguish نہیں کرتا. healthy full-length dystrophin standard کے خلاف 138 kDa micro-dystrophin quantify کرنا بھی invalid ہے. | recombinant micro-dystrophin standard اور orthogonal method استعمال کریں جو transgene کو endogenous dystrophin سے distinguish کرے، جیسے targeted mass spectrometry یا transgene-specific/epitope-specific assay. |
Immunofluorescence | C-terminal polyclonal antibody poorly suited ہے کیونکہ 138 kDa construct میں C-terminal domain نہیں ہے. بہت سے DMD patients میں revertant fibers ہوتے ہیں، اور revertant dystrophin C-terminal epitopes retain کر سکتا ہے. Revertant fibers عمر کے ساتھ clonally expand ہو سکتے ہیں، IF signal کو bias کرتے ہوئے، خاص طور پر older boys میں. | IF کو ایسے epitope کے خلاف antibody کے ساتھ repeat کریں جو transgene میں موجود ہو مگر revertant dystrophin سے absent ہو. transgene-positive fibers کو revertant fibers سے الگ quantify کریں. |
Surrogate endpoint validity | package protein amount کو clinical function کے ساتھ conflate کرتا ہے. “healthy-control protein mass کا 38%” کا مطلب normal dystrophin function کا 38% نہیں، کیونکہ micro-dystrophin structurally truncated ہے. | expression کو surrogate endpoint ماننے سے پہلے micro-dystrophin mass-percent، sarcolemmal localization، downstream functional restoration، اور clinical benefit کے تعلق کو empirically validate کریں. |
Biopsy design | Pre- اور post-treatment contralateral vastus lateralis biopsies left-right اور intramuscular spatial variability متعارف کراتی ہیں. Disease progression اور fibro-fatty replacement بھی total-protein-normalized signal بدل سکتے ہیں. | consistent anatomical landmarks استعمال کر کے biopsy site standardize کریں، muscle-specific proteins سے normalize کریں، اور fibro-fatty composition کو parallel measure کریں. |
NSAA comparator/statistics | external natural-history cohort randomized concurrent control نہیں ہے. Trial eligibility، supportive care، participation effects، baseline NSAA، steroid regimen، age، اور exon class سب comparison کو bias کر سکتے ہیں. unpaired t-test کافی نہیں ہے. اس کے علاوہ، +1.4 NSAA change اس age group کے لیے test-retest variability کے اندر ہے. | randomized concurrent placebo-controlled study چلائیں، یا کم از کم baseline NSAA، age، steroid regimen، exon class، اور other confounders کو account کرنے والی adjusted analyses استعمال کریں. |
Age-window confounding | 4–7 سال کے boys ایک developmental window میں ہیں جہاں untreated ambulatory DMD patients decline غالب ہونے سے پہلے motor function gain کر سکتے ہیں. 48-week NSAA change developmental gain، disease progression، اور possible treatment effect کو mix کرتا ہے. | developmental trajectory کو treatment effect سے الگ کرنے کے لیے age stratification کے ساتھ concurrent randomized control استعمال کریں. |
Prior clinical precedent | Open-label micro-dystrophin functional signals نے confirmatory benefit کی قابل اعتماد پیش گوئی نہیں کی؛ published precedent میں micro-dystrophin gene therapy confirmatory trials شامل ہیں جو open-label NSAA improvements کو reproduce کرنے میں ناکام رہے. | open-label NSAA change پر decisive support کے طور پر rely نہ کریں. controlled functional evidence لازمی کریں. |
construct کی structural limits | 138 kDa construct spectrin repeats R16/17 حذف کرتا ہے، جن میں nNOS-binding sites ہوتے ہیں. nNOS recruitment کا loss exercise کے دوران functional sympatholysis اور ischemia protection کو impair کر سکتا ہے، expression level سے آزاد rescue پر mechanistic ceiling بناتے ہوئے. | mechanistic studies شامل کریں جو دکھائیں کہ آیا یہ specific construct relevant dystrophin-associated complex function، nNOS localization، exercise physiology، اور muscle protection restore کرتا ہے. |
AAV durability | 12 weeks پر vector genomes durable expression قائم نہیں کرتے. AAV9 genomes بڑی حد تک non-integrating episomes ہیں اور وقت کے ساتھ کم ہو سکتے ہیں. Vector-genome persistence persistent protein expression جیسا نہیں ہے. | 12 weeks سے آگے longitudinal transgene protein expression اور functional biomarker durability measure کریں. |
Immune/safety profile | 8/12 patients میں transaminitis AAV-transduced cells کے immune response سے consistent ہے، مگر mechanism established نہیں ہے. AAV9 cardiac tropism کے پیش نظر myocarditis کا ایک case تشویشناک ہے. | گہری immune monitoring، liver/cardiac safety characterization، اور intensified cardiac follow-up فراہم کریں. |
Patient selection/generalizability | anti-AAV9 neutralizing-antibody-positive patients کو exclude کرنا generalizability کو محدود کرتا ہے. exon-44 deletions کو exclude کرنا اس DMD subgroup پر applicability کو محدود کرتا ہے. n=12 broader DMD population میں safety اور efficacy characterize کرنے کے لیے بہت چھوٹا ہے. | جہاں ممکن ہو eligibility broaden کریں یا broad approval support کے لیے result استعمال کرنے سے پہلے antibody status، genotype/exon class، age، اور baseline function کے مطابق stratified analyses pre-specify کریں. |
Regulatory conclusion: package biological activity دکھا سکتا ہے، مگر یہ ابھی establish نہیں کرتا کہ measured micro-dystrophin expression clinical benefit کی پیش گوئی کے لیے reliable surrogate reasonably likely ہے. اہم gaps assay specificity، invalid quantification standards، possible revertant-fiber confounding، randomized control کی کمی، age-related NSAA confounding، uncertain durability، اور unresolved safety/generalizability issues ہیں.
gap بند کرنے کے لیے program کو controlled، age-stratified clinical design چاہیے ہوگا جس میں transgene-specific expression assays، orthogonal protein quantification، tissue-composition controls، longitudinal durability data، truncated construct کے لیے mechanistic functional assays، اور stronger safety monitoring، خاص طور پر hepatic اور cardiac، شامل ہوں.
روبرک کے معیارات اور گریڈز
LifeSciBench کی توثیق
ہم نے LifeSciBench کی توثیق ایک آزاد ماہرین کے جائزے کے ذریعے کی. فیڈبیک 453 ایسے ریویورز سے حاصل کیا گیا جو ٹاسکس کی تیاری کے عمل میں شامل نہیں تھے. ان ریویورز میں سے 97% کے پاس PhD یا اس کے مساوی ڈاکٹریٹ ڈگری تھی, اور ان کا اوسطاً 12 سال کا فیلڈ تجربہ اور 14 ہم سطح ماہرین کے جائزے سے منظور شدہ اشاعتیں تھیں؛ 88% نے کم از کم ایک ایوارڈ یا فیلوشپ حاصل کرنے کی اطلاع دی.
ریویورز نے اس بات کا جائزہ لیا کہ آیا ہر ٹاسک ایک مضبوط بینچ مارک سوال کے لیے درکار خصوصیات کی عکاسی کرتا ہے یا نہیں: حقیقی دنیا کی تحقیقی سرگرمیوں سے مطابقت, سائنسی ریزننگ اور ڈومین مہارت کی مناسب جانچ, شواہد یا ماہرین کے اتفاقِ رائے پر مبنی ہونا, اور ماڈل کی کارکردگی کے جائزے کے لیے مجموعی افادیت. ہر کیٹیگری میں اتفاقِ رائے 96% سے زیادہ رہا.
ریویورز کے کمنٹس نے مقداری درجہ بندیوں کی مزید توثیق کی:
نتائج
ہم دو تکمیلی میٹرکس رپورٹ کرتے ہیں. پاس ریٹ اس فیصد کو ظاہر کرتا ہے جس میں ماڈل ٹاسک-لیول کامیابی کی حد یعنی 70% کو حاصل کرتا ہے. اسکور اوسط روبریک ریوارڈ ہے, جو ہر انفرادی معیار کے لیے جزوی اسکور دیتا ہے, چاہے مکمل ٹاسک حل نہ بھی ہوا ہو. یہ دونوں میٹرکس اہم ہیں کیونکہ کسی سائنسی ٹاسک کا جواب جزوی طور پر درست یا مفید ہو سکتا ہے, حتیٰ کہ اگر وہ مکمل جواب کے تمام تقاضے پورے نہ بھی کرے.
ماڈل کی کارکردگی ٹاسک کی قسم, ورک فلو, اور جواب کے فارمیٹ کے لحاظ سے نمایاں طور پر مختلف ہوتی ہے.
جہاں AI سسٹمز ابتدائی مضبوطی دکھاتے ہیں
LifeSciBench یہ ظاہر کرتا ہے کہ جدید ترین ماڈلز نسبتاً طور پر ان ٹاسکس میں زیادہ مضبوط ہیں جن میں سائنسی سنتھیسس, کمیونیکیشن, اور منظم تشریح شامل ہوتی ہے. مطلق پاس ریٹس ابھی بھی کم ہیں, اس لیے یہ بینچ مارک ڈومینز ابھی سیچوریٹ کردہ ہونے سے کافی دور ہیں, لیکن GPT‑Rosalind نے GPT‑5.5 کے مقابلے میں واضح پیش رفت دکھائی ہے, جس میں مجموعی ایکزیکٹ پاس ریٹ 25.7% سے بڑھ کر 36.1% ہو گیا ہے.
ماڈل کی صلاحیتوں میں سب سے مضبوط پیش رفت سائنسی مواصلات اور ترجمہ کے شعبوں میں نظر آتی ہے. مثال کے طور پر, سائنسی مواصلات میں پاس ریٹ GPT‑5.5 کے 56.3% سے بڑھ کر GPT‑Rosalind کے لیے 71.1% ہو جاتا ہے؛ یہ کیٹیگری چھوٹی ہے (n=9), اس لیے اسے احتیاط کے ساتھ سمجھنا چاہیے, تاہم یہ اس بات کی طرف اشارہ کرتا ہے کہ جدید ترین ماڈلز شواہد کو منظم کرنے اور ماہرین کے لیے قابلِ اعتماد وضاحتیں فراہم کرنے کی صلاحیت میں تیزی سے بہتری لا رہے ہیں. ترجمہ جو کہ ڈرگ ڈویلپمنٹ میں “bench-to-bedside” عمل کو ظاہر کرتا ہے میں بھی اسی طرح کا رجحان دیکھا گیا ہے, جو GPT‑5.5 کے 36.8% سے بڑھ کر GPT‑Rosalind کے لیے 57.7% ہو گیا ہے, یہ اس بات کی نشاندہی کرتا ہے کہ ماڈلز تیزی سے اس صلاحیت میں بہتر ہو رہے ہیں کہ وہ پری کلینیکل شواہد کو کلینیکل اثرات سے جوڑ سکیں.
روبریک سطح کے نتائج بھی اسی سمت کی نشاندہی کرتے ہیں. ان ٹاسکس میں جن میں ماہرین کے لیے مفید یا قابلِ عمل نتائج درکار ہوتے ہیں, GPT‑Rosalind کا اسکور 44.7% ہے, جبکہ GPT‑5.5 کا اسکور 29.1% ہے. ان ٹاسکس میں جن میں غیر یقینی صورتحال اور احتیاطی نکات کو ہینڈل کرنا ضروری ہوتا ہے, GPT‑Rosalind 44.8% اسکور حاصل کرتا ہے, جبکہ GPT‑5.5 کا اسکور 29.3% ہے. یہ پیٹرن اس بات کی نشاندہی کرتا ہے کہ ماڈلز سب سے زیادہ مفید اس وقت ہوتے ہیں جب ٹاسک کی شواہد پر مبنی حد واضح ہو اور اس میں منظم سائنسی فیصلے کی ضرورت ہو.
GPT‑Rosalind صنعت اور علمی ماہرین کے شناخت کردہ سائنسی طور پر قیمتی ٹاسکس میں کارکردگی میں آگے ہے.
GPT‑Rosalind industry اور academic experts کے شناخت کردہ scientifically-valuable tasks کے پار performance میں آگے ہے.
GPT‑Rosalind industry اور academic experts کے شناخت کردہ scientifically-valuable tasks کے پار performance میں آگے ہے.
جہاں AI سسٹمز اب بھی کم پڑتے ہیں
کارکردگی ابھی بھی ان سائنسی کاموں میں کافی کمزور ہے جن میں بڑی مقدار میں معاون مواد, ڈیزائن پر مبنی سوچ, اور عملی طور پر محدود تقاضے شامل ہوتے ہیں. خاص طور پر, ڈیزائن, آپٹیمائزیشن اور پیش گوئی اب بھی سب سے مشکل ورک فلو میں سے ایک ہے, جس میں GPT‑Rosalind کا پاس ریٹ 30.7% ہے؛ اسی طرح اینالیسس بھی مشکل رہتا ہے, جہاں یہ 30.3% ہے.
معاون مواد کا استعمال ایک خاص طور پر واضح خلا (گیپ) کی نشاندہی کرتا ہے. اگرچہ GPT‑Rosalind, GPT‑5.5 کے مقابلے میں آرٹیفیکٹ-ہیوی سیاق میں بہتر کارکردگی دکھاتا ہے, لیکن اس کا پاس ریٹ پھر بھی ٹیکسٹ-اَنلی (text-only) ٹاسکس میں 45.1% سے کم ہو کر ایسے ٹاسکس میں 28.1% رہ جاتا ہے جن میں آرٹیفیکٹس یا URLs شامل ہوں. GPT‑5.5 میں بھی یہی پیٹرن دیکھا جاتا ہے, جہاں یہ 29.9% سے کم ہو کر 21.9% تک آ جاتا ہے. مزید تفصیلی تجزیہ اس بات کی تصدیق کرتا ہے کہ جدید ترین ماڈلز پیچیدہ تصاویر یا بڑے سیکوئنس فائلز سے معلومات اخذ کرنے اور اس معلومات کو حتمی جواب میں مربوط کرنے میں مشکلات کا سامنا کرتے ہیں.
جب ٹاسکس میں ماخذ پر مبنی ریزننگ یا آرٹیفیکٹس کے ساتھ کام درکار ہو تو پاس شرحیں کم ہو جاتی ہیں
جواب کے فارمیٹ کا بھی اہم کردار ہوتا ہے. وہ ٹاسکس جو درست ترتیب, ساخت, یا کنسٹرکٹ-لیول آؤٹ پٹس کا تقاضا کرتے ہیں, ان میں پاس ریٹس کم ہوتے ہیں: GPT‑Rosalind عددی ٹاسکس میں صرف 14.8% حاصل کرتا ہے, اور سیکوئنس یا اسٹرکچر آؤٹ پٹس میں 24.0% تک پہنچتا ہے. کنسٹرکٹ جنریشن ٹاسکس بھی نازک ہوتے ہیں, جن میں GPT‑Rosalind کا اسکور 27.3% ہے اور GPT‑5.5 کے مقابلے میں بہت کم بہتری دکھائی دیتی ہے. اس خلا کا کچھ حصہ ممکنہ طور پر زیادہ سخت گریڈنگ معیار کی وجہ سے بھی ہو سکتا ہے, کیونکہ ایکزیکٹ-جواب ٹاسکس میں حساب یا فارمیٹنگ کے معمولی فرق بھی جواب کو پاس تھریشولڈ سے نیچے لے جا سکتے ہیں. اس کے باوجود, یہ ناکامیاں سائنسی طور پر اہم ہیں کیونکہ لائف سائنس کے بہت سے ورک فلوز ایسے آؤٹ پٹس کا تقاضا کرتے ہیں جو اتنے درست ہوں کہ انہیں براہِ راست استعمال کیا جا سکے, جیسے CRISPR/HDR ڈونر ڈیزائن یا siRNA ڈیزائن میں.
ماڈلز اکثر مکمل طور پر ٹاسک حل کیے بغیر بھی کافی حد تک درست سمت میں پہنچ جاتے ہیں. تقریباً 14% ٹاسکس میں ماڈلز نے ایکزیکٹ پاس تھریشولڈ کو پورا نہ کرنے کے باوجود روبریک کے تحت قابلِ ذکر اسکور حاصل کیا. GPT‑Rosalind کے لیے, 109 ٹاسکس ایسے تھے جن میں پاس ریٹ 20% سے کم رہا, لیکن پھر بھی کم از کم 50% روبریک ریوارڈ حاصل ہوا. عملی طور پر اس کا مطلب یہ ہے کہ ماڈلز متعلقہ شواہد کی شناخت کر سکتے ہیں یا جزوی طور پر قابلِ فہم جواب دے سکتے ہیں, لیکن پھر بھی اس لیے ناکام ہو جاتے ہیں کیونکہ وہ کسی اہم شرط کو نظر انداز کر دیتے ہیں, غلط شواہد استعمال کرتے ہیں, نامکمل حساب کرتے ہیں, یا اپنی ریزننگ کو کسی سائنسی طور پر مفید حتمی فیصلے سے درست طور پر نہیں جوڑ پاتے.
حدود اور آگے کا راستہ
LifeSciBench اس بات کی پیمائش کی طرف ایک قدم ہے کہ AI سسٹمز لائف سائنس ریسرچ کے لیے کتنے مفید ہو سکتے ہیں, لیکن یہ زندہ تحقیقی ماحول میں ماڈلز کے مطالعے کا متبادل نہیں ہے. یہ بینچ مارک ایسے خود کفیل ٹاسکس پر توجہ مرکوز کرتا ہے جو صنعت میں بار بار ہونے والے ورک فلوز کی عکاسی کرتے ہیں, جبکہ بہت سے سائنسی شعبے اور ٹاسک کی اقسام اس کے موجودہ دائرۂ کار سے باہر رہتی ہیں. حقیقی تحقیق ایک تکراری (iterative) عمل ہے: سائنس داں نئی شواہد اکٹھا کرتے ہیں, مفروضوں (hypotheses) پر نظرِ ثانی کرتے ہیں, فالو اپ تجربات ڈیزائن کرتے ہیں, اور جیسے جیسے نتائج سامنے آتے ہیں اپنے منصوبوں کو ایڈجسٹ کرتے رہتے ہیں.
LifeSciBench پر مضبوط کارکردگی کو اس طور پر سمجھا جانا چاہیے کہ یہ حقیقی ٹاسک-لیول صلاحیت کا ثبوت ہے, نہ کہ ڈاؤن اسٹریمز تحقیقاتی اثر کی براہِ راست پیمائش. یہ بینچ مارک صنعتی ورک فلو پر مبنی ہے, لیکن یہ زندہ تحقیقی پروگرامز کے مکمل تنوع یا ان کی حرکیات کو شامل نہیں کرتا, جہاں پیش رفت ایسے عوامل پر منحصر ہوتی ہے جو وقت کے ساتھ ساتھ سامنے آتے ہیں.
اگلا مرحلہ بینچ مارک کی کارکردگی کو حقیقی تحقیقی ورک فلوز میں ڈپلوئیمنٹ اسٹڈیز سے جوڑنا ہے. اگرچہ LifeSciBench کو عملی طور پر کام کرنے والے سائنس دانوں کے ساتھ مل کر تیار کیا گیا ہے, لیکن یہ جانچنے کے لیے کہ آیا AI سسٹمز دریافت کے عمل کو تیز کرتے ہیں یا R&D کے نتائج کو بہتر بناتے ہیں, ماڈلز کے استعمال اور کارکردگی کا حقیقی تحقیقی ماحول میں, طویل عرصے تک, اور ریزننگ, فیڈبیک, اور تجرباتی فالو اپ کے متعدد دوروں میں مطالعہ کرنا ضروری ہوگا.
