LifeSciBench کا تعارف

ایجنٹک AI سسٹم سائنسی ٹاسکس انجام دینے میں تیزی سے زیادہ قابل ہو رہے ہیں. تاہم لائف سائنس محققین کے لیے ان کی افادیت اس پر منحصر ہے کہ وہ حقیقی تحقیق کی پیچیدگی کو کتنی خوبی سے ہینڈل کرتے ہیں. یہ کام شاذ و نادر ہی کسی ایک فیکٹ-ری کال سوال یا صاف پری ڈکشن مسئلے جیسا ہوتا ہے. محققین نامکمل شواہد کی تشریح کرتے ہیں, متضاد نتائج میں تطبیق پیدا کرتے ہیں, مشکل تجربات ڈیزائن کرتے ہیں, مضامین کی خرابی دور کرتے ہیں, روایتی خطرہ کا اندازہ لگاتے ہیں, اور غیر یقینی صورت حال میں اگلا قدم طے کرتے ہیں.

موجودہ بینچ مارکس ان صلاحیتوں کو مکمل طور پر شامل نہیں کرتے. لائف سائنسز کے بہت سے جائزے محدود ڈومینز یا الگ تھلگ مہارتوں پر مرکوز ہوتے ہیں, جس کے نتیجے میں سوالات زیادہ تر منظم فارمیٹس اور واضح ریفرنس جوابات تک محدود رہتے ہیں. اگرچہ یہ مفید ہیں, لیکن یہ اکثر اس بات کا حقیقی اندازہ لگانے میں ناکام رہتے ہیں کہ آیا کوئی ماڈل تحقیقاتی سطح کے وسیع تر کاموں میں مؤثر طور پر حصہ ڈال سکتا ہے یا نہیں.

ہم نے LifeSciBench کو اس خلا کو پُر کرنے کے لیے ڈیزائن کیا ہے. ہر ٹاسک کی بنیاد ایسے عملی لائف سائنس دانوں کے فیصلے پر رکھی گئی ہے جو PhD سطح کی تربیت رکھتے ہیں اور بایوٹیک اور فارماسیوٹیکل ماحول میں ڈرگ ڈسکوری پروگرامز کو آگے بڑھانے کا براہِ راست تجربہ رکھتے ہیں.

LifeSciBench میں ماہرین کے لکھے 750 ٹاسکس شامل ہیں, جو سات ورک فلوز اور سات بایولوجیکل ڈومینز پر پھیلے ہوئے ہیں.

LifeSciBench اس بات کا جائزہ لیتا ہے کہ آیا AI سسٹمز صرف حیاتیات کے سوالات کے جوابات دینے کے بجائے حقیقی لائف سائنس ریسرچ ٹاسکس میں معاونت فراہم کر سکتے ہیں یا نہیں. بینچ مارک کی ٹیکسونومی کی تعریف کے لیے, ہم نے عملی تحقیقاتی ماحول میں کام کرنے والے لائف سائنس دانوں سے ان ورک فلوز کے بارے میں سروے کیا جو وہ سب سے زیادہ استعمال کرتے ہیں. اس کے بعد ہم نے ان کے جوابات کو سات بار بار آنے والی کیٹیگریز میں تقسیم کیا: شواہد کا انتظام, تجزیہ, ڈیزائن اور آپٹیمائزیشن, سائنسی استدلال, توثیق اور آپریشنز, ترجمہ, اور سائنسی مواصلات.

ہر ٹاسک کو اس طرح تشکیل دیا گیا ہے جیسے کوئی سائنس دان کسی باخبر تعاون کار کو درخواست دے سکتا ہے: اس میں ایک سائنسی پرومپٹ، متعلقہ سیاق و سباق یا مواد, اور ایک آزاد جواب شامل ہوتا ہے. ماہرین کے لکھے ہوئے روبریکس اس بات کا جائزہ لیتے ہیں کہ آیا ماڈل کسی مخصوص مسئلے کے لیے درست جواب پیدا کر سکتا ہے یا نہیں, اور ساتھ ہی یہ بھی کہ وہ جواب مطلوبہ تفصیل, جواز, احتیاطی نکات, اور اس فارمیٹنگ کے ساتھ ہو جو ایک سائنس دان توقع کرے گا.

LifeSciBench سائنسی استدلال کے ساتھ ساتھ ان کم واضح لیکن عملی مہارتوں کا بھی جائزہ لیتا ہے جو حقیقی دنیا میں سائنسی استعمال کے لیے ضروری ہیں. اس کے ٹاسکس ماڈلز سے تقاضا کرتے ہیں کہ وہ حقیقی تحقیقاتی مسائل پر کام کریں: شواہد کی تشریح کریں, ڈومین کے مطابق درست فیصلے کریں, اور ایسے نتائج بیان کریں جو ماہر ریویورز کے لیے مفید ہوں. بہت سے ٹاسکس میں یہ بھی شامل ہوتا ہے کہ ماڈلز غیر یقینی صورتحال کو ہینڈل کریں اور صرف پرومپٹ ٹیکسٹ پر انحصار کرنے کے بجائے معاون ڈیٹا فائلز کی بنیاد پر استدلال کریں.

یہ بینچ مارک لائف سائنس کے کام کی پیچیدگی کو ظاہر کرنے کے لیے ڈیزائن کیا گیا ہے. مجموعی طور پر 79% ٹاسکس میں ریزننگ یا فیصلہ سازی کے متعدد مراحل درکار ہوتے ہیں, اور ہر ٹاسک میں اوسطاً چار مراحل شامل ہوتے ہیں. LifeSciBench میں 1,062 منسلک معاون مواد شامل ہیں جن میں تصاویر, PDFs, ٹیبلز, سیکوئنس فائلز, اسٹرکچر یا کیمیکل فائلز, اور ویب ریفرنسز شامل ہیں. آدھے سے زیادہ ٹاسکس (53%) میں ماڈلز کو کم از کم ایک معاون مواد سے معلومات کی تشریح یا انضمام کرنا ہوتا ہے.

ٹاسکس 173 ماہر سائنس دانوں نے مختلف لائف سائنس ڈسپلنز میں تیار کیے. ہر سائنس داں PhD سطح کی تربیت رکھتا تھا اور بایوٹیکنالوجی یا فارماسیوٹیکل انڈسٹری میں تجربہ بھی رکھتا تھا. ٹاسکس کو قبول کیے جانے سے پہلے جتنے چاہیں ریویژن سائیکلز سے گزارا جا سکتا تھا, اور اس کی کوئی مقررہ حد نہیں تھی. قبول شدہ ٹاسکس میں اوسطاً چھ آٹومیٹڈ ریویو سائیکلز شامل تھے, اور کم از کم دو مرتبہ ماہرین کے ذریعے ریویوز مکمل کی گئیں. ریویوز کو یا تو کسی قابلِ تصدیق درست جواب یا مضبوط ماہر اتفاقِ رائے کی بنیاد پر انجام دیا گیا, اور متعلقہ ڈومین میں کم از کم 90% ریویورز کے درمیان اتفاق پایا گیا. اس عمل نے اس بات کو یقینی بنانے میں مدد دی کہ منظور شدہ ٹاسکس سائنسی طور پر مضبوط ہوں, گریڈ کیے جانے کے لیے واضح ہوں, اور اطلاقی تحقیق کی حقیقی عکاسی کرتے ہوں.

LifeSciBench کے ٹاسکس کو ایک تفصیلی, ٹاسک-مخصوص روبریک کے ذریعے گریڈ کیا جاتا ہے، جو متوقع جواب کو مخصوص سائنسی دعووں, حسابات (کیلکولیشنز), فیصلوں, جواز (جسٹیفکیشنز) اور دیگر متعلقہ عناصر میں تقسیم کرتا ہے. پورے بینچ مارک میں, ماہرین کے تیار کردہ روبریکس میں مجموعی طور پر 19,020 معیار شامل ہیں—جو فی ٹاسک اوسطاً 25 بنتے ہیں—تاکہ نہ صرف سائنسی درستگی بلکہ تحقیقاتی فیصلوں کے لیے افادیت کا بھی جائزہ لیا جا سکے.

یہ ڈیزائن اس بات کی عکاسی کرتا ہے کہ عملی طور پر سائنسی کام کی جانچ کیسے کی جاتی ہے: لائف سائنس کے بہت سے ٹاسکس کو صرف حتمی جواب دیکھ کر گریڈ نہیں کیا جا سکتا. ایک جواب مجموعی طور پر درست نتیجے تک پہنچ سکتا ہے, لیکن پھر بھی اسے نامکمل سمجھا جا سکتا ہے اگر, مثال کے طور پر, وہ کسی اہم اسیس کی حد کو نظر انداز کرے یا کسی انتہائی اہم حیاتیاتی نکتے کو بروقت سامنے نہ لائے۔ اس کے برعکس، ایک جزوی جواب میں اعلیٰ معیار کی ریزننگ کی صلاحیت موجود ہو سکتی ہے, چاہے وہ ٹاسک کو مکمل طور پر حل نہ بھی کرے.

تفصیلی روبریکس اس باریک بینی کو شامل کرتے ہیں. LifeSciBench نہ صرف حتمی جواب کی درستگی کا جائزہ لیتا ہے, بلکہ یہ بھی دیکھتا ہے کہ آیا ماڈل اپنے جواب تک سائنسی طور پر درست اور عملی طور پر مفید طریقے سے پہنچتا ہے یا نہیں.

ہم نے LifeSciBench کی توثیق ایک آزاد ماہرین کے جائزے کے ذریعے کی. فیڈبیک 453 ایسے ریویورز سے حاصل کیا گیا جو ٹاسکس کی تیاری کے عمل میں شامل نہیں تھے. ان ریویورز میں سے 97% کے پاس PhD یا اس کے مساوی ڈاکٹریٹ ڈگری تھی, اور ان کا اوسطاً 12 سال کا فیلڈ تجربہ اور 14 ہم سطح ماہرین کے جائزے سے منظور شدہ اشاعتیں تھیں؛ 88% نے کم از کم ایک ایوارڈ یا فیلوشپ حاصل کرنے کی اطلاع دی.

ریویورز نے اس بات کا جائزہ لیا کہ آیا ہر ٹاسک ایک مضبوط بینچ مارک سوال کے لیے درکار خصوصیات کی عکاسی کرتا ہے یا نہیں: حقیقی دنیا کی تحقیقی سرگرمیوں سے مطابقت, سائنسی ریزننگ اور ڈومین مہارت کی مناسب جانچ, شواہد یا ماہرین کے اتفاقِ رائے پر مبنی ہونا, اور ماڈل کی کارکردگی کے جائزے کے لیے مجموعی افادیت. ہر کیٹیگری میں اتفاقِ رائے 96% سے زیادہ رہا.

ریویورز کے کمنٹس نے مقداری درجہ بندیوں کی مزید توثیق کی:

ہم دو تکمیلی میٹرکس رپورٹ کرتے ہیں. پاس ریٹ اس فیصد کو ظاہر کرتا ہے جس میں ماڈل ٹاسک-لیول کامیابی کی حد یعنی 70% کو حاصل کرتا ہے. اسکور اوسط روبریک ریوارڈ ہے, جو ہر انفرادی معیار کے لیے جزوی اسکور دیتا ہے, چاہے مکمل ٹاسک حل نہ بھی ہوا ہو. یہ دونوں میٹرکس اہم ہیں کیونکہ کسی سائنسی ٹاسک کا جواب جزوی طور پر درست یا مفید ہو سکتا ہے, حتیٰ کہ اگر وہ مکمل جواب کے تمام تقاضے پورے نہ بھی کرے.

ماڈل کی کارکردگی ٹاسک کی قسم, ورک فلو, اور جواب کے فارمیٹ کے لحاظ سے نمایاں طور پر مختلف ہوتی ہے.

LifeSciBench یہ ظاہر کرتا ہے کہ جدید ترین ماڈلز نسبتاً طور پر ان ٹاسکس میں زیادہ مضبوط ہیں جن میں سائنسی سنتھیسس, کمیونیکیشن, اور منظم تشریح شامل ہوتی ہے. مطلق پاس ریٹس ابھی بھی کم ہیں, اس لیے یہ بینچ مارک ڈومینز ابھی سیچوریٹ کردہ ہونے سے کافی دور ہیں, لیکن GPT‑Rosalind نے GPT‑5.5 کے مقابلے میں واضح پیش رفت دکھائی ہے, جس میں مجموعی ایکزیکٹ پاس ریٹ 25.7% سے بڑھ کر 36.1% ہو گیا ہے.

ماڈل کی صلاحیتوں میں سب سے مضبوط پیش رفت سائنسی مواصلات اور ترجمہ کے شعبوں میں نظر آتی ہے. مثال کے طور پر, سائنسی مواصلات میں پاس ریٹ GPT‑5.5 کے 56.3% سے بڑھ کر GPT‑Rosalind کے لیے 71.1% ہو جاتا ہے؛ یہ کیٹیگری چھوٹی ہے (n=9), اس لیے اسے احتیاط کے ساتھ سمجھنا چاہیے, تاہم یہ اس بات کی طرف اشارہ کرتا ہے کہ جدید ترین ماڈلز شواہد کو منظم کرنے اور ماہرین کے لیے قابلِ اعتماد وضاحتیں فراہم کرنے کی صلاحیت میں تیزی سے بہتری لا رہے ہیں. ترجمہ جو کہ ڈرگ ڈویلپمنٹ میں “bench-to-bedside” عمل کو ظاہر کرتا ہے میں بھی اسی طرح کا رجحان دیکھا گیا ہے, جو GPT‑5.5 کے 36.8% سے بڑھ کر GPT‑Rosalind کے لیے 57.7% ہو گیا ہے, یہ اس بات کی نشاندہی کرتا ہے کہ ماڈلز تیزی سے اس صلاحیت میں بہتر ہو رہے ہیں کہ وہ پری کلینیکل شواہد کو کلینیکل اثرات سے جوڑ سکیں.

روبریک سطح کے نتائج بھی اسی سمت کی نشاندہی کرتے ہیں. ان ٹاسکس میں جن میں ماہرین کے لیے مفید یا قابلِ عمل نتائج درکار ہوتے ہیں, GPT‑Rosalind کا اسکور 44.7% ہے, جبکہ GPT‑5.5 کا اسکور 29.1% ہے. ان ٹاسکس میں جن میں غیر یقینی صورتحال اور احتیاطی نکات کو ہینڈل کرنا ضروری ہوتا ہے, GPT‑Rosalind 44.8% اسکور حاصل کرتا ہے, جبکہ GPT‑5.5 کا اسکور 29.3% ہے. یہ پیٹرن اس بات کی نشاندہی کرتا ہے کہ ماڈلز سب سے زیادہ مفید اس وقت ہوتے ہیں جب ٹاسک کی شواہد پر مبنی حد واضح ہو اور اس میں منظم سائنسی فیصلے کی ضرورت ہو.

کارکردگی ابھی بھی ان سائنسی کاموں میں کافی کمزور ہے جن میں بڑی مقدار میں معاون مواد, ڈیزائن پر مبنی سوچ, اور عملی طور پر محدود تقاضے شامل ہوتے ہیں. خاص طور پر, ڈیزائن, آپٹیمائزیشن اور پیش گوئی اب بھی سب سے مشکل ورک فلو میں سے ایک ہے, جس میں GPT‑Rosalind کا پاس ریٹ 30.7% ہے؛ اسی طرح اینالیسس بھی مشکل رہتا ہے, جہاں یہ 30.3% ہے.

معاون مواد کا استعمال ایک خاص طور پر واضح خلا (گیپ) کی نشاندہی کرتا ہے. اگرچہ GPT‑Rosalind, GPT‑5.5 کے مقابلے میں آرٹیفیکٹ-ہیوی سیاق میں بہتر کارکردگی دکھاتا ہے, لیکن اس کا پاس ریٹ پھر بھی ٹیکسٹ-اَنلی (text-only) ٹاسکس میں 45.1% سے کم ہو کر ایسے ٹاسکس میں 28.1% رہ جاتا ہے جن میں آرٹیفیکٹس یا URLs شامل ہوں. GPT‑5.5 میں بھی یہی پیٹرن دیکھا جاتا ہے, جہاں یہ 29.9% سے کم ہو کر 21.9% تک آ جاتا ہے. مزید تفصیلی تجزیہ اس بات کی تصدیق کرتا ہے کہ جدید ترین ماڈلز پیچیدہ تصاویر یا بڑے سیکوئنس فائلز سے معلومات اخذ کرنے اور اس معلومات کو حتمی جواب میں مربوط کرنے میں مشکلات کا سامنا کرتے ہیں.

جواب کے فارمیٹ کا بھی اہم کردار ہوتا ہے. وہ ٹاسکس جو درست ترتیب, ساخت, یا کنسٹرکٹ-لیول آؤٹ پٹس کا تقاضا کرتے ہیں, ان میں پاس ریٹس کم ہوتے ہیں: GPT‑Rosalind عددی ٹاسکس میں صرف 14.8% حاصل کرتا ہے, اور سیکوئنس یا اسٹرکچر آؤٹ پٹس میں 24.0% تک پہنچتا ہے. کنسٹرکٹ جنریشن ٹاسکس بھی نازک ہوتے ہیں, جن میں GPT‑Rosalind کا اسکور 27.3% ہے اور GPT‑5.5 کے مقابلے میں بہت کم بہتری دکھائی دیتی ہے. اس خلا کا کچھ حصہ ممکنہ طور پر زیادہ سخت گریڈنگ معیار کی وجہ سے بھی ہو سکتا ہے, کیونکہ ایکزیکٹ-جواب ٹاسکس میں حساب یا فارمیٹنگ کے معمولی فرق بھی جواب کو پاس تھریشولڈ سے نیچے لے جا سکتے ہیں. اس کے باوجود, یہ ناکامیاں سائنسی طور پر اہم ہیں کیونکہ لائف سائنس کے بہت سے ورک فلوز ایسے آؤٹ پٹس کا تقاضا کرتے ہیں جو اتنے درست ہوں کہ انہیں براہِ راست استعمال کیا جا سکے, جیسے CRISPR/HDR ڈونر ڈیزائن یا siRNA ڈیزائن میں.

ماڈلز اکثر مکمل طور پر ٹاسک حل کیے بغیر بھی کافی حد تک درست سمت میں پہنچ جاتے ہیں. تقریباً 14% ٹاسکس میں ماڈلز نے ایکزیکٹ پاس تھریشولڈ کو پورا نہ کرنے کے باوجود روبریک کے تحت قابلِ ذکر اسکور حاصل کیا. GPT‑Rosalind کے لیے, 109 ٹاسکس ایسے تھے جن میں پاس ریٹ 20% سے کم رہا, لیکن پھر بھی کم از کم 50% روبریک ریوارڈ حاصل ہوا. عملی طور پر اس کا مطلب یہ ہے کہ ماڈلز متعلقہ شواہد کی شناخت کر سکتے ہیں یا جزوی طور پر قابلِ فہم جواب دے سکتے ہیں, لیکن پھر بھی اس لیے ناکام ہو جاتے ہیں کیونکہ وہ کسی اہم شرط کو نظر انداز کر دیتے ہیں, غلط شواہد استعمال کرتے ہیں, نامکمل حساب کرتے ہیں, یا اپنی ریزننگ کو کسی سائنسی طور پر مفید حتمی فیصلے سے درست طور پر نہیں جوڑ پاتے.

LifeSciBench اس بات کی پیمائش کی طرف ایک قدم ہے کہ AI سسٹمز لائف سائنس ریسرچ کے لیے کتنے مفید ہو سکتے ہیں, لیکن یہ زندہ تحقیقی ماحول میں ماڈلز کے مطالعے کا متبادل نہیں ہے. یہ بینچ مارک ایسے خود کفیل ٹاسکس پر توجہ مرکوز کرتا ہے جو صنعت میں بار بار ہونے والے ورک فلوز کی عکاسی کرتے ہیں, جبکہ بہت سے سائنسی شعبے اور ٹاسک کی اقسام اس کے موجودہ دائرۂ کار سے باہر رہتی ہیں. حقیقی تحقیق ایک تکراری (iterative) عمل ہے: سائنس داں نئی شواہد اکٹھا کرتے ہیں, مفروضوں (hypotheses) پر نظرِ ثانی کرتے ہیں, فالو اپ تجربات ڈیزائن کرتے ہیں, اور جیسے جیسے نتائج سامنے آتے ہیں اپنے منصوبوں کو ایڈجسٹ کرتے رہتے ہیں.

LifeSciBench پر مضبوط کارکردگی کو اس طور پر سمجھا جانا چاہیے کہ یہ حقیقی ٹاسک-لیول صلاحیت کا ثبوت ہے, نہ کہ ڈاؤن اسٹریمز تحقیقاتی اثر کی براہِ راست پیمائش. یہ بینچ مارک صنعتی ورک فلو پر مبنی ہے, لیکن یہ زندہ تحقیقی پروگرامز کے مکمل تنوع یا ان کی حرکیات کو شامل نہیں کرتا, جہاں پیش رفت ایسے عوامل پر منحصر ہوتی ہے جو وقت کے ساتھ ساتھ سامنے آتے ہیں.

اگلا مرحلہ بینچ مارک کی کارکردگی کو حقیقی تحقیقی ورک فلوز میں ڈپلوئیمنٹ اسٹڈیز سے جوڑنا ہے. اگرچہ LifeSciBench کو عملی طور پر کام کرنے والے سائنس دانوں کے ساتھ مل کر تیار کیا گیا ہے, لیکن یہ جانچنے کے لیے کہ آیا AI سسٹمز دریافت کے عمل کو تیز کرتے ہیں یا R&D کے نتائج کو بہتر بناتے ہیں, ماڈلز کے استعمال اور کارکردگی کا حقیقی تحقیقی ماحول میں, طویل عرصے تک, اور ریزننگ, فیڈبیک, اور تجرباتی فالو اپ کے متعدد دوروں میں مطالعہ کرنا ضروری ہوگا.