GeneBench-Pro متعارف کروا رہے ہیں
ایک تحقیقی سطح کا بینچ مارک جو یہ پیمائش کرتا ہے کہ AI ایجنٹس کمپیوٹیشنل بایولوجی میں ابہام سے کیسے نمٹتے ہیں اور دور رس نتائج والے فیصلے کیسے کرتے ہیں.
سائنسی ڈیٹا کم ہی ہدایات کے ساتھ آتا ہے. محققین کو یہ فیصلہ کرنا چاہیے کہ آیا کوئی رجحان حیاتیات کی عکاسی کرتا ہے یا شور کی، آیا ڈیٹا پوچھے جا رہے سوال کی تائید کر سکتا ہے اور ہر نتیجہ ان کے اگلے قدم کو کس طرح بدلنا چاہیے. AI ایجنٹس پیچیدہ تجزیے انجام دینے کے قابل تیزی سے ہوتے جا رہے ہیں، لیکن حقیقی سائنسی تحقیق کا انحصار محض حقائق کو یاد کرنے یا پہلے سے طے شدہ ورک فلو کی پیروی کرنے پر نہیں بلکہ ان اعلیٰ درجے کی فیصلہ سازیوں پر بھی ہوتا ہے.
آج، ہم GeneBench-Pro متعارف کروا رہے ہیں—ایک چیلنجنگ، تحقیقی سطح کا بینچ مارک، جس کے ذریعے یہ جانچا جا سکے گا کہ آیا ماڈل اس قسم کے فیصلہ سازی پر بہت زیادہ انحصار کرنے والے تجزیے کو سنبھال سکتے ہیں جس کی حقیقی دنیا کی کمپیوٹیشنل بایولوجی میں ضرورت ہوتی ہے. یہ GeneBench(نئی ونڈو میں کھلتا ہے) کو وسعت دے کر جینومکس، کمیاتی حیاتیات اور ٹرانسلیشنل میڈیسن میں زیادہ مشکل اور زیادہ حقیقت پسندانہ کاموں کا احاطہ کرتا ہے اور کمپیوٹیشنل حیاتیات میں سائنسی تحقیق کی پیچیدگی، تکراری نوعیت اور ابہام کو سمیٹتا ہے.
اب تک، ایسے نظامی سطح کے صوابدیدی فیصلوں کے قائل کن جائزے بہت کم ہوئے ہیں جو حقیقی دنیا کی کمپیوٹیشنل تحقیق کو دشوار بناتے ہیں. ان میں ابہام سے نمٹنا، مفروضات پر نظرِ ثانی کرنا، تجزیے کا درست راستہ منتخب کرنا اور یہ جاننا شامل ہیں کہ کوئی نتیجہ کب فیصلہ سازی کے لیے تیار ہے. چونکہ ان مہارتوں کو ضابطہ بند کرنا مشکل ہے، اس لیے ان کا دقیق انداز میں جائزہ لینا بھی مشکل ہے، جبکہ ان ہی میں موجود کمزوریاں مجموعی AI کارکردگی کو بتدریج مزید محدود کر رہی ہیں.
GeneBench-Pro کو ان اعلیٰ سطحی صلاحیتوں کی درست پیمائش کے لیے ڈیزائن کیا گیا ہے. GeneBench-Pro کے اندر، ہم "تحقیقی ذوق" کی تعریف صوابدیدی فیصلوں کی ان زنجیروں کے طور پر کرتے ہیں جو کسی تجزیے کو شکل دیتی ہیں: ڈیٹا کن سوالات کی حمایت کر سکتا ہے، ابتدائی تشخیصات کو ماڈل یا ایسٹیمینڈ کو کس طرح تبدیل کرنا چاہیے اور کب کسی ابتدائی منصوبے پر نظرِ ثانی کی ضرورت ہوتی ہے. GeneBench-Pro کا ہر مسئلہ ماڈل کو ایک حقیقت پسندانہ اور غیر منظم ڈیٹا سیٹ، مختصر تجرباتی سیاق و سباق اور بعد کے فیصلے سے منسلک ہدفی تخمینہ جاتی مقدار فراہم کرتا ہے. درست جواب دینے کے لیے، ماڈل کے لیے ضروری ہے کہ وہ ڈیٹا کا جائزہ لے، ایک مناسب تجزیاتی طریقۂ کار منتخب کرے، تجربات کے تکراری عمل میں شامل ہو اور حتمی جواب فراہم کرے.
حیاتیات میں، ڈیٹا جنریشن (جیسا کہ، جینوم سیکوینسنگ) کی لاگت میں ڈرامائی کمی آئی ہے اور کچھ محققین اب دلیل دیتے ہیں(نئی ونڈو میں کھلتا ہے) کہ محدود کرنے والا عامل اب نمونوں کا جمع کرنا نہیں، بلکہ بعد کے مراحل کی کمپیوٹیشن اور تجزیہ ہے. GeneBench-Pro کو اس رکاوٹ کو دور کرنے میں پیش رفت کا جائزہ لینے کے لیے بنایا گیا ہے، جس میں 129 سوالات ہیں جو کمپیوٹیشنل بایولوجی کی ترتیبات اور طریقوں کے ایک وسیع دائرے کا احاطہ کرتے ہیں.
ڈومین اٹلس: ۱۲۹ مسائل ۱۰ ڈومینز اور ۲۱ ذیلی ڈومینز میں
بینچ مارک مسئلے کے بارے میں جاننے کے لیے اوپر موجود کسی نقطے پر کلک کریں.
یہ اٹلس GeneBench-Pro کی وسعت کی ایک جھلک پیش کرتا ہے. 10 نمائندہ سوالات کو مزید تفصیل سے دریافت کرنے کے لیے کیس اسٹڈیز کے صفحے پر جائیں.
GeneBench-Pro کو عام بینچ مارک کی ناکامیوں سے بچنے کے لیے بھی ڈیزائن کیا گیا ہے. حیاتیات کے بہت سے طویل افق والے بینچ مارکس غیر منظم تاریخی ڈیٹا سیٹس کی بنیاد پر کثیر مرحلہ سوالات تیار کرتے ہیں، جہاں تجزیے سے گزرنے کا کوئی ایک ہی درست راستہ نہیں ہو سکتا. ایک ایجنٹ ایک قابلِ دفاع کٹ آف کا انتخاب کر سکتا ہے، جبکہ دوسرا ایجنٹ ایک مختلف مگر اتنا ہی قابلِ دفاع اختیار منتخب کر سکتا ہے، جو ماڈل کی کارکردگی میں کسی بنیادی فرق سے زیادہ بینچ مارک بنانے والے کے من مانے انتخاب کی عکاسی کرتا ہے. اس کے برعکس بھی ہو سکتا ہے: اگر کوئی مسئلہ عددی لحاظ سے بہت زیادہ غیر حساس ہو، تو کوئی ایجنٹ تجزیے میں بنیادی غلطیاں کر سکتا ہے اور پھر بھی ایسا نتیجہ پیدا کر سکتا ہے جو کامیاب قرار پائے.
ناکامی کی ان صورتوں سے بچنے کے لیے، ہر GeneBench-Pro مسئلہ مصنوعی طور پر تیار کیا جاتا ہے: ہمیں مکمل سببی ڈھانچہ معلوم ہوتا ہے اور ہم ڈیٹا پیدا کرنے کے عمل کو براہِ راست سیمیولیٹ کرتے ہیں. یہ ہمیں ہر مسئلے کی پیچیدگی کو موزوں کرنے، یہ یقینی بنانے کے قابل بناتا ہے کہ موضوعی تجزیاتی فیصلوں میں معقول اختلافات کے باوجود قابلِ قبول عددی نتائج حاصل ہوں اور (ایبلیشن اسٹڈیز کے ذریعے) یہ تصدیق کرنے کے قابل بناتا ہے کہ بظاہر معقول مگر غلط تجزیے ناکام رہیں. اس کے بعد ہم تفصیلی ٹریس تجزیات کے ذریعے مسئلوں کے مسودوں کا آڈٹ کرتے ہیں تاکہ معلومات کے رساؤ اور غیر ارادی حل کے راستوں کی جانچ کی جا سکے. اس سے ہمیں اعتماد ملتا ہے کہ درست جواب حاصل کرنا صحیح تجزیاتی طریقۂ کار کے انتخاب پر منحصر ہے، نہ کہ کسی مختصر راستے سے فائدہ اٹھانے یا مصنف کی کسی من مانی ترجیح سے مطابقت پیدا کرنے پر.
ہم نے GeneBench-Pro کے 129 سوالات میں سے بیاسی ڈومین کے بیرونی ماہرین کو بھیجے، جن میں پوسٹ گریجویٹ طلبہ، پوسٹ ڈاکٹریٹ محققین، صنعتی سائنس دان اور پروفیسرز شامل تھے. جائزہ کاروں نے ہر مسئلے کی حقیقت پسندی، یہ کہ آیا مطلوبہ جواب قابلِ شناخت تھا اور یہ کہ آیا طریقے اور تخمینہ کار مناسب تھے، کا جائزہ لیا. فیڈبیک کو مسائل میں بہتری لانے کے لیے استعمال کیا گیا.
“جن مسائل کا میں نے جائزہ لیا، انہیں ایک تجربہ کار نگران کی بار بار آراء کے بغیر مکمل کرنا کسی ماسٹرز طالب علم کے لیے مشکل ہوتا. اس ڈیٹا میں تکنیکی اور کوالٹی کنٹرول سے متعلق مسائل موجود تھے، جن کے باعث کام کو کامیابی سے مکمل کرنے کے لیے ممکنہ پیچیدگیوں سے باخبر رہتے ہوئے سوچ سمجھ کر اور غور و فکر پر مبنی ڈیٹا تجزیہ درکار تھا؛ یہ محض صاف اور اچھی طرح سے مرتب و منظم ڈیٹا پر کوئی تیار شدہ طریقہ لاگو کرنے کا معاملہ نہیں تھا.”
“اگرچہ موجودہ ماڈلز آزادانہ تجزیے شروع سے آخر تک قابلِ اعتماد طور پر انجام دینے کے قابل نہیں ہیں، لیکن وہ ماڈلز جو GeneBench-Pro مسائل پر اچھی کارکردگی دکھاتے ہیں، واضح طور پر محققین کو درست ورک فلو کا تعین کرنے اور ڈیٹا کو دریافت کرنے میں مدد دے سکیں گے. میں دیکھ سکتا تھا کہ اس سے تحقیق کی رفتار، جامعیت اور اعادہ پذیری میں نمایاں بہتری آ رہی ہے.”
GeneBench-Pro کا ہر مسئلہ بذاتِ خود مکمل سائنسی تجزیہ ہے. ایجنٹس کو ایک علیحدہ ورک اسپیس تک رسائی ملتی ہے جس میں ایک مختصر پرومپٹ، ڈیٹا فائلز اور ایک معیاری بایوانفارمیٹکس اسٹیک شامل ہوتا ہے، جس میں Python، سائنسی کمپیوٹنگ لائبریریز اور PLINK 2.0 جیسے بنیادی جینومکس پیکیجز شامل ہیں (اگرچہ مسائل کے لیے ڈومین-مخصوص ٹولنگ درکار نہیں ہوتی).
ساختی تغیرات کی رہنمائی میں ٹیومر تھراپی کے فائدہ-خطرے کے فیصلے
چونکہ ہم مکمل ڈیٹا تیار کرنے کے عمل کو کنٹرول کرتے ہیں، ہم معلوم شدہ اہداف کے خلاف درستی کو تعیّنی طور پر جانچ سکتے ہیں اور معیاری روبریک پر مبنی تشخیص میں پائے جانے والے ماڈل کے انتخاب کی تغیر پذیری اور طوالت کے اثرات سے بچ سکتے ہیں.
ہر مسئلہ جامع میٹا ڈیٹا کے ساتھ بھی آتا ہے، جس میں مطلوبہ تجزیاتی ڈھانچہ، منسلک ڈیٹا فائلیں، ایک مفصل کئی صفحات پر مشتمل کیس اسٹڈی اور ماہرین کے جائزے کے نتائج شامل ہوتے ہیں. ہم 10 نمائندہ GeneBench-Pro سوالات کو Hugging Face(نئی ونڈو میں کھلتا ہے) پر مکمل طور پر اوپن سورس کر رہے ہیں، ساتھ ہی انہیں براؤز کرنے کے لیے ایک انٹرایکٹو ویب انٹرفیس بھی فراہم کر رہے ہیں. آخر میں، ہم مستقبل قریب میں آزاد، فریقِ ثالث کی بینچ مارکنگ کے لیے 50 سوالات پر مشتمل ایک ذیلی سیٹ Artificial Analysis(نئی ونڈو میں کھلتا ہے) کو فراہم کریں گے.
ہمارا سب سے طاقتور ماڈل، GPT‑5.6 Sol، ریزننگ کی بلند ترین سطح پر 28.7% کا پاس ریٹ حاصل کرتا ہے (Pro موڈ فعال ہونے پر 31.5%). یہ اس وقت کے مقابلے میں ایک نمایاں اضافہ ہے جب ہم نے اصل GeneBench بنانا شروع کیا تھا؛ اُس وقت، ہمارے بہترین فرنٹیئر ماڈل، GPT‑5، نے 5% سے کم اسکور حاصل کیا تھا. اس بینچ مارک پر پیش رفت سے ظاہر ہوتا ہے کہ فرنٹیئر ماڈلز تیزی سے بہتر ہو رہے ہیں، حتیٰ کہ کم ملموس، سسٹمز-لیول سائنسی ریزننگ میں بھی. موجودہ رفتار سے، یہ بینچ مارک سال کے آخر تک اپنی حد کو پہنچ سکتا ہے.
نتائج ٹیسٹ ٹائم کمپیوٹ کو اسکیل کرنے کے اثرات بھی دکھاتے ہیں. سب سے نچلی ریزننگ سطح پر، GPT‑5.6 Sol صرف ایک ہندسے کی پاس کی شرح حاصل کرتا ہے. سب سے اعلیٰ ریزننگ سطح پر، GPT‑5.6 Sol، GPT‑5.2 کے مقابلے میں تقریباً چھ گنا زیادہ سوالات حل کرتا ہے. یہ تقریباً دو تہائی ٹوکن استعمال کرتے ہوئے کرتا ہے.
ماڈل فیملیز کے مابین موازنوں سے ظاہر ہوتا ہے کہ GPT ماڈلز مقداری غیر یقینی صورتحال کے تحت اعلیٰ سطحی سائنسی ریزننگ میں مضبوط ترین سسٹمز میں شامل ہیں. GPT‑5.6 کے درمیان کارکردگی کا فرق. GPT‑5.5 اور GLM 5.2 جیسے سرکردہ اوپن سورس ماڈلز کے درمیان فرق اس سے نمایاں طور پر زیادہ بڑا ہے جس کی ہم کوڈنگ بینچ مارکس(نئی ونڈو میں کھلتا ہے) سے اندازہ لگاتے وقت توقع کرتے ہیں، یہ اس بات کی نشاندہی کرتا ہے کہ اوپن سورس ماڈلز وسیع تر ریزننگ کی صلاحیت کے مقابلے میں کوڈنگ کے لیے زیادہ خاص طور پر تیار کیے گئے ہیں.
ہم نے ڈیولپمنٹ کے دوران مسائل کا جائزہ لینے اور انہیں مزید مضبوط بنانے کے لیے فرنٹیئر GPT ماڈلز استعمال کیے. اسی بنا پر، ہمیں شبہ تھا کہ GeneBench-Pro دیگر ماڈل فیملیز کے مقابلے میں GPT ماڈلز کے خلاف جانبدار ہو سکتا ہے. تاہم، حریف ماڈلز بہترین صورت میں ریلیز کے وقت متعلقہ GPT ماڈل کی کارکردگی کے برابر ہی ہو پاتے تھے اور عموماً کافی حد تک پیچھے رہ جاتے تھے.
یہ تشخیصی نتائج—GPT‑5.6 Sol (Pro) پر 31.5% تک—GeneBench-Pro کے سوالات کی دشواری کو دیکھتے ہوئے حیران کن ہیں. ایک سروے میں، ہمارے جائزہ کاروں نے اندازہ لگایا کہ GeneBench-Pro کا ایک عام مسئلہ مکمل کرنے میں کسی انسانی ماہر کو تقریباً 20–40 گھنٹے لگیں گے. محتاط اندازے کے طور پر $200 فی گھنٹہ کے حساب سے، اس سے ایک ہی مسئلے کی انسانی محنت کی لاگت ہزاروں ڈالر تک پہنچ جاتی ہے. موجودہ AI ایجنٹس ابھی بھی اتنے ناقابلِ اعتماد ہیں کہ انسانی ماہرین کی جگہ لے سکیں، لیکن لاگت کا فرق بہت بڑا ہے، جہاں انفرنس کے اخراجات فی مسئلہ صرف چند ڈالر ہیں. اس کا مطلب ہے کہ موجودہ صلاحیتوں کے ساتھ جزوی خودکاری بھی خاطر خواہ معاشی اور سائنسی قدر پیدا کر سکتی ہے.
“معیارات حیاتیاتی سوالات کی مختلف اقسام سے متاثر ہوتے ہیں، لیکن اصل چیلنج ان دریافتوں پر ابتدائی ڈیٹا تجزیہ اور ریزننگ کا ہے: پیٹرن اور نقائص کی شناخت کرنا اور فیصلہ کرنا کہ آیا ڈیٹا کو خارج یا درست کیا جانا چاہیے. یہ حقیقی حیاتیاتی ڈیٹا سیٹ کی غیر منظم نوعیت سے مشابہت رکھتا ہے. ان جائزوں کا مطالعہ یہ واضح کرتا ہے کہ ایجنٹ پر مبنی سائنسی مسئلے کے حل کے لیے واضح حل کنندہ معاہدے کتنے اہم ہیں. پرومپٹ کے مختلف الفاظ یا کام کی وضاحت اس بات پر بہت زیادہ اثر ڈال سکتی ہے کہ کون سے تجزیے قابلِ اجازت نظر آتے ہیں.”
“مجھے [سوالات] زیادہ تر پسند آئے. ان میں عموماً ان چیزوں کا امتزاج ہوتا تھا: (1) موضوع کا مطلوبہ علم، جیسے قدیم ڈی این اے میں C>T bias، (2) ڈیٹا میں تضادات، جیسے آبائی نسب کی ادلا بدلیاں، (3) کام کے لیے درست تجزیاتی ٹولز اور انہیں نافذ کرنے کے طریقے کا ایک طرح کا علم. ایسا لگتا تھا کہ زیادہ تر ایجنٹس (2) پر ناکام ہو گئے. وہ ڈیٹا کے مسائل کے بارے میں کافی محتاط نہیں ہیں. شاید یہ موجودہ ماڈل کی ایک کمزوری کو اجاگر کرتا ہے. اور حیاتیاتی ڈیٹا کی بڑی مقدار میں بے قاعدگیاں پائی جاتی ہیں.”
پھر بھی، یہ حقیقت کہ فرنٹیئر ماڈل اب بھی ان مسائل میں سے ایک تہائی سے بھی کم حل کرتے ہیں، ظاہر کرتی ہے کہ بہتری کی کافی گنجائش موجود ہے. ماڈل مشکل مسائل پر جزوی پیش رفت کر سکتے ہیں، لیکن وہ استدلالی حلقے کو مکمل کرنے میں مشکل محسوس کرتے ہیں. ناکامی کا یہ پیٹرن انسانی ماہرین اور نوآموزوں کے درمیان فرق کی عکاسی کرتا ہے. ماہرین اپنے تجربے کو استعمال کرتے ہوئے مسئلے کی صورت بندی کرتے ہیں اور اپنے طریقۂ کار کو اس کے مطابق ڈھالتے ہیں، جبکہ نوآموز افراد مشاہدات تو کرتے ہیں لیکن انہیں مسئلے کے وسیع تر تناظر میں مربوط کرنے میں مشکل محسوس کرتے ہیں.
مسئلہ: وقت کے ساتھ بدلتے ہوئے علاج کے ساتھ فارماکوجینومک وقت-تا-واقعہ ردِعمل
GPT-5.5 پیٹرن
GPT-5.6 Sol پیٹرن
تقریباً کامل کارکردگی حاصل کرنے کے لیے ایسی تشخیصات درکار ہوں گی جو پیش رفت کی قابل اعتماد طریقے سے پیمائش کریں اور یہ بھی بتائیں کہ ماڈل کہاں ناکام ہو رہے ہیں. GeneBench-Pro جیسے بینچ مارکس صلاحیت کی مبہم کمی کو ایسی چیز میں بدلنے میں مدد کر سکتے ہیں جس کی ہم تشخیص کر سکیں اور بہتر بنا سکیں.
اگر ایجنٹس اس نوعیت کے تجزیے کو قابلِ اعتماد طور پر خودکار بنا سکیں، تو وہ سائنسی دریافت کو نمایاں طور پر تیز کر سکتے ہیں. انسانی جینیاتی شواہد پہلے ہی ہدف کی ترجیح بندی اور اطلاقی تحقیق کے تعاقبی عمل میں مرکزی حیثیت رکھتے ہیں، کیونکہ وہ طریقۂ کار جنہیں جینیاتی تائید حاصل ہو، منظور شدہ علاج تک پہنچنے کے کہیں زیادہ امکانات رکھتے ہیں.
اسی دوران، سیکوینسنگ کے اخراجات میں زبردست کمی آئی ہے اور بایوبینک کے پیمانے کے ڈیٹاسیٹس اب سالماتی، فینوٹائپک اور ہیلتھ ریکارڈ سے متعلق معلومات کو بے مثال وسعت کے ساتھ جوڑتے ہیں. محدود کرنے والا عنصر ڈیٹا تیار کرنے سے بدل کر معلومات کو قابلِ عمل بصیرتوں میں تبدیل کرنے کی طرف منتقل ہو رہا ہے. وہ ماڈلز جو ایسے تجزیے مستقل طور پر انجام دے سکتے ہیں جنہیں فی الحال انسانی ماہرین کی ٹیمیں سنبھالتی ہیں، مفروضوں کی ترجیحی چھانٹی، اہداف پر پیروی اور ڈیٹا کی تیاری اور فیصلہ سازی کے درمیان تکراری چکر کو تیز کر کے صنعتی تحقیق میں تبدیلی لا سکتے ہیں.
GeneBench-Pro تجربہ کار افراد میں پائی جانے والی اچھے سائنسی فیصلے سازی میں شامل زیادہ تجریدی مہارتوں کا جائزہ لینے کی ایک ابتدائی کوشش ہے. یہ مہارتیں انہیں اس قابل بناتی ہیں کہ وہ وجداناً سب سے زیادہ امید افزا ابتدائی تجزیوں کو سمجھ اور شناخت کر سکیں، جب اعداد و شمار ابتدائی مفروضات سے متصادم ہوں تو بار بار غور کر کے اپنی سوچ پر نظرِ ثانی کر سکیں اور ایسے نتائج تک پہنچ سکیں جن پر بعد کے کلینیکل، اکیڈمک یا کاروباری فیصلوں کا انحصار ہو سکتا ہے.
ہم توقع کرتے ہیں کہ جیسے جیسے ماڈل کی صلاحیتیں بڑھیں گی، ایسے بینچ مارکس جو ماڈل کی صلاحیتوں کو تجرید کی اعلیٰ سطحوں پر پرکھتے ہیں، وہ ان بینچ مارکس سے زیادہ مفید ثابت ہوں گے جو صرف کتابی علم یا معمول کے تجزیے کی صلاحیت کی جانچ کرتے ہیں.
