نقدّم LifeSciBench

تزداد قدرة أنظمة الذكاء الاصطناعي الوكيلي على أداء المهام العلمية. لكن فائدتها لباحثي علوم الحياة تعتمد على مدى تعاملها مع تعقيد البحث الحقيقي. فنادرًا ما يشبه هذا العمل سؤالًا واحدًا لاسترجاع حقيقة أو مسألة تنبؤ واضحة. يفسر الباحثون أدلة ناقصة، ويوفقون بين نتائج متعارضة، ويصممون تجارب صعبة، ويعالجون أعطال الفحوص، ويقيّمون مخاطر الترجمة السريرية، ويقررون الخطوة التالية وسط عدم اليقين.

لا ترصد المقاييس الحالية هذه القدرات بالكامل. تركز كثير من تقييمات علوم الحياة على مجالات ضيقة أو مهارات منفصلة، فتنتج أسئلة بصيغ منظمة وإجابات مرجعية نظيفة. ورغم قيمتها، فإنها غالبًا لا تقيّم حقًا ما إذا كان نموذج قادرًا على الإسهام عبر النطاق الأوسع للعمل البحثي.

صممنا LifeSciBench للمساعدة في سد هذه الفجوة. كل مهمة مستندة إلى حكم علماء علوم حياة ممارسين تلقوا تدريبًا على مستوى الدكتوراه ولديهم خبرة مباشرة في دفع برامج اكتشاف الأدوية في شركات التكنولوجيا الحيوية والدواء.

يتضمن LifeSciBench نحو 750 مهمة كتبها خبراء، وتغطي سبعة مسارات عمل وسبعة مجالات بيولوجية.

يقيس LifeSciBench ما إذا كانت أنظمة AI تستطيع دعم مهام بحثية واقعية في علوم الحياة، لا مجرد الإجابة عن أسئلة في الأحياء. لتحديد تصنيف المقياس، استطلعنا علماء علوم حياة ممارسين حول مسارات العمل الأكثر استخدامًا في البحث التطبيقي. ثم جمعنا إجاباتهم في سبع فئات متكررة: التعامل مع الأدلة، التحليل، التصميم والتحسين، الاستدلال العلمي، التحقق والعمليات، الترجمة، والتواصل العلمي.

تُصاغ كل مهمة كطلب قد يوجهه عالم إلى متعاون خبير: مطالبة علمية، وأي سياق أو آثار ذات صلة، وإجابة حرة. تقيّم أدلة تقييم أعدّها خبراء ما إذا كان نموذج يستطيع إنتاج الإجابة الصحيحة لمسألة محددة، بالمستوى المناسب من التفاصيل والتبرير والتحفظات والتنسيق الذي يتوقعه عالم.

يقيّم LifeSciBench الاستدلال العلمي إلى جانب المهارات العملية الأقل تحديدًا واللازمة للاستخدام العلمي الواقعي. تطلب مهامه من النماذج معالجة مشكلات بحثية واقعية: تفسير الأدلة، وإصدار أحكام مستندة إلى المجال، وتوصيل استنتاجات مفيدة للمراجعين الخبراء. كما تتطلب مهام كثيرة من النماذج التعامل مع عدم اليقين والاستدلال على ملفات بيانات داعمة بدل الاعتماد على نص المطالبة وحده.

صُمم المقياس ليعكس تعقيد العمل في علوم الحياة. إجمالًا، تتطلب 79% من المهام خطوات متعددة من الاستدلال أو اتخاذ القرار، بمتوسط أربع خطوات لكل مهمة. يشمل LifeSciBench نحو 1,062 أثرًا مرفقًا، من أشكال وملفات PDF وجداول وملفات تسلسل وملفات بنية أو كيمياء ومراجع ويب. يتطلب أكثر من نصف المهام (53%) أن تفسر النماذج معلومات من أثر واحد على الأقل أو تركبها.

أنشأ المهام 173 عالمًا خبيرًا من تخصصات مختلفة في علوم الحياة. كان لدى كل عالم تدريب على مستوى الدكتوراه وخبرة في صناعة التكنولوجيا الحيوية أو الدواء. كان يمكن للمهام أن تمر بدورات مراجعة قدر الحاجة قبل قبولها، بلا حد ثابت لعدد الجولات؛ وبلغ متوسط المهام المقبولة ست دورات مراجعة آلية ذاتية وأكملت جولتين على الأقل من مراجعات الخبراء. استندت المراجعات إلى إجابة صحيحة قابلة للتحقق أو إلى توافق خبراء قوي، مع اتفاق لا يقل عن 90% بين المراجعين في المجال المعني. ساعدت هذه العملية على ضمان أن تكون المهام المقبولة مؤسَّسة علميًا، وواضحة بما يكفي للتقييم، وممثلة للبحث التطبيقي.

تُقيَّم مهام LifeSciBench باستخدام دليل تقييم مفصل ومخصص لكل مهمة، يفكك الإجابة المتوقعة إلى ادعاءات علمية وحسابات وقرارات وتبريرات محددة، وغير ذلك. عبر المقياس، تشمل المعايير التي طورها خبراء 19,020 معيارًا—بمتوسط 25 لكل مهمة—لتقييم الصحة العلمية والفائدة لقرارات البحث.

يعكس هذا التصميم كيفية تقييم العمل العلمي عمليًا: فكثير من مهام علوم الحياة لا يمكن تقييمها بفحص الإجابة النهائية وحدها. قد تصل الإجابة إلى الاستنتاج العام الصحيح، لكنها تُعد ناقصة إذا أغفلت مثلًا قيدًا مهمًا في الفحص أو لم تذكر مبكرًا فارقًا بيولوجيًا بالغ الأثر. وبالعكس، قد تتضمن إجابة جزئية استدلالًا عالي الجودة حتى إن لم تحل المهمة بالكامل.

تعكس أدلة التقييم التفصيلية هذا المستوى من الدقة. لا يقيّم LifeSciBench دقة الإجابة النهائية فقط، بل ما إذا كان نموذج يصل إليها بطريقة صحيحة علميًا ومفيدة تشغيليًا.

تحققنا من LifeSciBench عبر مراجعة خبراء مستقلة. جاءت الملاحظات من 453 مراجعًا لم يشاركوا في كتابة المهام. من هؤلاء، كان 97% يحملون دكتوراه أو ما يعادلها، بمتوسط 12 عامًا من الخبرة الميدانية و14 منشورًا محكمًا؛ وأفاد 88% بأنهم حصلوا على جائزة أو زمالة واحدة على الأقل.

قيّم المراجعون ما إذا كانت كل مهمة تعكس صفات سؤال معياري قوي: التوافق مع البحث الواقعي، واختبار الاستدلال العلمي وخبرة المجال بشكل مناسب، والارتكاز على الأدلة أو توافق الخبراء، والفائدة العامة في تقييم أداء نموذج. تجاوز الاتفاق 96% في كل فئة.

دعمت تعليقات المراجعين الدرجات الكمية:

نورد مقياسين متكاملين. معدل النجاح هو نسبة المهام التي يحقق فيها نموذج عتبة النجاح على مستوى المهمة البالغة 70%. أما الدرجة، فهي متوسط درجة دليل التقييم، وتمنح رصيدًا جزئيًا للمعايير الفردية حتى عندما لا تُحل المهمة كاملة. كلاهما مهم لأن إجابة المهمة العلمية قد تكون صحيحة أو مفيدة جزئيًا من دون استيفاء كل متطلبات الإجابة الكاملة.

يتباين أداء نموذج كثيرًا حسب نوع المهمة ومسار العمل وصيغة الإجابة.

يبين LifeSciBench أن النماذج المتقدمة أقوى نسبيًا في المهام التي تتضمن تركيبًا علميًا وتواصلًا وتفسيرًا منظمًا. لا تزال معدلات النجاح المطلقة متواضعة، لذا فهذه المجالات بعيدة عن التشبع، لكن GPT‑Rosalind يحقق تقدمًا ملموسًا على GPT‑5.5، إذ يرفع معدل النجاح الدقيق العام من 25.7% إلى 36.1%.

تظهر أقوى اتجاهات تطور قدرات نموذج في التواصل العلمي والترجمة. مثلًا، يرتفع معدل نجاح التواصل العلمي من 56.3% لدى GPT‑5.5 إلى 71.1% لدى GPT‑Rosalind؛ هذه فئة صغيرة (n=9)، لذا ينبغي تفسيرها بحذر، لكنها تشير إلى أن النماذج المتقدمة تتحسن سريعًا في تنظيم الأدلة وإنتاج شروح مقنعة موجهة للخبراء. وتُظهر الترجمة (عملية تطوير الدواء «من المختبر إلى سرير المريض») نمطًا مشابهًا، إذ ترتفع من 36.8% لدى GPT‑5.5 إلى 57.7% لدى GPT‑Rosalind، ما يوحي بأن النماذج تتحسن سريعًا في ربط الأدلة قبل السريرية بالدلالات السريرية.

تشير النتائج على مستوى دليل التقييم إلى الاتجاه نفسه. ففي المهام التي تتطلب مخرجات مفيدة للخبراء أو قابلة للتنفيذ، يحقق GPT‑Rosalind نسبة 44.7%، مقارنةً بـ 29.1% لدى GPT‑5.5. وفي المهام التي تتطلب التعامل مع عدم اليقين والتحفظات، يحقق 44.8% مقارنةً بـ 29.3%. يشير هذا النمط إلى أن النماذج تكون أكثر فائدة عندما تكون حدود الأدلة واضحة وتستلزم المهمة حكمًا علميًا منظمًا.

يبقى الأداء أضعف بكثير في العمل العلمي الكثيف الآثار، والكثيف التصميم، والمقيد تشغيليًا. فمسار التصميم والتحسين والتنبؤ يظل من أصعب مسارات العمل، إذ يبلغ معدل نجاح GPT‑Rosalind فيه 30.7%؛ كما أن التحليل صعب بالمثل عند 30.3%.

استخدام الآثار فجوة واضحة خصوصًا. مع أن GPT‑Rosalind يتفوق على GPT‑5.5 في البيئات الكثيفة الآثار، فإن معدل نجاحه لا يزال يهبط من 45.1% في مهام النص فقط إلى 28.1% في المهام ذات الآثار أو عناوين URL. ويُظهر GPT‑5.5 النمط نفسه، إذ يهبط من 29.9% إلى 21.9%. يؤكد تحليل أكثر تفصيلًا أن النماذج المتقدمة تواجه صعوبة في استخراج المعلومات من الأشكال المعقدة أو ملفات التسلسل الكبيرة ودمجها في الإجابة النهائية.

وتهم صيغة الإجابة أيضًا. تُظهر المهام التي تتطلب مخرجات دقيقة على مستوى التسلسل أو البنية أو المُنشأ معدلات نجاح أدنى: لا يبلغ GPT‑Rosalind سوى 14.8% في المهام الرقمية و24.0% في مخرجات التسلسل أو البنية. كما أن مهام توليد المُنشآت هشة، إذ يحقق GPT‑Rosalind فيها 27.3% مع تحسن طفيف على GPT‑5.5. قد يعكس جزء من هذه الفجوة سطح تقييم أكثر صرامة لمهام الإجابة الدقيقة، حيث قد تؤدي فروق صغيرة في الحساب أو التنسيق إلى هبوط الإجابة دون عتبة النجاح. مع ذلك، فهذه الإخفاقات مهمة علميًا لأن كثيرًا من مسارات عمل علوم الحياة تتطلب مخرجات دقيقة بما يكفي للاستخدام المباشر، كما في تصميم مانح CRISPR/HDR أو تصميم siRNA.

وغالبًا ما تقطع النماذج جزءًا من الطريق من دون حل المهمة بالكامل. في نحو 14% من المهام، حصلت النماذج على رصيد كبير وفق دليل التقييم رغم فشلها في بلوغ عتبة النجاح الدقيق. بالنسبة إلى GPT‑Rosalind، كانت لدى 109 مهام معدلات نجاح دون 20% مع تحقيق 50% على الأقل درجة دليل التقييم. عمليًا، يعني ذلك أن النماذج قد تحدد أدلة ذات صلة أو تنتج إجابة جزئية معقولة، لكنها تفشل لأنها تفوّت قيدًا أساسيًا، أو تستخدم الدليل الخطأ، أو تجري حسابًا ناقصًا، أو لا تصل استدلالها بقرار نهائي مفيد علميًا.

يمثل LifeSciBench خطوة نحو قياس مدى فائدة أنظمة AI لبحث علوم الحياة، لكنه ليس بديلًا عن دراسة النماذج في بيئات بحثية حية. يركز المقياس على مهام مكتفية بذاتها تعكس مسارات عمل صناعية متكررة، مع بقاء تخصصات وأنواع مهام علمية كثيرة خارج نطاقه الحالي. البحث الحقيقي تكراري: يجمع العلماء أدلة جديدة، ويراجعون الفرضيات، ويصممون تجارب متابعة، ويكيفون خططهم مع ظهور النتائج.

لذلك ينبغي تفسير الأداء القوي على LifeSciBench كدليل على قدرة واقعية على مستوى المهمة، لا كمقياس مباشر للأثر البحثي اللاحق. يرتكز المقياس على مسارات عمل الصناعة، لكنه لا يرصد كامل تنوع برامج البحث الحية أو ديناميكياتها، حيث يعتمد التقدم على عوامل تتكشف مع الزمن.

الخطوة التالية هي ربط أداء المقياس بدراسات النشر في مسارات عمل بحثية حية. ورغم تطوير LifeSciBench مع علماء ممارسين، فإن قياس ما إذا كانت أنظمة AI تسرّع الاكتشاف أو تحسّن نتائج البحث والتطوير يتطلب دراسة استخدام نموذج وأدائه في بيئات بحثية حقيقية، وعلى آفاق أطول، وعبر جولات متعددة من الاستدلال والتغذية الراجعة والمتابعة التجريبية.