Представляємо LifeSciBench

Системи автономного ШІ стають дедалі здатнішими виконувати наукові завдання. Однак їхня корисність для дослідників у сфері наук про життя залежить від того, наскільки добре вони справляються зі складністю реальних досліджень. Така робота рідко схожа на одне запитання на пригадування факту або на просту задачу прогнозування. Дослідники інтерпретують неповні докази, узгоджують суперечливі результати, проєктують складні експерименти, усувають проблеми в аналізах, оцінюють трансляційні ризики й вирішують, що робити далі в умовах невизначеності.

Сучасні бенчмарки не повністю охоплюють ці можливості. Багато оцінювань у сфері наук про життя зосереджені на вузьких доменах або ізольованих навичках, що призводить до запитань зі структурованими форматами й чіткими еталонними відповідями. Попри свою цінність, вони часто не дають змоги по-справжньому оцінити, чи може модель робити внесок у ширший спектр дослідницької роботи.

Ми розробили LifeSciBench, щоб допомогти закрити цю прогалину. Кожна задача ґрунтується на судженні практикуючих фахівців у сфері наук про життя із підготовкою на рівні Ph.D. та безпосереднім досвідом просування програм відкриття ліків у біотехнологічних і фармацевтичних середовищах.

LifeSciBench містить 750 задач, створених експертами, що охоплюють сім робочих процесів і сім біологічних доменів.

LifeSciBench вимірює, чи можуть системи ШІ підтримувати реалістичні дослідницькі задачі у сфері наук про життя, а не лише відповідати на запитання з біології. Щоб визначити таксономію бенчмарку, ми опитали практикуючих фахівців у сфері наук про життя щодо робочих процесів, які вони найчастіше використовують у прикладних дослідницьких середовищах. Потім ми згрупували їхні відповіді у сім повторюваних категорій: робота з доказами, аналіз, проєктування й оптимізація, наукове міркування, валідація та операційна робота, трансляційні дослідження й наукова комунікація.

Кожна задача структурована як запит, який науковець міг би поставити обізнаному колезі: науковий запит, будь-який релевантний контекст або артефакти та відповідь у вільній формі. Написані експертами рубрики оцінюють, чи може модель дати правильну відповідь на конкретну проблему — з належним рівнем деталізації, обґрунтуванням, застереженнями та форматуванням, яких очікував би науковець.

LifeSciBench оцінює наукове міркування разом із менш чітко визначеними практичними навичками, необхідними для реального наукового використання. Його задачі вимагають від моделей опрацьовувати реалістичні дослідницькі проблеми: інтерпретувати докази, робити судження з опорою на галузеві відомості й формулювати висновки, корисні для експертних рецензентів. Багато задач також вимагають, щоб моделі працювали з невизначеністю та міркували на основі допоміжних файлів даних, а не покладалися лише на текст запиту.

Бенчмарк розроблено так, щоб відображати складність роботи у сфері наук про життя. Загалом 79% задач потребують кількох кроків міркування або ухвалення рішень, у середньому чотири кроки на задачу. LifeSciBench включає 1 062 прикріплені артефакти, що охоплюють рисунки, PDF, таблиці, файли послідовностей, структурні або хімічні файли та вебпосилання. Понад половина задач (53%) вимагає від моделей інтерпретувати або синтезувати інформацію принаймні з одного артефакту.

Задачі створили 173 науковці-експерти з різних дисциплін у сфері наук про життя. Кожен науковець мав підготовку на рівні Ph.D. і досвід роботи в біотехнологічній або фармацевтичній індустрії. Перед прийняттям задачі могли проходити стільки циклів редагування, скільки було потрібно, без фіксованої межі кількості раундів; прийняті задачі в середньому проходили шість самокерованих автоматизованих циклів перевірки та щонайменше два раунди експертного рецензування. Рецензії спиралися або на перевірювану правильну відповідь, або на сильний експертний консенсус із щонайменше 90% згоди між рецензентами у відповідному домені. Цей процес допоміг забезпечити, щоб прийняті задачі мали наукове підґрунтя, були достатньо чіткими для оцінювання та репрезентували прикладні дослідження.

Задачі LifeSciBench оцінюються за детальною, специфічною для задачі рубрикою, яка розкладає очікувану відповідь на конкретні наукові твердження, розрахунки, рішення, обґрунтування тощо. У всьому бенчмарку розроблені експертами рубрики містять 19 020 критеріїв — у середньому 25 на задачу — для оцінки як наукової правильності, так і корисності для дослідницьких рішень.

Такий дизайн відображає те, як наукову роботу оцінюють на практиці: багато задач у сфері наук про життя не можна оцінити, перевіривши лише фінальну відповідь. Відповідь може дійти правильної загальної тези, але все одно вважатися неповною, якщо, наприклад, вона пропускає ключове обмеження аналізу або не піднімає завчасно важливий біологічний нюанс із суттєвими наслідками. І навпаки, часткова відповідь може містити якісне міркування, навіть якщо не розв’язує задачу повністю.

Деталізовані рубрики вловлюють цей нюанс. LifeSciBench оцінює не лише точність фінальної відповіді, а й те, чи модель доходить до неї науково коректним і операційно корисним способом.

Ми провалідували LifeSciBench через незалежне експертне рецензування. Відгуки надали 453 рецензенти, які не брали участі в написанні задач. Серед цих рецензентів 97% мали Ph.D. або еквівалентний докторський ступінь, у середньому 12 років досвіду в галузі та 14 рецензованих публікацій; 88% повідомили, що отримали принаймні одну нагороду або стипендію.

Рецензенти оцінювали, чи кожна задача відображає якості, потрібні для сильної бенчмарк-задачі: відповідність реальній дослідницькій роботі, належну перевірку наукового міркування та доменної експертизи, опору на докази або експертний консенсус і загальну корисність для оцінювання продуктивності моделі. Рівень згоди перевищив 96% у кожній категорії.

Коментарі рецензентів підтвердили кількісні оцінки:

Ми надаємо відомості про дві взаємодоповнювальні метрики. Частка успішного проходження — це відсоток задач, у яких модель досягає порогового рівня успіху для задачі у 70%. Оцінка — це середня винагорода за рубрикою, яка дає частковий кредит за окремі критерії навіть тоді, коли всю задачу не розв’язано. Обидві важливі, бо відповідь на наукову задачу може бути частково правильною або корисною, не виконуючи всіх вимог до повної відповіді.

Продуктивність моделі суттєво залежить від типу задачі, робочого процесу та формату відповіді.

LifeSciBench показує, що передові моделі відносно найсильніші в задачах, пов’язаних із синтезом наукових даних, комунікацією та структурованою інтерпретацією. Абсолютні частки успішного проходження все ще помірні, тож ці домени бенчмарку далекі від насичення, але GPT‑Rosalind демонструє відчутний прогрес порівняно з GPT‑5.5, підвищивши загальну частку точного проходження з 25,7% до 36,1%.

Найсильніші напрями розвитку можливостей моделей спостерігаються в науковій комунікації та трансляційних дослідженнях. Наприклад, частка успішного проходження в науковій комунікації зростає з 56,3% для GPT‑5.5 до 71,1% для GPT‑Rosalind; ця категорія відносно мала (n=9), тому її слід інтерпретувати обережно, але вона вказує, що передові моделі швидко покращують здатність організовувати докази й створювати переконливі пояснення для експертів. Трансляційні дослідження (процес розробки ліків «від лабораторії до ліжка пацієнта») демонструють подібний патерн: показник зростає з 36,8% для GPT‑5.5 до 57,7% для GPT‑Rosalind, що свідчить про швидке вдосконалення моделей у здатності пов’язувати доклінічні докази з клінічними наслідками.

Результати на рівні рубрик вказують у тому самому напрямі. У задачах, що вимагають корисних для експертів або практично застосовних результатів, GPT‑Rosalind набирає 44,7% порівняно з 29,1% для GPT‑5.5. У задачах, що вимагають роботи з невизначеністю та застереженнями, вона набирає 44,8% порівняно з 29,3%. Цей патерн свідчить, що моделі найкорисніші тоді, коли задача має чітку межу доказів і потребує структурованого наукового судження.

Продуктивність залишається значно слабшою в науковій роботі, насиченій артефактами, проєктуванням і операційними обмеженнями. Зокрема, проєктування, оптимізація та прогнозування залишаються одним із найскладніших робочих процесів із часткою проходження GPT‑Rosalind 30,7%; аналіз є так само складним — 30,3%.

Використання артефактів є особливо очевидною прогалиною. Хоча GPT‑Rosalind працює краще за GPT‑5.5 у середовищах із великою кількістю артефактів, її частка успішного проходження все одно падає з 45,1% на задачах лише з текстом до 28,1% на задачах з артефактами або URL. GPT‑5.5 демонструє той самий патерн, знижуючись із 29,9% до 21,9%. Детальніший аналіз підтверджує, що передовим моделям складно витягувати інформацію зі складних рисунків або великих файлів послідовностей та інтегрувати її у фінальну відповідь.

Формат відповіді також має значення. Задачі, що вимагають точних результатів на рівні послідовності, структури або конструкта, мають нижчі частки проходження: GPT‑Rosalind досягає лише 14,8% на числових задачах і 24,0% на виходах із послідовностями або структурами. Задачі генерації конструктів також недостатньо стабільні: GPT‑Rosalind має 27,3% і демонструє лише незначне покращення порівняно з GPT‑5.5. Частково ця прогалина може відображати суворішу площину оцінювання для задач із точною відповіддю, де невеликі відмінності в розрахунку або форматуванні можуть опустити відповідь нижче порогу проходження. Утім ці невдачі мають наукове значення, бо багато робочих процесів у сфері наук про життя потребують результатів, достатньо точних для безпосереднього використання, наприклад у дизайні донорів CRISPR/HDR або дизайні siRNA.

Моделі також часто просуваються частково, не розв’язуючи задачу повністю. Приблизно у 14% задач моделі отримували суттєвий кредит за рубрикою, попри те, що не досягали порогу точного проходження. Для GPT‑Rosalind 109 задач мали частку проходження нижче 20%, але все одно отримували щонайменше 50% винагороди за рубрикою. На практиці це означає, що моделі можуть виявити релевантні докази або дати правдоподібну часткову відповідь, але все одно зазнати невдачі, бо пропускають ключове обмеження, використовують неправильні докази, виконують неповний розрахунок або не пов’язують своє міркування з науково корисним фінальним рішенням.

LifeSciBench — це крок до вимірювання того, наскільки корисними системи ШІ можуть бути для досліджень у сфері наук про життя, але він не замінює вивчення моделей у реальних дослідницьких середовищах. Бенчмарк зосереджується на самодостатніх задачах, що відображають повторювані галузеві робочі процеси, залишаючи багато наукових спеціалізацій і типів задач поза поточним охопленням. Реальні дослідження ітеративні: науковці збирають нові докази, переглядають гіпотези, проєктують подальші експерименти й адаптують плани в міру появи результатів.

Тому сильну продуктивність у LifeSciBench слід інтерпретувати як доказ реалістичної здатності на рівні задач, а не як прямий показник подальшого впливу на дослідження. Бенчмарк ґрунтується на галузевих робочих процесах, але не охоплює повного різноманіття чи динаміки живих дослідницьких програм, де прогрес залежить від чинників, що розгортаються з часом.

Наступний крок — пов’язати продуктивність у бенчмарку з дослідженнями впровадження в реальних дослідницьких робочих процесах. Хоча LifeSciBench розроблено разом із практикуючими науковцями, щоб виміряти, чи системи ШІ прискорюють відкриття або покращують результати R&D, потрібно вивчати використання й продуктивність моделей у реальних дослідницьких середовищах, на довших горизонтах і в кількох раундах міркування, зворотного зв’язку та експериментального відстеження.