Представяме LifeSciBench

Системите с агентен изкуствен интелект стават все по-способни да изпълняват научни задачи. Полезността им за изследователите в науките за живота обаче зависи от това колко добре се справят със сложността на реалните изследвания. Тази работа рядко прилича на единичен въпрос за припомняне на факт или на ясно формулиран проблем за прогнозиране. Изследователите интерпретират непълни доказателства, съгласуват противоречиви резултати, проектират трудни експерименти, отстраняват проблеми в анализи, оценяват транслационен риск и решават какво да правят по-нататък в условия на несигурност.

Настоящите бенчмаркове не улавят напълно тези способности. Много оценки в науките за живота се фокусират върху тесни области или изолирани умения, което води до въпроси със структурирани формати и ясни референтни отговори. Макар и ценни, те често не успяват истински да оценят дали един модел може да допринася в по-широкия обхват на изследователската работа.

Създадохме LifeSciBench, за да помогнем за преодоляването на тази празнина. Всяка задача е основана на преценката на практикуващи учени в областта на науките за живота с докторска подготовка и пряк опит в развитието на програми за откриване на лекарства в биотехнологични и фармацевтични среди.

LifeSciBench включва 750 задачи, написани от експерти, които обхващат седем работни процеса и седем биологични области.

LifeSciBench измерва дали AI системите могат да подпомагат реалистични изследователски задачи в науките за живота, а не само да отговарят на въпроси по биология. За да дефинираме таксономията на бенчмарка, анкетирахме практикуващи учени в науките за живота за работните процеси, които използват най-често в приложни изследователски среди. След това групирахме отговорите им в седем повтарящи се категории: работа с доказателства, анализ, дизайн и оптимизация, научно структурирано анализиране, валидиране и операции, транслация и научна комуникация.

Всяка задача е структурирана като заявка, която учен би отправил към компетентен сътрудник: научна подкана, релевантен контекст или артефакти и отговор в свободна форма. Написани от експерти рубрики оценяват дали един модел може да даде правилния отговор за конкретен проблем, с очакваното от учен ниво на детайлност, обосновка, уточнения и форматиране.

LifeSciBench оценява научното структурирано анализиране наред с по-слабо дефинираните практически умения, необходими за реална научна употреба. Задачите му изискват от моделите да работят по реалистични изследователски проблеми: да интерпретират доказателства, да правят преценки, основани на областта, и да комуникират заключения, полезни за експертни рецензенти. Много задачи също изискват моделите да се справят с несигурност и да разсъждават върху подкрепящи файлове с данни, вместо да разчитат само на текста на подканата.

Бенчмаркът е създаден така, че да отразява сложността на работата в науките за живота. Като цяло 79% от задачите изискват няколко стъпки на структурирано анализиране или вземане на решения, средно по четири стъпки на задача. LifeSciBench включва 1062 прикачени артефакта, обхващащи фигури, PDF файлове, таблици, файлове със секвенции, структурни или химични файлове и уеб референции. Повече от половината задачи (53%) изискват от моделите да интерпретират или синтезират информация от поне един артефакт.

Задачите са създадени от 173 експертни учени от различни дисциплини в науките за живота. Всеки учен е имал докторска подготовка и опит в биотехнологичната или фармацевтичната индустрия. Задачите можеха да преминават през толкова цикли на редакция, колкото е необходимо преди приемане, без фиксиран лимит на броя кръгове; приетите задачи имаха средно шест самостоятелно проведени автоматизирани цикъла на преглед и завършваха поне два кръга експертни рецензии. Рецензиите се основаваха или на проверим правилен отговор, или на силен експертен консенсус, с поне 90% съгласие между рецензентите в съответната област. Този процес помогна да се гарантира, че приетите задачи са научно обосновани, достатъчно ясни за оценяване и представителни за приложните изследвания.

Задачите в LifeSciBench се оценяват с подробна, специфична за задачата рубрика, която разбива очаквания отговор на конкретни научни твърдения, изчисления, решения, обосновки и т.н. В целия бенчмарк разработените от експерти рубрики включват 19 020 критерия — средно 25 на задача — за оценка както на научната коректност, така и на полезността за изследователски решения.

Този дизайн отразява начина, по който научната работа се оценява на практика: много задачи в науките за живота не могат да се оценят само чрез проверка на крайния отговор. Един отговор може да стигне до правилното заключение на високо ниво, но пак да бъде оценен като непълен, ако например пропусне ключово ограничение на анализа или не повдигне проактивно биологичен нюанс с големи последици. Обратно, частичен отговор може да съдържа висококачествено структурирано анализиране, дори ако не решава задачата напълно.

Гранулярните рубрики улавят този нюанс. LifeSciBench оценява не само точността на крайния отговор, а и дали един модел достига до него по научно валиден и оперативно полезен начин.

Валидирахме LifeSciBench чрез независима експертна рецензия. Обратната връзка дойде от 453 рецензенти, които не са участвали в писането на задачите. От тези рецензенти 97% имаха докторска степен или еквивалентна докторска квалификация, средно 12 години опит в областта и 14 рецензирани публикации; 88% съобщиха, че са получили поне една награда или стипендия.

Рецензентите оценяваха дали всяка задача отразява качествата, нужни за силен бенчмарк въпрос: съответствие с реалната изследователска работа, подходящо тестване на научно структурирано анализиране и домейн експертиза, опора в доказателства или експертен консенсус и обща полезност за оценка на представянето на моделите. Съгласието надхвърли 96% във всяка категория.

Коментарите на рецензентите подкрепиха количествените оценки:

Отчитаме две допълващи се метрики. Процентът на успешно преминаване е делът задачи, при които моделът покрива прага за успех на ниво задача от 70%. Резултатът е средната награда по рубриката и дава частичен кредит за отделни критерии, дори когато цялата задача не е решена. И двете са важни, защото отговор на научна задача може да бъде частично правилен или полезен, без да покрива всяко изискване за пълен отговор.

Представянето на моделите варира значително според типа задача, работния процес и формата на отговора.

LifeSciBench показва, че водещите модели са относително най-силни при задачи, включващи научен синтез, комуникация и структурирана интерпретация. Абсолютните проценти на успешно преминаване все още са умерени, така че тези бенчмарк области далеч не са наситени, но GPT‑Rosalind показва значим напредък спрямо GPT‑5.5, като подобрява общия точен процент на преминаване от 25,7% на 36,1%.

Най-силните посоки на развитие в способностите на моделите се виждат в научната комуникация и транслацията. Например процентът на успешно преминаване в научната комуникация се повишава от 56,3% за GPT‑5.5 до 71,1% за GPT‑Rosalind; тази категория е малка (n=9), затова трябва да се тълкува предпазливо, но подсказва, че водещите модели бързо подобряват способността си да организират доказателства и да създават убедителни обяснения за експертна аудитория. Транслацията (процесът "от лабораторния плот до леглото на пациента" в разработването на лекарства) показва сходен модел, като се повишава от 36,8% за GPT‑5.5 до 57,7% за GPT‑Rosalind, което подсказва, че моделите бързо подобряват способността си да свързват предклинични доказателства с клинични последствия.

Резултатите на ниво рубрика сочат в същата посока. При задачи, изискващи полезни за експерти или приложими резултати, GPT‑Rosalind постига 44,7% спрямо 29,1% за GPT‑5.5. При задачи, изискващи работа с несигурност и уточнения, той постига 44,8% спрямо 29,3%. Този модел подсказва, че моделите са най-полезни, когато задачата има ясна граница на доказателствата и изисква структурирана научна преценка.

Представянето остава много по-слабо при научна работа с много артефакти, много дизайн и оперативни ограничения. По-конкретно, дизайн, оптимизация и прогнозиране остава един от най-трудните работни процеси, с процент на успешно преминаване за GPT‑Rosalind от 30,7%; анализът е сходно труден при 30,3%.

Използването на артефакти е особено ясна празнина. Макар GPT‑Rosalind да се представя по-добре от GPT‑5.5 в среди с много артефакти, процентът му на успешно преминаване все пак спада от 45,1% при задачи само с текст до 28,1% при задачи с артефакти или URL адреси. GPT‑5.5 показва същия модел, като спада от 29,9% до 21,9%. По-подробен анализ потвърждава, че водещите модели се затрудняват да извличат информация от сложни фигури или големи файлове със секвенции и да я интегрират в крайния отговор.

Форматът на отговора също има значение. Задачи, изискващи точни резултати на ниво секвенция, структура или конструкт, показват по-ниски проценти на успешно преминаване: GPT‑Rosalind достига едва 14,8% при числови задачи и 24,0% при резултати със секвенции или структури. Задачите за генериране на конструкти също са крехки, като GPT‑Rosalind е на 27,3% и показва малко подобрение спрямо GPT‑5.5. Част от тази разлика може да отразява по-строга повърхност за оценяване при задачи с точен отговор, където малки разлики в изчисленията или форматирането могат да свалят отговора под прага за преминаване. Въпреки това тези неуспехи са научно значими, защото много работни процеси в науките за живота изискват резултати, достатъчно точни за директна употреба, например при дизайн на CRISPR/HDR донор или дизайн на siRNA.

Моделите също често стигат частично до решението, без да решат задачата напълно. В приблизително 14% от задачите моделите получиха значителен кредит по рубриката, въпреки че не покриха прага за точно преминаване. За GPT‑Rosalind 109 задачи имаха процент на успешно преминаване под 20%, но все пак получиха поне 50% награда по рубриката. На практика това означава, че моделите може да идентифицират релевантни доказателства или да дадат правдоподобен частичен отговор, но все пак да се провалят, защото пропускат ключово ограничение, използват грешни доказателства, правят непълно изчисление или не свързват структурираното си анализиране с научно полезно крайно решение.

LifeSciBench е стъпка към измерване на това колко полезни могат да бъдат AI системите за изследванията в науките за живота, но не е заместител на изучаването на модели в живи изследователски среди. Бенчмаркът се фокусира върху самостоятелни задачи, които отразяват повтарящи се индустриални работни процеси, като оставя много научни специалности и типове задачи извън настоящия си обхват. Реалното изследване е итеративно: учените събират нови доказателства, преразглеждат хипотези, проектират последващи експерименти и адаптират плановете си според появяващите се резултати.

Затова силното представяне в LifeSciBench трябва да се тълкува като доказателство за реалистична способност на ниво задача, а не като пряка мярка за последващо въздействие върху изследванията. Бенчмаркът е основан на индустриални работни процеси, но не улавя пълното разнообразие или динамиката на живите изследователски програми, при които напредъкът зависи от фактори, развиващи се във времето.

Следващата стъпка е представянето в бенчмарка да се свърже с проучвания на внедряване в живи изследователски работни процеси. Макар LifeSciBench да е разработен с практикуващи учени, измерването дали AI системите ускоряват откритията или подобряват резултатите в R&D ще изисква изучаване на употребата и представянето на моделите в реални изследователски условия, за по-дълги периоди и през множество кръгове на структурирано анализиране, обратна връзка и експериментално проследяване.