Ви го претставуваме LifeSciBench

Системите со автономна вештачка интелигенција стануваат сè поспособни за извршување научни задачи. Сепак, нивната корисност за истражувачите во бионауките зависи од тоа колку добро се справуваат со сложеноста на вистинското истражување. Таа работа ретко изгледа како едно прашање за присетување факт или како чист проблем на предвидување. Истражувачите толкуваат нецелосни докази, усогласуваат спротивставени резултати, дизајнираат тешки експерименти, решаваат проблеми со есеи, оценуваат транслациски ризик и одлучуваат што да се направи следно во услови на неизвесност.

Тековните репери не ги опфаќаат целосно овие способности. Многу евалуации во бионауките се фокусираат на тесни домени или изолирани вештини, што резултира со прашања со структурирани формати и чисти референтни одговори. Иако се вредни, тие често не успеваат вистински да проценат дали модел може да придонесе низ поширокиот опсег на истражувачка работа.

Го дизајниравме LifeSciBench за да помогне во затворањето на овој јаз. Секоја задача е втемелена во проценката на практичари од бионауките со обука на ниво на докторат и директно искуство во унапредување програми за откривање лекови во биотехнолошки и фармацевтски средини.

LifeSciBench вклучува 750 задачи напишани од експерти, кои опфаќаат седум работни текови и седум биолошки домени.

LifeSciBench мери дали AI-системите можат да поддржат реалистични истражувачки задачи во бионауките, а не само да одговараат на биолошки прашања. За да ја дефинираме таксономијата на реперот, анкетиравме практичари од бионауките за работните текови што најчесто ги користат во применети истражувачки средини. Потоа ги групиравме нивните одговори во седум повторливи категории: работа со докази, анализа, дизајн и оптимизација, научно расудување, валидација и операции, транслација и научна комуникација.

Секоја задача е структурирана како барање што научник би му го дал на упатен соработник: научен промпт, релевантен контекст или артефакти и одговор со слободна форма. Рубриките напишани од експерти оценуваат дали модел може да даде точен одговор за конкретен проблем, со соодветно ниво на детали, образложение, забелешки и форматирање какви што би очекувал научник.

LifeSciBench го оценува научното расудување заедно со помалку јасно дефинираните практични вештини потребни за реална научна употреба. Неговите задачи бараат од моделите да решаваат реалистични истражувачки проблеми: толкување докази, донесување проценки засновани на доменско знаење и комуницирање заклучоци што би им биле корисни на експертските рецензенти. Многу задачи бараат и моделите да се справуваат со неизвесност и да расудуваат врз основа на придружни податочни датотеки, наместо да се потпираат само на текстот на промптот.

Реперот е дизајниран да ја одрази сложеноста на работата во бионауките. Севкупно, 79% од задачите бараат повеќе чекори на расудување или донесување одлуки, со просек од четири чекори по задача. LifeSciBench вклучува 1.062 приложени артефакти што опфаќаат слики, PDF-документи, табели, датотеки со секвенци, структурни или хемиски датотеки и веб-референци. Повеќе од половина од задачите (53%) бараат моделите да толкуваат или синтетизираат информации од најмалку еден артефакт.

Задачите ги создадоа 173 експертски научници од различни дисциплини во бионауките. Секој научник имаше обука на ниво на докторат и искуство во биотехнолошката или фармацевтската индустрија. Задачите можеа да поминат низ онолку циклуси на ревизија колку што беше потребно пред прифаќање, без фиксно ограничување на бројот на кругови; прифатените задачи во просек поминаа шест самоиницијативни автоматизирани циклуси на преглед и завршија најмалку два круга експертски прегледи. Прегледите беа засновани или на проверлив точен одговор или на силен експертски консензус, со најмалку 90% согласност меѓу рецензентите во релевантниот домен. Овој процес помогна да се обезбеди прифатените задачи да бидат научно поткрепени, доволно јасни за оценување и репрезентативни за применетото истражување.

Задачите во LifeSciBench се оценуваат со детална рубрика специфична за задачата, која го расчленува очекуваниот одговор на конкретни научни тврдења, пресметки, одлуки, образложенија и слично. Низ целиот репер, рубриките развиени од експерти вклучуваат 19.020 критериуми — во просек 25 по задача — за процена и на научната точност и на корисноста за истражувачки одлуки.

Овој дизајн го одразува начинот на кој научната работа се оценува во практика: многу задачи во бионауките не можат да се оценат само со проверка на конечниот одговор. Одговор може да стигне до точниот заклучок на високо ниво, но сепак да се оцени како нецелосен ако, на пример, превиди клучно ограничување на есејот или не истакне проактивно биолошка нијанса со големи последици. Спротивно на тоа, делумен одговор може да содржи висококвалитетно расудување дури и ако не ја реши задачата целосно.

Грануларните рубрики ја опфаќаат оваа нијанса. LifeSciBench не ја оценува само точноста на конечниот одговор, туку и дали модел стигнува до одговорот на научно валиден и оперативно корисен начин.

Го валидиравме LifeSciBench преку независен експертски преглед. Повратните информации дојдоа од 453 рецензенти кои не беа вклучени во пишувањето на задачите. Од тие рецензенти, 97% имаа докторат или еквивалентна докторска диплома, со просек од 12 години искуство во областа и 14 рецензирани публикации; 88% пријавија дека добиле најмалку една награда или стипендија.

Рецензентите оценуваа дали секоја задача ги одразува квалитетите потребни за силно репер-прашање: усогласеност со реална истражувачка работа, соодветно тестирање на научното расудување и доменската експертиза, заснованост на докази или експертски консензус и општа корисност за оценување на перформансите на моделот. Согласноста надмина 96% во секоја категорија.

Коментарите на рецензентите ги засилија квантитативните оценки:

Пријавуваме две комплементарни метрики. Стапката на поминување е процентот на задачи на кои модел го исполнува прагот за успех на ниво на задача од 70%. Скорот е просечната награда од рубриката, која дава делумен кредит за поединечни критериуми дури и кога целата задача не е решена. И двете се важни, бидејќи одговор на научна задача може да биде делумно точен или корисен без да го исполнува секое барање за целосен одговор.

Перформансите на моделот значително варираат според типот на задача, работниот тек и форматот на одговор.

LifeSciBench покажува дека најнапредните модели се релативно најсилни кај задачи што вклучуваат научна синтеза, комуникација и структурирано толкување. Апсолутните стапки на поминување сè уште се скромни, па овие домени на реперот се далеку од заситени, но GPT‑Rosalind покажува значаен напредок во однос на GPT‑5.5, подобрувајќи ја вкупната точна стапка на поминување од 25,7% на 36,1%.

Најсилните насоки на напредок во способностите на моделите се појавуваат во научната комуникација и транслацијата. На пример, стапката на поминување во научна комуникација се зголемува од 56,3% за GPT‑5.5 на 71,1% за GPT‑Rosalind; оваа категорија е мала (n=9), па треба да се толкува внимателно, но укажува дека најнапредните модели брзо се подобруваат во способноста да организираат докази и да создаваат убедливи објаснувања за експертска публика. Транслацијата (процесот „од лабораториска клупа до болнички кревет“ во развојот на лекови) покажува сличен образец, растејќи од 36,8% за GPT‑5.5 на 57,7% за GPT‑Rosalind, што сугерира дека моделите брзо ја подобруваат способноста да ги поврзуваат претклиничките докази со клиничките импликации.

Резултатите на ниво на рубрика укажуваат во истата насока. Кај задачи што бараат излези корисни за експерти или применливи во практика, GPT‑Rosalind постигнува 44,7%, во споредба со 29,1% за GPT‑5.5. Кај задачи што бараат справување со неизвесност и ограничувачки забелешки, постигнува 44,8%, во споредба со 29,3%. Овој образец сугерира дека моделите се најкорисни кога задачата има јасна граница на доказите и бара структурирана научна проценка.

Перформансите остануваат многу послаби кај научна работа оптоварена со артефакти, дизајн и оперативни ограничувања. Имено, Дизајн, оптимизација и предвидување останува еден од најтешките работни текови, со стапка на поминување на GPT‑Rosalind од 30,7%; Анализата е слично тешка со 30,3%.

Употребата на артефакти е особено јасен јаз. Иако GPT‑Rosalind се покажува подобро од GPT‑5.5 во средини богати со артефакти, неговата стапка на поминување сепак паѓа од 45,1% кај задачи само со текст на 28,1% кај задачи со артефакти или URL-адреси. GPT‑5.5 го покажува истиот образец, паѓајќи од 29,9% на 21,9%. Подетална анализа потврдува дека најнапредните модели се мачат да извлечат информации од сложени слики или големи датотеки со секвенци и да ги интегрираат тие информации во конечниот одговор.

Важен е и форматот на одговорот. Задачите што бараат точни секвенци, структури или излези на ниво на конструкт покажуваат пониски стапки на поминување: GPT‑Rosalind достигнува само 14,8% кај нумерички задачи и 24,0% кај излези со секвенца или структура. Задачите за генерирање конструкти исто така се кревки, при што GPT‑Rosalind е на 27,3% и покажува мало подобрување во однос на GPT‑5.5. Дел од овој јаз може да одразува построга површина за оценување кај задачите со точен одговор, каде што мали разлики во пресметката или форматирањето може да предизвикаат одговорот да падне под прагот за поминување. Сепак, овие неуспеси се научно значајни бидејќи многу работни текови во бионауките бараат излези доволно точни за директна употреба, како во дизајн на CRISPR/HDR донори или дизајн на siRNA.

Моделите, исто така, често стигнуваат дел од патот без целосно да ја решат задачата. Во приближно 14% од задачите, моделите добија значителен кредит од рубриката и покрај тоа што не го достигнаа прагот за точно поминување. За GPT‑Rosalind, 109 задачи имаа стапки на поминување под 20%, а сепак добија најмалку 50% награда од рубриката. Во практика, тоа значи дека моделите може да идентификуваат релевантни докази или да создадат веродостоен делумен одговор, но сепак да не успеат затоа што пропуштаат клучно ограничување, користат погрешни докази, прават нецелосна пресметка или не го поврзуваат своето расудување со научно корисна конечна одлука.

LifeSciBench е чекор кон мерење колку AI-системите можат да бидат корисни за истражување во бионауките, но не е замена за проучување на моделите во живи истражувачки средини. Реперот се фокусира на самостојни задачи што одразуваат повторливи индустриски работни текови, оставајќи многу научни специјалности и типови задачи надвор од неговиот сегашен опсег. Вистинското истражување е итеративно: научниците собираат нови докази, ги ревидираат хипотезите, дизајнираат дополнителни експерименти и ги приспособуваат плановите како што се појавуваат резултатите.

Затоа силните перформанси на LifeSciBench треба да се толкуваат како доказ за реалистична способност на ниво на задача, а не како директна мерка за последователно влијание врз истражувањето. Реперот е втемелен во индустриски работни текови, но не ја опфаќа целосната разновидност или динамика на живите истражувачки програми, каде што напредокот зависи од фактори што се развиваат со текот на времето.

Следниот чекор е да се поврзат перформансите на реперот со студии на примена во живи истражувачки работни текови. Иако LifeSciBench беше развиен со практичари-научници, мерењето дали AI-системите го забрзуваат откривањето или ги подобруваат исходите од истражување и развој ќе бара проучување на употребата и перформансите на моделите во реални истражувачки средини, во подолги хоризонти и низ повеќе кругови на расудување, повратни информации и експериментално следење.