Представљамо LifeSciBench

Агентски AI системи све боље обављају научне задатке. Ипак, њихова корист за истраживаче у природним наукама зависи од тога како савладавају сложеност стварног истраживања. Тај рад ретко личи на једно питање из памћења чињеница или уредан проблем предвиђања. Истраживачи тумаче непотпуне доказе, усаглашавају супротне резултате, дизајнирају тешке експерименте, решавају проблеме у тестовима, процењују преводни ризик и одлучују шта даље уз неизвесност.

Садашње референтне вредности не обухватају у потпуности ове способности. Многе евалуације у природним наукама фокусирају се на уске домене или изоловане вештине, па дају питања структурисаног формата и чисте референтне одговоре. Иако су вредне, често не процењују може ли заиста модел да допринесе ширем истраживачком раду.

LifeSciBench смо осмислили да помогне у затварању тог јаза. Сваки задатак је утемељен у суду активних научника са докторском обуком и искуством у унапређивању програма откривања лекова у биотехнолошком и фармацеутском окружењу.

LifeSciBench има 750 задатака које су написали стручњаци, кроз седам токова рада и седам биолошких домена.

LifeSciBench мери да ли AI системи могу да подрже реалне истраживачке задатке у природним наукама, а не само да одговарају на биолошка питања. Да бисмо дефинисали таксономију референтне вредности, анкетирали смо активне научнике о токовима рада које најчешће користе у примењеним истраживањима. Затим смо одговоре груписали у седам категорија: рад са доказима, анализа, дизајн и оптимизација, научно резоновање, валидација и операције, превођење и научна комуникација.

Сваки задатак личи на захтев који би научник упутио упућеном сараднику: научна инструкција, релевантан контекст или артефакти и слободан одговор. Рубрике које пишу стручњаци процењују може ли модел да да прави одговор за конкретан проблем, са очекиваним нивоом детаља, образложења, ограда и формата.

LifeSciBench оцењује научно резоновање заједно са мање јасно дефинисаним практичним вештинама потребним за стварну научну употребу. Задаци траже од модела да решавају реалне истраживачке проблеме: тумаче доказе, доносе доменски утемељене судове и саопштавају закључке корисне стручним рецензентима. Многи задаци траже и да модели раде са неизвесношћу и подацима из приложених датотека, а не само са текстом инструкције.

Референтна вредност је осмишљена тако да одрази сложеност рада у природним наукама. Укупно, 79% задатака захтева више корака резоновања или одлучивања, у просеку четири корака по задатку. LifeSciBench обухвата 1062 приложена артефакта: слике, PDF-ове, табеле, датотеке секвенци, структурне или хемијске датотеке и референце са веба. Више од половине задатака (53%) захтева од модела да тумаче или синтетишу информације из најмање једног артефакта.

Задатке је креирало 173 стручна научника из различитих дисциплина природних наука. Сваки научник је имао докторску обуку и искуство у биотехнолошком или фармацеутском сектору. Задаци су могли да прођу онолико циклуса ревизије колико је било потребно; прихваћени задаци су у просеку имали шест аутоматизованих саморевизија и најмање два круга стручне рецензије. Рецензије су се ослањале на проверљив тачан одговор или снажан стручни консензус, уз најмање 90% сагласности рецензената у релевантном домену. Тај процес је помогао да прихваћени задаци буду научно утемељени, довољно јасни за оцењивање и репрезентативни за примењено истраживање.

Задаци у референтној вредности LifeSciBench оцењују се детаљном, задатку специфичном рубриком која очекивани одговор разлаже на научне тврдње, прорачуне, одлуке, образложења и друго. У целој референтној вредности, стручне рубрике имају 19.020 критеријума – у просеку 25 по задатку – за процену научне тачности и корисности за истраживачке одлуке.

Тај дизајн одражава стварну процену научног рада: многи задаци у природним наукама не могу се оценити само провером коначног одговора. Одговор може доћи до исправног општег закључка, али бити непотпун ако, нпр. превиди кључно ограничење теста или важну биолошку нијансу. Супротно томе, делимичан одговор може садржати квалитетно резоновање иако не решава задатак у потпуности.

Грануларне рубрике хватају ту нијансу. LifeSciBench не процењује само тачност коначног одговора, већ и да ли модел до њега долази научно ваљано и оперативно корисно.

LifeSciBench смо валидирали независном стручном рецензијом. Повратне информације дало је 453 рецензента који нису учествовали у писању задатака. Од њих, 97% је имало Ph. D. или еквивалентан докторат, у просеку 12 година искуства и 14 рецензираних радова; 88% је навело бар једну награду или стипендију.

Рецензенти су оцењивали да ли сваки задатак има особине јаког питања референтне вредности: усклађеност са реалним истраживањем, проверу научног резоновања и доменске стручности, утемељење у доказима или консензусу и корисност за процену учинка модела. Сагласност је у свакој категорији премашила 96%.

Коментари рецензената потврдили су квантитативне оцене:

Извештавамо две комплементарне метрике. Стопа пролазности је проценат задатака у којима модел достиже праг успеха од 70% на нивоу задатка. Оцена је просечна награда по рубрици, уз делимичне бодове за појединачне критеријуме чак и када цео задатак није решен. Обе су важне јер одговор на научни задатак може бити делимично тачан или користан, а да не испуни све услове потпуног одговора.

Перформансе модела знатно варирају по типу задатка, току рада и формату одговора.

LifeSciBench показује да су гранични модели релативно најјачи у задацима научне синтезе, комуникације и структурисаног тумачења. Апсолутне стопе пролазности су и даље умерене, па домени референтне вредности нису засићени, али GPT‑Rosalind напредује у односу на GPT‑5.5, подижући укупну тачну стопу пролазности са 25,7% на 36,1%.

Најјачи напредак способности модела види се у научној комуникацији и превођењу. Нпр. пролазност у научној комуникацији расте са 56,3% за GPT‑5.5 на 71,1% за GPT‑Rosalind; категорија је мала (n=9), па је треба тумачити опрезно, али указује да гранични модели брзо побољшавају организовање доказа и уверљива објашњења за стручњаке. Превођење (процес развоја лека „од клупе до болесничке постеље”) показује сличан образац, растући са 36,8% за GPT‑5.5 на 57,7% за GPT‑Rosalind, што сугерише да модели брзо боље повезују претклиничке доказе са клиничким импликацијама.

Резултати на нивоу рубрике указују на исти смер. На задацима који траже излазе корисне стручњацима или применљиве у пракси, GPT‑Rosalind постиже 44,7%, наспрам 29,1% за GPT‑5.5. На задацима који траже рад са неизвесношћу и оградама, постиже 44,8%, наспрам 29,3%. Овај образац сугерише да су модели најкориснији када задатак има јасну границу доказа и тражи структурисан научни суд.

Перформансе су много слабије у научном раду богатом артефактима, дизајном и оперативним ограничењима. Дизајн, оптимизација и предвиђање остају међу најтежим токовима рада, са пролазношћу модела GPT‑Rosalind од 30,7%; анализа је слично тешка, 30,3%.

Употреба артефаката је посебно јасан јаз. Иако је GPT‑Rosalind бољи од модела GPT‑5.5 у окружењима богатим артефактима, пролазност ипак пада са 45,1% на текстуалним задацима на 28,1% на задацима са артефактима или URL-овима. GPT‑5.5 показује исти образац, са падом са 29,9% на 21,9%. Детаљнија анализа потврђује да гранични модели тешко екстрахују информације из сложених слика или великих датотека секвенци и уграђују их у коначни одговор.

Важан је и формат одговора. Задаци који траже тачне секвенце, структуре или излазе на нивоу конструкта имају ниже стопе пролазности: GPT‑Rosalind достиже само 14,8% на нумеричким задацима и 24,0% на излазима секвенци или структура. Задаци генерисања конструката такође су крхки: GPT‑Rosalind је на 27,3% и мало напредује у односу на GPT‑5.5. Део тог јаза може одражавати строже оцењивање код задатака са тачним одговором, где мале разлике у прорачуну или формату могу оборити одговор испод прага. Ипак, ти неуспеси су научно значајни јер многи токови рада у природним наукама траже излазе довољно тачне за директну употребу, као у дизајну донора CRISPR/HDR или siRNA.

Модели често пређу део пута, али не реше задатак до краја. У око 14% задатака, модели су добили значајне бодове по рубрици иако нису достигли праг тачне пролазности. За GPT‑Rosalind, 109 задатака имало је пролазност испод 20%, али је ипак освојило најмање 50% награде по рубрици. У пракси, то значи да модели могу уочити релевантне доказе или дати уверљив делимичан одговор, али ипак пасти јер пропусте кључно ограничење, користе погрешне доказе, непотпуно рачунају или не повежу резоновање са корисном научном одлуком.

LifeSciBench је корак ка мерењу корисности AI система за истраживања у природним наукама, али није замена за проучавање модела у живим истраживачким окружењима. Референтна вредност се фокусира на самосталне задатке који одражавају понављајуће индустријске токове рада, док многе научне специјалности и типови задатака остају ван тренутног обухвата. Стварно истраживање је итеративно: научници прикупљају нове доказе, ревидирају хипотезе, дизајнирају додатне експерименте и прилагођавају планове како се резултати појављују.

Зато снажне перформансе у референтној вредности LifeSciBench треба тумачити као доказ реалне способности на нивоу задатка, не као директну меру утицаја на даље истраживање. Референтна вредност је утемељена у секторским токовима рада, али не хвата пуну разноликост ни динамику живих истраживачких програма, где напредак зависи од фактора који се развијају током времена.

Следећи корак је повезивање учинка референтне вредности са студијама примене у живим истраживачким токовима рада. Иако је референтна вредност LifeSciBench развијена са активним научницима, мерење да ли AI системи убрзавају открића или побољшавају исходе истраживања и развоја тражи проучавање употребе и учинка модела у стварним истраживањима, током дужих периода и кроз више кругова резоновања, повратних информација и експерименталног праћења.