Predstavljamo LifeSciBench

Agentički AI sistemi postaju sve sposobniji za obavljanje naučnih zadataka. Međutim, njihova korisnost istraživačima u naukama o životu zavisi od toga koliko dobro savladavaju složenost stvarnog istraživanja. Takav rad rijetko izgleda kao jedno pitanje provjere činjenica ili uredan problem predviđanja. Istraživači tumače nepotpune dokaze, usklađuju proturječne rezultate, osmišljavaju teške eksperimente, otklanjaju probleme u testovima, procjenjuju translacijski rizik i pod neizvjesnošću odlučuju šta dalje.

Postojeća mjerila ne obuhvataju u potpunosti te sposobnosti. Mnoge evaluacije u naukama o životu fokusiraju se na uska područja ili izolirane vještine, pa nastaju pitanja sa strukturiranim formatima i jasnim referentnim odgovorima. Iako su vrijedne, često ne procjenjuju zaista može li model doprinijeti širem rasponu istraživačkog rada.

LifeSciBench smo osmislili da pomogne zatvoriti taj jaz. Svaki zadatak utemeljen je na prosudbi praktičara u naukama o životu, s doktorskom obukom i direktnim iskustvom u vođenju programa otkrivanja lijekova u biotehnološkom i farmaceutskom okruženju.

LifeSciBench sadrži 750 zadataka koje su napisali stručnjaci, kroz sedam tokova rada i sedam bioloških domena.

LifeSciBench mjeri mogu li AI sistemi podržati realne istraživačke zadatke u naukama o životu, a ne samo odgovarati na biološka pitanja. Da bismo definisali taksonomiju mjerila, anketirali smo praktičare o tokovima rada koje najčešće koriste u primijenjenim istraživanjima. Zatim smo njihove odgovore grupisali u sedam ponavljajućih kategorija: rukovanje dokazima, analiza, dizajn i optimizacija, naučno rezonovanje, validacija i operacije, translacija i naučna komunikacija.

Svaki zadatak strukturiran je kao zahtjev koji bi naučnik uputio stručnom saradniku: naučni upit, relevantan kontekst ili artefakti i odgovor slobodnog formata. Rubrike koje pišu stručnjaci procjenjuju može li model dati ispravan odgovor za konkretan problem, uz nivo detalja, opravdanja, ograda i formatiranja koji bi naučnik očekivao.

LifeSciBench procjenjuje naučno rezonovanje zajedno s manje jasno definisanim praktičnim vještinama potrebnim za stvarnu naučnu upotrebu. Zadaci traže od modela da rješavaju realne istraživačke probleme: tumače dokaze, donose domenski utemeljene prosudbe i saopćavaju zaključke korisne stručnim recenzentima. Mnogi zadaci traže i da modeli obrade neizvjesnost i rezoniraju nad pratećim datotekama, umjesto da se oslanjaju samo na tekst upita.

Mjerilo je osmišljeno da odražava složenost rada u naukama o životu. Ukupno, 79% zadataka zahtijeva više koraka rezonovanja ili odlučivanja, u prosjeku četiri koraka po zadatku. LifeSciBench uključuje 1.062 priložena artefakta: slike, PDF-ove, tabele, datoteke sekvenci, strukturne ili hemijske datoteke i web reference. Više od polovine zadataka (53%) traži da modeli protumače ili sintetiziraju informacije iz najmanje jednog artefakta.

Zadatke su kreirala 173 stručna naučnika iz različitih disciplina nauka o životu. Svaki naučnik imao je doktorsku obuku i iskustvo u biotehnološkoj ili farmaceutskoj industriji. Zadaci su mogli proći onoliko ciklusa revizije koliko je potrebno prije prihvatanja, bez fiksnog limita; prihvaćeni zadaci imali su u prosjeku šest samostalnih automatiziranih ciklusa pregleda i najmanje dva kruga stručnih recenzija. Recenzije su se oslanjale na provjerljivo tačan odgovor ili snažan stručni konsenzus, uz najmanje 90% slaganja recenzenata iz relevantnog domena. Taj proces pomogao je osigurati da prihvaćeni zadaci budu naučno utemeljeni, dovoljno jasni za ocjenjivanje i reprezentativni za primijenjeno istraživanje.

Zadaci u LifeSciBench-u ocjenjuju se detaljnom rubrikom specifičnom za zadatak, koja očekivani odgovor razlaže na konkretne naučne tvrdnje, izračune, odluke, opravdanja i slično. U cijelom mjerilu rubrike koje su razvili stručnjaci sadrže 19.020 kriterija — u prosjeku 25 po zadatku — za procjenu naučne tačnosti i korisnosti za istraživačke odluke.

Ovaj dizajn odražava kako se naučni rad procjenjuje u praksi: mnogi zadaci iz nauka o životu ne mogu se ocijeniti samo provjerom konačnog odgovora. Odgovor može doći do tačnog općeg zaključka, ali ipak biti nepotpun ako, naprimjer, previdi ključno ograničenje testa ili ne istakne važnu biološku nijansu. S druge strane, djelimičan odgovor može sadržavati kvalitetno rezonovanje čak i ako ne rješava zadatak u potpunosti.

Granularne rubrike bilježe tu nijansu. LifeSciBench ne procjenjuje samo tačnost konačnog odgovora, nego i da li model do njega dolazi na naučno validan i operativno koristan način.

LifeSciBench smo validirali kroz nezavisnu stručnu recenziju. Povratne informacije dali su 453 recenzenta koji nisu učestvovali u pisanju zadataka. Među njima, 97% je imalo Ph.D. ili ekvivalentan doktorat, prosječno 12 godina iskustva u području i 14 recenziranih publikacija; 88% je navelo da je dobilo barem jednu nagradu ili stipendiju.

Recenzenti su ocjenjivali odražava li svaki zadatak kvalitete potrebne za snažno pitanje mjerila: usklađenost sa stvarnim istraživačkim radom, odgovarajuće testiranje naučnog rezonovanja i domenske stručnosti, utemeljenost u dokazima ili stručnom konsenzusu i ukupnu korisnost za procjenu performansi modela. Slaganje je u svakoj kategoriji premašilo 96%.

Komentari recenzenata potvrdili su kvantitativne ocjene:

Izvještavamo o dvije komplementarne metrike. Stopa prolaznosti je postotak zadataka na kojima model ispunjava prag uspjeha na nivou zadatka od 70%. Rezultat je prosječna nagrada po rubrici, s djelimičnim kreditom za pojedinačne kriterije čak i kada cijeli zadatak nije riješen. Oboje je važno jer odgovor na naučni zadatak može biti djelimično tačan ili koristan, a da ne ispuni sve zahtjeve potpunog odgovora.

Performanse modela znatno se razlikuju prema tipu zadatka, toku rada i formatu odgovora.

LifeSciBench pokazuje da su frontier modeli relativno najjači na zadacima naučne sinteze, komunikacije i strukturiranog tumačenja. Apsolutne stope prolaznosti još su skromne, pa ovi domeni mjerila nisu ni blizu zasićenja, ali GPT‑Rosalind pokazuje značajan napredak u odnosu na GPT‑5.5, podižući ukupnu tačnu stopu prolaznosti s 25,7% na 36,1%.

Najizraženiji pravci napretka u sposobnostima modela vide se u Naučnoj komunikaciji i Translaciji. Naprimjer, stopa prolaznosti u Naučnoj komunikaciji raste s 56,3% za GPT‑5.5 na 71,1% za GPT‑Rosalind; kategorija je mala (n=9), pa je treba tumačiti oprezno, ali ukazuje da se frontier modeli brzo poboljšavaju u organiziranju dokaza i izradi uvjerljivih objašnjenja za stručnjake. Translacija ("od klupe do kreveta" u razvoju lijekova) pokazuje sličan obrazac, rastući s 36,8% za GPT‑5.5 na 57,7% za GPT‑Rosalind, što sugeriše da modeli brzo napreduju u povezivanju pretkliničkih dokaza s kliničkim implikacijama.

Rezultati na nivou rubrike upućuju u istom smjeru. Na zadacima koji traže rezultate korisne stručnjacima ili primjenjive u praksi, GPT‑Rosalind postiže 44,7%, u poređenju s 29,1% za GPT‑5.5. Na zadacima koji traže obradu neizvjesnosti i ograda postiže 44,8%, u poređenju s 29,3%. Ovaj obrazac sugeriše da su modeli najkorisniji kada zadatak ima jasne granice dokaza i traži strukturiranu naučnu prosudbu.

Performanse su mnogo slabije na naučnom radu opterećenom artefaktima, dizajnom i operativnim ograničenjima. Naime, Dizajn, optimizacija i predikcija ostaje jedan od najtežih tokova rada, sa stopom prolaznosti GPT‑Rosalind‑a od 30,7%; Analiza je slično teška, na 30,3%.

Upotreba artefakata posebno je jasan jaz. Iako GPT‑Rosalind nadmašuje GPT‑5.5 u okruženjima s mnogo artefakata, njegova stopa prolaznosti ipak pada s 45,1% na tekstualnim zadacima na 28,1% na zadacima s artefaktima ili URL-ovima. GPT‑5.5 pokazuje isti obrazac, s padom s 29,9% na 21,9%. Detaljnija analiza potvrđuje da frontier modeli teško izdvajaju informacije iz složenih slika ili velikih datoteka sekvenci i ugrađuju ih u konačni odgovor.

Važan je i format odgovora. Zadaci koji traže tačne sekvence, strukture ili izlaze na nivou konstrukta imaju niže stope prolaznosti: GPT‑Rosalind doseže samo 14,8% na numeričkim zadacima i 24,0% na izlazima sekvence ili strukture. Zadaci generiranja konstrukata također su krhki, s GPT‑Rosalind‑om na 27,3% i malo napretka u odnosu na GPT‑5.5. Dio tog jaza može odražavati strožiju površinu ocjenjivanja za zadatke s tačnim odgovorom, gdje male razlike u izračunu ili formatu mogu spustiti odgovor ispod praga prolaznosti. Ipak, ti neuspjesi su naučno značajni jer mnogi tokovi rada u naukama o životu traže izlaze dovoljno tačne za direktnu upotrebu, kao u dizajnu donora za CRISPR/HDR ili dizajnu siRNA.

Modeli također često stignu dio puta, ali ne riješe zadatak do kraja. U približno 14% zadataka modeli su ostvarili značajan kredit po rubrici, iako nisu dosegli prag tačne prolaznosti. Za GPT‑Rosalind, 109 zadataka imalo je stope prolaznosti ispod 20%, a ipak su ostvarili najmanje 50% nagrade po rubrici. U praksi to znači da modeli mogu prepoznati relevantne dokaze ili dati uvjerljiv djelimičan odgovor, ali ipak ne uspjeti jer propuste ključno ograničenje, koriste pogrešan dokaz, naprave nepotpun izračun ili ne povežu rezonovanje s naučno korisnom konačnom odlukom.

LifeSciBench je korak ka mjerenju korisnosti AI sistema za istraživanja u naukama o životu, ali nije zamjena za proučavanje modela u živim istraživačkim okruženjima. Mjerilo se fokusira na samostalne zadatke koji odražavaju ponavljajuće industrijske tokove rada, dok mnoge naučne specijalnosti i tipovi zadataka ostaju izvan njegovog trenutnog obima. Stvarno istraživanje je iterativno: naučnici prikupljaju nove dokaze, revidiraju hipoteze, osmišljavaju nastavne eksperimente i prilagođavaju planove kako rezultati pristižu.

Snažne performanse na LifeSciBench-u zato treba tumačiti kao dokaz realne sposobnosti na nivou zadatka, a ne kao direktnu mjeru kasnijeg istraživačkog učinka. Mjerilo je utemeljeno u industrijskim tokovima rada, ali ne obuhvata punu raznolikost ni dinamiku živih istraživačkih programa, gdje napredak zavisi od faktora koji se razvijaju tokom vremena.

Sljedeći korak je povezati performanse na mjerilu sa studijama primjene u živim istraživačkim tokovima rada. Iako je LifeSciBench razvijen s praktičarima, mjerenje da li AI sistemi ubrzavaju otkrića ili poboljšavaju R&D ishode zahtijevat će proučavanje upotrebe i performansi modela u stvarnim istraživačkim okruženjima, kroz duže periode i više krugova rezonovanja, povratnih informacija i eksperimentalnog praćenja.