Nintroduċu LifeSciBench

Is-sistemi ta’ IA aġentika qed isiru aktar kapaċi jwettqu kompiti xjentifiċi. Iżda l-utilità tagħhom għar-riċerkaturi tiddependi fuq kemm ilaħħqu mal-kumplessità tar-riċerka reali. Dan ix-xogħol rari jkun mistoqsija waħda ta’ fatt jew problema ċara ta’ tbassir. Ir-riċerkaturi jinterpretaw evidenza mhux kompluta, jirrikonċiljaw riżultati kunfliġġenti, jiddisinjaw esperimenti, isolvu problemi fl-assaġġi, jevalwaw riskju translazzjonali u jiddeċiedu x’jmiss taħt inċertezza.

Il-benchmarks attwali ma jaqbdux dawn il-kapaċitajiet kollha. Ħafna evalwazzjonijiet tax-xjenzi tal-ħajja jiffukaw fuq oqsma dejqa jew ħiliet iżolati, b’mistoqsijiet strutturati u tweġibiet ta’ referenza ċari. Għalkemm utli, spiss ma jurux jekk mudell jistax jikkontribwixxi fil-firxa usa’ ta’ xogħol ta’ riċerka.

Iddisinjajna LifeSciBench biex jgħin jagħlaq dan id-distakk. Kull kompitu hu msejjes fuq il-ġudizzju ta’ xjentisti prattikanti b’taħriġ fil-livell ta’ Ph.D. u esperjenza diretta fl-avvanz ta’ programmi ta’ skoperta ta’ mediċini fil-bijoteknoloġija u l-farmaċija.

LifeSciBench jinkludi 750 kompitu miktub minn esperti, fuq seba’ flussi tax-xogħol u seba’ oqsma bijoloġiċi.

LifeSciBench ikejjel jekk is-sistemi AI jistgħux jappoġġjaw kompiti realistiċi tar-riċerka fix-xjenzi tal-ħajja, mhux biss iwieġbu mistoqsijiet tal-bijoloġija. Biex niddefinixxu t-tassonomija tal-benchmark, staqsejna xjentisti prattikanti dwar il-flussi tax-xogħol li jużaw l-aktar fir-riċerka applikata. Imbagħad qsamna t-tweġibiet f’seba’ kategoriji rikorrenti: ġestjoni tal-evidenza, analiżi, disinn u ottimizzazzjoni, raġunament xjentifiku, validazzjoni u operazzjonijiet, traduzzjoni u komunikazzjoni xjentifika.

Kull kompitu jixbah talba li xjenzat jagħti lil kollaboratur infurmat: prompt xjentifiku, kuntest jew artifatti rilevanti, u tweġiba libera. Rubriki miktuba minn esperti jivvalutaw jekk mudell jagħtix it-tweġiba t-tajba, bid-dettall, il-ġustifikazzjoni, it-twissijiet u l-format li jistenna xjenzat.

LifeSciBench jevalwa r-raġunament xjentifiku flimkien mal-ħiliet prattiċi, inqas definiti, meħtieġa għall-użu xjentifiku reali. Il-kompiti jitolbu lill-mudelli jaħdmu fuq problemi realistiċi: jinterpretaw evidenza, jagħmlu ġudizzji msejsa fuq il-qasam u jikkomunikaw konklużjonijiet utli għal reviżuri esperti. Ħafna kompiti jeħtieġu wkoll li l-mudelli jittrattaw inċertezza u jirraġunaw fuq fajls ta’ sostenn, mhux fuq it-test tal-prompt biss.

Il-benchmark hu mfassal biex jirrifletti l-kumplessità tax-xjenzi tal-ħajja. B’kollox, 79% tal-kompiti jeħtieġu diversi passi ta’ raġunament jew deċiżjoni, b’medja ta’ erba’ passi kull kompitu. LifeSciBench jinkludi 1,062 artifatt mehmuż: figuri, PDFs, tabelli, fajls ta’ sekwenzi, fajls strutturali jew kimiċi u referenzi tal-web. Aktar minn nofs il-kompiti (53%) jeħtieġu li l-mudelli jinterpretaw jew jissintetizzaw informazzjoni minn mill-inqas artifatt wieħed.

Il-kompiti nħolqu minn 173 xjenzat espert minn dixxiplini differenti tax-xjenzi tal-ħajja. Kull xjenzat kellu taħriġ fil-livell ta’ Ph.D. u esperjenza fl-industrija bijoteknoloġika jew farmaċewtika. Il-kompiti setgħu jgħaddu minn ċikli ta’ reviżjoni bla limitu qabel l-aċċettazzjoni; dawk aċċettati kellhom medja ta’ sitt ċikli awtomatizzati awtodiretti u mill-inqas żewġ rawnds ta’ reviżjoni esperta. Ir-reviżjonijiet kienu bbażati fuq tweġiba korretta verifikabbli jew kunsens espert qawwi, b’mill-inqas 90% qbil fost reviżuri tal-qasam rilevanti. Dan għen jiżgura li l-kompiti aċċettati kienu msejsa xjentifikament, ċari biżżejjed biex jiġu vvalutati u rappreżentattivi tar-riċerka applikata.

Il-kompiti ta’ LifeSciBench jiġu vvalutati b’rubrika dettaljata u speċifika li tqassam ir-rispons mistenni f’dikjarazzjonijiet xjentifiċi, kalkoli, deċiżjonijiet, ġustifikazzjonijiet u elementi oħra. B’kollox, ir-rubriki tal-esperti jinkludu 19,020 kriterju—medja ta’ 25 kull kompitu—biex ikejlu l-korrettezza xjentifika u l-utilità għad-deċiżjonijiet tar-riċerka.

Dan jirrifletti kif ix-xogħol xjentifiku jiġi evalwat fil-prattika: ħafna kompiti tax-xjenzi tal-ħajja ma jistgħux jiġu vvalutati mit-tweġiba finali biss. Rispons jista’ jasal għall-konklużjoni ġenerali t-tajba iżda jitqies mhux komplut jekk, pereżempju, jinjora limitazzjoni ewlenija ta’ assaġġ jew sfumatura bijoloġika importanti. Bil-maqlub, rispons parzjali jista’ jkun fih raġunament tajjeb anki jekk ma jsolvix il-kompitu kollu.

Ir-rubriki granulari jaqbdu din is-sfumatura. LifeSciBench jevalwa mhux biss l-eżattezza tat-tweġiba finali, iżda jekk mudell jasalx għaliha b’mod xjentifikament validu u operazzjonalment utli.

Ivvalidajna LifeSciBench b’reviżjoni esperta indipendenti. Ir-rispons ġie minn 453 reviżur li ma kitbux il-kompiti. Minnhom, 97% kellhom Ph.D. jew dottorat ekwivalenti, b’medja ta’ 12-il sena esperjenza u 14-il pubblikazzjoni riveduta mill-pari; 88% irrappurtaw mill-inqas premju jew fellowship wieħed.

Ir-reviżuri skorjaw jekk kull kompitu kellux il-kwalitajiet ta’ mistoqsija benchmark b’saħħitha: allinjament mar-riċerka reali, ittestjar xieraq tar-raġunament xjentifiku u l-għarfien tal-qasam, iggrawndjar fl-evidenza jew kunsens espert, u utilità għall-valutazzjoni tal-prestazzjoni tal-mudell. Il-qbil qabeż 96% f’kull kategorija.

Il-kummenti tar-reviżuri kkonfermaw il-klassifikazzjonijiet kwantitattivi:

Nirrappurtaw żewġ metriċi komplementari. Ir-rata ta’ suċċess hija l-perċentwal ta’ kompiti fejn mudell jilħaq il-limitu ta’ suċċess ta’ 70%. Il-punteġġ huwa l-medja tar-reward tar-rubrika, b’kreditu parzjali għal kriterji individwali anki meta l-kompitu sħiħ ma jissolviex. It-tnejn jgħoddu għax rispons xjentifiku jista’ jkun parzjalment korrett jew utli mingħajr ma jissodisfa kull rekwiżit.

Il-prestazzjoni tal-mudell tvarja ħafna skont it-tip ta’ kompitu, il-fluss tax-xogħol u l-format tar-rispons.

LifeSciBench juri li l-mudelli fruntiera huma l-aktar b’saħħithom f’kompiti ta’ sinteżi xjentifika, komunikazzjoni u interpretazzjoni strutturata. Ir-rati assoluti ta’ suċċess għadhom modesti, għalhekk dawn l-oqsma mhumiex saturati, iżda GPT‑Rosalind juri progress fuq GPT‑5.5: ir-rata ġenerali ta’ suċċess eżatt titla’ minn 25.7% għal 36.1%.

L-akbar progress fil-kapaċitajiet tal-mudelli jidher fil-Komunikazzjoni Xjentifika u fit-Traduzzjoni. Pereżempju, ir-rata ta’ suċċess fil-Komunikazzjoni Xjentifika titla’ minn 56.3% għal GPT‑5.5 għal 71.1% għal GPT‑Rosalind; il-kategorija hi żgħira (n=9), għalhekk għandha tinqara b’kawtela, iżda tissuġġerixxi li l-mudelli fruntiera qed itejbu malajr il-kapaċità li jorganizzaw evidenza u jipproduċu spjegazzjonijiet konvinċenti għall-esperti. It-Traduzzjoni (il-proċess “mill-bank sal-pazjent” fl-iżvilupp tal-mediċini) turi mudell simili, minn 36.8% għal GPT‑5.5 għal 57.7% għal GPT‑Rosalind, u tissuġġerixxi titjib rapidu fil-konnessjoni bejn evidenza preklinika u implikazzjonijiet kliniċi.

Ir-riżultati fil-livell tar-rubrika juru l-istess. F’kompiti li jeħtieġu outputs utli għall-esperti jew azzjonabbli, GPT‑Rosalind jikseb 44.7%, kontra 29.1% għal GPT‑5.5. F’kompiti dwar inċertezza u twissijiet, jikseb 44.8%, kontra 29.3%. Dan jissuġġerixxi li l-mudelli huma l-aktar utli meta l-kompitu għandu konfini ċari tal-evidenza u jeħtieġ ġudizzju xjentifiku strutturat.

Il-prestazzjoni tibqa’ ħafna aktar dgħajfa f’xogħol xjentifiku b’ħafna artifatti, b’ħafna disinn jew b’limitazzjonijiet operazzjonali. B’mod partikolari, Disinn, ottimizzazzjoni u tbassir jibqa’ fost l-aktar flussi diffiċli, b’rata ta’ suċċess ta’ 30.7% għal GPT‑Rosalind; l-Analiżi hi simili, bi 30.3%.

L-użu tal-artifatti hu lakuna ċara ħafna. Għalkemm GPT‑Rosalind jaqbeż lil GPT‑5.5 f’kuntesti b’ħafna artifatti, ir-rata tiegħu tinżel minn 45.1% f’kompiti b’test biss għal 28.1% f’kompiti b’artifatti jew URLs. GPT‑5.5 juri l-istess mudell, minn 29.9% għal 21.9%. Analiżi aktar dettaljata tikkonferma li l-mudelli fruntiera jitħabtu biex jiġbdu informazzjoni minn figuri kumplessi jew fajls kbar ta’ sekwenzi u jintegrawha fit-tweġiba finali.

Il-format tat-tweġiba jgħodd ukoll. Kompiti li jeħtieġu outputs eżatti ta’ sekwenza, struttura jew kostrutt għandhom rati aktar baxxi: GPT‑Rosalind jilħaq biss 14.8% f’kompiti numeriċi u 24.0% f’outputs ta’ sekwenza jew struttura. Il-ġenerazzjoni ta’ kostrutti hi wkoll fraġli: GPT‑Rosalind jilħaq 27.3% u juri ftit titjib fuq GPT‑5.5. Parti mil-lakuna tista’ tirrifletti valutazzjoni aktar stretta f’kompiti b’tweġiba eżatta, fejn żbalji żgħar fil-kalkolu jew fil-format jistgħu jwaqqgħu rispons taħt il-limitu. Xorta, dawn il-fallimenti huma xjentifikament importanti għax ħafna flussi tax-xogħol jeħtieġu outputs eżatti biżżejjed għall-użu dirett, bħal fid-disinn ta’ donaturi CRISPR/HDR jew ta’ siRNA.

Il-mudelli spiss jaslu parti mit-triq mingħajr ma jsolvu l-kompitu kollu. F’madwar 14% tal-kompiti, il-mudelli kisbu kreditu sostanzjali fir-rubrika minkejja li ma laħqux il-limitu ta’ suċċess eżatt. Għal GPT‑Rosalind, 109 kompiti kellhom rati ta’ suċċess taħt 20% iżda xorta kisbu mill-inqas 50% tar-reward tar-rubrika. Fil-prattika, il-mudelli jistgħu jsibu evidenza rilevanti jew jagħtu tweġiba parzjali plawżibbli, iżda xorta jonqsu għax jitilfu limitazzjoni ewlenija, jużaw evidenza ħażina, jagħmlu kalkolu mhux komplut jew ma jwasslux ir-raġunament għal deċiżjoni finali utli.

LifeSciBench hu pass lejn il-kejl ta’ kemm is-sistemi AI jistgħu jkunu utli għar-riċerka fix-xjenzi tal-ħajja, iżda ma jissostitwixxix studji ta’ mudelli f’ambjenti ta’ riċerka ħajja. Il-benchmark jiffoka fuq kompiti awtonomi li jirriflettu flussi rikorrenti tal-industrija, u jħalli barra ħafna speċjalitajiet u tipi ta’ kompiti. Ir-riċerka reali hi iterattiva: ix-xjentisti jiġbru evidenza ġdida, jirrevedu ipoteżijiet, jiddisinjaw esperimenti ta’ segwitu u jadattaw il-pjanijiet hekk kif joħorġu r-riżultati.

Għalhekk, prestazzjoni qawwija fuq LifeSciBench għandha tinqara bħala evidenza ta’ kapaċità realistika fil-livell tal-kompitu, mhux bħala kejl dirett tal-impatt fuq ir-riċerka. Il-benchmark hu msejjes fuq flussi tal-industrija, iżda ma jaqbadx id-diversità jew id-dinamika kollha ta’ programmi ta’ riċerka ħajja, fejn il-progress jiddependi fuq fatturi li jiżviluppaw maż-żmien.

Il-pass li jmiss hu li l-prestazzjoni fil-benchmark tintrabat ma’ studji ta’ implimentazzjoni fi flussi ta’ riċerka ħajja. Għalkemm LifeSciBench ġie żviluppat ma’ xjentisti prattikanti, biex jitkejjel jekk is-sistemi AI jaċċellerawx l-iskoperta jew itejbux ir-riżultati tar-R&D hemm bżonn jiġi studjat l-użu tal-mudelli f’ambjenti reali, fuq żmien itwal u tul diversi rawnds ta’ raġunament, feedback u segwitu sperimentali.