LifeSciBench á thabhairt isteach

Tá córais IS ghníomhaireach ag éirí níos cumasaí ar thascanna eolaíochta. Ach braitheann a luach d’eolaithe beatha ar an gcaoi a láimhseálann siad castacht an fhíorthaighde. Is annamh is ceist shimplí fíricí nó fadhb ghlan tuartha í an obair sin. Léirmhíníonn taighdeoirí fianaise neamhiomlán, réitíonn siad torthaí contrártha, dearann siad turgnaimh, fabhtcheartaíonn siad measúnachtaí, measann siad riosca aistritheacha, agus roghnaíonn an chéad chéim eile faoi éiginnteacht.

Ní thomhaiseann tagarmharcanna reatha na cumais sin go hiomlán. Díríonn go leor measúnuithe eolaíochtaí beatha ar réimsí cúnga nó scileanna aonair, le ceisteanna struchtúrtha agus freagraí tagartha glana. Tá siad luachmhar, ach is minic nach measann siad an gcabhraíonn samhail leis an raon níos leithne oibre taighde.

Dhearamar LifeSciBench chun an bhearna seo a dhúnadh. Tá gach tasc bunaithe ar bhreithiúnas eolaithe beatha cleachtacha le hoiliúint Ph.D. agus taithí dhíreach ar fhionnachtain drugaí i mbiteicneolaíocht agus cógaisíocht.

Tá 750 tasc saineolaí in LifeSciBench thar sheacht sreabhadh oibre agus seacht bhfearann bhitheolaíocha.

Tomhaiseann LifeSciBench an féidir le córais IS tacú le fíorthascanna taighde sna heolaíochtaí beatha, ní ceisteanna bitheolaíochta amháin a fhreagairt. Chun tacsanomaíocht an tagarmhairc a shainiú, chuireamar ceist ar eolaithe beatha cleachtacha faoi na sreafaí oibre is coitianta acu i dtaighde feidhmeach. Ghrúpálamar na freagraí i seacht gcatagóir: láimhseáil fianaise, anailís, dearadh agus barrfheabhsú, réasúnaíocht eolaíoch, bailíochtú agus oibríochtaí, aistriú, agus cumarsáid eolaíoch.

Tá gach tasc cosúil le hiarratas ó eolaí ar chomhghleacaí eolach: leid eolaíoch, comhthéacs nó déantáin ábhartha, agus freagra oscailte. Measann rúibricí saineolaí an dtugann samhail an freagra ceart ar shaincheist ar leith, leis an mionsonra, údar, rabhaidh agus formáid a bheadh eolaí ag súil leo.

Measann LifeSciBench réasúnaíocht eolaíoch agus na scileanna praiticiúla, níos doiléire, atá riachtanach sa saol fíor. Cuireann na tascanna fadhbanna taighde réalaíocha ar shamhlacha: fianaise a léirmhíniú, breithiúnas fearainn a thabhairt, agus conclúidí úsáideacha do shaineolaithe a chur in iúl. Éilíonn go leor tascanna freisin go láimhseálfadh samhlacha éiginnteacht agus comhaid sonraí tacaíochta, seachas téacs na leide amháin.

Dearadh an tagarmharc chun castacht obair na n-eolaíochtaí beatha a léiriú. San iomlán, éilíonn 79% de thascanna níos mó ná céim amháin réasúnaíochta nó cinnteoireachta, ceithre chéim ar an meán. Tá 1,062 déantán ceangailte in LifeSciBench: figiúirí, PDFanna, táblaí, comhaid seichimh, comhaid struchtúir nó cheimiceacha, agus tagairtí gréasáin. Éilíonn os cionn leath na dtascanna (53%) faisnéis ó dhéantán amháin ar a laghad a léirmhíniú nó a shintéisiú.

Chruthaigh 173 eolaí saineolach ó dhisciplíní éagsúla eolaíochtaí beatha na tascanna. Bhí oiliúint Ph.D. agus taithí sa bhiteicneolaíocht nó sa chógaisíocht ag gach eolaí. D’fhéadfaí tascanna a leasú a mhéad uair ba ghá roimh ghlacadh leo; ar an meán, rinne tascanna glactha sé athbhreithniú uathoibríoch féinstiúrtha agus dhá athbhreithniú saineolaí ar a laghad. Bhí athbhreithnithe bunaithe ar fhreagra infhíoraithe ceart nó ar chomhthoil láidir saineolaithe, le comhaontú 90% ar a laghad sa réimse ábhartha. Chinntigh an próiseas go raibh na tascanna glactha eolaíoch, soiléir le grádú, agus ionadaíoch ar thaighde feidhmeach.

Grádaítear tascanna LifeSciBench le rúibric mhionsonraithe shonrach a bhriseann an freagra ionchais ina mhaímh, ríomhanna, cinntí, údaruithe agus araile. Ar fud an tagarmhairc, tá 19,020 critéar i rúibricí saineolaí—25 in aghaidh an taisc ar an meán—chun cruinneas eolaíoch agus luach do chinntí taighde a mheas.

Léiríonn sé seo measúnú na hoibre eolaíochta i gcleachtas: ní leor an freagra deiridh amháin do go leor tascanna eolaíochtaí beatha. Féadfaidh freagra an chonclúid ghinearálta cheart a bhaint amach ach a bheith neamhiomlán má chailleann sé teorainn thábhachtach measúnachta nó mionsonra bitheolaíoch ríthábhachtach. Os a choinne sin, féadfaidh réasúnaíocht mhaith a bheith i bhfreagra páirteach fiú mura réitíonn sé an tasc.

Gabhann na rúibricí mionsonraithe an difear sin. Ní mheasann LifeSciBench cruinneas deiridh amháin, ach an dtagann samhail ar a freagra ar bhealach bailí eolaíoch agus úsáideach go hoibríochtúil.

Bhailíochtaíomar LifeSciBench trí athbhreithniú neamhspleách saineolaithe. Tháinig aiseolas ó 453 athbhreithneoir nach raibh páirteach i scríobh na dtascanna. Bhí Ph.D. nó dochtúireacht choibhéiseach ag 97% díobh, 12 bhliain taithí agus 14 fhoilseachán piarmheasúnaithe ar an meán; dúirt 88% go bhfuair siad dámhachtain nó comhaltacht.

Scóráil athbhreithneoirí an raibh gach tasc ina cheist láidir tagarmhairc: ailíniú le fíorobair thaighde, tástáil chuí ar réasúnaíocht eolaíoch agus saineolas fearainn, bunús i bhfianaise nó i gcomhthoil, agus úsáideacht chun feidhmíocht samhla a mheas. Sháraigh comhaontú 96% i ngach catagóir.

Neartaigh tuairimí na n-athbhreithneoirí na rátálacha cainníochtúla:

Tuairiscímid dhá mhéadracht chomhlántacha. Is é ráta pas céatadán na dtascanna ina mbaineann samhail tairseach ratha 70% amach. Is é an scór meánluaíocht na rúibric, a thugann páirtchreidiúint do chritéir aonair fiú mura réitítear an tasc iomlán. Tá an dá cheann tábhachtach, mar d’fhéadfadh freagra eolaíoch a bheith páirteach ceart nó úsáideach gan gach riachtanas a chomhlíonadh.

Athraíonn feidhmíocht samhla go mór de réir cineál taisc, sreabhadh oibre agus formáid freagra.

Léiríonn LifeSciBench gurb iad samhlacha teorainn is láidre, go coibhneasta, ar shintéis eolaíoch, cumarsáid agus léirmhíniú struchtúrtha. Tá rátaí pas fós measartha, mar sin níl na réimsí seo sáithithe; ach léiríonn GPT‑Rosalind dul chun cinn ar GPT‑5.5, agus ardaíonn an ráta pas cruinn foriomlán ó 25.7% go 36.1%.

Is i gCumarsáid Eolaíoch agus in Aistriú atá an dul chun cinn is láidre i gcumais samhla. Mar shampla, ardaíonn ráta pas na Cumarsáide Eolaíche ó 56.3% le GPT‑5.5 go 71.1% le GPT‑Rosalind; tá an chatagóir beag (n=9), mar sin bí cúramach, ach tugann sí le fios go bhfuil samhlacha teorainn ag feabhsú go tapa ar fhianaise a eagrú agus míniúcháin láidre do shaineolaithe a thabhairt. Léiríonn Aistriú (an próiseas forbartha drugaí "ón mbinse go cois leapa") patrún cosúil leis: ó 36.8% le GPT‑5.5 go 57.7% le GPT‑Rosalind, rud a thugann le fios go nascann samhlacha fianaise réamhchliniciúil le himpleachtaí cliniciúla níos fearr.

Tugann torthaí ar leibhéal rúibric an teachtaireacht chéanna. Ar thascanna a éilíonn aschuir úsáideacha do shaineolaithe nó inghníomhaithe, scórálann GPT‑Rosalind 44.7%, i gcomparáid le 29.1% do GPT‑5.5. Ar thascanna a éilíonn láimhseáil éiginnteachta agus rabhaidh, scórálann sé 44.8%, i gcomparáid le 29.3%. Tugann sé seo le fios gur úsáideach samhlacha nuair atá teorainn fianaise shoiléir ann agus gá le breithiúnas eolaíoch struchtúrtha.

Tá feidhmíocht i bhfad níos laige fós ar obair eolaíoch atá dian ar dhéantáin, ar dhearadh nó ar shrianta oibríochta. Go háirithe, tá Dearadh, Barrfheabhsú & Tuar ar cheann de na sreafaí is deacra, le ráta pas 30.7% ag GPT‑Rosalind; tá Anailís cosúil leis ag 30.3%.

Is bearna an-soiléir í úsáid déantán. Cé go sáraíonn GPT‑Rosalind GPT‑5.5 i suíomhanna troma déantán, titeann a ráta pas fós ó 45.1% ar thascanna téacs amháin go 28.1% ar thascanna le déantáin nó URLanna. Léiríonn GPT‑5.5 an patrún céanna: ó 29.9% go 21.9%. Deimhníonn anailís níos mine go mbíonn deacrachtaí ag samhlacha teorainn faisnéis a bhaint as figiúirí casta nó comhaid mhóra seichimh agus í a chomhtháthú sa fhreagra deiridh.

Tá formáid an fhreagra tábhachtach freisin. Bíonn rátaí pas níos ísle ag tascanna a éilíonn aschuir chruinne seichimh, struchtúir nó tógáin: ní shroicheann GPT‑Rosalind ach 14.8% ar thascanna uimhriúla agus 24.0% ar aschuir seichimh nó struchtúir. Tá tascanna giniúna tógán leochaileach freisin: GPT‑Rosalind ag 27.3%, gan mórán feabhais ar GPT‑5.5. D’fhéadfadh cuid den bhearna teacht ó ghrádú níos déine ar thascanna freagra chruinn, áit a gcuireann difríochtaí beaga ríofa nó formáidithe freagra faoi thairseach an phas. Mar sin féin, tá na teipeanna seo suntasach eolaíoch: éilíonn go leor sreafaí eolaíochtaí beatha aschuir atá cruinn go leor lena n-úsáid go díreach, mar i ndearadh deontóra CRISPR/HDR nó i ndearadh siRNA.

Is minic a éiríonn le samhlacha cuid den tasc a dhéanamh gan é a réiteach. I thart ar 14% de thascanna, ghnóthaigh samhlacha creidiúint mhór rúibric cé nár bhain siad an tairseach pas cruinn amach. I gcás GPT‑Rosalind, bhí rátaí pas faoi 20% ag 109 tasc ach fuair siad 50% ar a laghad de luach saothair rúibric. Go praiticiúil, féadfaidh samhlacha fianaise ábhartha nó freagra páirteach inchreidte a thabhairt, ach teipeann orthu má chailleann siad srian tábhachtach, má úsáideann siad an fhianaise mhícheart, má dhéanann siad ríomh neamhiomlán, nó mura nascann siad a réasúnaíocht le cinneadh deiridh úsáideach.

Is céim é LifeSciBench chun luach córais IS do thaighde eolaíochtaí beatha a thomhas, ach ní hionann é agus staidéar ar shamhlacha i dtimpeallachtaí taighde beo. Díríonn an tagarmharc ar thascanna féinchuimsitheacha a léiríonn sreafaí tionscail athfhillteacha, agus fágann sé go leor speisialtachtaí agus cineálacha tascanna lasmuigh dá raon reatha. Tá fíorthaighde atriallach: bailíonn eolaithe fianaise nua, leasíonn hipitéisí, dearann turgnaimh leantacha, agus athraíonn pleananna de réir torthaí.

Mar sin, ba cheart feidhmíocht láidir ar LifeSciBench a léamh mar fhianaise ar chumas réalaíoch ag leibhéal taisc, ní mar thomhas díreach ar thionchar taighde iartheachtach. Tá an tagarmharc bunaithe ar shreafaí tionscail, ach ní chlúdaíonn sé éagsúlacht ná dinimic iomlán clár taighde beo, áit a mbraitheann dul chun cinn ar fhachtóirí a thagann chun cinn le himeacht ama.

Is é an chéad chéim eile feidhmíocht tagarmhairc a nascadh le staidéir imscartha i sreafaí taighde beo. Cé gur forbraíodh LifeSciBench le heolaithe cleachtacha, chun a mheas an gcuireann córais AI dlús le fionnachtain nó an bhfeabhsaíonn siad torthaí T&F, caithfear úsáid agus feidhmíocht samhla a staidéar i bhfíorshuíomhanna taighde, thar thréimhsí níos faide agus trí bhabhtaí réasúnaíochta, aiseolais agus leantachais thurgnamhaigh.