Soo bandhigidda LifeSciBench

Nidaamyada AI-ga wakiileed waxay sii awood badanayaan qabashada hawlo saynis. Laakiin waxtarkooda cilmiga nolosha wuxuu ku xiran yahay sida ay u maareeyaan cilmi-baaris dhab ah oo adag. Shaqadaasi badanaa ma aha su’aal xaqiiqo keliya ama saadaal fudud. Cilmi-baarayaashu waxay fasiraan caddeyn dhiman, isu waafajiyaan natiijooyin is khilaafsan, naqshadeeyaan tijaabooyin adag, saxaan assays, qiimeeyaan khataraha u-gudbinta, kana go’aansadaan tallaabada xigta iyadoo aan hubanti jirin.

Halbeegyada hadda jira si buuxda uma cabbiraan awoodahan. Qiimeynno badan oo cilmiga nolosha ah waxay diiradda saaraan meel cidhiidhi ah ama xirfad gooni ah, sidaasna ku keenaan su’aalo qaabaysan iyo jawaabo tixraac oo nadiif ah. Way qiimo leeyihiin, balse badanaa ma caddeeyaan in nooc ka shaqayn karo baaxadda shaqada cilmi-baarista.

LifeSciBench waxaan u samaynay si uu farqigan u yareeyo. Hawl kasta waxay ku dhisan tahay xukunka saynisyahanno cilmiga nolosha ah oo leh tababar Ph.D. iyo waayo-aragnimo toos ah oo helista dawooyinka ka haysta biotech iyo farmashiye.

LifeSciBench wuxuu leeyahay 750 hawlood oo khubaro qoreen, kana kooban 7 socod-shaqo iyo 7 dhoomeyn bayooloji.

LifeSciBench wuxuu cabbiraa in nidaamyada AI taageeri karaan hawlo dhab ah oo cilmiga nolosha ah, ma aha keliya jawaabaha bayooloji. Si aan u dhisno taksonomiga halbeegga, waxaan saynisyahannada weydiinnay socod-shaqooyinka ay inta badan ku adeegsadaan cilmi-baarista la dabaqo. Jawaabaha waxaan u ururinnay 7 qaybood: maaraynta caddeynta, falanqayn, naqshadeyn iyo hagaajin, caqliyeynta sayniska, xaqiijin iyo hawlgallo, u-gudbin, iyo isgaarsiin saynis.

Hawl kasta waxay u eg tahay codsi saynisyahan siin karo wada-shaqeeye aqoon leh: weydiin saynis, macne ama agab khuseeya, iyo jawaab furan. Halbeegyadda qiimeynta ee ay khubaradu qoreen ayaa qiimeeya in nooc bixin karo jawaab sax ah, faahfaahin ku filan, sababayn, taxaddarro iyo qaab uu saynisyahan filayo.

LifeSciBench wuxuu qiimeeyaa caqliyeynta sayniska iyo xirfadaha ficilka ah ee muhiimka u ah isticmaalka sayniska dhabta ah. Hawluhu waxay noocyada ka rabaan xalinta dhibaatooyin cilmi-baaris oo dhab ah: fasiraad caddeyn, xukun dhoomeyn ku dhisan, iyo gunaanadyo khubaro anfaca. Hawlo badan waxay kaloo u baahan yihiin maaraynta hubanti-la’aanta iyo caqliyeyn ku salaysan faylal xogeed, ee ma aha qoraalka weydiinta oo keliya.

Halbeegga waxaa loo dhisay inuu muujiyo kakanaanta shaqada cilmiga nolosha. Guud ahaan, 79% hawluhu waxay u baahan yihiin tallaabooyin caqliyeyn ama go’aan badan; celcelis ahaan 4 tallaabo hawlkiiba. LifeSciBench wuxuu leeyahay 1,062 agab lifaaqan: jaantusyo, PDFs, miisas, faylal sequence, faylal qaab-dhismeed ama kiimiko, iyo tixraacyo websayd. In ka badan kala bar hawlaha (53%) waxay u baahan yihiin in noocyadu fasiraan ama isku daraan xog ka timaadda ugu yaraan hal agab.

Hawlaha waxaa sameeyay 173 saynisyahanno khubaro ah oo ka kala yimid laamo cilmiga nolosha ah. Mid kasta wuxuu lahaa tababar Ph.D. iyo waayo-aragnimo biotechnology ama farmashiye. Hawluhu waxay mari kareen dib-u-habeyn aan xad lahayn ka hor aqbalaad; kuwa la aqbalay celcelis ahaan waxay mareen 6 dib-u-eegis otomaatig ah iyo ugu yaraan 2 dib-u-eegis khubaro. Dib-u-eegistu waxay ku tiirsanayd jawaab la xaqiijin karo ama is-afgarad khubaro oo xooggan, iyadoo ugu yaraan 90% dib-u-eegayaasha domain-ku heshiiyeen. Habkani wuxuu xaqiijiyay in hawlaha la aqbalay yihiin kuwo saynis ku dhisan, la qiimeyn karo, kana tarjumaya cilmi-baarista la dabaqo.

Hawlaha LifeSciBench waxaa lagu qiimeeyaa halbeegyadda qiimeynta oo faahfaahsan oo hawl-gaar ah, kaas oo jawaabta u kala saara sheegashooyin saynis, xisaabin, go’aanno, sababayn iyo kuwo kale. Guud ahaan, halbeegyadda qiimeynta ee khubaradu waxay leeyihiin 19,020 shuruudood—celcelis 25 hawlkiiba—si loo cabbiro saxnaanta sayniska iyo waxtarka go’aamada cilmi-baarista.

Naqshaddani waxay ka tarjumaysaa qiimeynta shaqada sayniska: hawlo badan laguma xukumi karo jawaabta ugu dambeysa oo keliya. Jawaabtu waxay gaari kartaa gunaanad guud oo sax ah, haddana way dhiman kartaa haddii ay seegto xaddid assay muhiim ah ama faahfaahin bayooloji oo saameyn weyn leh. Dhanka kale, jawaab qayb ah waxay yeelan kartaa caqliyeyn tayo leh xitaa haddii aysan hawsha dhammeystirin.

Halbeegyadda qiimeynta ee faahfaahsan ayaa qabta arrintan. LifeSciBench ma eegayo oo keliya saxnaanta jawaabta, ee wuxuu cabbiraa in nooc ku gaaro hab saynis ahaan sax ah oo ficil ahaan waxtar leh.

LifeSciBench waxaan ku xaqiijinnay dib-u-eegis khubaro madax-bannaan. Jawaab-celin waxay ka timid 453 dib-u-eegayaal aan qorin hawlaha. 97% dib-u-eegayaashu waxay haysteen Ph.D. ama dhakhtarnimo u dhiganta; celcelis ahaan 12 sano waayo-aragnimo iyo 14 maqaal oo peer-reviewed ah; 88% waxay heleen abaalmarin ama deeq-waxbarasho cilmiyeed.

Dib-u-eegayaashu waxay qiimeeyeen in hawl kastaa leedahay sifooyinka su’aal halbeeg adag: la jaanqaad cilmi-baaris dhab ah, tijaabin habboon oo caqliyeynta sayniska iyo khibradda dhoomeynka, xog ku saleysnaan, iyo waxtar lagu cabbiro waxqabadka nooca. Heshiisku qayb kasta wuu ka sarreeyay 96%.

Faallooyinka dib-u-eegayaashu waxay taageereen qiimeynta tirooyinka:

Waxaan soo sheegnaa laba cabbir oo is-dhammaystira. Heerka baasidu waa boqolkiiba hawlaha uu nooc ku gaaro xadka guusha hawsha, 70%. Dhibcuhu waa celceliska abaalmarinta halbeegyadda qiimeynta, oo siiya dhibco qayb ah shuruudo gaar ah xitaa marka hawsha aan la wada xallin. Labada cabbirba waa muhiim, maxaa yeelay jawaab saynis waxay ahaan kartaa qayb ahaan sax ama waxtar leh iyadoo aan buuxin shuruud kasta.

Waxqabadka nooca wuxuu ku kala duwanaadaa nooca hawsha, socod-shaqada iyo qaabka jawaabta.

LifeSciBench wuxuu muujinayaa in noocyada ugu casriyeysan ugu xooggan yihiin isku-darka sayniska, isgaarsiinta iyo fasiraadda nidaamsan. Heerarka gudubku weli waa hooseeyaan, sidaas darteed domain-yadani ma buuxsamin; haddana GPT‑Rosalind wuxuu ka hormaray GPT‑5.5, isagoo gudubka saxda ah ka qaaday 25.7% ilaa 36.1%.

Horumarka awoodaha nooca wuxuu ugu muuqdaa Isgaarsiinta Sayniska iyo U-gudbinta. Tusaale, gudubka Isgaarsiinta Sayniska wuxuu ka kacaa 56.3% GPT‑5.5 ilaa 71.1% GPT‑Rosalind; qaybtani way yar tahay (n=9), balse waxay muujinaysaa in noocyada ugu casriyeysan si dhakhso ah ugu fiicnaanayaan abaabulka caddeynta iyo sharaxaad khubaro qancisa. U-gudbinta (habka "bench-to-bedside" ee horumarinta dawooyinka) sidoo kale way kordhaa, 36.8% GPT‑5.5 ilaa 57.7% GPT‑Rosalind, taasoo muujinaysa in noocyadu si fiican isugu xirayaan caddeynta daraasadda hordhaca ah iyo saamayntooda caafimaad ee bukaan-socodka.

Natiijooyinka heer-halbeeg qiimeynta sidoo kale taas ayay tilmaamayaan. Hawlaha u baahan soo-saar khubaro anfaca ama lagu dhaqaaqi karo, GPT‑Rosalind wuxuu helaa 44.7%, halka GPT‑5.5 helo 29.1%. Hawlaha u baahan maaraynta hubanti-la’aanta iyo taxaddarrada, wuxuu helaa 44.8%, marka loo eego 29.3%. Qaabkani wuxuu muujinayaa in noocyadu ugu waxtar badan yihiin marka hawshu leedahay xuduud caddeyn oo cad iyo xukun saynis oo nidaamsan.

Waxqabadku aad buu uga daciifsan yahay hawlaha sayniska ee agabyo badan, naqshadeyn badan ama xaddidaad hawlgal leh. Gaar ahaan, Naqshadeyn, Hagaajin & Saadaalin waa socod-shaqo adag: gudubka GPT‑Rosalind waa 30.7%; Falanqayntuna waa 30.3%.

Isticmaalka agabku waa farqi aad u cad. Inkasta oo GPT‑Rosalind ka fiican yahay GPT‑5.5 marka agab badan jiro, gudubkiisu wuxuu ka dhacaa 45.1% hawlaha qoraal-keliya ilaa 28.1% hawlaha leh agab ama URLs. GPT‑5.5 sidoo kale wuu dhacaa, 29.9% ilaa 21.9%. Falanqayn dheeraad ah waxay caddeysaa in noocyada ugu casriyeysan ku dhibtoonayaan soo saarista xogta jaantusyo adag ama faylal sequence waaweyn iyo gelinteeda jawaabta ugu dambeysa.

Qaabka jawaabtuna waa muhiim. Hawlaha u baahan sequence, qaab-dhismeed ama soo-saar construct sax ah waxay leeyihiin gudub hoose: GPT‑Rosalind wuxuu gaaraa 14.8% hawlaha tirooyinka iyo 24.0% soo-saarka taxanaha ama qaab-dhismeed. Hawlaha abuurista qaab-dhismeedyada way nugul yihiin: GPT‑Rosalind waa 27.3% oo wax yar ayuu ka hormaraa GPT‑5.5. Farqiga qaarkii wuxuu ka iman karaa qiimeyn adag oo hawlaha jawaabta saxda ah ah, halka khalad yar oo xisaab ama qaabeyn ahi hoos u dhigi karo jawaabta. Haddana guuldarrooyinkani waa muhiim, sababtoo ah socod-shaqooyin badan waxay u baahan yihiin soo-saar si toos ah loo adeegsan karo, sida naqshadeynta ku deeqaha CRISPR/HDR ama siRNA.

Noocyadu marar badan way soo dhowaadaan, balse hawsha ma dhammeeyaan. Qiyaastii 14% hawlaha, noocyadu waxay heleen dhibco halbeegyadda qiimeynta ah oo badan iyagoo aan gaarin xadka gudubka saxda ah. GPT‑Rosalind, 109 hawlood ayaa lahaa gudub ka hooseeya 20% balse weli helay ugu yaraan 50% abaalmarinta halbeegyadda qiimeynta. Ficil ahaan, noocyadu way heli karaan caddeyn khuseysa ama jawaab qayb ah, balse way fashilmaan haddii ay seegaan xannibaad muhiim ah, adeegsadaan caddeyn qaldan, sameeyaan xisaab dhiman, ama caqliyeynta aan ku xirin go’aan saynis oo waxtar leh.

LifeSciBench waa tallaabo lagu cabbirayo waxtarka nidaamyada AI ee cilmi-baarista cilmiga nolosha, balse ma beddelo barashada noocyada gudaha cilmi-baaris nool. Halbeeggu wuxuu diiradda saaraa hawlo isku filan oo ka tarjumaya socod-shaqooyin warshadeed oo soo noqnoqda, isagoo ka tagaya takhasusyo iyo hawlo badan oo kale. Cilmi-baarista dhabta ahi waa wareegto: saynisyahannadu waxay ururiyaan caddeyn cusub, hagaajiyaan mala-awaal, naqshadeeyaan tijaabooyin xiga, qorshahana la qabsiiyaan natiijooyinka.

Sidaas darteed, waxqabad xooggan oo LifeSciBench ah waa caddeyn awood hawl-dhab ah, ee ma aha cabbir toos ah oo saamaynta cilmi-baarista dambe. Halbeeggu wuxuu ku dhisan yahay socod-shaqooyin warshadeed, balse ma qabto kala-duwanaanta iyo dhaqdhaqaaqa buuxa ee barnaamijyada cilmi-baaris nool.

Tallaabada xigta waa in waxqabadka halbeegga lagu xiro daraasado deployment ah oo ka socda socod-shaqooyin cilmi-baaris nool. Inkastoo LifeSciBench lala sameeyay saynisyahanno shaqeeya, cabbiridda in nidaamyada AI dedejiyaan helitaan ama hagaajiyaan natiijooyinka R&D waxay u baahan tahay barashada isticmaalka iyo waxqabadka nooca gudaha cilmi-baaris dhab ah, muddo dheer, iyo wareegyo caqliyeyn, jawaab-celin iyo dabagal tijaabo ah.