Kynning á LifeSciBench

Gervigreindarkerfi eru sífellt að verða færari um að framkvæma vísindaleg verkefni. Hins vegar fer gagnsemi þeirra fyrir lífvísindamenn eftir því hversu vel þeir takast á við flækjustig raunverulegra rannsókna. Sú vinna lítur sjaldan út eins og spurning um eina staðreynd eða hreint spáverkefni. Rannsakendur túlka ófullkomnar sannanir, sætta saman misvísandi niðurstöður, hanna erfiðar tilraunir, greina bilanagreiningu, meta þýðingaráhættu og ákveða hvað skuli gera næst í óvissu.

Núverandi viðmið ná ekki til fulls yfir þessa möguleika. Margar matsrannsóknir á lífvísindum einbeita sér að þröngum sviðum eða einangruðum færniþáttum, sem leiðir til spurninga með skipulögðu spurningaformi og skýrum tilvísunarsvörum. Þótt þau séu verðmæt, tekst þeim oft ekki að meta til fulls hvort líkan geti lagt sitt af mörkum til rannsókna á breiðara sviði.

Við hönnuðum LifeSciBench til að brúa þetta bil. Hvert verkefni byggir á mati starfandi lífvísindamanna með doktorsnám og beina reynslu af því að efla lyfjaþróunarverkefni í líftækni- og lyfjafræðiumhverfi.

LifeSciBench inniheldur 750 verkefni skrifuð af sérfræðingum sem spanna sjö vinnuflæði og sjö líffræðileg svið.

LifeSciBench mælir hvort gervigreindarkerfi geti stutt raunhæf rannsóknarverkefni í lífvísindum, ekki bara svarað spurningum í líffræði. Til að skilgreina viðmiðunarflokkunina könnuðum við starfandi lífvísindamenn um þau vinnuflæði sem þeir nota oftast í hagnýtum rannsóknum. Síðan flokkuðum við svör þeirra í sjö endurtekna flokka: meðhöndlun sönnunargagna, greiningu, hönnun og bestun, vísindaleg rökfærsla, staðfesting og aðgerðir, þýðingu og vísindaleg miðlun.

Hvert verkefni er skipulagt eins og beiðni sem vísindamaður gæti sent til þekkingarmikils samstarfsmanns: vísindaleg fyrirmæli, viðeigandi samhengi eða gripir og frjálst svar. Sérfræðingar meta hvort líkan geti gefið rétta svarið við tilteknu vandamáli, með réttu smáatriði, rökstuðningi, fyrirvörum og sniði sem vísindamaður myndi búast við.

LifeSciBench metur vísindalega rökhugsun ásamt minna skilgreindri, hagnýtri færni sem nauðsynleg er til raunverulegrar vísindalegrar notkunar. Verkefni þess fela í sér að líkön vinni úr raunhæfum rannsóknarvandamálum: túlka sönnunargögn, taka ákvarðanir sem byggja á sviðum og miðla niðurstöðum sem væru gagnlegar fyrir sérfræðinga í rannsóknum. Mörg verkefni krefjast einnig þess að líkön takist á við óvissu og rökstyðji stuðning gagnaskráa frekar en að reiða sig eingöngu á leiðbeiningartexta.

Viðmiðið er hannað til að endurspegla flækjustig lífvísindastarfa. Í heildina krefjast 79% verkefna margra skrefa í rökhugsun eða ákvarðanatöku, að meðaltali fjögur skref í hverju verkefni. LifeSciBench inniheldur 1.062 viðhengda gripi sem spanna myndir, PDF skjöl, töflur, raðskrár, uppbyggingar- eða efnaskrár og veftilvísanir. Meira en helmingur verkefna (53%) krefjast þess að líkön túlki eða setji saman upplýsingar úr að minnsta kosti einum grip.

Verkefnin voru búin til af 173 sérfræðingum í lífvísindum úr ólíkum lífvísindagreinum. Hver vísindamaður hafði doktorsgráðu og reynslu í líftækni eða lyfjaiðnaði. Verkefni gátu gengist undir eins margar endurskoðunarlotur og þörf var á áður en þau voru samþykkt, án fastrar hámarksfjölda umferða; samþykkt verkefni voru að meðaltali sex sjálfstýrðar sjálfvirkar endurskoðunarlotur og luku að minnsta kosti tveimur umferðum af sérfræðiúttektum. Umsagnir voru byggðar annað hvort á staðfestanlegu réttu svari eða sterkri samstöðu sérfræðinga, með að minnsta kosti 90% samstöðu meðal umsagnaraðila á viðkomandi sviði. Þetta ferli hjálpaði til við að tryggja að samþykkt verkefni væru vísindalega rökstudd, nógu skýr til að gefa einkunn og dæmigerð fyrir hagnýtar rannsóknir.

Verkefni í LifeSciBench eru metin með ítarlegri, verkefnisbundinni matsrubrik sem brýtur niður væntanlegt svar í sértækar vísindalegar fullyrðingar, útreikninga, ákvarðanir, réttlætingar og svo framvegis. Í viðmiðunarflokknum innihalda matsrúbríkur, sem sérfræðingar hafa þróað, 19.020 viðmið — að meðaltali 25 í hverju verkefni — til að meta bæði vísindalega réttmæti og notagildi fyrir rannsóknarákvarðanir.

Þessi hönnun endurspeglar hvernig vísindaleg vinna er metin í reynd: mörg lífvísindaverkefni er ekki hægt að meta með því að athuga eingöngu lokasvarið. Svar gæti komist að réttri niðurstöðu á háu stigi en samt verið metið ófullkomið ef það gleymir til dæmis lykiltakmörkun á prófinu eða kemur ekki með fyrirbyggjandi upplýsingar um mjög þýðingarmikla líffræðilega blæbrigði. Aftur á móti getur hlutasvar innihaldið vandaða röksemdafærslu jafnvel þótt það leysi ekki verkefnið að fullu.

Nákvæmu rúbríkurnar fanga þennan blæbrigði. LifeSciBench metur ekki aðeins nákvæmni lokasvars, heldur einnig hvort líkan kemst að svari sínu á vísindalega gildan og rekstrarlega gagnlegan hátt.

Við staðfestum LifeSciBench með óháðum sérfræðingum. Ábendingar bárust frá 453 umsagnaraðilum sem komu ekki að skrifum verkefnanna. Af þessum ritrýnendum höfðu 97% doktorsgráðu eða sambærilega doktorsgráðu, að meðaltali 12 ára reynslu á vettvangi og 14 ritrýndar ritrýndar greinar; 88% sögðust hafa hlotið að minnsta kosti eina viðurkenningu eða styrk.

Gagnrýnendur gáfu einkunn fyrir hvort hvert verkefni endurspeglaði þá eiginleika sem krafist er fyrir sterka viðmiðunarspurningu: samræmi við raunverulegar rannsóknir, viðeigandi prófanir á vísindalegri röksemdafærslu og sérþekkingu á sviðinu, grundvöllur fyrir sönnunargögnum eða samstöðu sérfræðinga og almennt notagildi við mat á frammistöðu líkansins. Samstaðan var yfir 96% í öllum flokkum.

Umsagnir gagnrýnenda styrktu megindlegu einkunnirnar:

Við birtum tvær mælikvarðar sem samræmast hvor öðrum. Árangurshlutfall er hlutfall verkefna þar sem líkan nær 70% árangursþröskuldi á verkefnisstigi. Einkunn er meðalumbun samkvæmt matsrubriknum, sem gefur hluta af einkunn fyrir einstök viðmið jafnvel þótt ekki sé allt verkefnið leyst. Báðir skipta máli vegna þess að svar við vísindalegu verkefni getur verið að hluta til rétt eða gagnlegt án þess að uppfylla allar kröfur um fullkomið svar.

Afköst líkansins eru mjög mismunandi eftir tegund verkefnis, vinnuflæði og svarsformi.

LifeSciBench sýnir að jaðarlíkön eru tiltölulega sterkust í verkefnum sem fela í sér vísindalega samantekt, samskipti og skipulagða túlkun. Algjör árangurshlutfall er enn hóflegt, þannig að þessi viðmiðunarsvið eru langt frá því að vera mettuð, en GPT‑Rosalind sýnir verulegar framfarir frá GPT‑5.5 og hefur bætt heildarhlutfall nákvæms árangurs úr 25,7% í 36,1%.

Sterkustu framfarirnar í líkanahæfni birtast í vísindalegum samskiptum og þýðingum. Til dæmis eykst árangurshlutfallið í vísindasamskiptum úr 56,3% fyrir GPT‑5.5 í 71,1% fyrir GPT‑Rosalind; þessi flokkur er lítill (n=9), þannig að hann ætti að túlka með varúð, en hann bendir til þess að líkan á jaðarstigi séu að batna hratt í getu sinni til að skipuleggja sönnunargögn og framleiða sannfærandi skýringar sem snúa að sérfræðingum. Þýðing (þróunarferlið „frá rannsóknarstofu til rannsóknarstofu“) sýnir svipað mynstur og hækkar úr 36,8% fyrir GPT‑5.5 í 57,7% fyrir GPT‑Rosalind, sem bendir til þess að líkön séu ört að bæta getu sína til að tengja forklínískar niðurstöður við klínískar niðurstöður.

Niðurstöður á matsstigi benda í sömu átt. Í verkefnum sem krefjast gagnlegra eða aðgerðarhæfra niðurstaðna fyrir sérfræðinga, fær GPT‑Rosalind 44,7% stig, samanborið við 29,1% fyrir GPT‑5.5. Í verkefnum sem krefjast óvissu og meðhöndlunar á fyrirvörum fær það 44,8% einkunn, samanborið við 29,3%. Þetta mynstur bendir til þess að líkön séu gagnlegust þegar verkefnið hefur skýr sönnunargögn og kallar á skipulagða vísindalega matsgerð.

Afköstin eru enn mun veikari í vísindavinnu sem krefst mikilla gripa, hönnunar og rekstrarlegra takmarkana. Hönnun, hagræðing og spá eru enn eitt erfiðasta verkflæðið, með 30,7% árangurshlutfall GPT‑Rosalind; Greining er álíka erfið með 30,3%.

Notkun gripa er sérstaklega skýr galli. Þó að GPT‑Rosalind standi sig betur en GPT‑5.5 í stillingum þar sem mikið er af gripum, þá lækkar árangurshlutfallið samt úr 45,1% í verkefnum sem eingöngu innihalda texta í 28,1% í verkefnum með gripum eða vefslóðum. GPT‑5.5 sýnir sama mynstur og lækkar úr 29,9% í 21,9%. Ítarlegri greining staðfestir að jaðarlíkön eiga erfitt með að draga upplýsingar úr flóknum myndum eða stórum raðskrám og samþætta þær upplýsingar í lokaútkomuna.

Svarformið skiptir líka máli. Verkefni sem krefjast nákvæmrar röð, uppbyggingar eða úttaks á smíðastigi sýna lægri árangur: GPT‑Rosalind nær aðeins 14,8% í tölulegum verkefnum og 24,0% í röð- eða uppbyggingarúttaki. Verkefni sem tengjast smíðamyndun eru einnig brothætt, þar sem GPT‑Rosalind er 27,3% og sýnir litla framför samanborið við GPT‑5.5. Sumt af þessu bili gæti endurspeglað strangari einkunnagjöf fyrir verkefni með nákvæmum svörum, þar sem smáir munur á útreikningum eða sniði getur valdið því að svar fellur undir viðmiðunarmörk. Þessi mistök eru samt sem áður vísindalega mikilvæg þar sem mörg vinnuflæði í lífvísindum krefjast nógu nákvæmra niðurstaðna til að hægt sé að nota þau beint, eins og í CRISPR/HDR gjafahönnun eða siRNA hönnun.

Líkön komast oft líka hluta af leiðinni þangað án þess að leysa verkefnið að fullu. Í um það bil 14% verkefna fengu líkön verulegar einkunnir þrátt fyrir að ná ekki nákvæmri prófun. Fyrir GPT‑Rosalind voru 109 verkefni með undir 20% árangur en fengu samt að minnsta kosti 50% umbun samkvæmt matsflokknum. Í reynd þýðir þetta að líkön geta borið kennsl á viðeigandi sönnunargögn eða gefið trúverðugt hlutasvar, en samt mistekist vegna þess að þau missa af lykilþvingun, nota röng sönnunargögn, gera ófullkomna útreikninga eða tengja ekki rökstuðning sinn við vísindalega gagnlega lokaákvörðun.

LifeSciBench er skref í átt að því að mæla hversu gagnleg gervigreindarkerfi geta verið fyrir lífvísindarannsóknir, en það kemur ekki í staðinn fyrir að rannsaka líkön í raunverulegu rannsóknarumhverfi. Viðmiðið leggur áherslu á sjálfstæð verkefni sem endurspegla endurtekin vinnuflæði í atvinnugreininni, en skilur margar vísindalegar sérgreinar og gerðir verkefna utan núverandi umfangs. Raunverulegar rannsóknir eru endurteknar: vísindamenn safna nýjum gögnum, endurskoða tilgátur, hanna eftirfylgnitilraunir og aðlaga áætlanir sínar eftir því sem niðurstöður koma fram.

Því ætti að túlka góða frammistöðu á LifeSciBench sem vísbendingu um raunhæfa getu til að takast á við verkefni, ekki sem bein mælikvarða á áhrif rannsókna á síðari stigum. Viðmiðið byggir á vinnuflæði atvinnulífsins, en það nær ekki til allrar fjölbreytileika eða gangverks raunverulegra rannsóknarverkefna, þar sem framfarir eru háðar þáttum sem þróast með tímanum.

Næsta skref er að tengja viðmiðunarárangur við rannsóknir á dreifingu í raunverulegum rannsóknarferlum. Þótt LifeSciBench hafi verið þróað í samvinnu við starfandi vísindamenn, þá mun mæling á því hvort gervigreindarkerfi flýti fyrir uppgötvunum eða bæti niðurstöður rannsókna og þróunar krefjast þess að rannsaka notkun og frammistöðu líkana í raunverulegum rannsóknarumhverfi, yfir lengri sjóndeildarhring og í mörgum lotum röksemdafærslu, endurgjafar og tilraunakenndrar eftirfylgni.