Tutvustame LifeSciBenchi
Ekspertide koostatud ja hinnatud võrdlustest, mis põhineb päris eluteaduste uurimistööl
Agentse tehisintellekti süsteemid muutuvad teaduslike ülesannete täitmisel üha võimekamaks. Nende kasulikkus eluteaduste teadlastele sõltub aga sellest, kui hästi nad tulevad toime päris teadustöö keerukusega. See töö meenutab harva üksikut faktide meenutamise küsimust või puhast ennustusprobleemi. Teadlased tõlgendavad puudulikke tõendeid, lepitavad vastuolulisi tulemusi, kavandavad keerukaid katseid, lahendavad analüüside probleeme, hindavad translatsiooniriski ja otsustavad määramatuse tingimustes, mida järgmiseks teha.
Praegused võrdlustestid ei hõlma neid võimeid täielikult. Paljud eluteaduste hindamised keskenduvad kitsastele valdkondadele või eraldiseisvatele oskustele, mistõttu küsimustel on struktureeritud vorming ja selged etalonvastused. Kuigi need on väärtuslikud, ei suuda need sageli päriselt hinnata, kas mudel saab panustada uurimistaseme töö laiemasse spektrisse.
Lõime LifeSciBenchi, et aidata seda lünka vähendada. Iga ülesanne põhineb praktiseerivate eluteadlaste hinnangul, kellel on doktoritaseme väljaõpe ja otsene kogemus ravimileidmise programmide edendamisel biotehnoloogia- ja farmaatsiakeskkondades.
LifeSciBench sisaldab 750 ekspertide koostatud ülesannet, mis hõlmavad seitset töövoogu ja seitset bioloogilist valdkonda.
1,062
Ülesande artefaktid
173
Teadlastest panustajad
19,020
Hindamisjuhendi kriteeriumid
453
Ekspertarvustajad
Mida LifeSciBench mõõdab
LifeSciBench mõõdab, kas AI süsteemid suudavad toetada realistlikke eluteaduste uurimisülesandeid, mitte üksnes vastata bioloogiaküsimustele. Võrdlustesti taksonoomia määratlemiseks küsitlesime praktiseerivaid eluteadlasi töövoogude kohta, mida nad rakendusuuringutes kõige sagedamini kasutavad. Seejärel rühmitasime nende vastused seitsmesse korduvasse kategooriasse: tõendite käsitlemine, analüüs, disain ja optimeerimine, teaduslik arutlus, valideerimine ja operatsioonid, siire ning teaduskommunikatsioon.
Iga ülesanne on üles ehitatud nagu palve, mille teadlane võiks esitada asjatundlikule koostööpartnerile: teaduslik viip, asjakohane kontekst või artefaktid ning vabas vormis vastus. Ekspertide kirjutatud hindamisjuhendid hindavad, kas mudel suudab konkreetsele probleemile anda õige vastuse teadlase ootustele vastava detailsuse, põhjenduse, reservatsioonide ja vorminguga.
Andmestiku koostamine
LifeSciBench hindab teaduslikku arutlust koos vähem täpselt määratletud praktiliste oskustega, mida on vaja teaduse kasutamiseks päriselus. Selle ülesanded paluvad mudelitel läbi töötada realistlikke uurimisprobleeme: tõlgendada tõendeid, teha valdkonnapõhiseid hinnanguid ja sõnastada järeldusi, mis oleksid ekspertarvustajatele kasulikud. Paljud ülesanded nõuavad mudelitelt ka määramatuse käsitlemist ja arutlemist toetavate andmefailide põhjal, mitte üksnes viiba tekstile toetumist.
Võrdlustest on loodud peegeldama eluteaduste töö keerukust. Kokku nõuab 79% ülesannetest mitut arutlus- või otsustusetappi, keskmiselt neli sammu ülesande kohta. LifeSciBench sisaldab 1062 lisatud artefakti, sealhulgas jooniseid, PDF-e, tabeleid, järjestusfaile, struktuuri- või keemiafaile ning veebiviiteid. Üle poole ülesannetest (53%) nõuab mudelitelt vähemalt ühest artefaktist pärineva teabe tõlgendamist või sünteesimist.
Ülesanded lõid 173 ekspertteadlast eri eluteaduste erialadelt. Igal teadlasel oli doktoritaseme väljaõpe ning biotehnoloogia- või farmaatsiatööstuse kogemus. Ülesanded võisid enne vastuvõtmist läbida nii palju parandusringe kui vaja, ilma kindla ringide ülempiirita; vastuvõetud ülesanded läbisid keskmiselt kuus isejuhitud automatiseeritud ülevaatusringi ja vähemalt kaks ekspertülevaatuse ringi. Ülevaated tuginesid kas kontrollitavale õigele vastusele või tugevale ekspertide konsensusele, kus asjakohase valdkonna arvustajate nõusolek oli vähemalt 90%. See protsess aitas tagada, et vastuvõetud ülesanded olid teaduslikult põhjendatud, hindamiseks piisavalt selged ja rakendusuuringuid esindavad.
Hindamine ja hindamisjuhendi jaotus
LifeSciBenchi ülesandeid hinnatakse üksikasjaliku ülesandespetsiifilise hindamisjuhendi alusel, mis jaotab oodatava vastuse konkreetseteks teaduslikeks väideteks, arvutusteks, otsusteks, põhjendusteks ja muuks. Kogu võrdlustestis sisaldavad ekspertide koostatud hindamisjuhendid 19 020 kriteeriumi – keskmiselt 25 ülesande kohta –, et hinnata nii teaduslikku korrektsust kui ka kasulikkust uurimisotsuste tegemisel.
See ülesehitus peegeldab seda, kuidas teadustööd praktikas hinnatakse: paljusid eluteaduste ülesandeid ei saa hinnata üksnes lõppvastust kontrollides. Vastus võib jõuda õige üldise järelduseni, kuid seda võidakse siiski pidada puudulikuks, kui see näiteks jätab tähelepanuta olulise analüüsipiirangu või ei tõstata ennetavalt väga mõjukaid bioloogilisi nüansse. Teisalt võib osaline vastus sisaldada kvaliteetset arutlust isegi siis, kui see ei lahenda ülesannet täielikult.
Granulaarsed hindamisjuhendid tabavad selle nüansi. LifeSciBench hindab mitte ainult lõppvastuse täpsust, vaid ka seda, kas mudel jõuab vastuseni teaduslikult põhjendatud ja praktiliselt kasulikul viisil.
Teaduslike tõendite eraldamine, kooskõlastamine ja auditeerimine artiklitest, joonistelt, tabelitest ja eksperimentaalsetest kirjetest.
Hindamistesti näide
We’re preparing for a Type B FDA meeting on AAV9-microDys-X, an AAV9-based micro-dystrophin gene therapy for Duchenne muscular dystrophy that expresses a 138 kDa construct from an MCK promoter, and we want a hard-nosed critique of whether our current package really supports accelerated approval on micro-dystrophin expression as a surrogate endpoint reasonably likely to predict clinical benefit.
Study context: open-label Phase 1b/2 in 12 ambulatory boys age 4–7 with confirmed DMD and out-of-frame rod-domain deletions. The package is:
- Pre-treatment vastus lateralis biopsies: 0–3% of healthy-control dystrophin by quantitative Western blot using MANEX1A against the N-terminal actin-binding domain.
- 12-week post-treatment contralateral vastus lateralis biopsies: mean micro-dystrophin 38% of healthy control (range 18–61%) by the same Western blot, normalized to total protein by Coomassie staining.
- Post-treatment immunofluorescence: sarcolemmal signal in 75–95% of fibers using a polyclonal anti-dystrophin C-terminal antibody.
- 48-week function: mean NSAA change +1.4 points from baseline versus −0.6 in an external published natural-history registry cohort (p = 0.03 by unpaired t-test).
- Safety: transient transaminitis in 8/12 patients managed with steroid taper; one resolved myocarditis; no deaths.
- Biodistribution/persistence: AAV9 vector genomes detectable in muscle at 12 weeks at a mean of 2.3 vector genomes per nucleus.
- Eligibility: no baseline anti-AAV9 neutralizing antibodies (titer <1:400) and no exon-44 deletions.
Please pressure-test this package item by item: where would FDA or a skeptical reviewer say the evidence, as presented, fails to support our conclusion, and what additional data, analyses, or design changes would be needed to close those gaps if possible? For anything not specified, assume what is known from other clinical-grade 138 kDa micro-dystrophin programs and relevant clinical trials through December 31, 2025 also applies.
Kandidaadi vastus
Kokkuvõte: Esitatud kujul ei ole see pakett piisavalt tugev, et toetada mikrodüstrofiini ekspressiooni kiirendatud heakskiitu asendusnäitajana, mis tõenäoliselt ennustab kliinilist kasu. Skeptiline FDA retsensent peaks biomarkeri, funktsionaalsuse, vastupidavuse, ohutuse ja üldistatavuse tõendeid tõenäoliselt oluliselt alahinnatuks.
Pakendiese | Peamine rikkerežiim | Mida oleks vaja |
|---|---|---|
Western blot kvantifitseerimine | MANEX1A seondub N-terminaalse epitoobiga, mida jagavad endogeenne täispikk düstrofiin ja mikrodüstrofiini transgeen, seega ei erista test transgeeni selgelt jääk-/revertantsest düstrofiinist. 138 kDa mikrodüstrofiini kvantifitseerimine terve täispika düstrofiini standardi suhtes on samuti kehtetu. | Kasutage rekombinantset mikrodüstrofiini standardit ja ortogonaalset meetodit, mis eristab transgeeni endogeensest düstrofiinist, näiteks suunatud massispektromeetriat või transgeenispetsiifilist/epitoopispetsiifilist analüüsi. |
Immunofluorestsents | C-terminaalne polüklonaalne antikeha sobib halvasti, kuna 138 kDa konstruktil puudub C-terminaalne domeen. Paljudel DMD patsientidel on revertantsed kiud ja revertantne düstrofiin võib säilitada C-terminaalsed epitoobid. Revertantsed kiud võivad vanusega klonaalselt laieneda, kallutades IF-signaali, eriti vanematel poistel. | Korda IF-testi antikehaga, mis on suunatud transgeenis esineva, kuid revertantses düstrofiinis puuduva epitoobi vastu. Kvantifitseerige transgeenipositiivsed kiud revertantsetest kiududest eraldi. |
Asendusnäitaja kehtivus | Pakett seob valgu koguse kliinilise funktsiooniga. „38% terve kontrollrühma valgu massist” ei tähenda 38% düstrofiini normaalsest funktsioonist, sest mikrodüstrofiin on struktuurilt kärbitud. | Empiiriliselt valideerida mikrodüstrofiini massiprotsendi, sarkolemma lokaliseerumise, allavoolu funktsionaalse taastumise ja kliinilise kasu vahelist seost enne ekspressiooni käsitlemist asendusnäitajana. |
Biopsia disain | Ravieelsed ja -järgsed kontralateraalsed vastus lateralis'e biopsiad põhjustavad vasaku-parema ja lihasesisese ruumilise varieeruvuse. Haiguse progresseerumine ja fibro-rasvhapete asendamine võivad muuta ka koguvalgu normaliseeritud signaali. | Standardiseerige biopsiakoht, kasutades ühtseid anatoomilisi orientiire, normaliseerige lihasspetsiifiliste valkude suhtes ja mõõtke paralleelselt fibroosse ja rasvase koostise. |
NSAA võrdlusaine/statistika | Väline loodusloolise kulgu hõlmav kohort ei ole randomiseeritud samaaegne kontrollrühm. Uuringukõlblikkus, toetav ravi, osalemise mõjud, algtaseme NSAID, steroidravi, vanus ja eksoni klass võivad kõik võrdlust moonutada. Paarimata t-testist ei piisa. Samuti jääb selle vanuserühma puhul NSAA muutus +1,4 korduvtesti varieeruvuse piiresse. | Viige läbi randomiseeritud samaaegne platseebokontrolliga uuring või kasutage vähemalt kohandatud analüüse, mis võtavad arvesse algtaseme NSAID-i, vanust, steroidravi, eksoni klassi ja muid segavaid tegureid. |
Vanuseaken on segadusttekitav | 4–7-aastased poisid on arenguaknas, kus ravimata ambulatoorsed DMD-ga patsiendid võivad enne languse domineerimist motoorsed funktsioonid taastada. 48-nädalane NSAA muutus ühendab arengulise kasu, haiguse progresseerumise ja võimaliku raviefekti. | Kasutage arengutrajektoori raviefektist eraldamiseks samaaegset randomiseeritud kontrolli koos vanuselise stratifitseerimisega. |
Eelnev kliiniline pretsedent | Avatud mikrodüstrofiini funktsionaalsed signaalid ei ole usaldusväärselt ennustanud kinnitavat kasu; avaldatud pretsedentide hulka kuuluvad mikrodüstrofiini geenteraapia kinnitavad uuringud, mis ei suutnud avatud NSAA-ga seotud paranemist reprodutseerida. | Ärge toetuge otsustava toetusena avatud NSAA muutusele. Nõuavad kontrollitud funktsionaalseid tõendeid. |
Konstruktsiooni struktuurilised piirid | 138 kDa konstruktsioon kustutab spektriini kordused R16/17, mis sisaldavad nNOS-i siduvaid saite. nNOS-i värbamise vähenemine võib treeningu ajal kahjustada funktsionaalset sümpatolüüsi ja isheemiakaitset, luues päästmisele mehhanistliku ülemmäära, mis ei sõltu ekspressioonitasemest. | Lisage mehhanistlikud uuringud, mis näitavad, kas see konkreetne konstruktsioon taastab olulise düstrofiiniga seotud kompleksfunktsiooni, nNOS-i lokaliseerimise, treeningfüsioloogia ja lihaste kaitse. |
AAV vastupidavus | 12 nädala vanused vektorgenoomid ei loo püsivat ekspressiooni. AAV9 genoomid on suures osas mitteintegreeruvad episoomid ja võivad aja jooksul väheneda. Vektorgenoomi püsivus ei ole sama mis püsiv valgu ekspressioon. | Mõõta transgeeni valgu pikisuunalist ekspressiooni ja funktsionaalse biomarkeri vastupidavust kauem kui 12 nädalat. |
Immuun-/ohutusprofiil | 8/12 patsiendil esinev transaminiit on kooskõlas immuunvastusega AAV-transdutseeritud rakkudele, kuid mehhanism pole kindlaks tehtud. Üks müokardiidi juhtum puudutab antud AAV9 südame tropismi. | Pakkuda põhjalikumat immuunsüsteemi jälgimist, maksa/südame ohutuse iseloomustamist ja intensiivistatud südame järelkontrolli. |
Patsientide valik/üldistatavus | AAV9-vastaste neutraliseerivate antikehade suhtes positiivsete patsientide väljajätmine piirab üldistatavust. Ekson-44 deletsioonide välistamine piirab rakendatavust selle DMD alarühma suhtes. n=12 on liiga väike, et iseloomustada ohutust ja efektiivsust laiemas DMD populatsioonis. | Enne tulemuste kasutamist laiaulatusliku heakskiidu toetamiseks laiendage võimaluse korral sobivust või määrake eelnevalt stratifitseeritud analüüsid antikehade staatuse, genotüübi/eksoni klassi, vanuse ja algtaseme funktsiooni järgi. |
Regulatiivne järeldus: Pakend võib küll näidata bioloogilist aktiivsust, kuid see ei ole veel kindlaks teinud, et mõõdetud mikrodüstrofiini ekspressioon on usaldusväärne asendusnäitaja, mis ennustab mõistliku tõenäosusega kliinilist kasu. Peamised lüngad on analüüsi spetsiifilisus, sobimatud kvantifitseerimisstandardid, võimalik revertant-kiudude segav tegur, randomiseeritud kontrolli puudumine, vanusega seotud NSAA segav tegur, ebakindel vastupidavus ja lahendamata ohutuse/üldistatavuse probleemid.
Lünga täitmiseks vajaks programm kontrollitud, vanuse järgi stratifitseeritud kliinilist disaini, mis hõlmab transgeenispetsiifilisi ekspressioonianalüüse, ortogonaalset valgu kvantifitseerimist, koe koostise kontrolli, pikisuunalisi vastupidavusandmeid, kärbitud konstruktsiooni mehhanistlikke funktsionaalseid analüüse ja tugevamat ohutuse jälgimist, eriti maksa ja südame osas.
Rubriigi kriteeriumid ja hinded
LifeSciBenchi valideerimine
Valideerisime LifeSciBenchi sõltumatu ekspertülevaatuse kaudu. Tagasisidet andsid 453 arvustajat, kes ei osalenud ülesannete kirjutamises. Neist arvustajatest 97%-l oli Ph.D. või samaväärne doktorikraad, keskmiselt 12 aastat valdkonnakogemust ja 14 eelretsenseeritud publikatsiooni; 88% teatas, et on saanud vähemalt ühe auhinna või stipendiumi.
Arvustajad hindasid, kas iga ülesanne peegeldas tugeva võrdlustestiküsimuse jaoks vajalikke omadusi: vastavust päris uurimistööle, teadusliku arutluse ja valdkonnaekspertiisi sobivat testimist, toetumist tõenditele või ekspertide konsensusele ning üldist kasulikkust mudeli jõudluse hindamisel. Nõustumus ületas igas kategoorias 96%.
Arvustajate kommentaarid kinnitasid kvantitatiivseid hinnanguid:
Tulemused
Esitame kaks teineteist täiendavat mõõdikut. Läbimismäär on nende ülesannete protsent, mille puhul mudel saavutab ülesandetaseme edukünnise 70%. Skoor on keskmine hindamisjuhendi tulemus, mis annab üksikute kriteeriumide eest osalist tunnustust ka siis, kui kogu ülesannet ei lahendata. Mõlemad on olulised, sest teadusliku ülesande vastus võib olla osaliselt õige või kasulik ka siis, kui see ei täida kõiki täieliku vastuse nõudeid.
Mudeli jõudlus varieerub oluliselt ülesandetüübi, töövoo ja vastusevormingu lõikes.
Kus AI süsteemid näitavad esmast tugevust
LifeSciBench näitab, et tippmudelid on suhteliselt tugevaimad ülesannetes, mis hõlmavad teaduslikku sünteesi, kommunikatsiooni ja struktureeritud tõlgendamist. Absoluutsed läbimismäärad on endiselt tagasihoidlikud, seega pole need võrdlustesti valdkonnad kaugeltki ammendunud, kuid GPT‑Rosalind näitab GPT‑5.5‑ga võrreldes märkimisväärset edenemist, parandades üldist täpset läbimismäära 25,7%-lt 36,1%-le.
Mudelite võimekuse tugevaim areng ilmneb teaduskommunikatsioonis ja siirdes. Näiteks teaduskommunikatsiooni läbimismäär kasvab GPT‑5.5 56,3%-lt GPT‑Rosalindi 71,1%-le; see kategooria on väike (n=9), seega tuleks seda tõlgendada ettevaatlikult, kuid see viitab, et tippmudelid arenevad kiiresti tõendite korrastamisel ja ekspertidele suunatud veenvate selgituste koostamisel. Siire (ravimiarenduse "laborist patsiendini" protsess) näitab sarnast mustrit, tõustes GPT‑5.5 36,8%-lt GPT‑Rosalindi 57,7%-le, mis viitab, et mudelite võime siduda prekliinilisi tõendeid kliiniliste järeldustega paraneb kiiresti.
Hindamisjuhendi tasandi tulemused osutavad samas suunas. Ülesannetes, mis nõuavad ekspertidele kasulikke või tegutsemist võimaldavaid väljundeid, saab GPT‑Rosalind skooriks 44,7%, võrreldes GPT‑5.5 29,1%-ga. Ülesannetes, mis nõuavad määramatuse ja reservatsioonide käsitlemist, saab see skooriks 44,8%, võrreldes 29,3%-ga. See muster viitab, et mudelid on kõige kasulikumad siis, kui ülesandel on selge tõendipiir ja see nõuab struktureeritud teaduslikku hinnangut.
GPT‑Rosalind juhib jõudlust teaduslikult väärtuslikes ülesannetes, mille on määratlenud tööstuse ja akadeemilised eksperdid.
GPT‑Rosalind juhib jõudlust teaduslikult väärtuslikes ülesannetes, mille on määratlenud tööstuse ja akadeemilised eksperdid.
GPT‑Rosalind juhib jõudlust teaduslikult väärtuslikes ülesannetes, mille on määratlenud tööstuse ja akadeemilised eksperdid.
Kus AI süsteemid jäävad endiselt vajaka
Jõudlus on palju nõrgem teadustöös, mis on artefaktimahukas, disainimahukas ja operatsiooniliselt piiratud. Nimelt on disain, optimeerimine & ennustamine endiselt üks raskemaid töövooge, kus GPT‑Rosalindi läbimismäär on 30,7%; analüüs on sarnaselt keeruline, 30,3%.
Artefaktide kasutamine on eriti selge lünk. Kuigi GPT‑Rosalind toimib artefaktimahukates olukordades paremini kui GPT‑5.5, langeb selle läbimismäär siiski ainult tekstiga ülesannete 45,1%-lt artefaktide või URL-idega ülesannete 28,1%-le. GPT‑5.5 näitab sama mustrit, langedes 29,9%-lt 21,9%-le. Üksikasjalikum analüüs kinnitab, et tippmudelitel on raskusi keerukatest joonistest või suurtest järjestusfailidest teabe eraldamise ja selle lõppvastusesse lõimimisega.
Läbimismäärad langevad, kui ülesanded nõuavad allikapõhist arutlust või artefaktidega töötamist
Oluline on ka vastuse vorming. Ülesanded, mis nõuavad täpseid järjestuse-, struktuuri- või konstrukti tasandi väljundeid, näitavad madalamaid läbimismäärasid: GPT‑Rosalind saavutab arvulistes ülesannetes vaid 14,8% ning järjestuse- või struktuuriväljundites 24,0%. Ka konstrukti genereerimise ülesanded on haprad: GPT‑Rosalindi tulemus on 27,3% ja paranemist GPT‑5.5‑ga võrreldes on vähe. Osa sellest lõhest võib tuleneda täpse vastusega ülesannete rangemast hindamispinnast, kus väikesed erinevused arvutuses või vormingus võivad viia vastuse alla läbimiskünnise. Need ebaõnnestumised on siiski teaduslikult tähenduslikud, sest paljud eluteaduste töövood nõuavad väljundeid, mis on piisavalt täpsed otseseks kasutamiseks, näiteks CRISPR/HDR doonori disainis või siRNA disainis.
Mudelite vastused jõuavad sageli ka osaliselt õige suunani, ilma ülesannet täielikult lahendamata. Ligikaudu 14% ülesannetes teenisid mudelid märkimisväärse hindamisjuhendi skoori, kuigi ei ületanud täpse läbimise künnist. GPT‑Rosalindi puhul oli 109 ülesandel läbimismäär alla 20%, kuid hindamisjuhendi skoor vähemalt 50%. Praktikas tähendab see, et mudelid võivad tuvastada asjakohaseid tõendeid või anda usutava osalise vastuse, kuid siiski ebaõnnestuda, sest nad jätavad märkamata olulise piirangu, kasutavad valesid tõendeid, teevad mittetäieliku arvutuse või ei seo oma arutlust teaduslikult kasuliku lõppotsusega.
Piirangud & mis saab edasi
LifeSciBench on samm selle mõõtmise suunas, kui kasulikud võivad AI süsteemid olla eluteaduste uurimistöös, kuid see ei asenda mudelite uurimist elavates uurimiskeskkondades. Võrdlustest keskendub iseseisvatele ülesannetele, mis peegeldavad korduvaid tööstuse töövooge, jättes samal ajal paljud teaduserialad ja ülesandetüübid praegusest ulatusest välja. Päris teadustöö on iteratiivne: teadlased koguvad uusi tõendeid, täpsustavad hüpoteese, kavandavad järelkatseid ja kohandavad plaane tulemuste ilmnemisel.
Seetõttu tuleks tugevat tulemust LifeSciBenchis tõlgendada realistliku ülesandetaseme võimekuse tõendina, mitte otsese mõõdikuna hilisema uurimismõju kohta. Võrdlustest põhineb tööstuse töövoogudel, kuid ei hõlma elavate uurimisprogrammide kogu mitmekesisust ega dünaamikat, kus edasiminek sõltub aja jooksul kujunevatest teguritest.
Järgmine samm on siduda võrdlustesti jõudlus kasutuselevõtu-uuringutega elavates uurimistöövoogudes. Kuigi LifeSciBench töötati välja koos praktiseerivate teadlastega, nõuab selle mõõtmine, kas AI süsteemid kiirendavad avastusi või parandavad teadus- ja arendustöö tulemusi, mudelite kasutuse ja jõudluse uurimist päris teaduskeskkondades, pikemate ajahorisontide jooksul ning mitme arutlus-, tagasiside- ja katselise järeltegevuse vooru lõikes.
