LifeSciBenchin esittely

Agenttisen tekoälyn järjestelmät suoriutuvat yhä paremmin tieteellisistä tehtävistä. Niiden hyöty biotieteilijöille riippuu silti siitä, miten ne hallitsevat aidon tutkimuksen monimutkaisuutta. Tällainen työ on harvoin pelkkä faktakysymys tai siisti ennusteongelma. Tutkijat tulkitsevat vajavaista näyttöä, sovittavat ristiriitoja, suunnittelevat kokeita, ratkovat määrityksiä, arvioivat translaatioriskejä ja päättävät epävarmuudessa seuraavista toimista.

Nykyiset vertailuarvot eivät mittaa näitä kykyjä kattavasti. Monet biotieteiden arvioinnit mittaavat kapeita aloja tai yksittäisiä taitoja, jolloin kysymykset ovat jäsenneltyjä ja mallivastaukset selkeitä. Ne ovat hyödyllisiä, mutta kertovat harvoin, voiko malli auttaa laajasti tutkimustason työssä.

LifeSciBench suunniteltiin kuromaan tätä aukkoa. Jokainen tehtävä perustuu käytännön biotieteilijöiden arvioon; heillä on tohtoritason koulutus ja kokemusta lääkekehityksestä biotekniikka- ja lääkeympäristöissä.

LifeSciBench sisältää 750 asiantuntijatehtävää seitsemästä työnkulusta ja biologisesta alasta.

LifeSciBench mittaa, pystyvätkö tekoälyjärjestelmät tukemaan realistisia biotieteiden tutkimustehtäviä, eivätkä pelkästään vastaamaan biologisiin kysymyksiin. Vertailuanalyysin luokittelun määrittelemiseksi teimme kyselyn aktiivisille biotieteilijöille siitä, mitä työnkulkuja he käyttävät useimmin soveltavan tutkimuksen ympäristöissä. Sen jälkeen ryhmittelimme vastaukset seitsemään toistuvaan luokkaan: todistusaineiston käsittely, analyysi, suunnittelu ja optimointi, tieteellinen päättely, validointi ja operatiivinen toiminta, soveltaminen sekä tieteellinen viestintä.

Kukin tehtävä muistuttaa pyyntöä asiantuntevalle kollegalle: tieteellinen kehote, tarvittava konteksti tai aineistot ja avovastaus. Asiantuntijoiden laatimien arviointikriteerien avulla arvioidaan, pystyykö malli tuottamaan oikean vastauksen tiettyyn ongelmaan siten, että vastauksessa on oikea yksityiskohtaisuuden taso, perustelut, varoitukset ja muotoilu, joita tutkija odottaisi.

LifeSciBench arvioi tieteellistä päättelyä ja käytännön taitoja, joita todellinen tieteellinen käyttö vaatii. Tehtävät panevat mallit ratkomaan realistisia tutkimusongelmia: tulkitsemaan näyttöä, tekemään alan arvioita ja viestimään päätelmiä asiantuntijoille hyödyllisesti. Monissa tehtävissä mallin on myös käsiteltävä epävarmuutta ja pääteltävä tukitiedostoista, ei vain kehotetekstistä.

Vertailu kuvaa biotieteellisen työn monimutkaisuutta. Kaikkiaan 79 % tehtävistä vaatii useita päättely- tai päätösvaiheita, keskimäärin neljä tehtävää kohti. LifeSciBenchissä on 1 062 liitettä: kuvia, PDF:iä, taulukoita, sekvenssi-, rakenne- ja kemiatiedostoja sekä verkkoviitteitä. Yli puolet tehtävistä (53 %) vaatii tiedon tulkintaa tai yhdistämistä ainakin yhdestä liitteestä.

Tehtävät laati 173 asiantuntijatutkijaa eri biotieteen aloilta. Kaikilla oli tohtoritason koulutus ja kokemusta bioteknologiasta tai lääketeollisuudesta. Tehtäviä muokattiin hyväksyntään asti ilman kierroskattoa; hyväksytyissä tehtävissä oli keskimäärin kuusi automaattista itsearviointia ja vähintään kaksi asiantuntijakierrosta. Arviointi perustui todennettavaan oikeaan vastaukseen tai vahvaan asiantuntijakonsensukseen: alan arvioijista vähintään 90 % oli samaa mieltä. Prosessi varmisti, että hyväksytyt tehtävät olivat tieteellisesti perusteltuja, arvioitavia ja soveltavaa tutkimusta edustavia.

LifeSciBench-tehtävät arvioidaan tehtäväkohtaisella rubriikilla, joka jakaa odotetun vastauksen väitteisiin, laskelmiin, päätöksiin, perusteluihin ym. Asiantuntijoiden rubriikeissa on 19 020 kriteeriä, keskimäärin 25 tehtävää kohti, joilla mitataan oikeellisuutta ja hyötyä tutkimuspäätöksille.

Rakenne vastaa käytäntöä: monia biotieteen tehtäviä ei voi arvioida pelkän lopputuloksen perusteella. Vastaus voi päätyä oikeaan pääjohtopäätökseen mutta jäädä puutteelliseksi, jos se ohittaa tärkeän määritysrajoitteen tai olennaisen biologisen vivahteen. Toisaalta osittainen vastaus voi sisältää laadukasta päättelyä, vaikka tehtävä ei ratkea täysin.

Yksityiskohtaiset arviointikriteerit tavoittavat tämän. LifeSciBench arvioi lopputuloksen lisäksi, päätyykö malli siihen tieteellisesti pätevästi ja käytännössä hyödyllisesti.

Validoimme LifeSciBenchin riippumattomalla asiantuntija-arvioinnilla. Palautetta antoi 453 arvioijaa, jotka eivät kirjoittaneet tehtäviä. Arvioijista 97 %:lla oli Ph.D. tai vastaava tohtorintutkinto, keskimäärin 12 vuoden kokemus ja 14 vertaisarvioitua julkaisua; 88 % oli saanut palkinnon tai apurahan.

Arvioijat pisteyttivät, täyttikö tehtävä hyvän vertailukysymyksen kriteerit: yhteys todelliseen tutkimukseen, tieteellisen päättelyn ja alaosaamisen testaus, näyttö- tai konsensuspohja sekä hyöty mallin suorituskyvyn arvioinnissa. Yksimielisyys ylitti kaikissa luokissa 96 %.

Arvioijien kommentit tukivat määrällisiä tuloksia:

Raportoimme kaksi täydentävää mittaria. Läpäisyaste on niiden tehtävien osuus, joissa malli saavuttaa 70 %:n onnistumiskynnyksen. Pistemäärä on arviointitaulukon mukaisen palkkion keskiarvo, joka antaa osapisteitä kriteereistä myös, kun tehtävä ei ratkea täysin. Molemmat ovat tärkeitä, koska tieteellinen vastaus voi olla osin oikea tai hyödyllinen täyttämättä kaikkea.

Mallien suoritus vaihtelee paljon tehtävätyypin, työnkulun ja vastausmuodon mukaan.

LifeSciBenchissä edistyneet mallit ovat vahvimpia tieteellisessä synteesissä, viestinnässä ja jäsennellyssä tulkinnassa. Absoluuttiset läpäisyasteet ovat yhä maltillisia, joten osa-alueet eivät ole saturoituneet, mutta GPT‑Rosalind etenee selvästi GPT‑5.5:stä: kokonaisläpäisy nousee 25,7 %:sta 36,1 %:iin.

Suurin kykykehitys näkyy tieteellisessä viestinnässä ja translaatiossa. Esimerkiksi tieteellisen viestinnän läpäisy nousee GPT‑5.5:n 56,3 %:sta GPT‑Rosalindin 71,1 %:iin. Luokka on pieni (n=9), joten tulosta on tulkittava varoen, mutta se viittaa edistyneiden mallien nopeaan kehitykseen näytön jäsentämisessä ja asiantuntijaselityksissä. Translaatio eli lääkekehityksen "laboratoriosta potilaalle" -prosessi näyttää saman: läpäisy nousee GPT‑5.5:n 36,8 %:sta GPT‑Rosalindin 57,7 %:iin, mikä viittaa paranevaan kykyyn kytkeä prekliininen näyttö kliinisiin seurauksiin.

Arviointikriteerikohtaiset tulokset tukevat tätä. Asiantuntijalle hyödyllisissä tai toimintakelpoisissa tehtävissä GPT‑Rosalind saa 44,7 %, GPT‑5.5 29,1 %. Epävarmuuden ja varaumien käsittelyssä sen tulos on 44,8 %, vertailuna 29,3 %. Mallit ovat siis hyödyllisimmillään, kun näytön rajat ovat selvät ja tehtävä vaatii jäsenneltyä tieteellistä harkintaa.

Suoritus on selvästi heikompi liitepainotteisessa, suunnitteluvetoisessa ja operatiivisesti rajatussa tieteellisessä työssä. Suunnittelu, optimointi & ennustaminen on yhä vaikeimpia työnkulkuja: GPT‑Rosalindin läpäisy on 30,7 %. Analyysi on lähes yhtä vaikea, 30,3 %.

Liitteiden käyttö on erityisen selvä aukko. GPT‑Rosalind päihittää GPT‑5.5:n liitepainotteisissa tehtävissä, mutta sen läpäisy putoaa tekstitehtävien 45,1 %:sta 28,1 %:iin, kun mukana on liitteitä tai URL:eja. GPT‑5.5:llä kaava on sama: lasku 29,9 %:sta 21,9 %:iin. Tarkempi analyysi vahvistaa, että edistyneet mallit kamppailevat monimutkaisten kuvien ja suurten sekvenssitiedostojen tiedon poiminnassa ja liittämisessä lopulliseen vastaukseen.

Myös vastausmuoto vaikuttaa. Tarkkoja sekvenssi-, rakenne- tai konstruktituotoksia vaativissa tehtävissä läpäisy on matalampi: GPT‑Rosalind saa numeerisissa tehtävissä vain 14,8 % ja sekvenssi- tai rakennevastauksissa 24,0 %. Konstruktien luonti on myös haurasta: GPT‑Rosalind saa 27,3 % ja paranee vain vähän GPT‑5.5:stä. Osa erosta voi johtua täsmävastausten tiukasta arvioinnista: pienet laskenta- tai muotoiluerot voivat pudottaa vastauksen kynnyksen alle. Epäonnistumiset ovat silti tieteellisesti merkittäviä, koska monet biotieteen työnkulut vaativat suoraan käyttökelpoista tarkkuutta, kuten CRISPR/HDR-donorien tai siRNA:n suunnittelussa.

Mallit pääsevät usein pitkälle ratkaisematta tehtävää kokonaan. Noin 14 %:ssa tehtävistä mallit saivat paljon rubriikkipisteitä, vaikka täsmäläpäisy jäi saavuttamatta. GPT‑Rosalindilla 109 tehtävän läpäisy jäi alle 20 %:n, mutta rubriikkipalkkio oli silti vähintään 50 %. Käytännössä malli voi tunnistaa oikeaa näyttöä tai antaa uskottavan osavastauksen mutta epäonnistua, koska se ohittaa rajoitteen, käyttää väärää näyttöä, laskee puutteellisesti tai ei kytke päättelyään hyödylliseen päätökseen.

LifeSciBench mittaa, miten hyödyllistä AI voi olla biotieteen tutkimuksessa, mutta se ei korvaa mallien tutkimista elävissä tutkimusympäristöissä. Benchmark keskittyy itsenäisiin tehtäviin, jotka kuvaavat toistuvia teollisia työnkulkuja; moni erikoisala ja tehtävätyyppi jää vielä ulkopuolelle. Todellinen tutkimus on iteratiivista: tutkijat keräävät näyttöä, tarkistavat hypoteeseja, suunnittelevat jatkokokeita ja mukauttavat suunnitelmia tulosten mukaan.

Vahva LifeSciBench-tulos kertoo siksi realistisesta tehtävätason kyvykkyydestä, ei suoraan myöhemmästä tutkimusvaikutuksesta. Benchmark perustuu teollisuuden työnkulkuihin, mutta ei kata elävien tutkimusohjelmien koko kirjoa ja dynamiikkaa, joissa edistyminen riippuu ajan myötä kehittyvistä tekijöistä.

Seuraavaksi benchmark-tulokset on kytkettävä käyttöönoton tutkimuksiin elävissä tutkimustyönkuluissa. Vaikka LifeSciBench kehitettiin tutkijoiden kanssa, sen selvittäminen, nopeuttaako AI löytöjä tai parantaako se T&K-tuloksia, vaatii mallien käytön ja suorituskyvyn tutkimista oikeissa tutkimusympäristöissä, pidemmällä aikavälillä ja useiden päättely-, palaute- ja kokeilukierrosten yli.