Esittelyssä GeneBench-Pro
Tutkimustason vertailuarviointi siitä, miten tekoälyagentit käsittelevät epäselvyyttä ja tekevät merkittäviä harkintapäätöksiä laskennallisessa biologiassa.
Tieteellinen data tulee harvoin ohjeiden kanssa. Tutkijoiden on päätettävä, kuvastaako havaittu kuvio biologiaa vai kohinaa, voiko data vastata esitettyyn kysymykseen ja miten kunkin tuloksen pitäisi muuttaa seuraavia toimia. Tekoälyagentit pystyvät yhä paremmin suorittamaan monimutkaisia analyyseja, mutta todellinen tieteellinen tutkimus edellyttää myös tällaisia korkeamman tason arvioita, ei vain faktojen muistamista tai valmiin työnkulun seuraamista.
Esittelemme tänään GeneBench-Pron, vaativan tutkimustason vertailuarvioinnin, joka testaa, kykenevätkö mallit käsittelemään todellisen laskennallisen biologian edellyttämää harkintaa vaativaa analyysiä. Se laajentaa GeneBenchiä(avautuu uudessa ikkunassa) vaikeampiin ja realistisempiin tehtäviin genomiikassa, kvantitatiivisessa biologiassa ja translationaalisessa lääketieteessä ja tavoittaa laskennallisen biologian tutkimuksen monimutkaisuuden, iteratiivisuuden ja epäselvyyden.
Tähän mennessä on ollut vain vähän vakuuttavia arvioita järjestelmätason harkinnasta, joka tekee todellisesta laskennallisesta tutkimuksesta vaikeaa. Näihin kuuluvat epäselvyyden käsittely, oletusten tarkistaminen, oikean analyysipolun valinta ja sen tunnistaminen, milloin tulos on päätösvalmis. Koska näitä taitoja on vaikea formalisoida, niitä on myös vaikea arvioida täsmällisesti, vaikka niiden puutteet rajoittavat yhä enemmän tekoälyn kokonaissuorituskykyä.
GeneBench-Pro on suunniteltu mittaamaan näitä korkeamman tason kykyjä tarkasti. GeneBench-Prossa määrittelemme ”tutkimusmaun” harkintaketjuiksi, jotka muovaavat analyysiä: mitä kysymyksiä data voi tukea, miten varhaisten diagnostiikkojen pitäisi muuttaa mallia tai estimaattia ja milloin alkuperäinen suunnitelma on syytä tarkistaa. Jokainen GeneBench-Pro-ongelma antaa mallille realistisen ja sotkuisen aineiston, lyhyen kokeellisen taustan ja myöhempään päätökseen sidotun kohde-estimaatin. Oikea vastaus edellyttää, että malli tutkii dataa, valitsee sopivan analyysitavan, etenee kokeillen iteratiivisesti ja antaa lopullisen vastauksen.
Biologiassa datan tuottamisen, kuten genomisekvensoinnin, kustannukset ovat laskeneet jyrkästi, ja osa tutkijoista väittää nyt(avautuu uudessa ikkunassa), ettei rajoittava tekijä ole enää näytteiden keruu vaan jatkolaskenta ja analyysi. GeneBench-Pro mittaa edistystä tämän pullonkaulan ratkaisemisessa 129 kysymyksellä, jotka kattavat laajasti laskennallisen biologian tilanteita ja menetelmiä.
Domain Atlas: 129 ongelmaa 10 verkkotunnuksessa ja 21 aliverkkotunnuksessa
Napsauta yllä olevaa pistettä saadaksesi tietoa vertailuongelmasta.
Tämä atlas antaa ennakkokuvan GeneBench-Pron laajuudesta. Tutustu 10 edustavaan kysymykseen tarkemmin tapaustutkimussivulla.
GeneBench-Pro on myös suunniteltu välttämään vertailuarviointien yleisiä epäonnistumisia. Monet pitkän horisontin biologian vertailuarvioinnit rakentavat monivaiheisia kysymyksiä sotkuisten historiallisten aineistojen ympärille, jolloin analyysille ei ehkä ole yhtä oikeaa polkua. Yksi agentti voi valita puolustettavan raja-arvon ja toinen toisen, yhtä perustellun vaihtoehdon, mikä heijastaa enemmän vertailuarvioinnin tekijän mielivaltaisia valintoja kuin mallien olennaisia suorituskykyeroja. Myös päinvastoin voi käydä: jos ongelma ei ole numeerisesti herkkä, agentti voi tehdä analyysissä perustavia virheitä ja silti tuottaa hyväksytyn tuloksen.
Näiden epäonnistumistapojen välttämiseksi jokainen GeneBench-Pro-ongelma rakennetaan synteettisesti: tunnemme koko kausaalirakenteen ja simuloimme datan syntyprosessin suoraan. Näin voimme säätää kunkin ongelman monimutkaisuutta, varmistaa, että kohtuulliset erot subjektiivisissa analyysivalinnoissa tuottavat silti hyväksyttäviä numeerisia tuloksia, ja tarkistaa ablaatiotutkimuksilla, että uskottavat mutta väärät analyysit epäonnistuvat. Sen jälkeen auditoimme ongelmaluonnokset yksityiskohtaisilla jälkianalyyseillä tietovuotojen ja tahattomien ratkaisupolkujen löytämiseksi. Tämä antaa luottamusta siihen, että oikea vastaus riippuu oikean analyysipolun valinnasta eikä oikopolun hyödyntämisestä tai tekijän mieltymyksen arvaamisesta.
Lähetimme 82 GeneBench-Pron 129 kysymyksestä ulkoisille asiantuntijoille, kuten jatko-opiskelijoille, tutkijatohtoreille, teollisuuden tutkijoille ja professoreille. Arvioijat tarkastelivat kunkin ongelman realistisuutta, kohdevastauksen tunnistettavuutta sekä menetelmien ja estimaattorien sopivuutta. Palautteen avulla ongelmia parannettiin.
“Arvioimani ongelmat olisivat olleet jatko-opiskelijalle haastavia ratkaista ilman kokeneen ohjaajan toistuvaa palautetta. Aineistoissa oli teknisiä ja laadunvalvontaan liittyviä ongelmia, joiden onnistunut ratkaiseminen vaati harkittua ja pohdiskelevaa data-analyysia sekä ymmärrystä mahdollisista sudenkuopista; kyse ei ollut vain valmiin menetelmän soveltamisesta puhtaaseen ja hyvin kuratoituun dataan.”
“Vaikka nykyiset mallit eivät vielä pysty luotettavasti suorittamaan itsenäisiä analyyseja alusta loppuun, GeneBench-Pro-ongelmissa hyvin pärjäävät mallit voisivat selvästi auttaa tutkijoita määrittämään oikeita työnkulkuja ja tutkimaan dataa. Näkisin sen parantavan merkittävästi tutkimuksen nopeutta, perusteellisuutta ja toistettavuutta.”
Jokainen GeneBench-Pro-ongelma on itsenäinen tieteellinen analyysi. Agentit saavat käyttöönsä eristetyn työtilan, jossa on lyhyt kehote, datatiedostot ja tavanomainen bioinformatiikkapino: Python, tieteellisen laskennan kirjastot ja perustason genomiikkapaketit kuten PLINK 2.0, vaikka tehtävät eivät vaadi alakohtaisia työkaluja.
Rakennevarianttiohjattu kasvaimen hoidon hyöty-riskipäätös
Koska hallitsemme koko datan tuottoprosessia, voimme pisteyttää oikeellisuuden deterministisesti tunnettuja kohteita vasten ja välttää mallivalintojen vaihtelun sekä tavanomaisen rubriikkipohjaisen arvioinnin laveusvaikutukset.
Jokaiseen ongelmaan liittyy myös runsas metadata: aiottu analyysirakenne, liitetyt datatiedostot, yksityiskohtainen monisivuinen tapaustutkimus ja asiantuntija-arvioinnin tulokset. Julkaisemme avoimena lähdekoodina 10 edustavaa GeneBench-Pro-kysymystä Hugging Facessa(avautuu uudessa ikkunassa) sekä interaktiivisen verkkokäyttöliittymän niiden selaamiseen. Lisäksi toimitamme lähitulevaisuudessa 50 kysymyksen osajoukon Artificial Analysisille(avautuu uudessa ikkunassa) riippumatonta kolmannen osapuolen vertailuarviointia varten.
Vahvin mallimme GPT‑5.6 Sol saavuttaa 28,7 %:n läpimenoprosentin korkeimmalla päättelytasolla, ja Pro-tila käytössä 31,5 %. Kasvu on jyrkkä verrattuna aikaan, jolloin aloimme rakentaa alkuperäistä GeneBenchiä; silloin paras edistynyt mallimme GPT‑5 jäi alle 5 %:n. Edistyminen tässä vertailuarvioinnissa viittaa siihen, että edistyneet mallit paranevat nopeasti myös vaikeammin mitattavassa, järjestelmätason tieteellisessä päättelyssä. Nykyisellä vauhdilla tämä vertailuarviointi voi saturoitua vuoden loppuun mennessä.
Tulokset osoittavat myös testiaikaisen laskennan skaalaamisen vaikutuksen. Alimmalla päättelytasolla GPT‑5.6 Sol yltää vain yksinumeroiseen läpimenoprosenttiin. Korkeimmalla päättelytasolla GPT‑5.6 Sol ratkaisee lähes kuusi kertaa enemmän kysymyksiä kuin GPT‑5.2 ja käyttää noin kaksi kolmasosaa sen tokenmäärästä.
Malliperheiden vertailu viittaa siihen, että GPT‑mallit kuuluvat vahvimpiin järjestelmiin korkean tason tieteellisessä päättelyssä määrällisen epävarmuuden vallitessa. GPT‑5.6:n ja GPT‑5.5:n sekä johtavien avoimen lähdekoodin mallien, kuten GLM 5.2:n, välinen suorituskykyero on selvästi suurempi kuin koodausvertailuarvioinneista(avautuu uudessa ikkunassa) ekstrapoloiden odottaisimme, mikä viittaa siihen, että avoimen lähdekoodin mallit ovat erikoistuneet enemmän koodaukseen kuin laajempaan päättelykykyyn.
Käytimme edistyneitä GPT‑malleja ongelmien arviointiin ja vahvistamiseen kehityksen aikana. Siksi epäilimme, että GeneBench-Pro voisi suosia muita malliperheitä GPT‑malleihin nähden. Kilpailevat mallit kuitenkin parhaimmillaankin vain vastasivat vastaavan GPT‑mallin suorituskykyä julkaisun hetkellä ja jäivät yleensä selvästi jälkeen.
Nämä arviointitulokset, parhaimmillaan 31,5 % GPT‑5.6 Solilla (Pro), ovat vaikuttavia GeneBench-Pro-kysymysten vaikeus huomioon ottaen. Kyselyssä arvioijamme arvioivat, että tyypillisen GeneBench-Pro-ongelman ratkaiseminen veisi ihmisasiantuntijalta noin 20–40 tuntia. Varovaisella 200 dollarin tuntihinnalla yhden ongelman ihmistyökustannus nousee tuhansiin dollareihin. Nykyiset tekoälyagentit ovat yhä liian epäluotettavia korvaamaan ihmisasiantuntijoita, mutta kustannusero on suuri: inferenssi maksaa vain muutamia dollareita ongelmaa kohti. Siksi jo osittainen automaatio nykyisillä kyvyillä voisi tuottaa merkittävää taloudellista ja tieteellistä arvoa.
“Vertailuarvioinnit perustuvat monenlaisiin biologisiin kysymyksiin, mutta … varsinainen haaste syntyy tutkivasta data-analyysista ja näihin löydöksiin liittyvästä päättelystä: kuvioiden ja artefaktien tunnistamisesta sekä päätöksestä, pitäisikö data sulkea pois vai korjata. Tämä muistuttaa todellisten biologisten aineistojen sotkuista luonnetta. Näiden arviointien tarkastelu korostaa, kuinka tärkeitä selkeät ratkaisijan sopimukset ovat agenttipohjaisessa tieteellisessä ongelmanratkaisussa. Erilainen kehotteen sanamuoto tai tehtävän määrittely voi vaikuttaa suuresti siihen, mitkä analyysit näyttävät sallituilta.”
“Pidin [kysymyksistä] enimmäkseen. Niissä oli yleensä yhdistelmä seuraavia: (1) vaadittu aiheen tuntemus, kuten muinais-DNA:n C>T-vinouma, (2) datan ristiriitaisuudet, kuten syntyperävaihdokset, (3) jonkinlainen tietämys tehtävään sopivista analyysityökaluista ja niiden käyttöönotosta. Vaikutti siltä, että useimmat agentit epäonnistuivat kohdassa (2). Ne eivät suhtaudu dataongelmiin riittävän varovaisesti. Ehkä se tuo esiin nykyisen mallin heikkouden. Ja monissa biologisissa tiedoissa on epäsäännöllisyyksiä.”
Silti se, että edistyneet mallit ratkaisevat yhä alle kolmanneksen näistä ongelmista, osoittaa parannusvaraa olevan paljon. Mallit voivat edetä osittain vaikeissa ongelmissa, mutta inferenssiketjun sulkeminen on niille vaikeaa. Tämä epäonnistumiskuvio muistuttaa ihmisasiantuntijoiden ja aloittelijoiden eroa. Asiantuntijat jäsentävät ongelman kokemuksensa avulla ja mukauttavat lähestymistapaansa, kun taas aloittelijat tekevät havaintoja mutta kamppailevat niiden liittämisessä ongelman laajempaan kontekstiin.
Ongelma: farmakogenominen tapahtumaan kuluva aika -vaste, kun hoito vaihtelee ajan myötä
GPT-5.5-kuvio
GPT-5.6 Sol -kuvio
Lähes täydellinen suorituskyky edellyttää arviointeja, jotka sekä mittaavat edistystä luotettavasti että osoittavat, missä mallit yhä epäonnistuvat. GeneBench-Pron kaltaiset vertailuarvioinnit voivat auttaa muuttamaan epämääräisen kyvykkyyspuutteen diagnosoitavaksi ja parannettavaksi asiaksi.
Jos agentit voivat luotettavasti automatisoida tämän analyysiluokan, ne voisivat nopeuttaa tieteellisiä löytöjä merkittävästi. Ihmisen geneettinen näyttö on jo keskeistä kohteiden priorisoinnissa ja translationaalisessa jatkoseurannassa, koska geneettisesti tuetut mekanismit johtavat paljon todennäköisemmin hyväksyttyihin hoitoihin.
Samalla sekvensointikustannukset ovat romahtaneet, ja biopankkimittakaavan aineistot yhdistävät nyt molekyyli-, fenotyyppi- ja terveystietoja ennennäkemättömällä laajuudella. Rajoittava tekijä on siirtymässä datan tuottamisesta tiedon muuntamiseen toiminnallisiksi oivalluksiksi. Mallit, jotka pystyvät johdonmukaisesti tekemään analyyseja, joita nyt hoitavat ihmisasiantuntijoiden tiimit, voisivat muuttaa teollista tutkimusta nopeuttamalla hypoteesien karsintaa, kohteiden jatkoseurantaa ja datan tuottamisen ja päätöksenteon välistä iterointia.
GeneBench-Pro on ensimmäinen askel arvioimaan kokeneiden tutkijoiden hyvään tieteelliseen harkintaan liittyviä abstraktimpia taitoja. Näiden taitojen avulla he aavistavat ja tunnistavat lupaavimmat alkuanalyysit, iteroivat ja tarkistavat ajatteluaan datan kumotessa alkuoletuksia sekä päätyvät johtopäätöksiin, joista myöhemmät kliiniset, akateemiset tai liiketoiminnalliset päätökset voivat riippua.
Odotamme, että mallien kykyjen kehittyessä yhä hyödyllisemmiksi tulevat vertailuarvioinnit, jotka luotaavat mallien kykyjä näillä korkeammilla abstraktiotasoilla eivätkä vain testaa kirjaviisautta tai rutiinianalyysien suorittamista.
