30. juuni 2026

Tutvustame GeneBench-Pro’d

Teadustaseme võrdlusalus, mis mõõdab, kuidas AI-agendid navigeerivad ebamäärasuses ja teevad arvutusbioloogias mõjukaid otsuseid.

Loe artiklit

Laadimine…

Teadusandmed tulevad harva juhistega. Teadlased peavad otsustama, kas muster peegeldab bioloogiat või müra, kas andmed toetavad esitatud küsimust ja kuidas iga tulemus peaks järgmisi samme muutma. AI-agendid suudavad üha keerukamaid analüüse teha, ent päris teadus sõltub lisaks faktide meenutamisele ja etteantud töövoole ka sellistest kõrgema taseme otsustest.

Täna tutvustame GeneBench-Pro’d — rasket teadustaseme võrdlusalust, mis testib, kas mudelid saavad hakkama arvutusbioloogias vajaliku otsustusrikka analüüsiga. See laiendab GeneBenchi⁠(avaneb uues aknas) raskematele ja realistlikumatele ülesannetele genoomikas, kvantitatiivses bioloogias ja translatsioonimeditsiinis, tabades arvutusbioloogia teadustöö keerukust, iteratiivsust ja ebamäärasust.

Seni on vähe veenvaid hinnanguid süsteemitaseme otsustele, mis teevad pärismaailma arvutusuuringud raskeks. Nende hulka kuuluvad ebamäärasusega toimetulek, eelduste muutmine, õige analüüsitee valik ja teadmine, millal tulemus on otsustamiseks valmis. Kuna neid oskusi on raske formaliseerida, on neid ka raske rangelt hinnata, kuigi nende nõrkused piiravad üha enam AI üldist sooritust.

Diagramm pealkirjaga „Bioloogia võrdlusaluste lünk“, mis võrdleb traditsioonilisi võrdlusaluste töövooge tervikliku teadusliku analüüsiga ning näitab lisasamme, nagu eeltöötlus, modelleerimine, diagnostika ja iteratiivne täpsustamine enne teadusliku järelduseni jõudmist.

GeneBench-Pro on loodud just nende kõrgema taseme võimete täpseks mõõtmiseks. GeneBench-Pro’s määratleme „uurijavaistu“ kui otsusteahelaid, mis analüüsi kujundavad: milliseid küsimusi andmed toetavad, kuidas varane diagnostika peaks muutma mudelit või estimandi ning millal tuleb algne plaan ümber teha. Iga GeneBench-Pro ülesanne annab mudelile realistliku ja korratu andmestiku, lühikese eksperimendikonteksti ning sihtestimandi, mis on seotud hilisema otsusega. Õige vastuse jaoks peab mudel andmeid uurima, valima sobiva analüüsiviisi, katsetama iteratiivselt ja andma lõppvastuse.

Andmestike koostamine

Bioloogias on andmete loomise, nt genoomi sekveneerimise, hind järsult langenud ning mõned teadlased väidavad nüüd⁠(avaneb uues aknas), et piirav tegur pole enam proovide kogumine, vaid hilisem arvutus ja analüüs. GeneBench-Pro hindab edasiminekut selle pudelikaela lahendamisel: 129 küsimust katavad laia valikut arvutusbioloogia olukordi ja meetodeid.

Domeeniatlas: 129 probleemi 10 domeenis ja 21 alamdomeenis

Klõpsa ülal oleval punktil, et saada lisateavet võrdlusülesande kohta.

See atlas annab eelvaate GeneBench-Pro ulatusest. Külasta juhtumiuuringute lehte, et uurida 10 esinduslikku küsimust lähemalt.

GeneBench-Pro on kavandatud vältima ka tavalisi võrdlusaluste läbikukkumisi. Paljud pika horisondiga bioloogia võrdlusalused loovad mitmeetapilisi küsimusi korratute ajalooliste andmestike ümber, kus analüüsil ei pruugi olla üht õiget teed. Üks agent võib valida põhjendatava lävendi, teine aga teistsuguse, sama põhjendatava variandi; see peegeldab pigem võrdlusaluse looja suvalisi valikuid kui mudelite põhimõttelisi erinevusi. Võib juhtuda ka vastupidi: kui probleem on arvuliselt liiga tundetu, võib agent teha analüüsis põhimõttelisi vigu ja siiski saada läbiva tulemuse.

Nende vigade vältimiseks ehitatakse iga GeneBench-Pro ülesanne sünteetiliselt: teame täielikku põhjusstruktuuri ja simuleerime andmetekke protsessi otse. Nii saame häälestada iga ülesande keerukust, tagada, et mõistlikud subjektiivsed analüüsivalikud annavad siiski aktsepteeritavaid arvulisi tulemusi, ning kontrollida ablatsioonidega, et usutavad, kuid valed analüüsid ebaõnnestuvad. Seejärel auditeerime ülesannete mustandeid detailsete jäljeanalüüsidega, et leida infolekkeid ja tahtmatuid lahendusteid. See annab kindluse, et õige vastus sõltub õige analüüsitee valimisest, mitte otsetee kasutamisest või autori suvalise eelistuse tabamisest.

Diagramm pealkirjaga „GeneBench-Pro probleemi koostamine ja valideerimine“, mis näitab töövoogu käivitatava ülesande loomisest kuni ülevaatuse, töökindluse kontrollide, agentide testimise, eksperdihinnangu, parandamise ja valmis võrdlusülesandeni.

Saatsime 82 GeneBench-Pro 129 küsimusest välistele domeeniekspertidele, sh magistrantidele, doktorantidele, järeldoktoritele, tööstusteadlastele ja professoritele. Hindajad vaatasid iga probleemi realistlikkust, sihtvastuse tuvastatavust ning meetodite ja estimaatorite sobivust. Tagasisidet kasutati probleemide parandamiseks.

“Minu hinnatud ülesanded oleksid olnud keerukad isegi magistrandile, kui puudunuks kogenud juhendaja korduv tagasiside. Andmetes oli tehnilisi ja kvaliteedikontrolli probleeme, mis nõudsid läbimõeldud andmeanalüüsi ja võimalike lõksude teadvustamist; tegu ei olnud lihtsalt valmis meetodi rakendamisega puhastele ja hästi kureeritud andmetele.”

Alexander Strudwick Young, UCLA inimgeneetika dotsent

“Isegi kui praegused mudelid ei suuda veel usaldusväärselt iseseisvaid analüüse algusest lõpuni teha, aitaksid GeneBench-Pro ülesannetes hästi toimivad mudelid selgelt teadlastel õigeid töövooge määrata ja andmeid uurida. Näen, et see võiks oluliselt parandada teadustöö tempot, põhjalikkust ja reprodutseeritavust.”

Jennifer Grundman, UCLA inimgeneetika doktorant

1 / 2

“Minu hinnatud ülesanded oleksid olnud keerukad isegi magistrandile, kui puudunuks kogenud juhendaja korduv tagasiside. Andmetes oli tehnilisi ja kvaliteedikontrolli probleeme, mis nõudsid läbimõeldud andmeanalüüsi ja võimalike lõksude teadvustamist; tegu ei olnud lihtsalt valmis meetodi rakendamisega puhastele ja hästi kureeritud andmetele.”

Alexander Strudwick Young, UCLA inimgeneetika dotsent

Hindamine ja punktiarvestus

Iga GeneBench-Pro ülesanne on iseseisev teaduslik analüüs. Agendid saavad ligipääsu isoleeritud tööjaamale, kus on lühike viip, andmefailid ja standardne bioinformaatika tööriistakomplekt: Python, teadusarvutuse teegid ning põhilised genoomikapaketid nagu PLINK 2.0, kuigi ülesanded ei nõua domeenispetsiifilisi tööriistu.

Struktuurivariandist juhitud kasu-riski otsus kasvajateraapias

A molecular tumor board registry contains trial-eligible advanced solid-tumor cases considered for a TXR1-directed inhibitor. Estimate, for tumors with SV-driven TXR1 target-mediated activation at time zero, the marginal effect of TXR1i versus non-TXR1 systemic therapy on week-16 clinical benefit as if all patients had an assessable week-16 visit. Also estimate the 8-week treatment-limiting toxicity/discontinuation risk under TXR1i in the same target population. Report net clinical utility = benefit risk difference (percentage points) - 0.35 * toxicity risk (percentage points), and choose therapy_class_code 1 if TXR1i has positive net utility and 0 otherwise.

Use percentage-point units for all non-code quantities. Positive benefit means TXR1i improves week-16 clinical benefit relative to non-TXR1 systemic therapy.

These data came from a real experiment; you will be graded not just on numerical correctness but the quality of analytical reasoning you exhibit; do not attempt to take any shortcuts.

Return your final answer as exactly one JSON object.
Do not wrap the JSON in markdown.
Do not add prose before or after the JSON.
Do not omit any keys shown in the example.
Return the JSON object in your final answer:

JSON

1{
2  "answer": {
3    "therapy_class_code": <int>,
4    "benefit_rd_pp": <float>,
5    "toxicity_dropout_risk_pp": <float>,
6    "net_clinical_utility_pp": <float>
7  },
8  "reasoning": "<description of method and QC>"
9}

Kuna kontrollime kogu andmetekke protsessi, saame õigsust hinnata deterministlikult teadaolevate sihtide suhtes, vältides mudelivaliku varieeruvust ja sõnaohtruse mõju, mis esineb tavapärases rubriigipõhises hindamises.

Igal ülesandel on ka rikkalik metaandmestik: kavandatud analüüsistruktuur, lisatud andmefailid, detailne mitmeleheküljeline juhtumiuuring ja eksperdihinnangute tulemused. Avaldame 10 esinduslikku GeneBench-Pro küsimust täielikult avatud lähtekoodiga Hugging Face’is⁠(avaneb uues aknas) koos interaktiivse veebiliidesega nende sirvimiseks. Lõpuks anname peagi 50 küsimusest koosneva alamhulga Artificial Analysisile⁠(avaneb uues aknas) sõltumatuks kolmanda osapoole võrdlushindamiseks.

Tulemused

Meie tugevaim mudel GPT‑5.6 Sol saavutab kõrgeimal arutlustasemel 28,7% läbimismäära, Pro-režiimis 31,5%. See on järsk tõus võrreldes ajaga, mil alustasime algse GeneBenchi loomist; siis jäi meie parima tipptasemel mudeli GPT‑5 tulemus alla 5%. Edenemine sellel võrdlusalusel viitab, et tipptasemel mudelid arenevad kiiresti ka vähem käegakatsutavas süsteemitaseme teaduslikus arutluses. Praeguse tempo juures võib see võrdlusalus aasta lõpuks küllastuda.

Tulemused näitavad ka testiaegse arvutusmahu skaleerimise mõju. Madalaimal arutlustasemel saavutab GPT‑5.6 Sol vaid ühekohalise läbimismäära. Kõrgeimal arutlustasemel lahendab GPT‑5.6 Sol peaaegu kuus korda rohkem küsimusi kui GPT‑5.2, kasutades umbes kaks kolmandikku selle tokenitest.

Mudeligruppide võrdlus viitab, et GPT‑mudelid kuuluvad tugevaimate süsteemide hulka kõrgtaseme teaduslikus arutluses kvantitatiivse ebakindluse all. Soorituslõhe GPT‑5.6, GPT‑5.5 ja juhtivate avatud lähtekoodiga mudelite, nt GLM 5.2, vahel on palju suurem, kui ootaksime kodeerimise võrdlusalustelt⁠(avaneb uues aknas) ekstrapoleerides; see näitab, et avatud mudelid on rohkem spetsialiseerunud kodeerimisele kui laiemale arutlusvõimele.

Kasutasime arenduse ajal probleemide hindamiseks ja tugevdamiseks tipptasemel GPT‑mudeleid. Seetõttu kahtlustasime, et GeneBench-Pro võib teiste mudeligruppidega võrreldes GPT‑mudelite suhtes kallutatud olla. Ent konkureerivad mudelid suutsid parimal juhul võrdsustada vastava GPT‑mudeli väljalaskeaegse soorituse ja jäid enamasti sellest selgelt maha.

Need hindamistulemused — GPT‑5.6 Sol (Pro) puhul kuni 31,5% — on GeneBench-Pro küsimuste raskust arvestades muljetavaldavad. Küsitluses hindasid meie retsensendid, et tüüpilise GeneBench-Pro ülesande lahendamine võtaks inimeksperdil umbes 20–40 tundi. Konservatiivse 200 dollari tunnitasu korral teeb see ühe probleemi inimtöö maksumuseks tuhandeid dollareid. Praegused AI-agendid on inimekspertide asendamiseks endiselt liiga ebausaldusväärsed, kuid kululõhe on suur: inferents maksab vaid mõni dollar probleemi kohta. See tähendab, et isegi osaline automatiseerimine praeguste võimetega võiks luua märgatavat majanduslikku ja teaduslikku väärtust.

“Võrdlusaluseid kannustab mitmekesine hulk bioloogilisi küsimusi, kuid … tegelik raskus tuleb avastuslikust andmeanalüüsist ja nende leidude üle arutlemisest: mustrite ja artefaktide tuvastamisest ning otsustamisest, kas andmed tuleks välja jätta või korrigeerida. See meenutab päris bioloogiliste andmestike korratut olemust. Nende hindamiste ülevaatamine näitab, kui tähtsad on agendipõhises teaduslikus probleemilahenduses selged lahendaja lepped. Eri viibusõnastus või ülesande täpsustus võib tugevalt mõjutada, milliseid analüüse peetakse lubatavaks.”

Cyrillus Tan, New York Genome Centeri järeldoktorant-teadur

“Mulle meeldisid [küsimused] enamasti. Neil oli tavaliselt kombinatsioon järgmistest: (1) nõutavad teadmised valdkonnast, näiteks C>T kallutatus iidses DNA-s, (2) andmete lahknevused, näiteks päritolu vahetused, (3) teatavad teadmised töö jaoks sobivatest analüüsivahenditest ja sellest, kuidas neid rakendada. Tundus, et enamik agente ebaõnnestasid punktis (2). Nad ei ole andmeprobleemide suhtes piisavalt tähelepanelikud. Võib-olla toob see esile praeguste mudelite nõrkuse. Ja paljudes bioloogilistes andmetes esineb ebakorrapärasusi.”

Lex Flagel, Gencove’i andmeteaduse direktor

1 / 2

“Võrdlusaluseid kannustab mitmekesine hulk bioloogilisi küsimusi, kuid … tegelik raskus tuleb avastuslikust andmeanalüüsist ja nende leidude üle arutlemisest: mustrite ja artefaktide tuvastamisest ning otsustamisest, kas andmed tuleks välja jätta või korrigeerida. See meenutab päris bioloogiliste andmestike korratut olemust. Nende hindamiste ülevaatamine näitab, kui tähtsad on agendipõhises teaduslikus probleemilahenduses selged lahendaja lepped. Eri viibusõnastus või ülesande täpsustus võib tugevalt mõjutada, milliseid analüüse peetakse lubatavaks.”

Cyrillus Tan, New York Genome Centeri järeldoktorant-teadur

“Mulle meeldisid [küsimused] enamasti. Neil oli tavaliselt kombinatsioon järgmistest: (1) nõutavad teadmised valdkonnast, näiteks C>T kallutatus iidses DNA-s, (2) andmete lahknevused, näiteks päritolu vahetused, (3) teatavad teadmised töö jaoks sobivatest analüüsivahenditest ja sellest, kuidas neid rakendada. Tundus, et enamik agente ebaõnnestasid punktis (2). Nad ei ole andmeprobleemide suhtes piisavalt tähelepanelikud. Võib-olla toob see esile praeguste mudelite nõrkuse. Ja paljudes bioloogilistes andmetes esineb ebakorrapärasusi.”

Lex Flagel, Gencove’i andmeteaduse direktor

Samas näitab tõsiasi, et tipptasemel mudelid lahendavad neist probleemidest endiselt alla kolmandiku, suurt arenguruumi. Mudelid suudavad raskete probleemidega osaliselt edasi liikuda, kuid neil on raske järeldusahelat lõpule viia. See läbikukkumismuster meenutab erinevust inimekspertide ja algajate vahel. Eksperdid kasutavad kogemust probleemi raamimiseks ja lähenemise kohandamiseks, algajad teevad küll tähelepanekuid, kuid ei suuda neid probleemi laiemasse konteksti siduda.

Probleem: farmakogenoomiline ajani-sündmuseni vastus ajas muutuva raviga

Ravi alustamine, genotüübipõhine vastus, viibiv farmakodünaamika, püsikasutaja lipud ja pikisuunalised biomarkerid määravad koos põhjusliku elulemuse estimandi.

GPT-5.5 muster

Handles treatment timing with a conventional Cox outcome model but does not address treatment-confounder feedback.

Fit a counting-process Cox model with treatment as a time-varying exposure, effective only after treat_start+90 days ... The model included G, treatment×G, baseline severity, age, and sex.

GPT-5.6 Sol muster

Uses a more appropriate causal inference method to properly account for treatment-confounder feedback.

Used a new-user marginal structural Cox model: excluded 818 flagged prevalent users, modeled treatment initiation with stabilized inverse-probability weights using baseline covariates and current biomarker, and treated exposure as time-varying with a 90-day efficacy lag.

Peaaegu täiuslik sooritus nõuab hindamisi, mis mõõdavad edenemist usaldusväärselt ja näitavad, kus mudelid veel ebaõnnestuvad. GeneBench-Pro sarnased võrdlusalused aitavad muuta ebamäärase võimelünga millekski, mida saab diagnoosida ja parandada.

Kui agendid suudavad seda tüüpi analüüsi usaldusväärselt automatiseerida, võivad nad teadusavastusi oluliselt kiirendada. Inimgeneetilised tõendid on juba sihtmärkide prioriseerimises ja translatsioonilises järelkontrollis kesksel kohal, sest geneetilise toega mehhanismid viivad palju tõenäolisemalt heakskiidetud ravini.

Samal ajal on sekveneerimiskulud järsult langenud ning biopanga mõõtu andmestikud seovad molekulaarse, fenotüüpse ja terviselugude info enneolematu ulatusega. Piirav tegur nihkub andmete loomiselt selle info muutmisele tegutsemiskõlblikeks teadmusteks. Mudelid, mis suudavad järjepidevalt teha analüüse, mida praegu teevad inimekspertide tiimid, võiksid muuta tööstusuuringuid, kiirendades hüpoteeside sõelumist, sihtmärkide järelkontrolli ning andmeloome ja otsustamise vahelist iteratsiooni.

GeneBench-Pro on esmane katse hinnata kogenud teadlaste hea teadusliku otsustusvõime abstraktsemaid oskusi. Need oskused aitavad aimata ja leida paljutõotavaimad alganalüüsid, andmete esialgsete eeldustega vastuollu minnes mõtlemist korrata ja muuta ning jõuda järeldusteni, millest võivad sõltuda hilisemad kliinilised, akadeemilised või äriotsused.

Eeldame, et mudelite võimete arenedes muutuvad üha kasulikumaks võrdlusalused, mis uurivad mudeli võimeid neil kõrgematel abstraktsioonitasemetel, mitte ei testi üksnes raamatutarkust või rutiinanalüüside tegemist.

2026

Autor

OpenAI

Jätka lugemist

Vaata kõiki

A near-autonomous AI chemist improves a challenging reaction

Peaaegu autonoomne AI-keemik parandab keerulist reaktsiooni meditsiinilises keemias

Teadustöö17. juuni 2026

Tutvustame LifeSciBenchi

Teadustöö17. juuni 2026

Mudeli käitumise ennustamine enne väljalaset juurutuse simuleerimise abil

Teadustöö16. juuni 2026