30. juuni 2026

Tutvustame GeneBench-Pro'd

Teadustaseme võrdlustest, mis mõõdab, kuidas tehisintellekti agendid navigeerivad ebamäärasuses ja teevad arvutusbioloogias tagajärjerikkaid otsuseid.

Loe artiklit

Laadimine…

Teaduslikud andmed saabuvad harva koos juhistega. Teadlased peavad otsustama, kas muster peegeldab bioloogiat või müra, kas andmed suudavad toetada esitatud küsimust ja kuidas iga tulemus peaks muutma nende järgmisi samme. Tehisintellekti agendid on üha enam võimelised tegema keerulisi analüüse, kuid reaalne teadustöö ei sõltu lihtsalt faktide meenutamisest või eelmääratletud töövoo järgimisest, vaid ka nende kõrgema astme otsuste tegemisest.

Täna tutvustame GeneBench-Pro'd—keerulist, teadustaseme võrdlustesti, et kontrollida, kas mudelid suudavad toime tulla sellise otsustusmahuka analüüsiga, mida reaalmaailma arvutusbioloogia nõuab. See laiendab GeneBenchi,⁠(avaneb uues aknas) et hõlmata raskemaid ja realistlikumaid ülesandeid genoomikas, kvantitatiivses bioloogias ja siirdemeditsiinis, tabades arvutusbioloogia teadusuuringute keerukust, iteratiivset olemust ja ebamäärasust.

Seni on olnud vähe veenvaid hinnanguid süsteemitasandi otsuste kohta, mis muudavad reaalmaailma arvutusuuringud keeruliseks. Nende hulka kuuluvad ebamäärasusega toimetulek, eelduste muutmine, õige analüüsitee valimine ja teadmine, millal tulemus on otsustusvalmis. Kuna neid oskusi on raske formaliseerida, on neid ka raske rangelt hinnata, isegi kui nõrkused nendes piiravad üha enam tehisintellekti üldist jõudlust.

Diagramm pealkirjaga „Võrdlustestide lünk bioloogias“, mis võrdleb traditsioonilisi võrdlustesti töövooge otsast-lõpuni teadusliku analüüsiga, näidates täiendavaid samme, nagu eeltöötlus, modelleerimine, diagnostika ja iteratiivne täiustamine enne teadusliku järelduseni jõudmist.

GeneBench-Pro on loodud nende kõrgema taseme võimete täpseks mõõtmiseks. GeneBench-Pro raames defineerime „teadusliku maitse“ kui otsuste ahelad, mis kujundavad analüüsi: milliseid küsimusi andmed toetada suudavad, kuidas varajane diagnostika peaks muutma mudelit või hinnatavat suurust ja millal tuleb esialgne plaan üle vaadata. Iga GeneBench-Pro probleem annab mudelile realistliku ja segase andmestiku, lühikese eksperimentaalse konteksti ja eesmärgiks oleva hinnatava suuruse, mis on seotud järgneva otsusega. Õigesti vastamiseks peab mudel uurima andmeid, valima sobiva analüütilise lähenemisviisi, osalema iteratiivses eksperimenteerimisprotsessis ja esitama lõpliku vastuse.

Andmestiku koostamine

Bioloogias on andmete genereerimise (nt genoomi sekveneerimise) kulud drastiliselt langenud ja mõned teadlased väidavad nüüd⁠(avaneb uues aknas), et piiravaks teguriks ei ole enam proovide kogumine, vaid allavoolu arvutus ja analüüs. GeneBench-Pro on ehitatud hindamaks edusamme selle pudelikaela lahendamisel, hõlmates 129 küsimust, mis katavad laia valikut arvutusbioloogia seadeid ja meetodeid.

Domeeniatlas: 129 probleemi 10 domeenis ja 21 alamdomeenis

Klõpsa ülal oleval punktil, et saada lisateavet võrdlusülesande kohta.

See atlas annab eelvaate GeneBench-Pro ulatusest. Külasta juhtumiuuringute lehte, et uurida kümmet tüüpilist küsimust lähemalt.

GeneBench-Pro on samuti loodud vältimaks tavalisi võrdlustestide ebaõnnestumisi. Paljud pika horisondiga bioloogia võrdlustestid ehitavad mitmeetapilisi küsimusi segaste ajalooliste andmestike ümber, kus analüüsi läbimiseks ei pruugi olla ühtset õiget teed. Üks agent võib valida ühe kaitstava piirväärtuse, samas kui teine võib valida erineva, kuid sama kaitstava variandi, mis peegeldab pigem võrdlustesti looja tehtud meelevaldseid valikuid kui mis tahes fundamentaalseid erinevusi mudeli jõudluses. Võib juhtuda ka vastupidine: kui probleem on arvuliselt liiga tundetu, võib agent teha analüüsis fundamentaalseid vigu ja siiski anda läbiva tulemuse.

Nende ebaõnnestumisviiside vältimiseks on iga GeneBench-Pro probleem ehitatud sünteetiliselt: me teame täielikku põhjuslikku struktuuri ja simuleerime otse andmete genereerimise protsessi. See võimaldab meil häälestada iga probleemi keerukust, tagada, et mõistlikud erinevused subjektiivsetes analüütilistes valikutes annavad siiski aktsepteeritud numbrilisi tulemusi, ja kontrollida, et usutavad, kuid ebaõiged analüüsid ebaõnnestuvad. Seejärel auditeerime probleemide mustandeid üksikasjalike jäljeanalüüside kaudu, et kontrollida teabelekkeid ja soovimatuid lahendusteid. See annab meile kindlustunde, et õige vastuse saamine sõltub õige analüütilise tee valimisest, mitte otsetee ärakasutamisest või autori meelevaldse eelistusega sobitumisest.

Diagramm pealkirjaga „GeneBench-Pro ülesande koostamine ja valideerimine”, mis näitab töövoogu alates käivitatava ülesande loomisest läbi ülevaatuse, vastupidavuskontrollide, agenditestimise, eksperdiülevaatuse ja paranduste kuni valmis võrdlustesti ülesandeni.

Saatsime 82 GeneBench-Pro 129-st küsimusest välistele valdkonnaekspertidele, sealhulgas kraadiõppuritele, järeldoktoritele, tööstusteadlastele ja professoritele. Ülevaatajad hindasid iga probleemi realismi, kas sihtvastus oli tuvastatav ja kas meetodid ning hindajad olid asjakohased. Tagasisidet kasutati probleemide parandamiseks.

“Ülesanded, mida ma läbi vaatasin, oleksid olnud kraadiõppurile keerulised ilma kogenud juhendaja mitmekordse tagasisideta. Andmetes esines tehnilisi ja kvaliteedikontrolliga seotud probleeme, mille edukaks lahendamiseks oli vaja läbimõeldud ja analüütiliselt kaalutletud andmeanalüüsi ning teadlikkust võimalikest kitsaskohtadest; nad ei rakendanud lihtsalt mingit valmismeetodit puhastele ja hästi kureeritud andmetele.”

Alexander Strudwick Young, UCLA inimgeneetika abiprofessor

“Isegi kui praegused mudelid ei suuda usaldusväärselt käitada iseseisvaid analüüse algusest lõpuni, suudaksid need, mis toimivad hästi GeneBench-Pro probleemidel, selgelt aidata teadlastel määrata õigeid töövooge ja uurida andmeid. Ma näen, et see parandaks oluliselt teadusuuringute tempot, põhjalikkust ja reprodutseeritavust.”

Jennifer Grundman, inimgeneetika doktorant UCLAs

1 / 2

“Ülesanded, mida ma läbi vaatasin, oleksid olnud kraadiõppurile keerulised ilma kogenud juhendaja mitmekordse tagasisideta. Andmetes esines tehnilisi ja kvaliteedikontrolliga seotud probleeme, mille edukaks lahendamiseks oli vaja läbimõeldud ja analüütiliselt kaalutletud andmeanalüüsi ning teadlikkust võimalikest kitsaskohtadest; nad ei rakendanud lihtsalt mingit valmismeetodit puhastele ja hästi kureeritud andmetele.”

Alexander Strudwick Young, UCLA inimgeneetika abiprofessor

Hindamine ja hindepunktide panemine

Iga GeneBench-Pro probleem on iseseisev teaduslik analüüs. Agendid saavad juurdepääsu isoleeritud tööruumile koos lühikese viiba, andmefailide ja standardse bioinformaatika pinuga, sealhulgas Pythoni, teadusliku arvutuse teekide ja põhiliste genoomikapakettidega nagu PLINK 2.0 (kuigi probleemid ei nõua valdkonnaspetsiifilisi tööriistu).

Struktuurivariandist juhitud kasvajaravi kasu ja riski otsus

A molecular tumor board registry contains trial-eligible advanced solid-tumor cases considered for a TXR1-directed inhibitor. Estimate, for tumors with SV-driven TXR1 target-mediated activation at time zero, the marginal effect of TXR1i versus non-TXR1 systemic therapy on week-16 clinical benefit as if all patients had an assessable week-16 visit. Also estimate the 8-week treatment-limiting toxicity/discontinuation risk under TXR1i in the same target population. Report net clinical utility = benefit risk difference (percentage points) - 0.35 * toxicity risk (percentage points), and choose therapy_class_code 1 if TXR1i has positive net utility and 0 otherwise.

Use percentage-point units for all non-code quantities. Positive benefit means TXR1i improves week-16 clinical benefit relative to non-TXR1 systemic therapy.

These data came from a real experiment; you will be graded not just on numerical correctness but the quality of analytical reasoning you exhibit; do not attempt to take any shortcuts.

Return your final answer as exactly one JSON object.
Do not wrap the JSON in markdown.
Do not add prose before or after the JSON.
Do not omit any keys shown in the example.
Return the JSON object in your final answer:

JSON

1{
2  "answer": {
3    "therapy_class_code": <int>,
4    "benefit_rd_pp": <float>,
5    "toxicity_dropout_risk_pp": <float>,
6    "net_clinical_utility_pp": <float>
7  },
8  "reasoning": "<description of method and QC>"
9}

Kuna me kontrollime kogu andmete genereerimise protsessi, saame õigsust deterministlikult hinnata teadaolevate sihtmärkide suhtes, vältides mudelivaliku varieeruvust ja sõnaohtruse efekte, mida leidub standardses rubriigipõhises hindamises.

Iga probleemiga kaasnevad ka rikkalikud metaandmed, sealhulgas kavandatud analüüsi struktuur, lisatud andmefailid, üksikasjalik mitmeleheküljeline juhtumiuuring ja eksperthinnangu tulemused. Teeme 10 esinduslikku GeneBench-Pro küsimust Hugging Face'is⁠(avaneb uues aknas) täielikult avatud lähtekoodiga kättesaadavaks koos interaktiivse veebiliidesega nende sirvimiseks. Lõpuks pakume lähitulevikus Artificial Analysis'ile⁠(avaneb uues aknas) sõltumatuks kolmanda osapoole võrdlustestimiseks 50-küsimuselise alamhulga.

Tulemused

Meie tugevaim mudel, GPT‑5.6 Sol, saavutab kõrgeimal arutlustasemel läbimismäära 28,7% (Pro režiimiga sisse lülitatud 31,5%). See on järsk tõus võrreldes ajaga, mil hakkasime ehitama algset GeneBenchi; sel ajal sai meie parim tipptasemel mudel, GPT‑5, tulemuseks alla 5%. Edusammud sellel võrdlustestil viitavad sellele, et tipptasemel mudelid paranevad kiiresti, isegi vähem käegakatsutavas, süsteemitasandi teaduslikus arutlemises. Praeguse tempo juures võib see võrdlustest olla aasta lõpuks küllastunud.

Tulemused näitavad ka testimisaegse arvutusvõimsuse skaleerimise mõju. Madalaimal arutlustasemel saavutab GPT‑5.6 Sol vaid ühekohalise läbimismäära. Kõrgeimal arutlustasemel lahendab GPT‑5.6 Sol peaaegu kuus korda rohkem küsimusi kui GPT‑5.2 kasutades samal ajal umbes kaks kolmandikku nii palju märgendeid.

Võrdlused mudeliperede lõikes viitavad sellele, et GPT mudelid on ühed tugevaimad süsteemid kõrgetasemelises teaduslikus arutlemises kvantitatiivse ebamäärasuse tingimustes. Jõudluse erinevus GPT‑5.6, GPT‑5.5 ja juhtivate avatud lähtekoodiga mudelite, nagu GLM 5.2, vahel on oluliselt suurem, kui me eeldaksime kodeerimise võrdlustestidest⁠(avaneb uues aknas) ekstrapoleerides, mis viitab sellele, et avatud lähtekoodiga mudelid on rohkem spetsialiseerunud kodeerimisele kui laiemale arutlusvõimele.

Kasutasime arenduse käigus tipptasemel GPT mudeleid probleemide hindamiseks ja tugevdamiseks. Seetõttu kahtlustasime, et GeneBench-Pro võib olla kallutatud GPT mudelite kahjuks teiste mudeliperede suhtes. Siiski vastasid konkurentide mudelid parimal juhul vastava GPT mudeli jõudlusele väljalaskmise ajal ja kippusid märkimisväärselt alla jääma.

Need hindamistulemused—kuni 31,5% GPT‑5.6 Sol (Pro) puhul—on silmatorkavad, arvestades GeneBench-Pro küsimuste keerukust. Küsitluses hindasid meie ülevaatajad, et tüüpilise GeneBench-Pro probleemi lahendamiseks kuluks inimeksperdil umbes 20–40 tundi. Konservatiivse 200 dollari juures tunnis teeb see ühe probleemi inimtöö kuluks tuhandeid dollareid. Praegused tehisintellekti agendid on inimekspertide asendamiseks endiselt liiga ebausaldusväärsed, kuid kulude vahe on suur, kusjuures järelduste kulud on vaid mõned dollarid probleemi kohta. See tähendab, et isegi osaline automatiseerimine praeguste võimete juures võiks luua märkimisväärset majanduslikku ja teaduslikku väärtust.

“Võrdlustestid on ajendatud mitmesugustest bioloogilistest küsimustest, kuid … tegelik proovikivi tuleneb uurivast andmeanalüüsist ja nende avastuste põhjal tehtavast arutlusest: mustrite ja artefaktide tuvastamisest ning otsustamisest, kas andmed tuleks välja jätta või korrigeerida. See meenutab tegelike bioloogiliste andmekogumite segast olemust. Nende hindamiste läbivaatamine toob esile, kui olulised on selged lahendajalepingud agendipõhise teadusliku probleemilahenduse jaoks. Erinev viip või ülesande spetsifikatsioon võib suurel määral mõjutada, millised analüüsid tunduvad lubatavad.”

Cyrillus Tan, järeldoktorantuuri teadustöötaja New York Genome Centeris

“Mulle meeldisid [küsimused] enamasti. Neil oli tavaliselt kombinatsioon järgmistest: (1) nõutavad teadmised valdkonnast, näiteks C>T kallutatus iidses DNA-s, (2) andmete lahknevused, näiteks päritolu vahetused, (3) teatavad teadmised töö jaoks sobivatest analüüsivahenditest ja sellest, kuidas neid rakendada. Tundus, et enamik agente ebaõnnestasid punktis (2). Nad ei ole andmeprobleemide suhtes piisavalt tähelepanelikud. Võib-olla toob see esile praeguste mudelite nõrkuse. Ja paljudes bioloogilistes andmetes esineb ebakorrapärasusi.”

Lex Flagel, Gencove’i andmeteaduse direktor

1 / 2

“Võrdlustestid on ajendatud mitmesugustest bioloogilistest küsimustest, kuid … tegelik proovikivi tuleneb uurivast andmeanalüüsist ja nende avastuste põhjal tehtavast arutlusest: mustrite ja artefaktide tuvastamisest ning otsustamisest, kas andmed tuleks välja jätta või korrigeerida. See meenutab tegelike bioloogiliste andmekogumite segast olemust. Nende hindamiste läbivaatamine toob esile, kui olulised on selged lahendajalepingud agendipõhise teadusliku probleemilahenduse jaoks. Erinev viip või ülesande spetsifikatsioon võib suurel määral mõjutada, millised analüüsid tunduvad lubatavad.”

Cyrillus Tan, järeldoktorantuuri teadustöötaja New York Genome Centeris

“Mulle meeldisid [küsimused] enamasti. Neil oli tavaliselt kombinatsioon järgmistest: (1) nõutavad teadmised valdkonnast, näiteks C>T kallutatus iidses DNA-s, (2) andmete lahknevused, näiteks päritolu vahetused, (3) teatavad teadmised töö jaoks sobivatest analüüsivahenditest ja sellest, kuidas neid rakendada. Tundus, et enamik agente ebaõnnestasid punktis (2). Nad ei ole andmeprobleemide suhtes piisavalt tähelepanelikud. Võib-olla toob see esile praeguste mudelite nõrkuse. Ja paljudes bioloogilistes andmetes esineb ebakorrapärasusi.”

Lex Flagel, Gencove’i andmeteaduse direktor

Siiski näitab asjaolu, et tipptasemel mudelid lahendavad endiselt vähem kui kolmandiku neist probleemidest, et arenguruumi on märkimisväärselt. Mudelid suudavad teha osalisi edusamme keerulistes probleemides, kuid neil on raskusi järelduste tsükli sulgemisega. See ebaõnnestumismuster peegeldab kontrasti inimekspertide ja algajate vahel. Eksperdid kasutavad oma kogemusi probleemi raamistamiseks ja oma lähenemisviisi kohandamiseks, samas kui algajad teevad tähelepanekuid, kuid neil on raskusi nende integreerimisega probleemi laiemasse konteksti.

Probleem: farmakogenoomiline aeg sündmuseni reageerimiseks ajas varieeruva ravi korral

Ravi alustamine, genotüübispetsiifiline ravivastus, hilinenud farmakodünaamika, prevalentse kasutaja indikaatorid ja pikisuunalised biomarkerid määravad ühiselt põhjusliku elulemuse hinnatava suuruse.

GPT-5.5 muster

Handles treatment timing with a conventional Cox outcome model but does not address treatment-confounder feedback.

Fit a counting-process Cox model with treatment as a time-varying exposure, effective only after treat_start+90 days ... The model included G, treatment×G, baseline severity, age, and sex.

GPT-5.6 Soli muster

Uses a more appropriate causal inference method to properly account for treatment-confounder feedback.

Used a new-user marginal structural Cox model: excluded 818 flagged prevalent users, modeled treatment initiation with stabilized inverse-probability weights using baseline covariates and current biomarker, and treated exposure as time-varying with a 90-day efficacy lag.

Peaaegu täiusliku jõudluse saavutamine nõuab hindamisi, mis nii mõõdavad usaldusväärselt edusamme kui ka tuvastavad, kus mudelid endiselt ebaõnnestuvad. Võrdlustestid nagu GeneBench-Pro võivad aidata muuta ebamäärase võimete puudujäägi millekski, mida me saame diagnoosida ja parandada.

Kui agendid suudavad seda klassi analüüse usaldusväärselt automatiseerida, võiksid nad teaduslikke avastusi märkimisväärselt kiirendada. Inimese geneetilised tõendid on juba kesksel kohal sihtmärkide prioriseerimisel ja translatsioonilises järeltegevuses, sest geneetilise toega mehhanismid viivad palju tõenäolisemalt heakskiidetud ravivõimalusteni.

Samal ajal on sekveneerimise kulud langenud ja biopanga ulatusega andmestikud seovad nüüd molekulaarset, fenotüübilist ja tervisekaardi teavet enneolematu ulatusega. Piirav tegur nihkub andmete genereerimiselt teabe muutmisele rakendatavateks teadmisteks. Mudelid, mis suudavad järjepidevalt teha analüüse, mida praegu käsitlevad inimekspertide meeskonnad, võiksid muuta tööstuslikku teadustööd, kiirendades hüpoteeside triaaži, sihtmärkide järeltegevust ning andmete genereerimise ja otsuste tegemise vahelist iteratsioonitsüklit.

GeneBench-Pro esindab esmast pingutust hinnata kogenud teadlastele omaseid abstraktsemaid oskusi, mis on seotud hea teadusliku otsustusvõimega. Need oskused võimaldavad neil tajuda ja tuvastada kõige paljutõotavamaid esialgseid analüüse, itereerida ja oma mõtlemist üle vaadata, kui andmed on vastuolus esialgsete eeldustega, ja jõuda järeldusteni, millest võivad sõltuda järgnevad kliinilised, akadeemilised või ärialased otsused.

Eeldame, et mudelite võimete arenedes muutuvad võrdlustestid, mis uurivad mudelite võimeid nendel kõrgematel abstraktsioonitasemetel, üha kasulikumaks, ületades neid, mis testivad lihtsalt raamatutarkust või rutiinsete analüüside tegemise oskust.

2026

Autor

OpenAI

Jätka lugemist

Vaata kõiki

Kuidas kahe seade lubamine kolmekordistas meie ARC-AGI-3 testi tulemusi

Teadustöö29. juuli 2026

oai Science Academic Research Academic Research 1x1

Accelerating scientific discovery with ChatGPT for Academic Researchers

Ettevõte29. juuli 2026

Scientific computing agentic AI card image (1x1)

Scientific computing in the age of agentic AI

Väljaanne28. juuli 2026