Ipinapakilala ang GeneBench-Pro
Isang research-level benchmark na sumusukat kung paano hinaharap ng AI agents ang kalabuan at gumagawa ng mahahalagang paghatol sa computational biology.
Bihirang dumating ang siyentipikong datos na may kasamang tagubilin. Kailangang magpasya ng mga researcher kung ang isang pattern ay sumasalamin sa biology o ingay, kung kayang suportahan ng datos ang itinatanong, at kung paano dapat baguhin ng bawat resulta ang susunod nilang gagawin. Lalong nagiging kaya ng mga AI agent ang magsagawa ng kumplikadong pagsusuri, ngunit ang totoong siyentipikong pananaliksik ay nakasalalay hindi lang sa pag-alala ng facts o pagsunod sa nakatakdang workflow, kundi pati sa paggawa ng ganitong mas mataas na antas ng paghatol.
Ngayon, ipinapakilala namin ang GeneBench-Pro—isang mapanghamon, research-level na benchmark para subukan kung kaya ng mga modelo ang judgment-heavy analysis na kailangan sa real-world computational biology. Pinalalawak nito ang GeneBench(magbubukas sa bagong window) upang saklawin ang mas mahirap at mas realistiko na mga gawain sa genomics, quantitative biology, at translational medicine, habang kinukuha ang kumplikasyon, paulit-ulit na proseso, at kalabuan ng siyentipikong pananaliksik sa computational biology.
Sa ngayon, kakaunti pa ang kapani-paniwalang pagtatasa sa system-level judgment calls na nagpapahirap sa real-world computational research. Kabilang dito ang pagharap sa kalabuan, pagrebisa ng assumptions, pagpili ng tamang landas ng pagsusuri, at pag-alam kung handa na ang isang resulta para pagdesisyunan. Dahil mahirap gawing pormal ang mga kasanayang ito, mahirap din silang tasahin nang mahigpit, kahit lalo nang nililimitahan ng mga kahinaan dito ang kabuuang AI performance.
Dinisenyo ang GeneBench-Pro upang tumpak na sukatin ang mas mataas na antas na mga kakayahang ito. Sa GeneBench-Pro, tinutukoy namin ang “research taste” bilang magkakaugnay na judgment calls na humuhubog sa pagsusuri: aling mga tanong ang kayang suportahan ng datos, paano dapat baguhin ng maagang diagnostics ang modelo o estimand, at kailan kailangang rebisahin ang paunang plano. Bawat problema sa GeneBench-Pro ay nagbibigay sa modelo ng realistiko at magulong dataset, maikling experimental context, at target estimand na nakatali sa downstream decision. Para makasagot nang tama, kailangang saliksikin ng modelo ang datos, pumili ng angkop na analytical approach, dumaan sa paulit-ulit na eksperimento, at magbigay ng huling sagot.
Sa biology, bumagsak nang malaki ang gastos sa paggawa ng datos (hal., genome sequencing), at may ilang researcher ngayon na nagsasabing(magbubukas sa bagong window) ang limitasyon ay hindi na sample collection kundi downstream computation at analysis. Binuo ang GeneBench-Pro upang tasahin ang pag-unlad sa pagharap sa bottleneck na iyon, na may 129 tanong na sumasaklaw sa malawak na hanay ng computational biology settings at methods.
Domain Atlas: 129 mga problema sa 10 mga domain at 21 mga sub-domain
I-click ang isang tuldok sa itaas upang matuto tungkol sa isang benchmark na problema.
Nagbibigay ang atlas na ito ng patikim sa lawak ng GeneBench-Pro. Bisitahin ang pahina ng mga case study para mas detalyadong tuklasin ang 10 kinatawang tanong.
Dinisenyo rin ang GeneBench-Pro upang maiwasan ang karaniwang kabiguan ng mga benchmark. Maraming long-horizon biology benchmarks ang bumubuo ng multi-step questions sa paligid ng magugulong historical datasets, kung saan maaaring walang iisang tamang landas sa pagsusuri. Maaaring pumili ang isang agent ng isang maipagtatanggol na cutoff, habang ang isa pa ay pumili ng iba pero kasing-maipagtatanggol na opsyon, na mas nagpapakita ng arbitraryong pagpili ng benchmark creator kaysa ng pangunahing pagkakaiba sa model performance. Maaari ring mangyari ang kabaligtaran: kung masyadong numerically insensitive ang problema, maaaring gumawa ang isang agent ng pangunahing mali sa pagsusuri at makapaglabas pa rin ng pasadong resulta.
Upang maiwasan ang mga failure mode na ito, synthetically binubuo ang bawat GeneBench-Pro problem: alam namin ang buong causal structure at direkta naming sini-simulate ang data-generating process. Dahil dito, naiaangkop namin ang kumplikasyon ng bawat problema, natitiyak na ang makatuwirang pagkakaiba sa subjective analytical choices ay nagbibigay pa rin ng tinatanggap na numerical results, at nabe-verify (sa pamamagitan ng ablation studies) na bumabagsak ang kapani-paniwala ngunit maling analyses. Pagkatapos ay ina-audit namin ang mga draft ng problema sa pamamagitan ng detalyadong trace analyses upang tingnan kung may information leakage at hindi sinasadyang solution pathways. Nagbibigay ito sa amin ng kumpiyansa na ang tamang sagot ay nakasalalay sa pagpili ng tamang analytical pathway, hindi sa pagsamantala sa shortcut o pagtugma sa arbitraryong kagustuhan ng author.
Ipinadala namin ang 82 sa 129 tanong ng GeneBench-Pro sa mga external domain expert, kabilang ang graduate students, postdoctoral researchers, industry scientists, at professors. Sinuri ng reviewers ang realism ng bawat problema, kung identifiable ang target answer, at kung angkop ang methods at estimators. Ginamit ang feedback upang pagbutihin ang mga problema.
“Ang mga problemang sinuri ko ay magiging hamon kahit para sa isang graduate student kung tatapusin nang walang paulit-ulit na feedback mula sa isang may-karanasang supervisor. May mga teknikal at quality-control na isyu ang datos na nangangailangan ng maingat at mapagnilay na pagsusuri, na may kamalayan sa posibleng mga patibong, upang matagumpay na makumpleto; hindi ito simpleng paglalapat lang ng handa nang metodo sa malinis at maayos na na-curate na datos.”
“Kahit hindi pa kayang magpatakbo nang maaasahan ng kasalukuyang mga modelo ng independent analyses mula simula hanggang dulo, ang mga mahusay sa GeneBench-Pro problems ay malinaw na makatutulong sa mga researcher na matukoy ang tamang workflows at tuklasin ang datos. Nakikita kong malaki ang maitutulong nito sa bilis, pagiging masinsin, at reproducibility ng pananaliksik.”
Bawat problema sa GeneBench-Pro ay isang self-contained na siyentipikong pagsusuri. Nakakatanggap ang mga agent ng access sa isolated workspace na may maikling prompt, data files, at standard bioinformatics stack kabilang ang Python, scientific computing libraries, at basic genomics packages tulad ng PLINK 2.0 (bagama’t hindi nangangailangan ang mga problema ng domain-specific tooling).
Benefit-risk decision sa tumor therapy na ginagabayan ng structural variant
Dahil kontrolado namin ang buong data-generation process, deterministically naming nagi-grade ang correctness laban sa kilalang targets, na iniiwasan ang model-choice variability at verbosity effects na nakikita sa karaniwang rubric-based evaluation.
May kasama ring rich metadata ang bawat problema, kabilang ang intended analysis structure, kalakip na data files, detalyadong multi-page case study, at resulta ng expert review. Ganap naming ino-open-source ang 10 kinatawang tanong ng GeneBench-Pro sa Hugging Face(magbubukas sa bagong window), na may interactive web interface para i-browse ang mga ito. Sa huli, magbibigay kami ng 50-question subset sa Artificial Analysis(magbubukas sa bagong window) para sa independent, third-party benchmarking sa malapit na hinaharap.
Ang pinakamalakas naming modelo, GPT‑5.6 Sol, ay umaabot sa pass rate na 28.7% sa pinakamataas na antas ng pangangatwiran (31.5% kapag naka-enable ang Pro mode). Malaking pagtaas ito mula noong sinimulan naming buuin ang orihinal na GeneBench; noon, ang pinakamahusay naming frontier modelo, GPT‑5, ay nakakuha ng mas mababa sa 5%. Ipinahihiwatig ng progreso sa benchmark na ito na mabilis na humuhusay ang mga frontier modelo, kahit sa mas hindi nasasalat na systems-level scientific reasoning. Sa kasalukuyang bilis, maaaring ma-saturate ang benchmark na ito bago matapos ang taon.
Ipinapakita rin ng mga resulta ang epekto ng pag-scale ng test-time compute. Sa pinakamababang antas ng pangangatwiran, single-digit passrate lang ang naaabot ng GPT‑5.6 Sol. Sa pinakamataas na antas ng pangangatwiran, halos anim na beses na mas maraming tanong ang nasosolusyunan ng GPT‑5.6 Sol kaysa GPT‑5.2 habang gumagamit ng humigit-kumulang dalawang-katlo lang ng dami ng token.
Ipinahihiwatig ng paghahambing sa iba’t ibang model families na kabilang ang GPT models sa pinakamalalakas na sistema sa high-level scientific reasoning sa ilalim ng quantitative uncertainty. Ang performance gap sa pagitan ng GPT‑5.6, GPT‑5.5, at nangungunang open-source models tulad ng GLM 5.2 ay mas malaki kaysa inaasahan namin kung ie-extrapolate mula sa coding benchmarks(magbubukas sa bagong window), na nagpapahiwatig na mas specialized sa coding ang open-source models kaysa sa mas malawak na kakayahan sa pangangatwiran.
Gumamit kami ng frontier GPT models upang i-evaluate at patibayin ang mga problema habang dine-develop. Dahil dito, naghinala kami na maaaring may bias ang GeneBench-Pro laban sa GPT models kumpara sa ibang model families. Gayunman, ang competitor models ay sa pinakamainam ay nakapantay lang sa performance ng katumbas na GPT model sa panahon ng release, at karaniwang malaki ang pagkukulang.
Kapansin-pansin ang mga resultang ito ng evaluation—umaabot sa 31.5% sa GPT‑5.6 Sol (Pro)—lalo na sa hirap ng mga tanong sa GeneBench-Pro. Sa isang survey, tinaya ng aming reviewers na aabutin ang isang human expert ng humigit-kumulang 20–40 oras upang tapusin ang karaniwang GeneBench-Pro problem. Sa konserbatibong $200 kada oras, umaabot sa libo-libong dolyar ang human labor cost ng iisang problema. Masyado pa ring hindi maaasahan ang kasalukuyang AI agents upang palitan ang human experts, ngunit malaki ang agwat sa gastos, dahil ilang dolyar lang ang inference costs bawat problema. Ibig sabihin, kahit bahagyang automation gamit ang kasalukuyang kakayahan ay maaaring lumikha ng makabuluhang halagang pang-ekonomiya at pang-agham.
“Hinuhubog ang mga benchmark ng sari-saring biyolohikal na tanong, ngunit … ang tunay na hamon ay nasa exploratory data analysis at pangangatwiran batay sa mga natuklasan: pagtukoy ng mga pattern at artifact, at pagpapasya kung dapat ibukod o i-adjust ang datos. Kahawig nito ang magulong katangian ng totoong biological datasets. Ipinapakita ng pagsusuri sa mga evaluation na ito kung gaano kahalaga ang malinaw na solver contracts para sa agent-based na paglutas ng siyentipikong problema. Malaki ang maaaring maging epekto ng magkaibang pagkakasulat ng prompt o espesipikasyon ng gawain sa kung aling mga pagsusuri ang magmumukhang pinapayagan.”
“Nagustuhan ko [ang mga tanong] halos lahat. Karaniwan silang nagtataglay ng halo ng: (1) Kinakailangang kaalaman sa paksa, tulad ng C>T bias sa sinaunang DNA, (2) Mga hindi pagkakatugma sa data, tulad ng pagpapalit-palit ng pinagmulan, (3) Isang uri ng kaalaman sa mga tamang analitikal na tool para sa gawain at kung paano ipatupad ang mga ito. Mukhang nabigo ang karamihan sa mga ahente sa (2). Hindi sila sapat na maingat sa mga isyu sa datos. Marahil ipinapakita niyan ang isang kahinaan ng mga kasalukuyang modelo. At maraming biyolohikal na datos ang may mga iregularidad.”
Gayunman, ipinapakita ng katotohanang wala pang sangkatlo ng mga problemang ito ang nasosolusyunan ng frontier models na malaki pa ang puwang para sa pagbuti. Nakakagawa ng bahagyang progreso ang mga modelo sa mahihirap na problema, ngunit nahihirapan silang isara ang inferential loop. Sinasalamin ng failure pattern na ito ang kaibahan ng human experts at novices. Ginagamit ng experts ang kanilang karanasan upang balangkasin ang problema at iakma ang kanilang approach, samantalang nakakakita ng obserbasyon ang novices ngunit nahihirapang isama ang mga ito sa mas malawak na konteksto ng problema.
Problema: Pharmacogenomic time-to-event response na may time-varying treatment
GPT-5.5 pattern
GPT-5.6 Sol pattern
Ang pagkamit ng halos perpektong performance ay mangangailangan ng evaluations na parehong maaasahang sumusukat ng progreso at tumutukoy kung saan pa pumapalya ang mga modelo. Makakatulong ang mga benchmark tulad ng GeneBench-Pro na gawing nadadiagnose at napapabuting bagay ang malabong kakulangan sa kakayahan.
Kung maaasahang maa-automate ng mga agent ang ganitong klase ng pagsusuri, maaari nilang pabilisin nang malaki ang siyentipikong pagtuklas. Mahalaga na ngayon ang human genetic evidence sa target prioritization at translational follow-up, dahil ang mga mekanismong may genetic support ay mas malamang humantong sa aprubadong paggamot.
Samantala, bumagsak nang husto ang sequencing costs, at ang biobank-scale datasets ngayon ay nag-uugnay ng molecular, phenotypic, at health-record information sa lawak na wala pang katulad. Lumilipat ang limiting factor mula sa paggawa ng datos patungo sa pagbabago ng impormasyon bilang actionable insights. Maaaring baguhin ng mga modelong kayang tuloy-tuloy na magsagawa ng analyses na ngayon ay ginagawa ng mga team ng human experts ang industrial research sa pamamagitan ng pagpapabilis ng hypothesis triage, target follow-up, at iteration cycle sa pagitan ng paggawa ng datos at pagdedesisyon.
Kinakatawan ng GeneBench-Pro ang paunang pagsisikap na suriin ang mas abstract na kasanayang bahagi ng mahusay na siyentipikong paghatol na taglay ng mga may karanasan. Pinahihintulutan sila ng mga kasanayang ito na mawari at tukuyin ang pinakapangakong paunang analyses, umulit at baguhin ang pag-iisip kapag sinasalungat ng datos ang paunang assumptions, at makarating sa mga konklusyong maaaring pagbatayan ng downstream clinical, academic, o business decisions.
Inaasahan naming habang sumusulong ang kakayahan ng modelo, lalong magiging kapaki-pakinabang ang mga benchmark na sumusuri sa kakayahan ng modelo sa ganitong mas mataas na antas ng abstraction, lampas sa simpleng pagsubok ng book knowledge o kakayahang magsagawa ng routine analyses.
