Liwati menyang isi utama
OpenAI

30 Juni 2026

RisetPublikasi

Ngenalake GeneBench-Pro

Benchmark tingkat riset sing ngukur cara agen AI ngliwati ambiguitas lan nggawe penilaian penting ing biologi komputasional.

Waca makalahé(mbukak ing jendhela anyar)
Lagi dimuat…

Data ilmiah arang teka karo pandhuan. Panaliti kudu mutusake apa sawijining pola nggambarake biologi utawa gangguan, apa data bisa ndhukung pitakon sing diajokake, lan kepiye saben asil kudu ngowahi langkah sabanjure. Agen AI saya bisa nindakake analisis kompleks, nanging riset ilmiah nyata uga gumantung ora mung marang ngelingi fakta utawa ngetutake alur kerja sing wis ditemtokake, nanging uga marang nggawe penilaian tingkat luwih dhuwur iki.

Dina iki, kita ngenalake GeneBench-Pro—benchmark tingkat riset sing nantang kanggo nguji apa model bisa nangani analisis sing kebak penilaian kaya sing dibutuhake biologi komputasional ing donya nyata. Iki ngembangake GeneBench⁠(mbukak ing jendhela anyar) supaya nyakup tugas sing luwih angel lan realistis ing genomika, biologi kuantitatif, lan kedokteran translasi, nyekel kompleksitas, sipat iteratif, lan ambiguitas riset ilmiah ing biologi komputasional. 

Nganti saiki, mung sithik ana penilaian sing meyakinkan babagan keputusan tingkat sistem sing nggawe riset komputasional donya nyata dadi angel. Iki kalebu nangani ambiguitas, mbenakake asumsi, milih jalur analisis sing bener, lan ngerti kapan asil wis siap dadi dasar keputusan. Amarga katrampilan iki angel diformalisasi, iki uga angel dievaluasi kanthi ketat, sanajan kelemahane saya mbatesi kinerja AI sakabèhé.

Diagram kanthi judhul “Celah benchmark ing biologi” sing mbandhingake alur kerja benchmark tradisional karo analisis ilmiah saka awal nganti pungkasan, nuduhake langkah tambahan kayata praproses, pemodelan, diagnostik, lan penyempurnaan iteratif sadurunge tekan kesimpulan ilmiah.

GeneBench-Pro dirancang kanggo ngukur kanthi presisi kemampuan tingkat luwih dhuwur iki. Ing GeneBench-Pro, kita nemtokake “rasa riset” minangka rantai keputusan penilaian sing mbentuk analisis: pitakon endi sing bisa didhukung data, kepiye diagnostik awal kudu ngowahi model utawa estimand, lan kapan rencana awal kudu direvisi. Saben masalah GeneBench-Pro menehi model dataset realistis lan ruwet, konteks eksperimen cekak, lan estimand target sing kagandheng karo keputusan hilir. Kanggo mangsuli kanthi bener, model kudu njelajah data, milih pendekatan analitis sing cocog, melu proses eksperimen iteratif, lan menehi jawaban akhir.

Konstruksi dataset

Ing biologi, biaya ngasilake data (umpamane, sekuensing genom) wis mudhun drastis, lan sawetara panaliti saiki negesake⁠(mbukak ing jendhela anyar) yen faktor pembates ora maneh pangumpulan sampel, nanging komputasi lan analisis hilir. GeneBench-Pro dibangun kanggo ngevaluasi kemajuan ngatasi bottleneck kasebut, kanthi 129 pitakon sing nyakup macem-macem setelan lan metode biologi komputasional.

Domain Atlas: 129 masalah ing 10 domain lan 21 subdomain

Gunakake tombol panah kanggo pindhah ing antarane soal benchmark. Rincian masalah sing dipilih ditampilake ing ngisor iki.

Klik titik ing ndhuwur kanggo mangerteni babagan masalah benchmark.

Atlas iki menehi pratinjau jembare GeneBench-Pro. Bukak kaca studi kasus kanggo njelajah 10 pitakon wakil kanthi luwih rinci.

GeneBench-Pro uga dirancang supaya ngindhari kegagalan benchmark sing umum. Akeh benchmark biologi jangka panjang nyusun pitakon multi-langkah adhedhasar dataset historis sing ruwet, ing ngendi bisa wae ora ana siji jalur analisis sing mesthi bener. Sawijining agen bisa milih cutoff sing bisa dipertanggungjawabake, dene agen liyane milih opsi beda sing uga padha sah, luwih nggambarake pilihan arbiter saka pembuat benchmark tinimbang bedane dhasar ing kinerja model. Kosok baline uga bisa kedadeyan: yen masalah ora cukup peka marang angka, agen bisa nggawe kesalahan dhasar ing analisis nanging isih ngasilake asil sing lolos.

Kanggo ngindhari mode gagal iki, saben masalah GeneBench-Pro dibangun sacara sintetis: kita ngerti struktur kausal lengkap lan langsung nyimulasi proses pangasil data. Iki ngidini kita nyetel kompleksitas saben masalah, mesthekake manawa bedane pilihan analitis subjektif sing wajar isih ngasilake angka sing ditampa, lan verifikasi (liwat studi ablasi) manawa analisis sing katon masuk akal nanging salah bakal gagal. Banjur kita ngaudit draf masalah liwat analisis jejak rinci kanggo mriksa bocor informasi lan jalur solusi sing ora disengaja. Iki nggawe kita yakin yen entuk jawaban sing bener gumantung marang milih jalur analitis sing tepat, dudu nggunakake trabasan utawa cocog karo preferensi penulis sing arbiter.

Diagram kanthi judhul “Konstruksi lan validasi masalah GeneBench-Pro,” nuduhake alur kerja saka mbangun tugas sing bisa dijalanke, liwat ulasan, cek ketahanan, pengujian agen, ulasan ahli, revisi, nganti dadi masalah benchmark rampung.

Kita ngirim 82 saka 129 pitakon GeneBench-Pro marang ahli domain eksternal, kalebu mahasiswa pascasarjana, peneliti pascadoktoral, ilmuwan industri, lan profesor. Pengulas menilai realisme saben masalah, apa jawaban target bisa diidentifikasi, lan apa metode lan estimatoré cocog. Umpan balik digunakake kanggo ningkatake masalah.

1 saka 2
“Masalah sing dakulas bakal angel kanggo mahasiswa pascasarjana yen kudu dirampungake tanpa umpan balik bola-bali saka pembimbing sing berpengalaman. Data kasebut ngemot masalah teknis lan kontrol mutu sing mbutuhake analisis data kanthi tliti, reflektif, lan waspada marang jebakan potensial supaya bisa rampung kanthi bener; iki dudu mung ngetrapake metode siap pakai marang data sing resik lan wis dikurasi apik.”
Alexander Strudwick Young, Asisten Profesor Genetika Manungsa ing UCLA

Evaluasi lan penilaian

Saben masalah GeneBench-Pro minangka analisis ilmiah sing mandiri. Agen entuk akses menyang papan kerja terisolasi kanthi prompt cekak, file data, lan tumpukan bioinformatika standar kalebu Python, pustaka komputasi ilmiah, lan paket genomika dhasar kaya PLINK 2.0 (senajan masalahé ora mbutuhake piranti khusus domain).

Keputusan manfaat-risiko terapi tumor dipandu varian struktural

A molecular tumor board registry contains trial-eligible advanced solid-tumor cases considered for a TXR1-directed inhibitor. Estimate, for tumors with SV-driven TXR1 target-mediated activation at time zero, the marginal effect of TXR1i versus non-TXR1 systemic therapy on week-16 clinical benefit as if all patients had an assessable week-16 visit. Also estimate the 8-week treatment-limiting toxicity/discontinuation risk under TXR1i in the same target population. Report net clinical utility = benefit risk difference (percentage points) - 0.35 * toxicity risk (percentage points), and choose therapy_class_code 1 if TXR1i has positive net utility and 0 otherwise. 

Use percentage-point units for all non-code quantities. Positive benefit means TXR1i improves week-16 clinical benefit relative to non-TXR1 systemic therapy.

These data came from a real experiment; you will be graded not just on numerical correctness but the quality of analytical reasoning you exhibit; do not attempt to take any shortcuts.

Return your final answer as exactly one JSON object.
Do not wrap the JSON in markdown.
Do not add prose before or after the JSON.
Do not omit any keys shown in the example.
Return the JSON object in your final answer:

JSON

1
{
2
  "answer": {
3
    "therapy_class_code": <int>,
4
    "benefit_rd_pp": <float>,
5
    "toxicity_dropout_risk_pp": <float>,
6
    "net_clinical_utility_pp": <float>
7
  },
8
  "reasoning": "<description of method and QC>"
9
}

Amarga kita ngontrol proses pangasil data kanthi lengkap, kita bisa menilai kabeneran kanthi deterministik marang target sing dingerteni, nyingkiri variasi pilihan model lan efek dawa-wicara ing evaluasi adhedhasar rubrik standar.

Saben masalah uga dilengkapi metadata sugih, kalebu struktur analisis sing dimaksud, file data terlampir, studi kasus pirang-pirang kaca sing rinci, lan asil ulasan ahli. Kita mbukak sumber kanthi lengkap 10 pitakon GeneBench-Pro sing wakil ing Hugging Face⁠(mbukak ing jendhela anyar), kanthi antarmuka web interaktif kanggo nelusur pitakon kasebut. Pungkasan, kita bakal nyedhiyakake subset 50 pitakon menyang Artificial Analysis⁠(mbukak ing jendhela anyar) kanggo benchmarking independen pihak katelu ing wektu cedhak.

Asil

Model paling kuat kita, GPT‑5.6 Sol, nggayuh tingkat lolos 28,7% ing tingkat nalar paling dhuwur (31,5% kanthi mode Pro diaktifake). Iki mundhak tajam saka wektu kita wiwit mbangun GeneBench asli; nalika iku, model tercanggih paling apik kita, GPT‑5, entuk skor kurang saka 5%. Kemajuan ing benchmark iki nuduhake manawa model tercanggih saya cepet membaik, sanajan ing nalar ilmiah tingkat sistem sing ora gampang diwujudake. Kanthi laju saiki, benchmark iki bisa kebak nganti pungkasan taun.

Asil kasebut uga nuduhake dampak scaling komputasi wektu tes. Ing tingkat nalar paling ngisor, GPT‑5.6 Sol mung nggayuh tingkat lolos siji digit. Ing tingkat nalar paling dhuwur, GPT‑5.6 Sol ngrampungake meh kaping enem luwih akeh pitakon tinimbang GPT‑5.2, nalika nggunakake kira-kira rong pertiga jumlah token.

Perbandingan antar kulawarga model nuduhake manawa model GPT kalebu sistem paling kuat kanggo nalar ilmiah tingkat dhuwur ing kahanan ketidakpastian kuantitatif. Celah kinerja antarane GPT‑5.6, GPT‑5.5, lan model open-source unggulan kayata GLM 5.2 luwih gedhe tinimbang sing kita kira yen diekstrapolasi saka benchmark coding⁠(mbukak ing jendhela anyar), nuduhake manawa model open-source luwih khusus kanggo coding tinimbang kemampuan nalar sing luwih jembar.

Kita nggunakake model GPT tercanggih kanggo ngevaluasi lan nguatake masalah sajrone pangembangan. Mula, kita curiga GeneBench-Pro bisa bias nglawan model GPT dibanding kulawarga model liyane. Nanging, model pesaing paling apik mung bisa nyamai kinerja model GPT sing cocog nalika dirilis, lan cenderung kalah cukup adoh.

Asil evaluasi iki—nganti 31,5% ing GPT‑5.6 Sol (Pro)—nggumunake amarga angelé pitakon GeneBench-Pro. Ing sawijining survei, para pengulas kita ngira manawa masalah GeneBench-Pro sing umum bakal mbutuhake ahli manungsa kira-kira 20–40 jam kanggo ngrampungake. Kanthi taksiran konservatif $200 saben jam, biaya tenaga manungsa kanggo siji masalah tekan ewonan dolar. Agen AI saiki isih kakehan ora andal kanggo ngganti ahli manungsa, nanging celah biaya gedhe, amarga biaya inferensi mung sawetara dolar saben masalah. Tegese, sanajan otomatisasi parsial kanthi kemampuan saiki bisa nggawe nilai ekonomi lan ilmiah sing migunani.

1 saka 2
“Benchmark iki dimotivasi dening macem-macem pitakon biologis, nanging … tantangan sejatine asalé saka analisis data eksploratif lan nalar adhedhasar panemuan kasebut: ngenali pola lan artefak, lan mutusake apa data kudu dibuwang utawa disetel. Iki mirip karo sipat dataset biologis nyata sing ruwet. Ngulas evaluasi iki nuduhake sepira pentinge kontrak solver sing cetha kanggo ngrampungake masalah ilmiah adhedhasar agen. Tembung prompt utawa spesifikasi tugas sing beda bisa banget mengaruhi analisis endi sing katon diidini.”
Cyrillus Tan, Peneliti Pascadoktoral ing New York Genome Center

Nanging, kasunyatan yen model tercanggih isih ngrampungake kurang saka sapratelon masalah iki nuduhake yen isih ana ruang gedhe kanggo perbaikan. Model bisa nggawe kemajuan parsial ing masalah sing nantang, nanging kesulitan nutup lingkar inferensial. Pola gagal iki nggambarake kontras antarane ahli manungsa lan pamula. Ahli nggunakake pengalaman kanggo ngrangkai masalah lan nyetel pendekatane, dene pamula nggawe pengamatan nanging kesulitan nggabungake menyang konteks masalah sing luwih jembar.

Masalah: Respons farmakogenomik time-to-event kanthi terapi owah-wektu

Miwiti terapi, respons spesifik genotipe, farmakodinamika tundha, tandha pangguna prevalen, lan biomarker longitudinal bebarengan nemtokake estimand survival kausal.

Pola GPT-5.5

Handles treatment timing with a conventional Cox outcome model but does not address treatment-confounder feedback.

Fit a counting-process Cox model with treatment as a time-varying exposure, effective only after treat_start+90 days ... The model included G, treatment×G, baseline severity, age, and sex.

Pola GPT-5.6 Sol

Uses a more appropriate causal inference method to properly account for treatment-confounder feedback.

Used a new-user marginal structural Cox model: excluded 818 flagged prevalent users, modeled treatment initiation with stabilized inverse-probability weights using baseline covariates and current biomarker, and treated exposure as time-varying with a 90-day efficacy lag.

Kanggo nggayuh kinerja meh sampurna, dibutuhake evaluasi sing bisa ngukur kemajuan kanthi andal lan ngenali ing endi model isih gagal. Benchmark kaya GeneBench-Pro bisa mbantu ngowahi kekurangan kemampuan sing samar dadi perkara sing bisa didiagnosis lan didandani. 

Yen agen bisa kanthi andal ngotomatisasi kelas analisis iki, panemuan ilmiah bisa dipercepat kanthi signifikan. Bukti genetika manungsa wis dadi pusat kanggo prioritisasi target lan tindak lanjut translasi, amarga mekanisme sing didhukung genetika luwih mungkin ngasilake terapi sing disetujoni.

Sementara iku, biaya sekuensing wis anjlok, lan dataset skala biobank saiki ngubungake informasi molekuler, fenotipik, lan catatan kesehatan kanthi jembar sing durung tau ana. Faktor pembates saiki pindhah saka ngasilake data menyang ngowahi informasi dadi wawasan sing bisa ditindaklanjuti. Model sing bisa konsisten nindakake analisis sing saiki ditangani tim ahli manungsa bisa ngowahi riset industri kanthi nyepetake triase hipotesis, tindak lanjut target, lan siklus iterasi antarane pangasilan data lan pengambilan keputusan.

GeneBench-Pro minangka upaya awal kanggo ngevaluasi katrampilan sing luwih abstrak ing penilaian ilmiah sing apik sing diduweni wong berpengalaman. Katrampilan iki ngidini dheweke ngrasa lan ngenali analisis awal sing paling janjeni, ngiterasi lan mbenakake pikirane nalika data mbantah asumsi awal, lan tekan kesimpulan sing bisa dadi dasar keputusan klinis, akademik, utawa bisnis ing hilir. 

Kita ngarepake manawa nalika kemampuan model maju, benchmark sing nyelidiki kemampuan model ing tingkat abstraksi sing luwih dhuwur iki bakal saya migunani, ngluwihi benchmark sing mung nguji kawruh buku utawa kemampuan nindakake analisis rutin.

Pangarang

OpenAI

Terus maca

Deleng kabeh
A near-autonomous AI chemist improves a challenging reaction
Kimiawan AI sing meh otonom ningkatake reaksi sing angel ing kimia medisinal

Riset

LifeSciBench 1x1
Ngenalaké LifeSciBench

Riset

Production Resampling > Art Card
Memprediksi prilaku model sadurunge rilis kanthi nyimulasi deployment

Riset