Preskočite na glavni sadržaj
OpenAI

30. juni 2026.

IstraživanjePublikacija

Predstavljamo GeneBench-Pro

Mjerilo na istraživačkom nivou koje pokazuje kako se UI agenti snalaze u dvosmislenostima i donose važne odluke u računarskoj biologiji.

Pročitajte rad(otvara se u novom prozoru)
Učitavanje…

Naučni podaci rijetko dolaze s uputstvima. Istraživači moraju odlučiti da li obrazac odražava biologiju ili šum, da li podaci podržavaju postavljeno pitanje i kako svaki rezultat treba promijeniti njihove naredne korake. AI agenti su sve sposobniji za izvođenje složenih analiza, ali pravo naučno istraživanje ne zavisi samo od prisjećanja činjenica ili praćenja unaprijed definisanog toka rada, već i od donošenja ovih viših prosudbi.

Danas predstavljamo GeneBench-Pro — zahtjevan test istraživačkog nivoa za provjeru mogu li modeli obraditi vrstu analize koja se u velikoj mjeri oslanja na prosuđivanje, a koju zahtijeva računarska biologija u stvarnom svijetu. Nadovezuje se na GeneBench⁠(otvara se u novom prozoru) kako bi obuhvatio teže, realističnije zadatke iz genomike, kvantitativne biologije i translacijske medicine, bilježeći složenost, iterativnu prirodu i dvosmislenost naučnog istraživanja u računarskoj biologiji. 

Do sada je bilo malo uvjerljivih procjena prosudbenih odluka na nivou sistema koje otežavaju komputaciona istraživanja u stvarnim uslovima. To obuhvata rješavanje nejasnoća, preispitivanje pretpostavki, odabir ispravnog puta analize i znanje o tome kada je rezultat spreman za donošenje odluke. Budući da su ove vještine teško formalizirati, teško ih je i rigorozno procijeniti, iako slabosti u njima sve više ograničavaju ukupne performanse vještačke inteligencije.

Dijagram pod naslovom „Jaz u referentnom vrednovanju u biologiji” koji poredi tradicionalne tokove rada za referentno vrednovanje sa cjelovitom naučnom analizom od početka do kraja, prikazujući dodatne korake kao što su predobrada, modeliranje, dijagnostika i iterativno usavršavanje prije donošenja naučnog zaključka.

GeneBench-Pro je osmišljen da precizno mjeri ove sposobnosti višeg nivoa. U okviru GeneBench-Pro-a, „istraživački ukus“ definišemo kao nizove prosudbenih odluka koje oblikuju analizu: koja pitanja podaci mogu potkrijepiti, kako bi rane dijagnostičke provjere trebale promijeniti model ili estimand, te kada početni plan treba revidirati. Svaki GeneBench-Pro zadatak daje modelu realističan i neuredan skup podataka, kratak eksperimentalni kontekst i ciljni estimand povezan s odlukom koja slijedi u daljem procesu. Da bi tačno odgovorio, model mora istražiti podatke, odabrati odgovarajući analitički pristup, uključiti se u iterativni proces eksperimentisanja i dati konačan odgovor.

Izrada skupa podataka

U biologiji, trošak generisanja podataka (npr. sekvenciranja genoma) dramatično je pao, a neki istraživači sada tvrde⁠(otvara se u novom prozoru) da ograničavajući faktor više nije prikupljanje uzoraka, već naknadna računska obrada i analiza. GeneBench-Pro je osmišljen za procjenu napretka u rješavanju tog uskog grla, s Br. 129 pitanja koja obuhvataju širok raspon postavki i metoda iz oblasti računarske biologije.

Atlas domena: 129 problema u 10 domena i 21 poddomena

Koristi tipke sa strelicama za kretanje između referentnih zadataka. Detalji odabranog problema prikazani su u nastavku.

Klikni na tačku iznad da saznaš više o benchmark problemu.

Ovaj atlas pruža uvid u opseg GeneBench–Pro. Posjeti stranicu sa studijama slučaja i istraži 10 reprezentativnih pitanja detaljnije.

GeneBench-Pro je također osmišljen da izbjegne uobičajene propuste u benchmark testovima. Mnogi biološki benchmark testovi dugog horizonta konstruiraju višekoračna pitanja oko nesređenih historijskih skupova podataka, pri čemu možda ne postoji jedan jedini ispravan put kroz analizu. Jedan agent može odabrati jednu odbranjivu graničnu vrijednost, dok drugi može odabrati drugačiju, ali jednako odbranjivu opciju, što više odražava proizvoljne izbore koje je napravio kreator benchmarka nego bilo kakve suštinske razlike u performansama modela. Može se dogoditi i obrnuto: ako je problem previše numerički neosjetljiv, agent može napraviti fundamentalne greške u analizi i ipak proizvesti rezultat koji prolazi.

Da bi se izbjegli ovi načini neuspjeha, svaki GeneBench-Pro problem izrađen je sintetički: poznajemo punu kauzalnu strukturu i direktno simuliramo proces generiranja podataka. To nam omogućava da prilagodimo složenost svakog problema, osiguramo da razumne razlike u subjektivnim analitičkim izborima i dalje daju prihvaćene numeričke rezultate, te provjerimo (kroz studije ablacije) da uvjerljive, ali netačne analize ne prolaze. Zatim vršimo reviziju nacrta problema putem detaljnih analiza tragova kako bismo provjerili curenje podataka i nenamjerne puteve do rješenja. To nam daje sigurnost da dobijanje tačnog odgovora zavisi od odabira ispravnog analitičkog pristupa, a ne od iskorištavanja prečice ili usklađivanja s proizvoljnom preferencijom autora.

Dijagram naslovljen „izrada i validacija GeneBench-Pro problema“, koji prikazuje tok rada od izrade izvršivog zadatka kroz pregled, provjere robusnosti, testiranje agenata, stručni pregled, reviziju i dovršen referentni problem.

Poslali smo 82 od 129 pitanja iz GeneBench-Pro-a vanjskim stručnjacima za tu oblast, uključujući studente postdiplomskih studija, postdoktorske istraživače, naučnike iz industrije i profesore. Recenzenti su procijenili realističnost svakog problema, da li se ciljni odgovor mogao identificirati i da li su metode i estimatori bili odgovarajući. Povratne informacije su korištene za poboljšanje problema.

1 od 2
“Zadaci koje sam pregledao bili bi zahtjevni za studenta postdiplomskog studija da ih riješi bez ponovljenih povratnih informacija iskusnog mentora. Podaci su sadržavali tehničke probleme i probleme kontrole kvaliteta koji su zahtijevali pažljivu i promišljenu analizu podataka, uz svijest o potencijalnim zamkama, kako bi se zadatak uspješno dovršio; nije se jednostavno radilo o primjeni neke gotove metode na čiste i dobro uređene podatke.”
Alexander Strudwick Young, docent iz ljudske genetike na UCLA-u

Evaluacija i ocjenjivanje

Svaki GeneBench-Pro zadatak je samostalna naučna analiza. Agenti dobijaju pristup izolovanom radnom prostoru s kratkim upitom, datotekama s podacima i standardnim bioinformatičkim softverskim stekom koji uključuje Python, biblioteke za naučno računarstvo i osnovne pakete za genomiku poput PLINK 2.0 (iako problemi ne zahtijevaju alate specifične za domen).

Odluka o omjeru koristi i rizika terapije tumora zasnovana na strukturnim varijantama

A molecular tumor board registry contains trial-eligible advanced solid-tumor cases considered for a TXR1-directed inhibitor. Estimate, for tumors with SV-driven TXR1 target-mediated activation at time zero, the marginal effect of TXR1i versus non-TXR1 systemic therapy on week-16 clinical benefit as if all patients had an assessable week-16 visit. Also estimate the 8-week treatment-limiting toxicity/discontinuation risk under TXR1i in the same target population. Report net clinical utility = benefit risk difference (percentage points) - 0.35 * toxicity risk (percentage points), and choose therapy_class_code 1 if TXR1i has positive net utility and 0 otherwise. 

Use percentage-point units for all non-code quantities. Positive benefit means TXR1i improves week-16 clinical benefit relative to non-TXR1 systemic therapy.

These data came from a real experiment; you will be graded not just on numerical correctness but the quality of analytical reasoning you exhibit; do not attempt to take any shortcuts.

Return your final answer as exactly one JSON object.
Do not wrap the JSON in markdown.
Do not add prose before or after the JSON.
Do not omit any keys shown in the example.
Return the JSON object in your final answer:

JSON

1
{
2
  "answer": {
3
    "therapy_class_code": <int>,
4
    "benefit_rd_pp": <float>,
5
    "toxicity_dropout_risk_pp": <float>,
6
    "net_clinical_utility_pp": <float>
7
  },
8
  "reasoning": "<description of method and QC>"
9
}

Budući da kontrolišemo cjelokupan proces generisanja podataka, možemo deterministički ocjenjivati tačnost u odnosu na poznate ciljne rezultate, izbjegavajući varijabilnost izbora modela i efekte opširnosti koji se javljaju u standardnoj evaluaciji zasnovanoj na rubrici.

Svaki problem također dolazi s bogatim metapodacima, uključujući predviđenu strukturu analize, priložene datoteke s podacima, detaljnu višestraničnu studiju slučaja i ishode stručne recenzije. Potpuno objavljujemo 10 reprezentativnih pitanja GeneBench-Pro na Hugging Face⁠(otvara se u novom prozoru), uz interaktivni web interfejs za njihovo pregledavanje. Konačno, u bliskoj budućnosti ćemo organizaciji Artificial Analysis⁠(otvara se u novom prozoru) dostaviti podskup od 50 pitanja za nezavisno benchmarking.

Rezultati

Naš najjači model, GPT‑5.6 Sol, postiže stopu prolaznosti od 28,7% na najvišem nivou rezonovanja (31,5% kada je omogućen Pro način rada). To je značajan porast u odnosu na vrijeme kada smo počeli graditi originalni GeneBench; u to vrijeme, naš najbolji granični model, GPT‑5, ostvario je rezultat ispod 5%. Napredak na ovom benchmarku sugerira da se granični modeli brzo poboljšavaju, čak i u manje opipljivom naučnom rezonovanju na nivou sistema. Ovim tempom, ovaj benchmark bi mogao biti zasićen do kraja godine.

Rezultati također pokazuju utjecaj skaliranja računalne snage u vrijeme testiranja. Na najnižem nivou rezonovanja, GPT‑5.6 Sol postiže samo jednocifrenu stopu prolaznosti. Na najvišem nivou rezonovanja, GPT‑5.6 Sol rješava gotovo šest puta više pitanja nego GPT‑5.2. radi uz korištenje otprilike dvije trećine tokena.

Poređenja među porodicama modela ukazuju na to da su GPT modeli među najsnažnijim sistemima za naučno rezonovanje na visokom nivou u uslovima kvantitativne nesigurnosti. Razlika u performansama između GPT‑5.6, Razlika u performansama između GPT‑5.5 i vodećih modela otvorenog koda, kao što je GLM 5.2, znatno je veća nego što bismo očekivali ekstrapolacijom iz referentnih testova za kodiranje⁠(otvara se u novom prozoru), što ukazuje na to da su modeli otvorenog koda više specijalizirani za kodiranje nego za širu sposobnost rezonovanja.

Koristili smo granične GPT modele za evaluaciju i jačanje problema tokom razvoja. Zbog toga smo posumnjali da GeneBench-Pro može biti pristrasan protiv GPT modela u odnosu na druge porodice modela. Međutim, konkurentski modeli su u najboljem slučaju dostizali performanse odgovarajućeg GPT modela u vrijeme objavljivanja, a uglavnom su znatno zaostajali.

Ovi rezultati evaluacije — čak 31,5% na GPT‑5.6 Sol (Pro) — upečatljivi su s obzirom na težinu pitanja iz GeneBench-Pro. U anketi su naši recenzenti procijenili da bi za tipičan GeneBench-Pro problem ljudskom stručnjaku trebalo oko 20–40 sati da ga završi. Pri konzervativnoj procjeni od 200 USD po satu, trošak ljudskog rada za samo jedan problem iznosi hiljade USD. Trenutni AI agenti još uvijek su previše nepouzdani da bi zamijenili ljudske stručnjake, ali razlika u troškovima je velika, pri čemu troškovi inferencije iznose samo nekoliko USD po problemu. To znači da bi čak i djelomična automatizacija uz trenutne mogućnosti mogla stvoriti značajnu ekonomsku i naučnu vrijednost.

1 od 2
“Referentni testovi motivisani su raznolikim spektrom bioloških pitanja, ali … stvarni izazov proizlazi iz eksplorativne analize podataka i rezonovanja na osnovu tih otkrića: prepoznavanja obrazaca i artefakata te odlučivanja o tome da li podatke treba isključiti ili prilagoditi. Ovo podsjeća na neurednu prirodu stvarnih bioloških skupova podataka. Pregled ovih evaluacija ističe koliko su jasni ugovori rješavača važni za naučno rješavanje problema zasnovano na agentima. Drugačija formulacija upita ili specifikacija zadatka može značajno utjecati na to koje se analize čine dozvoljenim.”
Cyrillus Tan, postdoktorski istraživački saradnik u New York Genome Centeru

Ipak, činjenica da granični modeli i dalje rješavaju manje od trećine ovih problema pokazuje da postoji značajan prostor za poboljšanje. Modeli mogu ostvariti djelimičan napredak u rješavanju zahtjevnih problema, ali imaju poteškoća da zatvore inferencijalnu petlju. Ovaj obrazac neuspjeha odražava razliku između ljudskih stručnjaka i početnika. Stručnjaci koriste svoje iskustvo kako bi postavili problem u odgovarajući okvir i prilagodili svoj pristup, dok početnici iznose zapažanja, ali se muče da ih integriraju u širi kontekst problema.

Problem: farmakogenomski odgovor vrijeme do događaja sa terapijom koja se mijenja tokom vremena

Započinjanje liječenja, genotip-specifičan odgovor, odgođena farmakodinamika, indikatori prevalentnih korisnika i longitudinalni biomarkeri zajednički određuju kauzalni estimand preživljavanja.

GPT-5.5 obrazac

Handles treatment timing with a conventional Cox outcome model but does not address treatment-confounder feedback.

Fit a counting-process Cox model with treatment as a time-varying exposure, effective only after treat_start+90 days ... The model included G, treatment×G, baseline severity, age, and sex.

GPT-5.6 Sol obrazac

Uses a more appropriate causal inference method to properly account for treatment-confounder feedback.

Used a new-user marginal structural Cox model: excluded 818 flagged prevalent users, modeled treatment initiation with stabilized inverse-probability weights using baseline covariates and current biomarker, and treated exposure as time-varying with a 90-day efficacy lag.

Postizanje gotovo savršenih performansi zahtijevat će evaluacije koje pouzdano mjere napredak i utvrđuju gdje modeli još uvijek zakazuju. Benchmark testovi poput GeneBench-Pro mogu pomoći da se nejasan nedostatak sposobnosti pretvori u nešto što možemo dijagnosticirati i poboljšati. 

Ako agenti mogu pouzdano automatizirati ovu vrstu analize, mogli bi značajno ubrzati proces naučnih otkrića. Genetski dokazi kod ljudi već su ključni za prioritizaciju ciljeva i translacijsko daljnje praćenje, jer je za mehanizme s genetskom podrškom mnogo vjerovatnije da će dovesti do odobrenih terapija.

U međuvremenu, troškovi sekvenciranja su dramatično pali, a skupovi podataka razmjera biobanki sada povezuju molekularne, fenotipske i informacije iz Zdravlja zapisa u dosad nezabilježenom opsegu. Ograničavajući faktor se pomjera s generisanja podataka na pretvaranje informacija u uvide na osnovu kojih se može djelovati. Modeli koji mogu dosljedno obavljati analize koje sada provode timovi ljudskih stručnjaka mogli bi transformisati industrijska istraživanja ubrzavanjem trijaže hipoteza, daljnjeg praćenja ciljeva i iterativnog ciklusa između generiranja podataka i donošenja odluka.

GeneBench-Pro predstavlja početni pokušaj procjene apstraktnijih vještina uključenih u dobro naučno rasuđivanje koje posjeduju iskusni stručnjaci. Ove vještine im omogućavaju da intuitivno naslute i identificiraju najperspektivnije početne analize, da iterativno preispituju i revidiraju svoje razmišljanje kada podaci proturječe početnim pretpostavkama, te da dođu do zaključaka od kojih mogu zavisiti daljnje kliničke, akademske ili poslovne odluke. 

Očekujemo da će, kako sposobnosti modela budu napredovale, referentni testovi koji ispituju sposobnosti modela na ovim višim nivoima apstrakcije postajati sve korisniji, iznad onih koji jednostavno testiraju teorijsko znanje ili sposobnost izvršavanja rutinskih analiza.

Autor

OpenAI

Nastavite čitati

Prikažite sve
A near-autonomous AI chemist improves a challenging reaction
Gotovo autonomni AI hemičar poboljšava zahtjevnu reakciju u medicinskoj hemiji

Istraživanje

LifeSciBench 1x1
Predstavljamo LifeSciBench

Istraživanje

Production Resampling > Art Card
Predviđanje ponašanja modela prije objave simuliranjem implementacije

Istraživanje