Preskočite na glavni sadržaj
OpenAI

30. lipnja 2026.

IstraživanjePublikacija

Predstavljamo GeneBench-Pro

Referentni test na istraživačkoj razini koji mjeri kako se agenti umjetne inteligencije snalaze u neodređenosti i donose prosudbe s dalekosežnim posljedicama u računalnoj biologiji.

Pročitajte rad(otvara se u novom prozoru)
Učitavanje…

Znanstveni podaci rijetko dolaze s uputama. Istraživači moraju odlučiti odražava li obrazac biologiju ili šum, mogu li podaci podržati postavljeno pitanje i kako bi svaki rezultat trebao utjecati na njihove sljedeće korake. AI agenti sve su sposobniji provoditi složene analize, no stvarno znanstveno istraživanje ne ovisi samo o sjećanju na činjenice ili praćenju unaprijed definiranog radnog tijeka, nego i o donošenju takvih prosudbi višeg reda.

Danas predstavljamo GeneBench-Pro — izazovno mjerilo istraživačke razine za testiranje može li se modeli nositi s vrstom analize koja uvelike ovisi o prosudbi, kakvu zahtijevaju stvarne primjene računalne biologije. Nadovezuje se na GeneBench⁠(otvara se u novom prozoru) kako bi obuhvatio teže, realističnije zadatke u genomici, kvantitativnoj biologiji i translacijskoj medicini, odražavajući složenost, iterativnu prirodu i dvosmislenost znanstvenih istraživanja u računalnoj biologiji. 

Dosad je bilo malo uvjerljivih procjena sustavnih prosudbi koje otežavaju računalna istraživanja u stvarnim uvjetima. To uključuje rješavanje dvosmislenosti, preispitivanje pretpostavki, odabir ispravnog puta analize i znanje kada je rezultat spreman za donošenje odluke. Budući da su te vještine teško formalizirati, teško ih je i rigorozno procijeniti, čak i dok slabosti u njima sve više ograničavaju ukupne performanse AI-ja.

Dijagram pod naslovom „Jaz u referentnoj mjeri u biologiji“ koji uspoređuje tradicionalne tijekove rada za referentnu mjeru s cjelovitom znanstvenom analizom od početka do kraja, prikazujući dodatne korake poput pretprocesiranja, modeliranja, dijagnostike i iterativnog usavršavanja prije donošenja znanstvenog zaključka.

GeneBench-Pro osmišljen je za precizno mjerenje sposobnosti više razine. Unutar GeneBench-Proa „istraživački ukus“ definiramo kao nizove prosudbenih odluka koje oblikuju analizu: koja pitanja podaci mogu poduprijeti, kako bi rana dijagnostika trebala promijeniti model ili estimand te kada je potrebno revidirati početni plan. Svaki zadatak GeneBench-Proa modelu daje realističan i neuredan skup podataka, kratak eksperimentalni kontekst i ciljni estimand povezan s daljnjom odlukom. Da bi točno odgovorio, model mora istražiti podatke, odabrati odgovarajući analitički pristup, sudjelovati u iterativnom procesu eksperimentiranja i pružiti konačan odgovor.

Izrada skupa podataka

U biologiji je trošak generiranja podataka (npr. sekvenciranja genoma) dramatično pao, a neki istraživači sada tvrde⁠(otvara se u novom prozoru) da ograničavajući čimbenik više nije prikupljanje uzoraka, nego naknadna računalna obrada i analiza. GeneBench-Pro osmišljen je za procjenu napretka u rješavanju tog uskog grla, sa 129 pitanja koja obuhvaćaju širok raspon scenarija i metoda računalne biologije.

Atlas domena: 129 problema u 10 domena i 21 poddomena

Koristite strelice na tipkovnici za kretanje između referentnih problema. Pojedinosti odabranog problema prikazuju se u nastavku.

Kliknite na gore prikazanu točku kako biste saznali više o referentnom problemu.

Ovaj atlas pruža pregled opsega GeneBench-Pro. Posjetite stranicu studija slučaja kako biste detaljnije istražili 10 reprezentativnih pitanja.

GeneBench-Pro također je osmišljen da izbjegne uobičajene neuspjehe referentnih testova. Mnoga dugoročna biološka mjerila uspješnosti postavljaju višekoračna pitanja oko neurednih povijesnih skupova podataka, gdje možda ne postoji jedinstven ispravan put kroz analizu. Jedan agent mogao bi odabrati jednu opravdanu graničnu vrijednost, dok bi drugi mogao odabrati drukčiju, ali jednako opravdanu opciju, što više odražava proizvoljne odluke tvorca referentnih vrijednosti nego bilo kakve temeljne razlike u performansama modela. Može se dogoditi i obratno: ako je problem previše numerički neosjetljiv, agent može napraviti temeljne pogreške u analizi i ipak proizvesti prolazan rezultat.

Kako bismo izbjegli te oblike neuspjeha, svaki problem u GeneBench-Prou izrađen je sintetički: poznata nam je potpuna kauzalna struktura i izravno simuliramo proces generiranja podataka. To nam omogućuje da prilagodimo složenost svakog problema, osiguramo da razumne razlike u subjektivnim analitičkim izborima i dalje daju prihvaćene numeričke rezultate te provjerimo (putem ablacijskih studija) da uvjerljive, ali netočne analize ne prolaze. Zatim revidiramo nacrte zadataka kroz detaljne analize tragova kako bismo provjerili postoji li curenje podataka i nepredviđeni putovi do rješenja. To nam daje pouzdanje da dobivanje točnog odgovora ovisi o odabiru ispravnog analitičkog pristupa, a ne o korištenju prečaca ili usklađivanju s proizvoljnom autorovom preferencijom.

Dijagram naslovljen „Izrada i validacija problema GeneBench-Pro”, koji prikazuje tijek rada od izrade izvršivog zadatka preko pregleda, provjera robusnosti, testiranja agenata, stručnog pregleda i revizije do dovršenog referentnog problema.

Poslali smo 82 od 129 pitanja iz skupa GeneBench-Pro vanjskim stručnjacima iz tog područja, uključujući studente diplomskih i poslijediplomskih studija, postdoktorske istraživače, znanstvenike iz industrije i profesore. Recenzenti su ocijenili realističnost svakog problema, mogućnost utvrđivanja ciljnog odgovora te prikladnost metoda i procjenitelja. Povratne informacije upotrijebljene su za poboljšanje problema.

1 od 2
“Problemi koje sam pregledao bili bi izazovni za poslijediplomskog studenta za dovršetak bez višekratnih povratnih informacija iskusnog mentora. Podaci su sadržavali tehničke probleme i probleme kontrole kvalitete koji su zahtijevali pažljivu i promišljenu analizu podataka, uz svijest o mogućim zamkama, kako bi se posao uspješno dovršio; nisu samo primjenjivali neku gotovu metodu na čiste i dobro kurirane podatke.”
Alexander Strudwick Young, docent humane genetike na UCLA

Vrednovanje i ocjenjivanje

Svaki problem GeneBench-Pro samostalan je znanstveni zadatak. Agenti dobivaju pristup izoliranom radnom prostoru s kratkim upitom, podatkovnim datotekama i standardnim bioinformatičkim softverskim okruženjem koje uključuje Python, biblioteke za znanstveno računarstvo i osnovne pakete za genomiku poput PLINK 2.0 (iako problemi ne zahtijevaju alate specifične za domenu).

Odluka o omjeru koristi i rizika terapije tumora vođena strukturnim varijantama

A molecular tumor board registry contains trial-eligible advanced solid-tumor cases considered for a TXR1-directed inhibitor. Estimate, for tumors with SV-driven TXR1 target-mediated activation at time zero, the marginal effect of TXR1i versus non-TXR1 systemic therapy on week-16 clinical benefit as if all patients had an assessable week-16 visit. Also estimate the 8-week treatment-limiting toxicity/discontinuation risk under TXR1i in the same target population. Report net clinical utility = benefit risk difference (percentage points) - 0.35 * toxicity risk (percentage points), and choose therapy_class_code 1 if TXR1i has positive net utility and 0 otherwise. 

Use percentage-point units for all non-code quantities. Positive benefit means TXR1i improves week-16 clinical benefit relative to non-TXR1 systemic therapy.

These data came from a real experiment; you will be graded not just on numerical correctness but the quality of analytical reasoning you exhibit; do not attempt to take any shortcuts.

Return your final answer as exactly one JSON object.
Do not wrap the JSON in markdown.
Do not add prose before or after the JSON.
Do not omit any keys shown in the example.
Return the JSON object in your final answer:

JSON

1
{
2
  "answer": {
3
    "therapy_class_code": <int>,
4
    "benefit_rd_pp": <float>,
5
    "toxicity_dropout_risk_pp": <float>,
6
    "net_clinical_utility_pp": <float>
7
  },
8
  "reasoning": "<description of method and QC>"
9
}

Budući da kontroliramo cjelokupni proces generiranja podataka, možemo deterministički ocjenjivati točnost prema poznatim ciljevima, izbjegavajući varijabilnost izbora modela i učinke opširnosti prisutne u standardnoj procjeni temeljenoj na rubrikama.

Svaki problem također dolazi s opsežnim metapodacima, uključujući predviđenu strukturu analize, priložene podatkovne datoteke, detaljnu studiju slučaja na više stranica i rezultate stručne recenzije. U potpunosti objavljujemo 10 reprezentativnih pitanja iz GeneBench-Proa kao otvoreni sadržaj na platformi Hugging Face⁠(otvara se u novom prozoru), uz interaktivno mrežno sučelje za njihovo pregledavanje. Naposljetku, u bliskoj ćemo budućnosti organizaciji Artificial Analysis⁠(otvara se u novom prozoru) dostaviti podskup od 50 pitanja za neovisno usporedno vrednovanje koje provodi treća strana.

Rezultati

Naš najjači model, GPT‑5.6 Sol, postiže stopu prolaznosti od 28,7 % na najvišoj razini rasuđivanja (31,5 % s omogućenom razinom Pro). To je nagli porast u odnosu na vrijeme kada smo počeli razvijati izvorni GeneBench; u to je vrijeme naš najbolji granični model, GPT‑5, ostvario rezultat niži od 5 %. Napredak na ovom referentnom mjerenju sugerira da se granični modeli brzo poboljšavaju, čak i u manje opipljivom znanstvenom rasuđivanju na razini sustava. Ovim tempom, ova bi referentna vrijednost mogla biti zasićena do kraja godine.

Rezultati također pokazuju utjecaj skaliranja računalnih resursa tijekom testiranja. Na najnižoj razini rasuđivanja, GPT‑5.6 Sol postiže tek jednoznamenkastu stopu prolaznosti. Na najvišoj razini rasuđivanja, GPT‑5.6 Sol rješava gotovo šest puta više pitanja nego GPT‑5.2 te čini to koristeći otprilike dvije trećine tokena.

Usporedbe među obiteljima modela upućuju na to da su GPT modeli među najsnažnijim sustavima za znanstveno rasuđivanje na visokoj razini u uvjetima kvantitativne neizvjesnosti. Razlika u performansama između modela GPT‑5.6, GPT‑5.5 i vodećih modela otvorenog kôda poput GLM 5.2 znatno je veći nego što bismo očekivali ekstrapolacijom iz referentnih testova za kodiranje⁠(otvara se u novom prozoru), što ukazuje na to da su modeli otvorenog kôda specijaliziraniji za kodiranje nego za širu sposobnost rasuđivanja.

Koristili smo granične GPT modele za procjenu i jačanje otpornosti na probleme tijekom razvoja. Stoga smo posumnjali da bi GeneBench-Pro mogao biti pristran prema GPT model u odnosu na druge obitelji modela. Međutim, konkurentski su modeli u najboljem slučaju dostizali performanse odgovarajućeg GPT modela u trenutku izlaska, a obično su znatno zaostajali za njim.

Ovi rezultati procjene — čak 31,5 % na modelu GPT‑5.6 Sol (Pro) — dojmljivi su s obzirom na zahtjevnost pitanja iz GeneBench-Pro. U anketi su naši recenzenti procijenili da bi ljudskom stručnjaku za rješavanje tipičnog zadatka GeneBench-Pro trebalo oko 20 do 40 sati. Uz konzervativnu procjenu od 200 USD po satu, trošak ljudskog rada za jedan jedini problem penje se na nekoliko tisuća dolara. Trenutačni AI agenti još su uvijek previše nepouzdani da bi zamijenili ljudske stručnjake, no razlika u troškovima velika je, pri čemu troškovi inferencije iznose samo nekoliko dolara po problemu. To znači da bi čak i djelomična automatizacija uz trenutačne mogućnosti mogla stvoriti značajnu gospodarsku i znanstvenu vrijednost.

1 od 2
“Referentna mjerila motivirana su raznolikim nizom bioloških pitanja, ali stvarni izazov proizlazi iz istraživačke analize podataka i rasuđivanja o tim otkrićima: prepoznavanja obrazaca i artefakata te odlučivanja treba li podatke isključiti ili prilagoditi. Ovo nalikuje neurednoj prirodi stvarnih bioloških skupova podataka. Pregled ovih procjena ističe koliko su jasni ugovori rješavača zadataka važni za znanstveno rješavanje problema pomoću agenata. Različita formulacija upita ili specifikacija zadatka može uvelike utjecati na to koje se analize čine dopuštenima.”
Cyrillus Tan, poslijedoktorski istraživački suradnik u New York Genome Centeru

Ipak, činjenica da granični modeli i dalje rješavaju manje od trećine tih problema pokazuje da postoji znatan prostor za poboljšanje. Modeli mogu ostvariti djelomičan napredak na zahtjevnim problemima, ali teško uspijevaju zatvoriti inferencijsku petlju. Ovaj obrazac neuspjeha odražava razliku između ljudskih stručnjaka i početnika. Stručnjaci koriste svoje iskustvo kako bi postavili okvir problema i prilagodili svoj pristup, dok početnici iznose opažanja, ali ih teško uspijevaju uklopiti u širi kontekst problema.

Problem: farmakogenomski odgovor vremena do događaja s vremenski promjenjivim liječenjem

Započinjanje liječenja, genotipu specifičan odgovor, odgođena farmakodinamika, oznake prevalentnih korisnika i longitudinalni biomarkeri zajednički određuju kauzalnu procjenu preživljavanja.

Uzorak GPT-5.5

Handles treatment timing with a conventional Cox outcome model but does not address treatment-confounder feedback.

Fit a counting-process Cox model with treatment as a time-varying exposure, effective only after treat_start+90 days ... The model included G, treatment×G, baseline severity, age, and sex.

GPT-5.6 obrazac Sol

Uses a more appropriate causal inference method to properly account for treatment-confounder feedback.

Used a new-user marginal structural Cox model: excluded 818 flagged prevalent users, modeled treatment initiation with stabilized inverse-probability weights using baseline covariates and current biomarker, and treated exposure as time-varying with a 90-day efficacy lag.

Postizanje gotovo savršenih performansi zahtijevat će procjene koje istodobno pouzdano mjere napredak i utvrđuju gdje modeli još uvijek zakazuju. Referentni testovi poput GeneBench-Pro mogu pomoći da se nejasan nedostatak sposobnosti pretvori u nešto što možemo dijagnosticirati i poboljšati. 

Ako agenti mogu pouzdano automatizirati ovu vrstu analize, mogli bi znatno ubrzati znanstvena otkrića. Genetički ljudski dokazi već imaju središnju ulogu u određivanju prioriteta terapijskih meta i translacijskim istraživanjima, jer je znatno vjerojatnije da će mehanizmi potkrijepljeni genetičkim dokazima dovesti do razvoja odobrenih terapija.

U međuvremenu su troškovi sekvenciranja naglo pali, a skupovi podataka razmjera biobanki sada povezuju molekularne, fenotipske i podatke iz evidencija zdravlja u dosad nezabilježenom opsegu. Ograničavajući čimbenik prelazi s generiranja podataka na pretvaranje informacija u uvide na temelju kojih se može djelovati. Modeli koji mogu dosljedno provoditi analize kojima se sada bave timovi ljudskih stručnjaka mogli bi transformirati industrijska istraživanja ubrzavanjem trijaže hipoteza, praćenjem ciljeva i iteracijskog ciklusa između generiranja podataka i donošenja odluka.

GeneBench-Pro predstavlja početni pokušaj procjene apstraktnijih vještina uključenih u dobru znanstvenu prosudbu koje posjeduju iskusne osobe. Te im vještine omogućuju da intuitivno naslute i identificiraju najperspektivnije početne analize, iterativno preispituju i revidiraju svoj način razmišljanja kada podaci proturječe početnim pretpostavkama te dođu do zaključaka o kojima mogu ovisiti daljnje kliničke, akademske ili poslovne odluke. 

Očekujemo da će, kako sposobnosti modela budu napredovale, referentni testovi koji ispituju sposobnosti modela na višim razinama apstrakcije postajati sve korisniji, nadilazeći one koji jednostavno testiraju knjiško znanje ili sposobnost provođenja rutinskih analiza.

Autor

OpenAI

Nastavite čitati

Prikaži sve
A near-autonomous AI chemist improves a challenging reaction
Gotovo autonomni AI sustav za kemiju poboljšava zahtjevnu reakciju u medicinskoj kemiji

Istraživanje

LifeSciBench 1x1
Predstavljamo LifeSciBench

Istraživanje

Production Resampling > Art Card
Predviđanje ponašanja modela prije objave simuliranjem implementacije

Istraživanje