Aqbeż għall-kontenut prinċipali
OpenAI

30 ta’ Ġunju 2026

RiċerkaPubblikazzjoni

GeneBench-Pro: introduzzjoni

Benchmark ta’ livell ta’ riċerka li jkejjel kif l-aġenti tal-IA jinnavigaw l-ambigwità u jagħmlu ġudizzji b’konsegwenzi sinifikanti fil-bijoloġija komputazzjonali.

Aqra l-karta(jinfetaħ f’tieqa ġdida)
Qed jillowdja…

Id-dejta xjentifika rarament tasal b’istruzzjonijiet. Ir-riċerkaturi jridu jiddeċiedu jekk xejra tirrifletti l-bijoloġija jew storbju, jekk id-dejta tistax tappoġġa l-mistoqsija li qed titqajjem, u kif kull riżultat għandu jbiddel dak li jagħmlu wara. L-aġenti tal-IA qed isiru dejjem aktar kapaċi jwettqu analiżijiet kumplessi, iżda r-riċerka xjentifika vera tiddependi wkoll mhux sempliċement fuq it-tfakkir tal-fatti jew fuq is-segwitu ta’ fluss tax-xogħol definit minn qabel, iżda wkoll fuq it-teħid ta’ dawn il-ġudizzji ta’ ordni ogħla.

Illum, qed nintroduċu GeneBench-Pro—benchmark impenjattiv, ta’ livell ta’ riċerka, biex jiġi ttestjat jekk il-mudelli jistgħux jimmaniġġaw it-tip ta’ analiżi li tiddependi ħafna fuq il-ġudizzju li teħtieġ il-bijoloġija komputazzjonali fid-dinja reali. Dan jespandi fuq GeneBench⁠(jinfetaħ f’tieqa ġdida) biex ikopri kompiti aktar diffiċli u aktar realistiċi fl-oqsma tal-ġenomika, tal-bijoloġija kwantitattiva u tal-mediċina translazzjonali, filwaqt li jirrifletti l-kumplessità, in-natura iterattiva u l-ambigwità tar-riċerka xjentifika fil-bijoloġija komputazzjonali. 

Sal-lum, kien hemm ftit valutazzjonijiet konvinċenti tad-deċiżjonijiet ta’ ġudizzju fil-livell tas-sistema li jagħmlu r-riċerka komputazzjonali fid-dinja reali diffiċli. Dawn jinkludu l-immaniġġjar tal-ambigwità, ir-reviżjoni tas-suppożizzjonijiet, l-għażla tal-mogħdija ta’ analiżi korretta, u li tkun taf meta riżultat ikun lest biex tittieħed deċiżjoni fuqu. Minħabba li dawn il-ħiliet huma diffiċli biex jiġu formalizzati, huma wkoll diffiċli biex jiġu evalwati b’mod rigoruż, anki waqt li d-dgħufijiet fihom qed dejjem aktar jillimitaw il-prestazzjoni ġenerali tal-AI.

Dijagramma bit-titlu “Id-distakk fil-benchmarks fil-bijoloġija” li tqabbel flussi tax-xogħol tradizzjonali ta’ benchmarks ma’ analiżi xjentifika mill-bidu sal-aħħar, u turi passi addizzjonali bħall-preproċessar, l-immudellar, id-dijanjostiċi u l-irfinar iterattiv qabel ma tintlaħaq konklużjoni xjentifika.

GeneBench-Pro huwa ddisinjat biex ikejjel b’mod preċiż dawn il-kapaċitajiet ta’ livell ogħla. Fi ħdan GeneBench-Pro, niddefinixxu “sens ta’ riċerka” bħala s-sekwenzi ta’ deċiżjonijiet ta’ ġudizzju li jsawru analiżi: liema mistoqsijiet tista’ ssostni d-data, kif id-dijanjostiċi bikrija għandhom ibiddlu l-mudell jew l-estimand, u meta pjan inizjali jkun jeħtieġ li jiġi rivedut. Kull problema ta’ GeneBench-Pro tagħti lill-mudell sett ta’ data realistiku u mħawwad, kuntest sperimentali qasir, u estimand fil-mira marbut ma’ deċiżjoni sussegwenti. Biex iwieġeb b’mod korrett, il-mudell irid jesplora d-dejta, jagħżel approċċ analitiku xieraq, jidħol fi proċess iterattiv ta’ esperimentazzjoni, u jipprovdi tweġiba finali.

Kostruzzjoni tas-sett tad-data

Fil-bijoloġija, l-ispiża tal-ġenerazzjoni tad-dejta (eż., is-sekwenzjar tal-ġenoma) naqset b’mod drammatiku, u xi riċerkaturi issa jargumentaw⁠(jinfetaħ f’tieqa ġdida) li l-fattur limitanti m’għadux il-ġbir tal-kampjuni iżda l-komputazzjoni u l-analiżi sussegwenti. GeneBench-Pro huwa mfassal biex jivvaluta l-progress fl-indirizzar ta’ dak l-ostaklu, b’129 mistoqsija li jkopru firxa wiesgħa ta’ ambjenti u metodi tal-bijoloġija komputazzjonali.

Atlas tad-Dominji: 129 problemi f’ 10 dominji u 21 sottodominji

Uża t-tasti tal-vleġeġ biex timxi bejn il-problemi ta’ punt ta' riferiment. Id-dettalji tal-problema magħżula jidhru hawn taħt.

Agħfas fuq tikka hawn fuq biex titgħallem dwar problema ta’ punt ta' riferiment.

Dan l-atlas jagħti ħarsa minn qabel lejn il-firxa wiesgħa ta’ GeneBench-Pro. Żur il-paġna tal-istudji tal-każijiet biex tesplora 10 mistoqsijiet rappreżentattivi f’aktar dettall.

GeneBench-Pro huwa ddisinjat ukoll biex jevita fallimenti komuni fil-benchmark. Ħafna benchmark tal-bijoloġija b’orizzont twil ifasslu mistoqsijiet b’ħafna passi dwar settijiet ta’ dejta storiċi u diżordinati, fejn jista’ ma jkunx hemm triq waħda korretta fl-analiżi. Aġent jista’ jagħżel qtugħ wieħed ġustifikabbli, filwaqt li ieħor jista’ jagħżel għażla differenti iżda daqstant ġustifikabbli, u dan jirrifletti l-għażliet arbitrarji magħmula minn kreatur benchmark aktar milli differenzi fundamentali fil-prestazzjoni tal-mudell. Jista’ jiġri wkoll il-kuntrarju: jekk problema tkun insensittiva wisq numerikament, aġent jista’ jagħmel żbalji fundamentali f’analiżi u xorta jipproduċi riżultat li jgħaddi.

Biex nevitaw dawn il-modi ta’ falliment, kull problema ta’ GeneBench-Pro tinbena b’mod sintetiku: nafu l-istruttura kawżali sħiħa u nissimolaw direttament il-proċess li jiġġenera d-data. Dan jippermettilna naġġustaw il-kumplessità ta’ kull problema, niżguraw li differenzi raġonevoli fl-għażliet analitiċi suġġettivi xorta jipproduċu riżultati numeriċi aċċettati, u nivverifikaw (permezz ta’ studji ta’ ablazzjoni) li analiżijiet plawżibbli iżda żbaljati jfallu. Imbagħad nawditjaw abbozzi ta’ problemi permezz ta’ analiżijiet dettaljati tat-traċċi biex niċċekkjaw għal tnixxija ta’ informazzjoni u mogħdijiet ta’ soluzzjoni mhux intenzjonati. Dan jagħtina fiduċja li l-kisba tat-tweġiba t-tajba tiddependi fuq l-għażla tal-mogħdija analitika korretta u mhux fuq l-isfruttament ta’ triq qasira jew fuq it-tqabbil ma’ preferenza arbitrarja tal-awtur.

Dijagramma bit-titlu “Kostruzzjoni u validazzjoni ta’ problema ta’ GeneBench-Pro,” li turi fluss tax-xogħol mill-bini ta’ kompitu li jista’ jitħaddem permezz ta’ rieżami, verifiki tar-robustezza, ittestjar tal-aġent, rieżami minn esperti, reviżjoni, u problema ta’ benchmark lesta.

Bgħatna 82 mill-129 mistoqsija ta’ GeneBench-Pro lil esperti esterni fil-qasam, inklużi studenti ta’ livell postgradwatorju, riċerkaturi postdottorali, xjenzati fl-industrija, u professuri. Ir-reviżuri evalwaw ir-realiżmu ta’ kull problema, jekk it-tweġiba fil-mira setgħetx tiġi identifikata, u jekk il-metodi u l-istimaturi kinux xierqa. Ir-rispons intuża biex jittejbu l-problemi.

1 minn 2
“Il-problemi li eżaminajt kienu jkunu ta’ sfida għal student postgradwat biex isolvihom mingħajr rispons ripetut minn superviżur b’esperjenza. Id-dejta kienet fiha kwistjonijiet tekniċi u ta’ kontroll tal-kwalità li kienu jeħtieġu analiżi tad-dejta bir-reqqa u riflessiva, b’għarfien tal-ostakli potenzjali, biex ix-xogħol jitlesta b’suċċess; ma kinux sempliċement qed japplikaw xi metodu lest għall-użu għal dejta nadifa u kkurata tajjeb.”
Alexander Strudwick Young, Professur Assistenti fit-Tal-Ġenetika Umana fl-UCLA

Evalwazzjoni u għoti tal-gradi

Kull problema ta’ GeneBench-Pro hija analiżi xjentifika awtonoma. L-aġenti jirċievu aċċess għal workspace iżolat bi prompt qasir, fajls tad-data, u stack standard tal-bijoinformatika li jinkludi Python, libreriji tal-komputazzjoni xjentifika, u pakketti bażiċi tal-ġenomika bħal PLINK 2.0 (għalkemm il-problemi ma jeħtiġux għodod speċifiċi għad-dominju).

Deċiżjoni dwar il-benefiċċju u r-riskju tat-terapija tat-tumur ibbażata fuq varjanti strutturali

A molecular tumor board registry contains trial-eligible advanced solid-tumor cases considered for a TXR1-directed inhibitor. Estimate, for tumors with SV-driven TXR1 target-mediated activation at time zero, the marginal effect of TXR1i versus non-TXR1 systemic therapy on week-16 clinical benefit as if all patients had an assessable week-16 visit. Also estimate the 8-week treatment-limiting toxicity/discontinuation risk under TXR1i in the same target population. Report net clinical utility = benefit risk difference (percentage points) - 0.35 * toxicity risk (percentage points), and choose therapy_class_code 1 if TXR1i has positive net utility and 0 otherwise. 

Use percentage-point units for all non-code quantities. Positive benefit means TXR1i improves week-16 clinical benefit relative to non-TXR1 systemic therapy.

These data came from a real experiment; you will be graded not just on numerical correctness but the quality of analytical reasoning you exhibit; do not attempt to take any shortcuts.

Return your final answer as exactly one JSON object.
Do not wrap the JSON in markdown.
Do not add prose before or after the JSON.
Do not omit any keys shown in the example.
Return the JSON object in your final answer:

JSON

1
{
2
  "answer": {
3
    "therapy_class_code": <int>,
4
    "benefit_rd_pp": <float>,
5
    "toxicity_dropout_risk_pp": <float>,
6
    "net_clinical_utility_pp": <float>
7
  },
8
  "reasoning": "<description of method and QC>"
9
}

Minħabba li nikkontrollaw il-proċess kollu tal-ġenerazzjoni tad-dejta, nistgħu nivvalutaw il-korrettezza b’mod deterministiku kontra miri magħrufa, filwaqt li nevitaw il-varjabbiltà tal-għażla tal-mudell u l-effetti tal-verbosità li jinstabu f’evalwazzjoni standard ibbażata fuq rubriki.

Kull problema tiġi wkoll b’metadejta rikka, inkluża l-istruttura maħsuba tal-analiżi, fajls tad-dejta mehmuża, studju tal-każ dettaljat ta’ bosta paġni, u r-riżultati tar-rieżami mill-esperti. Qed nagħmlu disponibbli kompletament b’sors miftuħ 10 mistoqsijiet rappreżentattivi ta’ GeneBench-Pro fuq Hugging Face⁠(jinfetaħ f’tieqa ġdida), b’ interfaċċa web interattiva biex tibbrawżjahom. Fl-aħħar nett, se nipprovdu is-sottosett ta’ 50 mistoqsija lil Artificial Analysis⁠(jinfetaħ f’tieqa ġdida) għal valutazzjoni komparattiva indipendenti minn parti terza fil-futur qarib.

Riżultati

L-aktar mudell b’saħħtu tagħna, GPT‑5.6 Sol, jikseb rata ta’ suċċess ta’ 28.7% fl-ogħla livell ta’ raġunament (31.5% bil-modalità Pro attivata). Din hija żieda qawwija meta mqabbla ma’ meta bdejna nibnu l-GeneBench oriġinali; dak iż-żmien, l-aqwa mudell tal-fruntiera tagħna, GPT‑5, kiseb punteġġ ta’ inqas minn 5%. Il-progress f’dan il-benchmark jissuġġerixxi li l-mudell tal-fruntiera qed jitjiebu malajr, anke f’raġunament xjentifiku inqas tanġibbli fil-livell tas-sistemi. Bir-ritmu attwali, dan il-benchmark jista’ jkun saturat sal-aħħar tas-sena.

Ir-riżultati juru wkoll l-impatt tal-iskalar tal-komputazzjoni fil-ħin tat-test. Fl-iktar livell baxx ta’ raġunament, GPT‑5.6 Sol jikseb biss rata ta’ suċċess b’ċifra waħda. Fl-ogħla livell ta’ raġunament, GPT‑5.6 Sol isolvi kważi sitt darbiet l-għadd ta’ mistoqsijiet li jsolvi GPT‑5.2. jagħmel dan filwaqt li juża madwar żewġ terzi tal-ammont ta’ tokens.

Il-paraguni bejn familji ta’ mudelli jissuġġerixxu li l-mudelli GPT huma fost l-aktar sistemi b’saħħithom fir-raġunament xjentifiku ta’ livell għoli taħt inċertezza kwantitattiva. Id-distakk fil-prestazzjoni bejn GPT‑5.6, Id-distakk bejn GPT‑5.5 u mudell ewlenin b’sors miftuħ bħal GLM 5.2 huwa sinifikament akbar milli konna nistennew meta nagħmlu estrapolazzjoni abbażi ta’ benchmarks tal-kodifikazzjoni⁠(jinfetaħ f’tieqa ġdida), u dan jindika li l-mudelli b’sors miftuħ huma aktar speċjalizzati għall-kodifikazzjoni milli għal kapaċità usa’ ta’ raġunament.

Użajna mudelli GPT ta' quddiem biex nevalwaw u nsaħħu l-problemi matul l-iżvilupp. Għalhekk, issuspettajna li GeneBench-Pro seta’ jkun preġudikat kontra l-mudelli GPT meta mqabbel ma’ familji oħra ta’ mudelli. Madankollu, il-mudelli tal-kompetituri fl-aħjar każ laħqu l-prestazzjoni tal-mudell GPT korrispondenti fiż-żmien tar-rilaxx, u kienu jinqasru b’mod konsiderevoli.

Dawn ir-riżultati tal-evalwazzjoni—li jilħqu sa 31.5% fuq GPT‑5.6 Sol (Pro)—huma impressjonanti meta wieħed iqis id-diffikultà tal-mistoqsijiet ta’ GeneBench-Pro. Fi stħarriġ, ir-reviżuri tagħna stmaw li espert uman kien jieħu madwar 20–40 siegħa biex ilesti problema tipika ta’ GeneBench-Pro. B’rata prudenti ta’ $200 fis-siegħa, dan ifisser li l-ispiża tax-xogħol uman għal problema waħda tilħaq eluf ta’ dollari. L-aġenti attwali tal-IA għadhom inaffidabbli wisq biex jieħdu post l-esperti umani, iżda d-distakk fl-ispejjeż huwa kbir, bl-ispejjeż tal-inferenza jkunu biss ta’ ftit dollari għal kull problema. Dan ifisser li anke awtomazzjoni parzjali bil-kapaċitajiet attwali tista’ toħloq valur ekonomiku u xjentifiku sinifikanti.

1 minn 2
“Il-punti ta’ riferiment huma mmotivati minn firxa diversa ta’ mistoqsijiet bijoloġiċi, iżda … l-isfida vera tiġi mill-analiżi esploratorja tad-data u mir-raġunament ibbażat fuq dawn l-iskoperti: l-identifikazzjoni ta’ mudelli u artefatti, u d-deċiżjoni dwar jekk id-data għandhiex tiġi eskluża jew aġġustata. Dan jixbah in-natura mħawda ta’ settijiet reali ta’ dejta bijoloġika. Ir-reviżjoni ta’ dawn l-evalwazzjonijiet tenfasizza kemm huma importanti kuntratti ċari tas-soluzzjonaturi għas-soluzzjoni ta’ problemi xjentifiċi bbażata fuq l-aġenti. Formulazzjoni differenti tal-prompt jew speċifikazzjoni tal-kompitu tista’ taffettwa bil-kbir liema analiżijiet jidhru permissibbli.”
Cyrillus Tan, Assoċjat tar-Riċerka Postdottorali fiċ-Ċentru tal-Ġenoma ta’ New York

Madankollu, il-fatt li l-mudelli ta’ avanguardia għadhom isolvu inqas minn terz ta’ dawn il-problemi juri li hemm ħafna spazju għal titjib. Il-mudelli jistgħu jagħmlu progress parzjali fuq problemi ta’ sfida, iżda jsibuha diffiċli jagħlqu ċ-ċirku inferenzjali. Dan il-mudell ta’ falliment jirrifletti l-kuntrast bejn l-esperti umani u n-novizzi. L-esperti jużaw l-esperjenza tagħhom biex jifformulaw il-problema u jadattaw l-approċċ tagħhom, filwaqt li n-novizzi jagħmlu osservazzjonijiet iżda jsibuha diffiċli jintegrawhom fil-kuntest usa’ tal-problema.

Problema: Rispons farmakoġenomiku taż-żmien sal-avveniment bi trattament li jvarja maż-żmien

Il-bidu tat-trattament, ir-rispons speċifiku għall-ġenotip, il-farmakodinamika ttardjata, l-indikaturi ta’ utenti prevalenti, u l-bijomarkaturi lonġitudinali jiddeterminaw b’mod konġunt l-estimand kawżali tas-sopravivenza.

Mudell GPT-5.5

Handles treatment timing with a conventional Cox outcome model but does not address treatment-confounder feedback.

Fit a counting-process Cox model with treatment as a time-varying exposure, effective only after treat_start+90 days ... The model included G, treatment×G, baseline severity, age, and sex.

Mudell ta’ Sol GPT-5.6

Uses a more appropriate causal inference method to properly account for treatment-confounder feedback.

Used a new-user marginal structural Cox model: excluded 818 flagged prevalent users, modeled treatment initiation with stabilized inverse-probability weights using baseline covariates and current biomarker, and treated exposure as time-varying with a 90-day efficacy lag.

Il-kisba ta’ prestazzjoni kważi perfetta teħtieġ evalwazzjonijiet li ikejlu l-progress b’mod affidabbli u jidentifikaw fejn il-mudelli għadhom ifallu. Testijiet ta’ referenza bħal GeneBench-Pro jistgħu jgħinu biex nuqqas vag ta’ kapaċità jsir xi ħaġa li nistgħu niddijanjostikaw u ntejbu. 

Jekk l-aġenti jistgħu jawtomatizzaw b’mod affidabbli din il-klassi ta’ analiżi, jistgħu jħaffu b’mod sinifikanti l-iskoperta xjentifika. L-evidenza ġenetika umana diġà hija ċentrali għall-prijoritizzazzjoni tal-miri u għas-segwitu translazzjonali, għaliex il-mekkaniżmi b’appoġġ ġenetiku huma ħafna aktar probabbli li jwasslu għal trattamenti approvati.

Sadanittant, l-ispejjeż tas-sekwenzjar naqsu b’mod drastiku, u settijiet ta’ dejta fuq skala ta’ bijobank issa jorbtu informazzjoni molekulari, fenotipika u mir-rekords tas-saħħa b’firxa bla preċedent. Il-fattur limitanti qed jinbidel mill-ġenerazzjoni tad-dejta għat-tibdil tal-informazzjoni f’għarfien li jista’ jissarraf f’azzjoni. Mudelli li jistgħu b’mod konsistenti jwettqu analiżi li bħalissa qed isiru minn timijiet ta’ esperti umani jistgħu jittrasformaw ir-riċerka industrijali billi jħaffu t-trijaġġ tal-ipoteżijiet, is-segwitu tal-miri, u ċ-ċiklu ta’ iterazzjoni bejn il-ġenerazzjoni tad-data u t-teħid tad-deċiżjonijiet.

GeneBench-Pro jirrappreżenta sforz inizjali biex jiġu evalwati l-ħiliet aktar astratti involuti f’ġudizzju xjentifiku tajjeb li għandhom persuni b’esperjenza. Dawn il-ħiliet jippermettulhom jifhmu u jidentifikaw l-aktar analiżijiet inizjali promettenti, jirrevedu u jtejbu l-ħsieb tagħhom meta d-dejta tikkontradixxi s-suppożizzjonijiet inizjali, u jaslu għal konklużjonijiet li fuqhom jistgħu jiddependu deċiżjonijiet kliniċi, akkademiċi jew kummerċjali sussegwenti. 

Nistennew li hekk kif il-kapaċitajiet tal-mudell javvanzaw, il-punti ta’ riferiment li jistħarrġu l-abbiltajiet tal-mudell f’dawn il-livelli ogħla ta’ astrazzjoni jsiru dejjem aktar utli, lil hinn minn dawk li sempliċement jittestjaw l-għarfien teoriku jew il-kapaċità li jwettqu analiżijiet ta’ rutina.

Awtur

OpenAI

Kompli aqra

Ara kollox
A near-autonomous AI chemist improves a challenging reaction
Kimiku tal-AI kważi awtonomu jtejjeb reazzjoni diffiċli fil-kimika mediċinali

Riċerka

LifeSciBench 1x1
Nintroduċu LifeSciBench

Riċerka

Production Resampling > Art Card
Tbassir tal-imġiba tal-mudell qabel ir-rilaxx billi nissimulaw id-distribuzzjoni

Riċerka