Ruka hadi kwenye maudhui kuu
OpenAI

30 Juni 2026

UtafitiUchapishaji

Tunatambulisha GeneBench-Pro

Kipimo cha kiwango cha utafiti kinachopima jinsi mawakala wa AI hukabiliana na utata na kufanya maamuzi muhimu katika biolojia ya kikokotozi.

Soma makala(fungua katika dirisha jipya)
Inapakia…

Data za kisayansi mara chache huja na maelekezo. Watafiti lazima waamue kama muundo fulani unaonyesha biolojia au kelele, kama data zinaweza kuunga mkono swali linaloulizwa, na jinsi kila tokeo linavyopaswa kubadilisha hatua inayofuata. Mawakala wa AI wanazidi kuwa na uwezo wa kutekeleza uchanganuzi changamano, lakini utafiti halisi wa kisayansi hautegemei tu kukumbuka ukweli au kufuata mtiririko wa kazi uliowekwa mapema; pia hutegemea kufanya maamuzi haya ya ngazi ya juu.

Leo, tunatambulisha GeneBench-Pro—kipimo kigumu cha kiwango cha utafiti cha kujaribu kama miundo inaweza kushughulikia uchanganuzi unaohitaji sana uamuzi, kama inavyohitajika katika biolojia ya kikokotozi ya ulimwengu halisi. Inapanua GeneBench⁠(fungua katika dirisha jipya) ili kujumuisha kazi ngumu zaidi na zilizo halisi zaidi katika jenomiki, biolojia ya kiasi, na tiba ya uhamishaji, ikikamata uchangamano, hali ya kujirudia, na utata wa utafiti wa kisayansi katika biolojia ya kikokotozi. 

Hadi sasa, kumekuwa na tathmini chache za kushawishi za maamuzi ya kiwango cha mfumo yanayofanya utafiti wa kikokotozi wa ulimwengu halisi uwe mgumu. Haya ni pamoja na kushughulikia utata, kurekebisha dhana, kuchagua njia sahihi ya uchanganuzi, na kujua wakati tokeo liko tayari kutumiwa kufanya uamuzi. Kwa kuwa ujuzi huu ni mgumu kuuweka katika kanuni rasmi, pia ni mgumu kuutathmini kwa ukali, hata wakati udhaifu ndani yake unazidi kuweka mipaka kwa utendaji wa jumla wa AI.

Mchoro wenye kichwa “Pengo la vipimo katika biolojia” unaolinganisha mitiririko ya jadi ya kazi ya vipimo na uchanganuzi wa kisayansi wa mwanzo hadi mwisho, ukionyesha hatua za ziada kama uchakataji wa awali, uundaji wa miundo, uchunguzi, na uboreshaji wa mara kwa mara kabla ya kufikia hitimisho la kisayansi.

GeneBench-Pro imeundwa kupima kwa usahihi uwezo huu wa ngazi ya juu. Ndani ya GeneBench-Pro, tunafafanua “ladha ya utafiti” kama minyororo ya maamuzi yanayounda uchanganuzi: ni maswali gani ambayo data zinaweza kuunga mkono, jinsi uchunguzi wa mapema unavyopaswa kubadilisha muundo au kadirio, na lini mpango wa awali unahitaji kurekebishwa. Kila tatizo la GeneBench-Pro huupa muundo seti halisi lakini yenye fujo ya data, muktadha mfupi wa majaribio, na kadirio lengwa linalohusishwa na uamuzi wa baadaye. Ili kujibu kwa usahihi, muundo lazima uchunguze data, uchague mbinu inayofaa ya uchanganuzi, ushiriki katika mchakato wa majaribio unaojirudia, na utoe jibu la mwisho.

Ujenzi wa seti ya data

Katika biolojia, gharama ya kuzalisha data (k.m., kupanga mlolongo wa jenomu) imeshuka kwa kiasi kikubwa, na baadhi ya watafiti sasa wanasema⁠(fungua katika dirisha jipya) kwamba kikwazo si tena kukusanya sampuli bali ukokotoaji na uchanganuzi wa hatua za baadaye. GeneBench-Pro imejengwa kutathmini maendeleo katika kushughulikia kikwazo hicho, ikiwa na maswali 129 yanayoshughulikia mazingira na mbinu nyingi za biolojia ya kikokotozi.

Atlasi ya Vikoa: matatizo 129 katika vikoa 10 na vikoa vidogo 21

Tumia vitufe vya vishale kusogea kati ya matatizo ya ulinganifu. Maelezo ya tatizo lililochaguliwa yanaonekana hapa chini.

Bofya kitone kilicho hapo juu ili upate maelezo kuhusu tatizo la kipimo cha kiwango.

Atlasi hii inatoa muhtasari wa upana wa GeneBench-Pro. Tembelea ukurasa wa tafiti kifani kuchunguza kwa undani maswali 10 wakilishi.

GeneBench-Pro pia imeundwa kuepuka kushindwa kwa kawaida kwa vipimo. Vipimo vingi vya biolojia vya upeo mrefu hujenga maswali ya hatua nyingi kuzunguka seti za data za kihistoria zenye fujo, ambapo huenda kusiwe na njia moja sahihi ya uchanganuzi. Wakala mmoja anaweza kuchagua kizingiti kinachotetewa, huku mwingine akichagua chaguo tofauti lakini linalotetewa kwa usawa, jambo linaloakisi zaidi maamuzi ya kiholela ya mtengenezaji wa kipimo kuliko tofauti zozote za msingi katika utendaji wa muundo. Kinyume chake pia kinaweza kutokea: ikiwa tatizo haliguswi sana na maadili ya nambari, wakala anaweza kufanya makosa ya msingi katika uchanganuzi na bado kutoa tokeo la kufaulu.

Ili kuepuka hali hizi za kushindwa, kila tatizo la GeneBench-Pro hujengwa kwa usanisi: tunajua muundo kamili wa usababishi na tunaiga moja kwa moja mchakato wa kuzalisha data. Hilo hutuwezesha kurekebisha uchangamano wa kila tatizo, kuhakikisha kwamba tofauti zinazoeleweka katika chaguo za uchanganuzi za kibinafsi bado huzalisha matokeo ya nambari yanayokubalika, na kuthibitisha (kupitia tafiti za ablation) kwamba uchanganuzi unaoonekana unawezekana lakini si sahihi unashindwa. Kisha tunakagua rasimu za matatizo kupitia uchanganuzi wa kina wa njia za utekelezaji ili kuangalia uvujaji wa taarifa na njia za suluhu zisizokusudiwa. Hili hutupa uhakika kwamba kupata jibu sahihi kunategemea kuchagua njia sahihi ya uchanganuzi, si kutumia njia ya mkato au kulinganisha upendeleo wa kiholela wa mwandishi.

Mchoro wenye kichwa “Ujenzi na uthibitishaji wa tatizo la GeneBench-Pro,” unaoonyesha mtiririko wa kazi kutoka kujenga jukumu linaloweza kuendeshwa kupitia mapitio, ukaguzi wa uthabiti, majaribio ya wakala, mapitio ya wataalamu, marekebisho, hadi tatizo la kipimo lililokamilika.

Tulituma maswali 82 kati ya 129 ya GeneBench-Pro kwa wataalamu wa nje wa nyanja husika, wakiwemo wanafunzi wa uzamili, watafiti wa baada ya uzamivu, wanasayansi wa sekta, na maprofesa. Wakaguzi walitathmini uhalisia wa kila tatizo, kama jibu lengwa lingeweza kutambuliwa, na kama mbinu na wakadiriaji walikuwa sahihi. Maoni yalitumika kuboresha matatizo.

1 kati ya 2
“Matatizo niliyopitia yangekuwa magumu kwa mwanafunzi wa uzamili kuyakamilisha bila maoni ya mara kwa mara kutoka kwa msimamizi mwenye uzoefu. Data zilikuwa na masuala ya kiufundi na udhibiti wa ubora yaliyohitaji uchanganuzi wa data wa makini na wa kutafakari, wenye ufahamu wa mitego inayoweza kutokea, ili kukamilishwa kwa mafanikio; haikuwa tu kutumia mbinu ya tayari kwenye data safi na iliyopangwa vizuri.”
Alexander Strudwick Young, Profesa Msaidizi wa Jenetiki ya Binadamu katika UCLA

Tathmini na upangaji alama

Kila tatizo la GeneBench-Pro ni uchanganuzi wa kisayansi unaojitosheleza. Mawakala hupata ufikiaji wa eneokazi lililotengwa lenye dokeza fupi, faili za data, na mkusanyiko wa kawaida wa bioinformatiki unaojumuisha Python, maktaba za ukokotoaji wa kisayansi, na vifurushi vya msingi vya jenomiki kama PLINK 2.0 (ingawa matatizo hayahitaji zana mahususi za nyanja hiyo).

Uamuzi wa faida-hatari wa tiba ya uvimbe unaoongozwa na lahaja ya kimuundo

A molecular tumor board registry contains trial-eligible advanced solid-tumor cases considered for a TXR1-directed inhibitor. Estimate, for tumors with SV-driven TXR1 target-mediated activation at time zero, the marginal effect of TXR1i versus non-TXR1 systemic therapy on week-16 clinical benefit as if all patients had an assessable week-16 visit. Also estimate the 8-week treatment-limiting toxicity/discontinuation risk under TXR1i in the same target population. Report net clinical utility = benefit risk difference (percentage points) - 0.35 * toxicity risk (percentage points), and choose therapy_class_code 1 if TXR1i has positive net utility and 0 otherwise. 

Use percentage-point units for all non-code quantities. Positive benefit means TXR1i improves week-16 clinical benefit relative to non-TXR1 systemic therapy.

These data came from a real experiment; you will be graded not just on numerical correctness but the quality of analytical reasoning you exhibit; do not attempt to take any shortcuts.

Return your final answer as exactly one JSON object.
Do not wrap the JSON in markdown.
Do not add prose before or after the JSON.
Do not omit any keys shown in the example.
Return the JSON object in your final answer:

JSON

1
{
2
  "answer": {
3
    "therapy_class_code": <int>,
4
    "benefit_rd_pp": <float>,
5
    "toxicity_dropout_risk_pp": <float>,
6
    "net_clinical_utility_pp": <float>
7
  },
8
  "reasoning": "<description of method and QC>"
9
}

Kwa kuwa tunadhibiti mchakato kamili wa kuzalisha data, tunaweza kupanga usahihi kwa njia bainifu dhidi ya malengo yanayojulikana, tukiepuka utofauti wa uchaguzi wa muundo na athari za urefu wa majibu zinazopatikana katika tathmini za kawaida zinazotegemea rubriki.

Kila tatizo pia huja na metadata tajiri, ikijumuisha muundo uliokusudiwa wa uchanganuzi, faili za data zilizoambatishwa, utafiti kifani wa kina wa kurasa nyingi, na matokeo ya mapitio ya wataalamu. Tunafungua kikamilifu kama chanzo huria maswali 10 wakilishi ya GeneBench-Pro kwenye Hugging Face⁠(fungua katika dirisha jipya), pamoja na kiolesura shirikishi cha wavuti kwa ajili ya kuyavinjari. Hatimaye, tutatoa kijisehemu cha maswali 50 kwa Artificial Analysis⁠(fungua katika dirisha jipya) kwa ajili ya upimaji huru wa wahusika wengine siku za karibuni.

Matokeo

Muundo wetu wenye nguvu zaidi, GPT‑5.6 Sol, hufikia kiwango cha kufaulu cha 28.7% katika kiwango cha juu zaidi cha uwazaji (31.5% hali ya Pro ikiwa imewashwa). Huo ni ongezeko kubwa ikilinganishwa na tulipoanza kujenga GeneBench ya awali; wakati huo, muundo wetu bora wa mpaka, GPT‑5, ulipata chini ya 5%. Maendeleo katika kipimo hiki yanaonyesha kwamba miundo ya mpaka inaboreka haraka, hata katika uwazaji wa kisayansi usioshikika sana wa kiwango cha mifumo. Kwa kasi ya sasa, kipimo hiki huenda kikafikia ukomo wake kufikia mwisho wa mwaka.

Matokeo pia yanaonyesha athari ya kuongeza ukokotoaji wakati wa majaribio. Katika kiwango cha chini kabisa cha uwazaji, GPT‑5.6 Sol hupata tu kiwango cha kufaulu cha tarakimu moja. Katika kiwango cha juu zaidi cha uwazaji, GPT‑5.6 Sol hutatua karibu mara sita zaidi ya maswali ambayo GPT‑5.2 hutatua, huku ikitumia takriban theluthi mbili tu za tokeni.

Ulinganisho katika familia mbalimbali za miundo unaonyesha kuwa miundo ya GPT ni miongoni mwa mifumo yenye nguvu zaidi katika uwazaji wa kisayansi wa kiwango cha juu chini ya kutokuwa na uhakika wa kiasi. Pengo la utendaji kati ya GPT‑5.6, GPT‑5.5 na miundo inayoongoza ya chanzo huria kama GLM 5.2 ni kubwa zaidi kuliko tunavyotarajia tunapokadiria kutoka vipimo vya usimbaji⁠(fungua katika dirisha jipya), likionyesha kuwa miundo ya chanzo huria imebobea zaidi katika usimbaji kuliko uwezo mpana wa uwazaji.

Tulitumia miundo ya GPT ya mpaka kutathmini na kuimarisha matatizo wakati wa uundaji. Kwa hiyo, tulishuku kuwa GeneBench-Pro huenda ikawa na upendeleo dhidi ya miundo ya GPT ikilinganishwa na familia nyingine za miundo. Hata hivyo, miundo ya washindani kwa ubora wake ililingana tu na utendaji wa muundo wa GPT unaolingana wakati wa kutolewa, na mara nyingi ilipungua kwa kiasi kikubwa.

Matokeo haya ya tathmini—hadi 31.5% kwenye GPT‑5.6 Sol (Pro)—yanashangaza kwa kuzingatia ugumu wa maswali ya GeneBench-Pro. Katika utafiti wa maoni, wakaguzi wetu walikadiria kuwa tatizo la kawaida la GeneBench-Pro lingemchukua mtaalamu binadamu takriban saa 20–40 kulikamilisha. Kwa makadirio ya tahadhari ya $200 kwa saa, hiyo huweka gharama ya kazi ya binadamu kwa tatizo moja katika maelfu ya dola. Mawakala wa sasa wa AI bado hawategemewi vya kutosha kuchukua nafasi ya wataalamu binadamu, lakini pengo la gharama ni kubwa, huku gharama za inference zikiwa dola chache tu kwa kila tatizo. Hiyo ina maana kwamba hata uendeshaji otomatiki wa sehemu fulani kwa uwezo wa sasa unaweza kuleta thamani halisi ya kiuchumi na kisayansi.

1 kati ya 2
“Vipimo hivi vinachochewa na aina mbalimbali za maswali ya kibiolojia, lakini … changamoto halisi hutokana na uchanganuzi wa data wa uchunguzi na uwazaji juu ya uvumbuzi huu: kutambua mifumo na dosari, na kuamua kama data zinapaswa kuondolewa au kurekebishwa. Hili linafanana na hali ya fujo ya seti halisi za data za kibiolojia. Kupitia tathmini hizi kunaonyesha umuhimu wa mikataba wazi ya watatuzi katika utatuzi wa matatizo ya kisayansi unaotegemea wakala. Maneno tofauti ya dokeza au ubainishaji wa kazi unaweza kuathiri sana ni uchanganuzi gani unaoonekana kuruhusiwa.”
Cyrillus Tan, Mtafiti Mshiriki wa Uzamivu katika New York Genome Center

Hata hivyo, ukweli kwamba miundo ya mpaka bado hutatua chini ya theluthi moja ya matatizo haya unaonyesha kuwa kuna nafasi kubwa ya kuboresha. Miundo inaweza kupiga hatua za sehemu katika matatizo magumu, lakini hushindwa kufunga mzunguko wa uhitimishaji. Mtindo huu wa kushindwa unaakisi tofauti kati ya wataalamu binadamu na wanaoanza. Wataalamu hutumia uzoefu wao kuunda namna ya kulitazama tatizo na kurekebisha mbinu yao, ilhali wanaoanza hufanya uchunguzi lakini hupata ugumu kuujumuisha katika muktadha mpana wa tatizo.

Tatizo: Mwitikio wa muda-hadi-tukio wa kifamakogenomiki kwa tiba inayobadilika kwa muda

Kuanza tiba, mwitikio mahususi kwa jenotipu, farmakodinamiki iliyochelewa, alama za watumiaji waliopo, na viashiriahai vya muda mrefu kwa pamoja huamua kadirio la usababishi la uhai.

Muundo wa GPT-5.5

Handles treatment timing with a conventional Cox outcome model but does not address treatment-confounder feedback.

Fit a counting-process Cox model with treatment as a time-varying exposure, effective only after treat_start+90 days ... The model included G, treatment×G, baseline severity, age, and sex.

Muundo wa GPT-5.6 Sol

Uses a more appropriate causal inference method to properly account for treatment-confounder feedback.

Used a new-user marginal structural Cox model: excluded 818 flagged prevalent users, modeled treatment initiation with stabilized inverse-probability weights using baseline covariates and current biomarker, and treated exposure as time-varying with a 90-day efficacy lag.

Kufikia utendaji ulio karibu na ukamilifu kutahitaji tathmini zinazopima maendeleo kwa kuaminika na kubainisha mahali ambapo miundo bado inashindwa. Vipimo kama GeneBench-Pro vinaweza kusaidia kugeuza upungufu wa uwezo usioeleweka kuwa kitu tunachoweza kutambua na kuboresha. 

Ikiwa mawakala wanaweza kuendesha kiotomatiki kwa kutegemewa aina hii ya uchanganuzi, wanaweza kuharakisha kwa kiasi kikubwa ugunduzi wa kisayansi. Ushahidi wa jenetiki ya binadamu tayari ni msingi katika kupanga vipaumbele vya malengo na ufuatiliaji wa uhamishaji, kwa sababu mifumo yenye ushahidi wa kijeni ina uwezekano mkubwa zaidi wa kuongoza kwenye matibabu yaliyoidhinishwa.

Wakati huo huo, gharama za upangaji mlolongo zimeshuka sana, na seti za data za kiwango cha benkihai sasa zinaunganisha taarifa za molekuli, fenotipu, na rekodi za Afya kwa upana ambao haujawahi kutokea. Kikwazo kinahama kutoka kuzalisha data hadi kubadilisha taarifa kuwa maarifa yanayoweza kuchukuliwa hatua. Miundo inayoweza kufanya kwa uthabiti uchanganuzi unaoshughulikiwa sasa na timu za wataalamu binadamu inaweza kubadilisha utafiti wa viwandani kwa kuharakisha uchujaji wa nadharia, ufuatiliaji wa malengo, na mzunguko wa kurudia kati ya uzalishaji wa data na kufanya maamuzi.

GeneBench-Pro inawakilisha juhudi ya awali ya kutathmini ujuzi wa kidhahania zaidi unaohusika katika uamuzi mzuri wa kisayansi walionao wataalamu wenye uzoefu. Ujuzi huu huwawezesha kuhisi na kutambua uchanganuzi wa awali wenye matumaini zaidi, kurudia na kurekebisha fikra zao data zinapopingana na dhana za awali, na kufikia hitimisho ambazo maamuzi ya baadaye ya kitabibu, kitaaluma, au kibiashara yanaweza kutegemea. 

Tunatarajia kwamba kadiri uwezo wa muundo unavyoendelea, vipimo vinavyochunguza uwezo wa muundo katika ngazi hizi za juu za udhahania vitazidi kuwa muhimu, zaidi ya vile vinavyojaribu tu maarifa ya vitabuni au uwezo wa kutekeleza uchanganuzi wa kawaida.

Mwandishi

OpenAI

Endelea kusoma

Tazama zote
A near-autonomous AI chemist improves a challenging reaction
Mkemia wa AI anayekaribia kujiendesha aboresha athari ngumu katika kemia tiba

Utafiti

LifeSciBench 1x1
Tunatambulisha LifeSciBench

Utafiti

Production Resampling > Art Card
Kutabiri tabia ya muundo kabla ya kutolewa kwa kuiga usambazaji

Utafiti