Ruka hadi kwenye maudhui kuu
OpenAI

30 Juni 2026

UtafitiUchapishaji

Tunawaletea GeneBench-Pro

Kigezo cha tathmini cha kiwango cha utafiti kinachopima jinsi mawakala wa AI wanavyokabiliana na utata na kufanya maamuzi yenye athari kubwa katika biolojia ya kikokotozi.

Inapakia…

Data za kisayansi mara chache huja zikiwa na maelekezo. Watafiti lazima waamue ikiwa muundo fulani unaakisi biolojia au kelele, ikiwa data zinaweza kuunga mkono swali linaloulizwa, na jinsi kila tokeo linavyopaswa kubadili kile watakachofanya baadaye. Mawakala wa AI wanazidi kuwa na uwezo wa kutekeleza uchanganuzi changamano, lakini utafiti halisi wa kisayansi pia hautegemei tu kukumbuka ukweli au kufuata taratibu za kazi zilizobainishwa mapema, bali pia kufanya maamuzi haya ya kiwango cha juu.

Leo, tunawaletea GeneBench-Pro—kipimo linganishi chenye changamoto, cha kiwango cha utafiti, cha kupima iwapo muundo unaweza kushughulikia aina ya uchanganuzi unaohitaji uamuzi wa kina ambao biolojia ya kikokotozi ya ulimwengu halisi inahitaji. inaendeleza GeneBench(fungua katika dirisha jipya) ili kujumuisha kazi ngumu zaidi na zenye uhalisia zaidi katika jenomiki, biolojia ya kiasi, na tiba ya uhawilishaji, ikiakisi uchangamano, hali ya kurudiarudia, na kutokuwa dhahiri kwa utafiti wa kisayansi katika biolojia ya kompyuta. 

Kufikia sasa, kumekuwa na tathmini chache za kushawishi kuhusu maamuzi ya ngazi ya mfumo yanayofanya utafiti wa ukokotoaji katika ulimwengu halisi kuwa mgumu. Haya yanajumuisha kushughulikia utata, kurekebisha dhana, kuchagua mkondo sahihi wa uchambuzi, na kujua wakati matokeo yakiwa tayari kwa maamuzi. Kwa sababu stadi hizi ni vigumu kuzifafanua rasmi, pia ni vigumu kuzitathmini kwa umakini, hata wakati udhaifu katika stadi hizo unazidi kuzuia utendaji wa jumla wa AI.

Mchoro wenye kichwa cha “Pengo la vigezo linganishi katika biolojia” unaolinganisha michakato ya kazi ya jadi ya vigezo linganishi na uchanganuzi wa kisayansi wa mwanzo hadi mwisho, ukionyesha hatua za ziada kama vile uchakataji wa awali, uundaji modeli, uchunguzi, na uboreshaji wa kurudiarudia kabla ya kufikia hitimisho la kisayansi.

GeneBench-Pro imeundwa kupima kwa usahihi uwezo huu wa kiwango cha juu. Ndani ya GeneBench-Pro, tunafasili “ladha ya utafiti” kuwa misururu ya maamuzi ya kitaalamu yanayouunda uchanganuzi: ni maswali gani ambayo data inaweza kuyaunga mkono, jinsi uchunguzi wa awali unavyopaswa kubadilisha muundo au kiasi lengwa cha kukadiriwa, na ni wakati gani mpango wa awali unahitaji kurekebishwa. Kila tatizo la GeneBench-Pro huupa muundo seti ya data inayofanana na hali halisi na isiyopangika vizuri, muktadha mfupi wa majaribio, na kiasi lengwa kinachokadiriwa kinachohusishwa na uamuzi wa hatua inayofuata. Ili kujibu kwa usahihi, muundo lazima uchunguze data, uchague mbinu mwafaka ya uchanganuzi, ushiriki katika mchakato wa majaribio unaojirudia, na utoe jibu la mwisho.

Ujenzi wa mkusanyiko wa data

Katika biolojia, gharama ya uzalishaji wa data (k.m., upangaji mfuatano wa jenomu) imeshuka kwa kiwango kikubwa, na baadhi ya watafiti sasa wanatoa hoja(fungua katika dirisha jipya) kwamba kikwazo kikuu si tena ukusanyaji wa sampuli bali ukokotoaji na uchanganuzi wa hatua zinazofuata. GeneBench-Pro imeundwa ili kutathmini maendeleo katika kushughulikia kikwazo hicho, ikiwa na maswali 129 yanayohusu anuwai ya mipangilio na mbinu za kibayolojia ya kompyuta.

Atlasi ya Vikoa: matatizo 129 katika vikoa 10 na vikoa vidogo 21

Tumia vitufe vya vishale kusogea kati ya matatizo ya ulinganifu. Maelezo ya tatizo lililochaguliwa yanaonekana hapa chini.

Bofya kitone kilicho hapo juu ili upate maelezo kuhusu tatizo la kipimo cha kiwango.

Atlasi hii inatoa muhtasari wa awali wa wigo wa GeneBench-Pro. Tembelea ukurasa wa uchunguzi kifani ili kuchunguza maswali 10 wakilishi kwa kina zaidi.

GeneBench-Pro pia imeundwa ili kuepuka matatizo ya kawaida ya vipimo linganishi. Vigezo vingi vya tathmini vya biolojia vya upeo mrefu huunda maswali ya hatua nyingi yanayohusu seti za data za kihistoria zisizo nadhifu, ambapo huenda kusiwe na njia moja pekee sahihi ya kupitia uchanganuzi. Wakala mmoja anaweza kuchagua kikomo kimoja kinachoweza kutetewa, ilhali mwingine anaweza kuchagua chaguo tofauti lakini linaloweza kutetewa kwa kiwango sawa, jambo linaloakisi zaidi maamuzi ya kiholela yaliyofanywa na mtayarishaji wa kipimo linganishi kuliko tofauti zozote za msingi katika utendaji wa muundo. Kinyume chake pia kinaweza kutokea: ikiwa tatizo halina unyeti wa kutosha kwa mabadiliko ya nambari, wakala anaweza kufanya makosa ya msingi katika uchanganuzi na bado atoe matokeo yanayofaulu.

Ili kuepuka hali hizi za kushindwa, kila tatizo la GeneBench-Pro hutengenezwa kwa njia ya usanisi: tunajua muundo kamili wa kisababishi na huiga moja kwa moja mchakato wa kuzalisha data. Jambo hilo hutuwezesha kurekebisha kiwango cha utata wa kila tatizo, kuhakikisha kwamba tofauti zinazoeleweka katika chaguo za uchanganuzi zinazotegemea mtazamo binafsi bado zinazalisha matokeo ya kihesabu yanayokubalika, na kuthibitisha (kupitia tafiti za ablation) kwamba uchanganuzi unaoonekana kuwa wa kuaminika lakini usio sahihi unashindwa. Kisha tunakagua rasimu za matatizo kupitia uchanganuzi wa kina wa ufuatiliaji ili kubaini uvujaji wa taarifa na njia za utatuzi zisizokusudiwa. Hili linatupa uhakika kwamba kupata jibu sahihi kunategemea kuchagua njia sahihi ya uchanganuzi, wala si kutumia njia ya mkato kiholela au kufuata mapendeleo ya mwandishi yasiyo na msingi maalum.

Mchoro wenye kichwa “Ujenzi na uthibitishaji wa tatizo la GeneBench-Pro,” unaoonyesha utaratibu wa kazi kuanzia kujenga kazi inayoweza kuendeshwa kupitia mapitio, ukaguzi wa uthabiti, majaribio ya wakala, mapitio ya mtaalamu, marekebisho, hadi tatizo la kipimo linganishi lililokamilika.

Tulituma maswali 82 kati ya 129 ya GeneBench-Pro kwa wataalamu wa nje katika nyanja husika, wakiwemo wanafunzi wa uzamili, watafiti wa baada ya udaktari, wanasayansi wa sekta ya viwanda, na maprofesa. Wahakiki walitathmini uhalisia wa kila tatizo, iwapo jibu lengwa liliweza kutambuliwa, na iwapo mbinu na vikadiriaji vilikuwa mwafaka. Maoni yalitumika kuboresha matatizo.

1 kati ya 2
Maswali niliyoyapitia yangekuwa magumu kwa mwanafunzi wa uzamili kuyakamilisha bila maoni ya mara kwa mara kutoka kwa msimamizi mwenye uzoefu. Data hizo zilikuwa na matatizo ya kiufundi na ya udhibiti wa ubora yaliyohitaji uchanganuzi wa data wa makini na wa kutafakari, pamoja na ufahamu wa vikwazo vinavyoweza kujitokeza, ili kukamilishwa kwa mafanikio; hawakuwa tu wakitumia mbinu iliyo tayari kutumiwa kwenye data safi na iliyotunzwa vizuri.
Alexander Strudwick Young, Profesa Msaidizi wa Jenetiki ya Binadamu katika UCLA

Tathmini na utoaji wa alama

Kila tatizo la GeneBench-Pro ni uchanganuzi wa kisayansi unaojitosheleza. Mawakala hupata ufikiaji wa eneokazi lililotengwa lenye dokeza fupi, faili za data, na seti ya kawaida ya zana za bioinfomatiki ikijumuisha Python, maktaba za ukokotoaji wa kisayansi, na vifurushi vya msingi vya genomiki kama PLINK 2.0 (ingawa matatizo hayahitaji zana mahususi za kikoa).

Uamuzi wa uwiano wa manufaa na hatari za tiba ya uvimbe unaoongozwa na miundo mbalimbali

A molecular tumor board registry contains trial-eligible advanced solid-tumor cases considered for a TXR1-directed inhibitor. Estimate, for tumors with SV-driven TXR1 target-mediated activation at time zero, the marginal effect of TXR1i versus non-TXR1 systemic therapy on week-16 clinical benefit as if all patients had an assessable week-16 visit. Also estimate the 8-week treatment-limiting toxicity/discontinuation risk under TXR1i in the same target population. Report net clinical utility = benefit risk difference (percentage points) - 0.35 * toxicity risk (percentage points), and choose therapy_class_code 1 if TXR1i has positive net utility and 0 otherwise. 

Use percentage-point units for all non-code quantities. Positive benefit means TXR1i improves week-16 clinical benefit relative to non-TXR1 systemic therapy.

These data came from a real experiment; you will be graded not just on numerical correctness but the quality of analytical reasoning you exhibit; do not attempt to take any shortcuts.

Return your final answer as exactly one JSON object.
Do not wrap the JSON in markdown.
Do not add prose before or after the JSON.
Do not omit any keys shown in the example.
Return the JSON object in your final answer:

JSON

1
{
2
"answer": {
3
"therapy_class_code": <int>,
4
"benefit_rd_pp": <float>,
5
"toxicity_dropout_risk_pp": <float>,
6
"net_clinical_utility_pp": <float>
7
},
8
"reasoning": "<description of method and QC>"
9
}

Kwa sababu tunadhibiti mchakato mzima wa uzalishaji wa data, tunaweza kutathmini usahihi kwa njia bainifu dhidi ya malengo yanayojulikana, tukiepuka utofauti unaotokana na uchaguzi wa muundo na athari za urefu wa maelezo zinazopatikana katika tathmini ya kawaida inayotegemea rubriki.

Kila tatizo pia huja na metadata nyingi na za kina, ikijumuisha muundo wa uchanganuzi uliokusudiwa, faili za data zilizoambatishwa, utafiti kifani wa kina wenye kurasa nyingi, na matokeo ya tathmini ya wataalamu. Tunatoa kikamilifu kama chanzo huria maswali 10 wakilishi ya GeneBench-Pro kwenye Hugging Face(fungua katika dirisha jipya), pamoja na kiolesura shirikishi cha wavuti cha kuyavinjari. Hatimaye, tutatoa sehemu ndogo yenye maswali 50 kwa Uchambuzi Bandia(fungua katika dirisha jipya) kwa ajili ya upimaji linganishi huru unaofanywa na mhusika mwingine hivi karibuni.

Matokeo

Muundo wetu wenye uwezo mkubwa zaidi, GPT‑5.6 Sol, hufikia kiwango cha kufaulu cha asilimia 28.7 katika kiwango cha juu zaidi cha uwazaji (asilimia 31.5 kwa hali ya Pro ikiwa imewashwa). Hilo ni ongezeko kubwa ikilinganishwa na wakati tulipoanza kuunda GeneBench ya awali; wakati huo, muundo wetu bora unaoongoza, GPT‑5, ulipata alama ya chini ya asilimia 5. Maendeleo katika kipimo hiki cha ulinganisho yanaashiria kwamba miundo inayoongoza inaboreka haraka, hata katika uwazaji wa kisayansi wa kiwango cha mifumo usio dhihirika sana. Kwa kasi ya sasa, huenda kipimo hiki cha kiwango kikawa kimefikia ukomo kufikia mwisho wa mwaka.

Matokeo pia yanaonyesha athari za kuongeza rasilimali za ukokotoaji wakati wa majaribio. Katika kiwango cha chini kabisa cha uwazaji, GPT‑5.6 Sol hufikia tu kiwango cha ufaulu cha tarakimu moja. Katika kiwango cha juu zaidi cha uwazaji, GPT‑5.6 Sol hutatua takriban mara sita ya idadi ya maswali ambayo GPT‑5.2 hutatua huku ikitumia takriban theluthi mbili ya idadi ya tokeni.

Ulinganisho kati ya familia za miundo unaonyesha kuwa miundo ya GPT ni miongoni mwa mifumo yenye uwezo mkubwa zaidi katika uwazaji wa kisayansi wa kiwango cha juu chini ya kutokuwa na uhakika wa kiasi. Pengo la utendaji kati ya GPT‑5.6, GPT‑5.5 na miundo inayoongoza ya chanzo huria kama vile GLM 5.2 ni kubwa zaidi kuliko tunavyotarajia tunapokadiria kutoka kwenye vipimo linganishi vya usimbaji wa programu(fungua katika dirisha jipya), kuashiria kuwa miundo ya chanzo huria imebobea zaidi katika usimbaji kuliko katika uwezo mpana wa uwazaji.

Tulitumia miundo inayoongoza ya GPT kutathmini na kuimarisha utatuzi wa matatizo wakati wa maendeleo. Kwa hivyo, tulishuku kuwa GeneBench-Pro huenda ina upendeleo dhidi ya muundo wa GPT ikilinganishwa na familia nyingine za muundo. Hata hivyo, miundo ya washindani kwa kawaida yalilingana na utendaji wa muundo wa GPT husika wakati wa kutolewa, na mara nyingi yalishindwa kwa kiasi kikubwa.

Matokeo haya ya tathmini—hadi asilimia 31.5 kwenye GPT‑5.6 Sol (Pro)—ni ya kushangaza ikizingatiwa ugumu wa maswali ya GeneBench-Pro. Katika utafiti, wakaguzi wetu walikadiria kuwa tatizo la kawaida la GeneBench-Pro lingemchukua mtaalamu wa binadamu takriban saa 20–40 kulikamilisha. Kwa dola $200 kwa saa, hilo linafanya gharama ya kazi ya binadamu kwa tatizo moja kufikia maelfu ya madola. Mawakala wa sasa wa AI bado hawaaminiki sana kuchukua nafasi ya wataalamu wa kibinadamu, lakini pengo la gharama ni kubwa, huku gharama za makadirio zikiwa dola kadhaa tu kwa kila tatizo. Hiyo inamaanisha kwamba hata uendeshaji otomatiki wa sehemu fulani kwa uwezo wa sasa unaweza kuleta thamani kubwa ya kiuchumi na kisayansi.

1 kati ya 2
Vigezo vya ulinganishi vinatokana na maswali mbalimbali ya kibayolojia, lakini changamoto halisi hutokana na uchambuzi wa data wa uchunguzi na uwazaji juu ya ugunduzi huu: kutambua mifumo na athari bandia, na kuamua kama data inapaswa kuondolewa au kurekebishwa. Hii inafanana na asili isiyo safi na changamano ya seti halisi za data za kibayolojia. Kupitia tathmini hizi kunadhihirisha umuhimu wa mikataba wazi ya watatuzi katika utatuzi wa matatizo ya kisayansi unaotegemea mawakala. Uandishi tofauti wa dokezo au maelezo ya jukumu unaweza kuathiri sana aina za uchanganuzi zinazojulikana kuruhusiwa.
Cyrillus Tan, Mtafiti Mshiriki wa Baada ya Uzamivu katika Kituo cha Jenomu cha New York

Hata hivyo, ukweli kwamba miundo inayoongoza bado hutatua chini ya theluthi moja ya matatizo haya unaonyesha kwamba kuna nafasi kubwa ya kuboresha. Miundo inaweza kufanya maendeleo kidogo katika matatizo yenye changamoto, lakini inajitahidi kukamilisha mzunguko wa hitimisho. Mwelekeo huu wa kushindwa unaakisi tofauti kati ya wataalamu wa kibinadamu na wasio na uzoefu. Wataalamu hutumia uzoefu wao kuelewa na kufafanua tatizo na kurekebisha mbinu yao, ilhali wanafunzi wapya hufanya uchunguzi lakini hupata ugumu kuunganisha matokeo hayo katika muktadha mpana wa tatizo.

Tatizo: Mwitikio wa kifamakogenomiki wa muda hadi tukio kwa matibabu yanayobadilika kulingana na wakati

Uanzishaji wa matibabu, mwitikio mahususi wa jenotaipu, famakodinamiki iliyochelewa, viashiria vya watumiaji waliopo, na viashiriohai vya muda mrefu kwa pamoja huamua makadirio ya kisababishi ya kuendelea kuishi.

Ruwaza ya GPT-5.5

Handles treatment timing with a conventional Cox outcome model but does not address treatment-confounder feedback.

Fit a counting-process Cox model with treatment as a time-varying exposure, effective only after treat_start+90 days ... The model included G, treatment×G, baseline severity, age, and sex.

Ruwaza ya GPT-5.6 Sol

Uses a more appropriate causal inference method to properly account for treatment-confounder feedback.

Used a new-user marginal structural Cox model: excluded 818 flagged prevalent users, modeled treatment initiation with stabilized inverse-probability weights using baseline covariates and current biomarker, and treated exposure as time-varying with a 90-day efficacy lag.

Kufikia utendaji ulio karibu kuwa kamili kutahitaji tathmini zinazopima maendeleo kwa kutegemewa na kubainisha maeneo ambapo miundo bado inashindwa. Vipimo vya ulinganishi kama GeneBench-Pro vinaweza kusaidia kubadilisha upungufu wa uwezo usioeleweka vizuri kuwa kitu tunachoweza kutambua chanzo chake na kuuboresha. 

Ikiwa mawakala wanaweza kuendesha kiotomatiki aina hii ya uchanganuzi kwa kutegemewa, wanaweza kuharakisha ugunduzi wa kisayansi kwa kiasi kikubwa. Ushahidi wa kijenetiki wa binadamu tayari ni msingi wa kupanga vipaumbele vya malengo na ufuatiliaji wa tafiti za kutafsiri matibabu, kwa sababu mifumo yenye msaada wa kijenetiki ina uwezekano mkubwa zaidi wa kusababisha matibabu yaliyoidhinishwa.

Wakati huohuo, gharama za upangaji mfuatano zimeporomoka, na seti za data za kiwango cha benki za sampuli za kibayolojia sasa zinaunganisha taarifa za kimolekuli, kifenotipu, na rekodi za afya kwa upana usio na kifani. Kikwazo kikuu ni kuhama kutoka kuzalisha data hadi kugeuza taarifa kuwa maarifa ya kina yanayoweza kufanyiwa kazi. Miundo inayoweza kufanya kwa uthabiti uchanganuzi ambao kwa sasa hushughulikiwa na timu za wataalamu binadamu inaweza kubadilisha utafiti wa viwandani kwa kuharakisha upangaji wa nadharia, ufuatiliaji wa malengo, na mzunguko wa marudio kati ya kuzalisha data na kufanya maamuzi.

GeneBench-Pro inawakilisha juhudi za awali za kutathmini ujuzi wa kidhahania zaidi unaohusika katika kufanya maamuzi bora ya kisayansi ambao unamilikiwa na watu wenye uzoefu. Stadi hizi huwawezesha kutambua kwa ufahamu wa ndani na kubaini uchambuzi wa awali wenye uwezekano mkubwa zaidi wa kufaa, kurudia hatua na kurekebisha fikra zao data zinapopingana na dhana za awali, na kufikia hitimisho ambalo maamuzi ya baadaye ya kitabibu, kitaaluma, au kibiashara yanaweza kulitegemea. 

Tunatarajia kwamba kadiri uwezo wa miundo unavyoendelea kukua, vigezo vya upimaji vinavyochunguza uwezo wa miundo katika viwango hivi vya juu zaidi vya udhahania vitazidi kuwa muhimu, zaidi ya vile vinavyojaribu tu maarifa ya vitabuni au uwezo wa kutekeleza uchanganuzi wa kawaida.

Mwandishi

OpenAI