Léim go dtí an príomhábhar
OpenAI

30 Meitheamh 2026

TaighdeFoilsiú

GeneBench-Pro á thabhairt isteach

Tagarmharc ar leibhéal taighde a thomhaiseann conas a nascleanálann gníomhairí IS débhríocht agus a dhéanann siad breithiúnais thábhachtacha sa bhitheolaíocht ríomhaireachtúil.

Léigh an páipéar(osclaíonn i bhfuinneog nua)
Ag lódáil…

Is annamh a thagann sonraí eolaíochta le treoracha. Ní mór do thaighdeoirí cinneadh a dhéanamh an léiríonn patrún bitheolaíocht nó torann, an féidir leis na sonraí tacú leis an gceist atá á cur, agus conas ba chóir do gach toradh an chéad chéim eile a athrú. Tá gníomhairí IS ag éirí níos ábalta anailísí casta a chur i gcrích, ach braitheann fíorthaighde eolaíoch ní hamháin ar fhíricí a thabhairt chun cuimhne nó ar shreabhadh oibre réamhshainithe a leanúint, ach ar na breithiúnais ardleibhéil seo a dhéanamh freisin.

Inniu, tá GeneBench-Pro á thabhairt isteach againn — tagarmharc dúshlánach ar leibhéal taighde chun a thástáil an féidir le samhlacha déileáil leis an gcineál anailíse lán breithiúnais a éilíonn bitheolaíocht ríomhaireachtúil sa saol fíor. Leathnaíonn sé GeneBench⁠(osclaíonn i bhfuinneog nua) chun tascanna níos deacra agus níos réalaíche a chuimsiú ar fud géanómaíochta, bitheolaíochta cainníochtúla agus míochaine aistrithí, agus castacht, atriallacht agus débhríocht taighde eolaíoch sa bhitheolaíocht ríomhaireachtúil á ngabháil aige. 

Go dtí seo, is beag measúnú inchreidte a rinneadh ar na breithiúnais ar leibhéal córais a dhéanann taighde ríomhaireachtúil sa saol fíor deacair. Áirítear orthu sin débhríocht a láimhseáil, toimhdí a leasú, an bealach ceart anailíse a roghnú, agus fios a bheith agat cathain atá toradh réidh don chinneadh. Toisc gur deacair na scileanna seo a fhoirmliú, is deacair iad a mheas go docht freisin, fiú agus laigí iontu ag cur srian níos mó ar fheidhmíocht iomlán IS.

Léaráid dar teideal “Bearna na dtagarmharcanna sa bhitheolaíocht” a chuireann sreafaí oibre tagarmhairc traidisiúnta i gcomparáid le hanailís eolaíoch ó cheann ceann, agus a léiríonn céimeanna breise amhail réamhphróiseáil, samhaltú, diagnóisic agus mionchoigeartú atriallach sula mbaintear conclúid eolaíoch amach.

Tá GeneBench-Pro deartha chun na cumais ardleibhéil seo a thomhas go beacht. Laistigh de GeneBench-Pro, sainímid “blas taighde” mar shlabhraí breithiúnas a mhúnlaíonn anailís: cé na ceisteanna ar féidir leis na sonraí tacú leo, conas ba chóir do dhiagnóisic luatha an tsamhail nó an meastachán a athrú, agus cathain is gá plean tosaigh a leasú. Tugann gach fadhb GeneBench-Pro tacar sonraí réalaíoch míshlachtmhar don tsamhail, comhthéacs gairid turgnamhach, agus meastachán sprice atá ceangailte le cinneadh iartheachtach. Chun freagra ceart a thabhairt, ní mór don tsamhail na sonraí a iniúchadh, cur chuige anailíseach cuí a roghnú, próiseas atriallach turgnamhaithe a dhéanamh, agus freagra deiridh a sholáthar.

Tógáil tacar sonraí

Sa bhitheolaíocht, tá costas ghiniúint sonraí (m.sh., seicheamhú géanóim) tar éis titim go mór, agus maíonn roinnt taighdeoirí anois⁠(osclaíonn i bhfuinneog nua) nach bailiú samplaí an bac is mó a thuilleadh ach ríomh agus anailís iartheachtach. Tógadh GeneBench-Pro chun dul chun cinn i ndul i ngleic leis an mbac sin a mheas, le 129 gceist a chlúdaíonn réimse leathan suíomhanna agus modhanna sa bhitheolaíocht ríomhaireachtúil.

Atlas Fearainn: 129 (t)s(h)aincheist i 10 (bh)f(h)earainn agus 21 (bh)f(h)ofhearainn

Úsáid na heochracha saighde chun bogadh idir fadhbanna tagarmhairc. Tá sonraí na faidhbe roghnaithe le feiceáil thíos.

Cliceáil ar phonc thuas chun eolas a fháil faoi fhadhb thagarmharcála.

Tugann an t-atlas seo réamhamharc ar leithead GeneBench-Pro. Tabhair cuairt ar leathanach na gcás-staidéar chun 10 gceist ionadaíocha a iniúchadh níos mine.

Tá GeneBench-Pro deartha freisin chun teipeanna coitianta tagarmharcanna a sheachaint. Tógann go leor tagarmharcanna bitheolaíochta fadtréimhseacha ceisteanna ilchéime timpeall ar thacair stairiúla mhíshlachtmhara, áit nach mbíonn aon bhealach ceart amháin tríd an anailís uaireanta. D’fhéadfadh gníomhaire tairseach chosanta amháin a roghnú, agus gníomhaire eile rogha dhifriúil ach chomh cosanta céanna, rud a léiríonn roghanna treallacha chruthaitheoir an tagarmhairc níos mó ná difríochtaí bunúsacha i bhfeidhmíocht samhlacha. Is féidir a mhalairt a tharlú freisin: má tá fadhb ró-neamhíogair ó thaobh uimhreacha de, féadfaidh gníomhaire earráidí bunúsacha a dhéanamh in anailís agus toradh pasála a tháirgeadh fós.

Chun na modhanna teipe seo a sheachaint, tógtar gach fadhb GeneBench-Pro go sintéiseach: tá an struchtúr cúiseach iomlán ar eolas againn agus ionsamhlaímid an próiseas giniúna sonraí go díreach. Ligeann sé sin dúinn castacht gach fadhbe a thiúnadh, a chinntiú go dtugann difríochtaí réasúnta i roghanna anailíseacha suibiachtúla torthaí uimhriúla inghlactha fós, agus a fhíorú (trí staidéir ablation) go dteipeann ar anailísí inchreidte ach míchearta. Ina dhiaidh sin déanaimid iniúchadh ar dhréachtaí fadhbanna trí anailísí mionsonraithe riain chun sceitheadh faisnéise agus bealaí réitigh neamhbheartaithe a sheiceáil. Tugann sé seo muinín dúinn go mbraitheann an freagra ceart ar an mbealach ceart anailíseach a roghnú, ní ar aicearra a shaothrú ná ar rogha threallach údair a mheaitseáil.

Léaráid dar teideal “Tógáil agus bailíochtú fadhbe GeneBench-Pro”, a thaispeánann sreabhadh oibre ó thasc inrite a thógáil trí athbhreithniú, seiceálacha stóinseachta, tástáil gníomhairí, athbhreithniú saineolaithe, leasú, agus fadhb thagarmhairc chríochnaithe.

Sheolamar 82 de 129 gceist GeneBench-Pro chuig saineolaithe seachtracha réimse, lena n-áirítear mic léinn iarchéime, taighdeoirí iardhochtúireachta, eolaithe tionscail agus ollúna. Rinne na hathbhreithneoirí measúnú ar réalachas gach fadhbe, an raibh an freagra sprice inaitheanta, agus an raibh na modhanna agus na meastóirí cuí. Baineadh úsáid as an aiseolas chun na fadhbanna a fheabhsú.

1 de 2
“Bheadh na fadhbanna a rinne mé athbhreithniú orthu dúshlánach do mhac léinn iarchéime le cur i gcrích gan aiseolas atriallach ó mhaoirseoir a bhfuil taithí aige. Bhí saincheisteanna teicniúla agus rialaithe cáilíochta sna sonraí a d’éiligh anailís sonraí chúramach mhachnamhach, agus feasacht ar na gaistí féideartha, chun iad a láimhseáil i gceart; ní raibh ann ach modh réamhdhéanta a chur i bhfeidhm ar shonraí glana dea-choimeádta.”
Alexander Strudwick Young, Ollamh Cúnta le Géineolaíocht Dhaonna ag UCLA

Meastóireacht agus grádú

Is anailís eolaíoch fhéinchuimsitheach í gach fadhb GeneBench-Pro. Faigheann gníomhairí rochtain ar spás oibre scoite le leid ghearr, comhaid sonraí, agus cruach chaighdeánach bithfhaisnéisíochta lena n-áirítear Python, leabharlanna ríomhaireachta eolaíochta, agus pacáistí bunúsacha géanómaíochta amhail PLINK 2.0 (cé nach n-éilíonn na fadhbanna uirlisí atá sainiúil don réimse).

Cinneadh tairbhe-riosca teiripe siadaí faoi threoir athraitheach struchtúrach

A molecular tumor board registry contains trial-eligible advanced solid-tumor cases considered for a TXR1-directed inhibitor. Estimate, for tumors with SV-driven TXR1 target-mediated activation at time zero, the marginal effect of TXR1i versus non-TXR1 systemic therapy on week-16 clinical benefit as if all patients had an assessable week-16 visit. Also estimate the 8-week treatment-limiting toxicity/discontinuation risk under TXR1i in the same target population. Report net clinical utility = benefit risk difference (percentage points) - 0.35 * toxicity risk (percentage points), and choose therapy_class_code 1 if TXR1i has positive net utility and 0 otherwise. 

Use percentage-point units for all non-code quantities. Positive benefit means TXR1i improves week-16 clinical benefit relative to non-TXR1 systemic therapy.

These data came from a real experiment; you will be graded not just on numerical correctness but the quality of analytical reasoning you exhibit; do not attempt to take any shortcuts.

Return your final answer as exactly one JSON object.
Do not wrap the JSON in markdown.
Do not add prose before or after the JSON.
Do not omit any keys shown in the example.
Return the JSON object in your final answer:

JSON

1
{
2
  "answer": {
3
    "therapy_class_code": <int>,
4
    "benefit_rd_pp": <float>,
5
    "toxicity_dropout_risk_pp": <float>,
6
    "net_clinical_utility_pp": <float>
7
  },
8
  "reasoning": "<description of method and QC>"
9
}

Toisc go rialaímid an próiseas iomlán giniúna sonraí, is féidir linn cruinneas a ghrádú go cinntitheach i gcoinne spriocanna aitheanta, agus éagsúlacht rogha samhlacha agus éifeachtaí fadchainte i ngnáthmheastóireacht bunaithe ar rúibricí a sheachaint.

Tagann meiteashonraí saibhre le gach fadhb freisin, lena n-áirítear struchtúr beartaithe na hanailíse, comhaid sonraí cheangailte, cás-staidéar mionsonraithe il-leathanach, agus torthaí athbhreithnithe saineolaithe. Táimid ag foinse-oscailt 10 gceist ionadaíocha GeneBench-Pro go hiomlán ar Hugging Face⁠(osclaíonn i bhfuinneog nua), le comhéadan gréasáin idirghníomhach chun iad a bhrabhsáil. Ar deireadh, cuirfimid fo-thacar 50 ceist ar fáil do Artificial Analysis⁠(osclaíonn i bhfuinneog nua) le haghaidh tagarmharcáil neamhspleách tríú páirtí go luath amach anseo.

Torthaí

Baineann ár samhail is láidre, GPT‑5.6 Sol, ráta pasála 28.7% amach ag an leibhéal réasúnaíochta is airde (31.5% le mód Pro cumasaithe). Is méadú géar é sin ón uair ar thosaíomar ag tógáil an GeneBench bunaidh; ag an am sin, scóráil ár samhail teorann ab fhearr, GPT‑5, faoi bhun 5%. Tugann dul chun cinn ar an tagarmharc seo le fios go bhfuil samhlacha teorann ag feabhsú go tapa, fiú ar réasúnaíocht eolaíoch leibhéal córais nach bhfuil chomh héasca a thomhas. Ag an luas reatha, d’fhéadfadh an tagarmharc seo a bheith sáithithe faoi dheireadh na bliana.

Léiríonn na torthaí freisin tionchar scálú ríomha ag am tástála. Ag an leibhéal réasúnaíochta is ísle, ní bhaineann GPT‑5.6 Sol amach ach ráta pasála aon-dhigiteach. Ag an leibhéal réasúnaíochta is airde, réitíonn GPT‑5.6 Sol beagnach sé huaire níos mó ceisteanna ná GPT‑5.2 agus úsáideann sé thart ar dhá thrian oiread téacschomharthaí.

Tugann comparáidí idir teaghlaigh samhlacha le fios go bhfuil samhlacha GPT ar na córais is láidre i réasúnaíocht eolaíoch ardleibhéil faoi neamhchinnteacht chainníochtúil. Tá an bhearna feidhmíochta idir GPT‑5.6, GPT‑5.5 agus samhlacha foinse oscailte ceannródaíocha amhail GLM 5.2 i bhfad níos mó ná mar a mbeimis ag súil leis agus muid ag eachtarshuí ó thagarmharcanna códaithe⁠(osclaíonn i bhfuinneog nua), rud a léiríonn go bhfuil samhlacha foinse oscailte níos speisialaithe don chódú ná do réasúnaíocht níos leithne.

D’úsáideamar samhlacha teorann GPT chun fadhbanna a mheas agus a neartú le linn na forbartha. Dá bhrí sin, bhí amhras orainn go bhféadfadh GeneBench-Pro a bheith claonta in aghaidh samhlacha GPT i gcomparáid le teaghlaigh samhlacha eile. Mar sin féin, ar a ndícheall níor sháraigh samhlacha iomaíocha feidhmíocht na samhla GPT chomhfhreagraí tráth a heisiúna, agus ba ghnách dóibh titim go mór ina diaidh.

Tá na torthaí meastóireachta seo — chomh hard le 31.5% ar GPT‑5.6 Sol (Pro) — suntasach i bhfianaise dheacracht cheisteanna GeneBench-Pro. I suirbhé, mheas ár n-athbhreithneoirí go dtógfadh fadhb tipiciúil GeneBench-Pro thart ar 20–40 uair an chloig ar shaineolaí daonna. Ag $200 san uair go coimeádach, cuireann sé sin costas saothair dhaonna fadhbe aonair sna mílte dollar. Tá gníomhairí IS reatha fós ró-neamhiontaofa chun saineolaithe daonna a ionadú, ach tá an bhearna chostais mór, agus costais infeiris ach cúpla dollar in aghaidh na faidhbe. Ciallaíonn sé sin go bhféadfadh fiú uathoibriú páirteach leis na cumais reatha luach eacnamaíoch agus eolaíoch suntasach a chruthú.

1 de 2
“Spreagann réimse éagsúil ceisteanna bitheolaíochta na tagarmharcanna, ach … tagann an fíordhúshlán ó anailís taiscéalaíoch sonraí agus ó réasúnaíocht ar na fionnachtana sin: patrúin agus déantáin a aithint, agus cinneadh a dhéanamh ar cheart na sonraí a eisiamh nó a choigeartú. Tá sé seo cosúil le nádúr míshlachtmhar fíorthacar sonraí bitheolaíochta. Nuair a dhéantar athbhreithniú ar na meastóireachtaí seo, léirítear a thábhachtaí atá conarthaí soiléire réiteora i réiteach fadhbanna eolaíochta bunaithe ar ghníomhairí. Is féidir le foclaíocht dhifriúil leide nó sonraíocht dhifriúil taisc tionchar mór a imirt ar na hanailísí a mheastar a bheith ceadaithe.”
Cyrillus Tan, Comhalta Taighde Iardhochtúireachta ag an New York Genome Center

Mar sin féin, léiríonn an fhíric go réitíonn samhlacha teorann níos lú ná trian de na fadhbanna seo fós go bhfuil go leor spáis le feabhsú. Is féidir le samhlacha dul chun cinn páirteach a dhéanamh ar fhadhbanna dúshlánacha, ach bíonn deacracht acu an lúb infeireasach a dhúnadh. Léiríonn an patrún teipe seo an chodarsnacht idir saineolaithe daonna agus tosaitheoirí. Úsáideann saineolaithe a dtaithí chun an fhadhb a fhrámú agus a gcur chuige a oiriúnú, agus déanann tosaitheoirí breathnuithe ach bíonn deacracht acu iad a chomhtháthú i gcomhthéacs níos leithne na faidhbe.

Fadhb: freagairt chógasghéanómaíoch am-go-teagmhas le cóireáil a athraíonn le himeacht ama

Cinneann tús cóireála, freagairt de réir géinitíopa, cógasdinimic mhoillithe, bratacha úsáideora reatha agus bithmharcóirí fadaimseartha an meastachán cúiseach marthanais le chéile.

Patrún GPT-5.5

Handles treatment timing with a conventional Cox outcome model but does not address treatment-confounder feedback.

Fit a counting-process Cox model with treatment as a time-varying exposure, effective only after treat_start+90 days ... The model included G, treatment×G, baseline severity, age, and sex.

Patrún GPT-5.6 Sol

Uses a more appropriate causal inference method to properly account for treatment-confounder feedback.

Used a new-user marginal structural Cox model: excluded 818 flagged prevalent users, modeled treatment initiation with stabilized inverse-probability weights using baseline covariates and current biomarker, and treated exposure as time-varying with a 90-day efficacy lag.

Chun feidhmíocht beagnach fhoirfe a bhaint amach, beidh meastóireachtaí de dhíth a thomhaiseann dul chun cinn go hiontaofa agus a aithníonn cá dteipeann ar shamhlacha fós. Is féidir le tagarmharcanna amhail GeneBench-Pro easnamh cumais doiléir a iompú ina rud is féidir linn a dhiagnóisiú agus a fheabhsú. 

Más féidir le gníomhairí an aicme anailíse seo a uathoibriú go hiontaofa, d’fhéadfaidís fionnachtain eolaíoch a luathú go suntasach. Tá fianaise ghéiniteach dhaonna lárnach cheana féin i dtosaíocht spriocanna agus i leanúint aistritheach, mar is mó i bhfad an seans go dtiocfaidh cóireálacha ceadaithe as meicníochtaí a bhfuil tacaíocht ghéiniteach acu.

Idir an dá linn, tá costais seicheamhaithe tar éis titim go tubaisteach, agus nascann tacair sonraí ar scála bithbhainc faisnéis mhóilíneach, fheinitíopach agus taifead sláinte anois ar leithead gan fasach. Tá an bac is mó ag bogadh ó ghiniúint sonraí go faisnéis a iompú ina léargais inghníomhaithe. D’fhéadfadh samhlacha atá in ann anailísí a dhéanann foirne saineolaithe daonna anois a dhéanamh go comhsheasmhach taighde tionsclaíoch a athrú trí thriáise hipitéisí, leanúint spriocanna, agus an timthriall atriallach idir giniúint sonraí agus cinnteoireacht a luathú.

Is iarracht tosaigh é GeneBench-Pro chun na scileanna níos teibí a bhaineann le breithiúnas eolaíoch maith i measc taighdeoirí a bhfuil taithí acu a mheas. Ligeann na scileanna seo dóibh na hanailísí tosaigh is geallta a thuiscint agus a aithint, a smaointeoireacht a atriall agus a leasú nuair a bhréagnaíonn sonraí toimhdí tosaigh, agus conclúidí a bhaint amach ar féidir le cinntí cliniciúla, acadúla nó gnó iartheachtacha brath orthu. 

Measaimid, de réir mar a théann cumais samhlacha chun cinn, go mbeidh tagarmharcanna a scrúdaíonn cumais samhlacha ag na leibhéil teibíochta seo níos úsáidí, thar na cinn nach ndéanann ach eolas leabhair nó an cumas anailísí gnáthaimh a rith a thástáil.

Údar

OpenAI

Lean ort ag léamh

Féach gach rud
A near-autonomous AI chemist improves a challenging reaction
Feabhsaíonn ceimiceoir IS atá beagnach uathrialach imoibriú dúshlánach sa cheimic mhíochaineach

Taighde

LifeSciBench 1x1
LifeSciBench á thabhairt isteach

Taighde

Production Resampling > Art Card
Iompar samhla a thuar roimh scaoileadh trí sholáthar a Ionsamhlú

Taighde