Léim go dtí an príomhábhar
OpenAI

30 Meitheamh 2026

TaighdeFoilsiú

Ag cur GeneBench-Pro i láthair

Tagarmharc ar leibhéal taighde a thomhaiseann conas a théann gníomhairí intleachta saorga i ngleic le débhríocht agus a dhéanann siad breithiúnais iarmhartacha sa bhitheolaíocht ríomhaireachtúil.

Léigh an páipéar(osclaíonn i bhfuinneog nua)
Ag lódáil…

Is annamh a thagann sonraí eolaíocha le treoracha. Ní mór do thaighdeoirí cinneadh a dhéanamh an léiríonn patrún bitheolaíocht nó torann, an féidir leis na sonraí tacú leis an gceist atá á cur, agus conas ba cheart do gach toradh an méid a dhéanfaidh siad ina dhiaidh sin a athrú. Tá gníomhairí intleachta saorga ag éirí níos cumasaí anailísí casta a dhéanamh, ach braitheann fíorthaighde eolaíoch ní hamháin ar fhíricí a thabhairt chun cuimhne ná ar shreabhadh oibre réamhshainithe a leanúint, ach freisin ar na breithiúnais ardoird seo a dhéanamh.

Inniu, táimid ag cur GeneBench-Pro i láthair—tagarmharc dúshlánach ar leibhéal taighde lena thástáil an féidir le samhlacha dul i ngleic leis an gcineál anailíse ina bhfuil go leor breithiúnais i gceist, mar a éilíonn bitheolaíocht ríomhaireachtúil sa saol réadúil. Déanann sé forbairt ar GeneBench⁠(osclaíonn i bhfuinneog nua) chun tascanna níos deacra agus níos réadúla a chuimsiú ar fud na géanómaíochta, na bitheolaíochta chainníochtúla agus an leighis aistrithigh, agus castacht, nádúr atriallach agus débhríocht an taighde eolaíoch sa bhitheolaíocht ríomhaireachtúil á léiriú aige. 

Go dtí seo, tá beagán measúnuithe dhochreidte déanta ar na cinntí breithiúnacha ar leibhéal an chórais a dhéanann taighde ríomhaireachtúil i gcomhthéacsanna fíorshaoil deacair. Áirítear orthu seo déileáil le neamhchinnteacht, toimhdí a athbhreithniú, an conair cheart anailíse a roghnú, agus a aithint cathain atá toradh réidh le haghaidh cinntí. Ós rud é gur deacair na scileanna seo a fhoirmiúlú, is deacair freisin iad a mheasúnú go dian, fiú agus laigí iontu ag cur srian níos mó agus níos mó ar fheidhmíocht fhoriomlán na hintleachta saorga.

Léaráid dar teideal “Bearna na tagarmharcála sa bhitheolaíocht” ina gcuirtear sreafaí oibre tagarmharcála traidisiúnta i gcomparáid le hanailís eolaíoch ó cheann ceann, agus ina dtaispeántar céimeanna breise amhail réamhphróiseáil, samhaltú, diagnóisic agus mionchoigeartú atriallach sula mbaintear tátal eolaíoch amach.

Tá GeneBench-Pro deartha chun na cumais ardleibhéil seo a thomhas go beacht. Laistigh de GeneBench-Pro, sainmhínímid “blas taighde” mar na slabhraí cinntí bunaithe ar bhreithiúnas a mhúnlaíonn anailís: cé na ceisteanna ar féidir leis na sonraí tacú leo, conas ba cheart do dhiagnóisic luath an tsamhail nó an estimand a athrú, agus cathain is gá plean tosaigh a athbhreithniú. Tugann gach fadhb GeneBench-Pro tacar sonraí réalaíocha agus míshlachtmhara don tsamhail, chomh maith le comhthéacs turgnamhach gairid agus an estimand spriocdhírithe atá nasctha le cinneadh iartheachtach. Chun freagra ceart a thabhairt, ní mór don tsamhail na sonraí a iniúchadh, cur chuige anailíseach cuí a roghnú, dul i mbun próiseas atriallach turgnamhaíochta, agus freagra deiridh a sholáthar.

Tógáil an tacair sonraí

Sa bhitheolaíocht, tá costas giniúna sonraí (m.sh., seicheamhú géanóim) tite go mór, agus áitíonn roinnt taighdeoirí anois⁠(osclaíonn i bhfuinneog nua) nach é bailiú samplaí an fachtóir teorannaithe a thuilleadh, ach an ríomhaireacht agus an anailís iartheachtach. Tá GeneBench-Pro deartha chun dul chun cinn maidir le dul i ngleic leis an mbac sin a mheas, le 129 ceist a chlúdaíonn réimse leathan suíomhanna agus modhanna sa bhitheolaíocht ríomhaireachtúil.

Atlas Fearainn: 129 (t)s(h)aincheist i 10 (bh)f(h)earainn agus 21 (bh)f(h)ofhearainn

Úsáid na heochracha saighde chun bogadh idir fadhbanna tagarmhairc. Tá sonraí na faidhbe roghnaithe le feiceáil thíos.

Cliceáil ar phonc thuas chun eolas a fháil faoi fhadhb thagarmharcála.

Tugann an t-atlas seo réamhamharc ar fhairsinge GeneBench-Pro. Tabhair cuairt ar leathanach na gcás-staidéar chun 10 gceist ionadaíocha a fhiosrú níos mion.

Tá GeneBench-Pro deartha freisin chun teipeanna coitianta tagarmharcála a sheachaint. Cumann go leor tagarmharcanna bitheolaíochta fadtréimhseacha ceisteanna ilchéime timpeall ar thacair sonraí stairiúla mhíshlachtmhara, áit nach mbíonn, b’fhéidir, aon chosán ceart amháin tríd an anailís. D’fhéadfadh gníomhaire amháin tairseach inchreidte amháin a roghnú, agus d’fhéadfadh gníomhaire eile rogha dhifriúil ach chomh inchreidte céanna a roghnú, rud a léiríonn na roghanna randamacha a rinne cruthaitheoir an tagarmhairc níos mó ná aon difríocht bhunúsach i bhfeidhmíocht na samhlacha. Is féidir a mhalairt tarlú freisin: má bhíonn fadhb ró-neamhíogair, ó thaobh uimhriúil de, is féidir le gníomhaire bunearráidí a dhéanamh le linn anailíse agus toradh pasála a tháirgeadh fós.

Chun na modhanna teipe seo a sheachaint, cruthaítear gach fadhb GeneBench-Pro ar bhealach sintéiseach: tá an struchtúr cúiseach iomlán ar eolas againn agus déanaimid an próiseas giniúna sonraí a insamhladh go díreach. Cuireann sé sin ar ár gcumas castacht gach faidhbe a mhionchoigeartú, a chinntiú go mbíonn torthaí uimhriúla inghlactha fós mar thoradh ar dhifríochtaí réasúnta i roghanna anailíseacha suibiachtúla, agus a fhíorú (trí staidéir ablaíochta) go dteipeann ar anailísí atá inchreidte ach mícheart. Déanaimid iniúchadh ansin ar dhréachtaí fadhbanna trí anailísí rianaithe mionsonraithe chun sceitheadh faisnéise agus conairí réitigh neamhbheartaithe a sheiceáil. Tugann sé seo muinín dúinn go mbraitheann an freagra ceart a fháil ar an gconair anailíseach cheart a roghnú, agus ní ar leas a bhaint as aicearra ná ar shainrogha threallach údair a mheaitseáil.

Léaráid dar teideal “Tógáil agus bailíochtú an fhadhb GeneBench-Pro,” a thaispeánann sreabhadh oibre ó thasc inrite a thógáil, trí athbhreithniú, seiceálacha stóinseachta, tástáil gníomhairí, athbhreithniú saineolaithe, leasú, agus fadhb thagarmharcála chríochnaithe.

Sheolamar 82 de na 129 ceisteanna GeneBench-Pro chuig saineolaithe seachtracha sa réimse, lena n-áirítear mic léinn iarchéime, taighdeoirí iardhochtúireachta, eolaithe tionscail, agus ollúna. Rinne na hathbhreithneoirí measúnú ar réalachas gach faidhbe, ar cé acu a bhí an spriocfhreagra inaitheanta, agus ar cé acu a bhí na modhanna agus na meastóirí oiriúnach. Baineadh úsáid as aiseolas chun fadhbanna a fheabhsú.

1 de 2
“Bheadh sé dúshlánach do mhac léinn iarchéime na fadhbanna a d’athbhreithnigh mé a chur i gcrích gan aiseolas athdhéanta ó mhaoirseoir le taithí. Bhí fadhbanna teicniúla agus fadhbanna rialaithe cáilíochta sna sonraí, rud a d’fhág gur ghá anailís sonraí mhachnamhach chúramach a dhéanamh, agus bheith feasach ar na gaistí féideartha, chun an obair a thabhairt chun críche go rathúil; ní raibh i gceist acu modh réamhdhéanta éigin a chur i bhfeidhm go simplí ar shonraí glana dea-choimeádta.”
Alexander Strudwick Young, Ollamh Cúnta i nGéineolaíocht Dhaonna ag UCLA

Meastóireacht agus grádú

Tá gach fadhb GeneBench-Pro ina hanailís eolaíoch neamhspleách. Faigheann gníomhairí rochtain ar spás oibre leithlisithe ina bhfuil leid ghearr, comhaid sonraí, agus cruach chaighdeánach bithfhaisnéisíochta lena n-áirítear Python, leabharlanna ríomhchláraithe eolaíochta, agus pacáistí géanómaíochta bunúsacha ar nós PLINK 2.0 (cé nach n-éilíonn na fadhbanna uirlisí speisialaithe don réimse).

Cinneadh maidir le tairbhe agus riosca teiripe túmóra bunaithe ar athróg struchtúrach

A molecular tumor board registry contains trial-eligible advanced solid-tumor cases considered for a TXR1-directed inhibitor. Estimate, for tumors with SV-driven TXR1 target-mediated activation at time zero, the marginal effect of TXR1i versus non-TXR1 systemic therapy on week-16 clinical benefit as if all patients had an assessable week-16 visit. Also estimate the 8-week treatment-limiting toxicity/discontinuation risk under TXR1i in the same target population. Report net clinical utility = benefit risk difference (percentage points) - 0.35 * toxicity risk (percentage points), and choose therapy_class_code 1 if TXR1i has positive net utility and 0 otherwise. 

Use percentage-point units for all non-code quantities. Positive benefit means TXR1i improves week-16 clinical benefit relative to non-TXR1 systemic therapy.

These data came from a real experiment; you will be graded not just on numerical correctness but the quality of analytical reasoning you exhibit; do not attempt to take any shortcuts.

Return your final answer as exactly one JSON object.
Do not wrap the JSON in markdown.
Do not add prose before or after the JSON.
Do not omit any keys shown in the example.
Return the JSON object in your final answer:

JSON

1
{
2
  "answer": {
3
    "therapy_class_code": <int>,
4
    "benefit_rd_pp": <float>,
5
    "toxicity_dropout_risk_pp": <float>,
6
    "net_clinical_utility_pp": <float>
7
  },
8
  "reasoning": "<description of method and QC>"
9
}

Ós rud é go bhfuil smacht againn ar an bpróiseas iomlán giniúna sonraí, is féidir linn ceartacht a ghrádú go cinntitheach i gcomparáid le spriocanna aitheanta, agus seachaint éagsúlachta de bharr rogha samhla agus éifeachtaí rófhoclachais atá le fáil i meastóireacht chaighdeánach bunaithe ar rúibricí.

Tá meiteashonraí saibhre ag gabháil le gach fadhb freisin, lena n-áirítear an struchtúr anailíse atá beartaithe, comhaid sonraí ceangailte, cás-staidéar mionsonraithe il-leathanach, agus torthaí athbhreithnithe saineolaithe. Táimid ag cur 10 gceist ionadaíocha GeneBench-Pro ar fáil go hiomlán mar fhoinse oscailte ar Hugging Face⁠(osclaíonn i bhfuinneog nua), mar aon le comhéadan gréasáin idirghníomhach chun iad a bhrabhsáil. Ar deireadh, cuirfimid fo-thacar 50 ceist ar fáil do Artificial Analysis⁠(osclaíonn i bhfuinneog nua) le haghaidh tagarmharcála neamhspleáiche ag an tríú páirtí go luath amach anseo.

Torthaí

Baineann an samhail is láidre againn, GPT‑5.6 Sol, ráta pasála 28.7% ag an leibhéal réasúnaíochta is airde (31.5% le mód Pro cumasaithe). Is méadú géar é sin i gcomparáid leis an tráth ar thosaíomar ag forbairt an GeneBench bunaidh; ag an am sin, fuair ár samhail cheannródaíoch ab fhearr, GPT‑5, scór faoi bhun 5%. Tugann an dul chun cinn ar an tagarmharc seo le fios go bhfuil samhail cheannródaíoch ag feabhsú go tapa, fiú maidir le réasúnaíocht eolaíoch ar leibhéal córais atá níos doiléire. Leis an luas reatha, d’fhéadfadh an tagarmharc seo a bheith sáithithe faoi dheireadh na bliana.

Léiríonn na torthaí freisin tionchar scálaithe na ríomhacmhainneachta ag am tástála. Ag an leibhéal réasúnaíochta is ísle, ní bhaineann GPT‑5.6 Sol amach ach ráta pasála aon dhigiteach. Ag an leibhéal réasúnaíochta is airde, réitíonn GPT‑5.6 Sol beagnach sé oiread ceisteanna agus GPT‑5.2. a dhéanann é agus é ag úsáid thart ar dhá thrian den oiread téacschomharthaí.

Tugann comparáidí trasna teaghlaigh samhail le fios go bhfuil samhlacha GPT i measc na gcóras is láidre ó thaobh réasúnaíocht eolaíoch ardleibhéil faoi éiginnteacht chainníochtúil. An bhearna feidhmíochta idir GPT‑5.6, Tá an bhearna idir GPT‑5.5 agus na samhlacha foinse oscailte ceannródaíocha ar nós GLM 5.2 i bhfad níos mó ná mar a bheas ag súil leis agus muid ag eachtarshuíomh ó thagarmharcanna códaithe⁠(osclaíonn i bhfuinneog nua), rud a léiríonn go bhfuil samhail foinse oscailte níos speisialaithe don chódú ná don chumas réasúnaíochta níos leithne.

D’úsáideamar samhlacha GPT ar thús cadhnaíochta chun measúnú a dhéanamh ar fhadhbanna agus iad a chruachan le linn na forbartha. Dá réir sin, bhí amhras orainn go bhféadfadh GeneBench-Pro a bheith claonta i gcoinne samhlacha GPT i gcomparáid le teaghlaigh samhlacha eile. Mar sin féin, sa chás is fearr, ní raibh samhlacha na n-iomaitheoirí ach ag teacht le feidhmíocht an tsamhail GPT comhfhreagraí tráth a eisithe, agus ba ghnách leo a bheith i bhfad níos ísle ná sin.

Tá na torthaí meastóireachta seo—suas le 31.5% ar GPT‑5.6 Sol (Pro)—suntasach i bhfianaise dheacracht na gceisteanna GeneBench-Pro. I suirbhé, mheas ár n-athbhreithneoirí go dtógfadh sé thart ar 20–40 uair an chloig ar shaineolaí daonna gnáthfhadhb GeneBench-Pro a chur i gcrích. Ag ráta coimeádach de $200 san uair, fágann sé sin go bhfuil an costas saothair dhaonna a bhaineann le fadhb amháin sna mílte dollar. Tá gníomhairí intleachta saorga an lae inniu fós ró-neamhiontaofa le teacht in áit saineolaithe daonna, ach tá an bhearna costais mór, agus tá na costais tátail ach cúpla dollar in aghaidh na faidhbe. Ciallaíonn sé sin go bhféadfadh fiú uathoibriú páirteach, leis na cumais reatha, luach suntasach eacnamaíoch agus eolaíoch a chruthú.

1 de 2
“Tá na tagarmharcanna spreagtha ag réimse éagsúil ceisteanna bitheolaíocha, ach … tagann an fíordhúshlán ón anailís thaiscéalaíoch sonraí agus ó réasúnaíocht bunaithe ar na fionnachtana seo: patrúin agus déantáin a shainaithint, agus cinneadh a dhéanamh ar cheart na sonraí a eisiamh nó a choigeartú. Tá sé seo cosúil leis an nádúr neamhordúil a bhíonn ag tacair shonraí bhitheolaíocha fhíora. Léiríonn athbhreithniú ar na meastóireachtaí seo cé chomh tábhachtach is atá na conarthaí soiléire réiteora le haghaidh réiteach fadhbanna eolaíoch atá bunaithe ar ghníomhairí. Is féidir le leid éagsúil nó sonraíocht tasc tionchar mór a imirt ar na hanailísí a bhfuil cead acu a bheith ann.”
Cyrillus Tan, Comhlach Taighde Iardhochtúireachta ag an Ionad Géanóim Nua-Eabhrac

Mar sin féin, léiríonn an fhíric go réitíonn samhlacha teorainneacha níos lú ná trian de na fadhbanna seo fós go bhfuil neart spáis ann le feabhsú. Is féidir le samhlacha dul chun cinn páirteach a dhéanamh ar fhadhbanna dúshlánacha, ach bíonn deacracht acu an lúb tátalach a dhúnadh. Tá an patrún teipe seo ag teacht leis an gcodarsnacht idir saineolaithe daonna agus tosaitheoirí. Baineann saineolaithe úsáid as a dtaithí chun an fhadhb a leagan amach agus a gcur chuige a oiriúnú, agus déanann tosaitheoirí breathnuithe, ach bíonn deacracht acu iad a chomhtháthú i gcomhthéacs níos leithne na faidhbe.

Fadhb: Freagairt chógas-ghéanómaíoch ama-go-teagmhas le cóireáil a athraíonn de réir ama

Cinneann tús na cóireála, freagairt shainiúil don ghéinitíopa, cógasdinimic mhoillithe, bratacha úsáideoirí forleithne agus bithmharcóirí fadaimseartha, i dteannta a chéile, an t-estimand marthanais cúiseach.

Patrún GPT-5.5

Handles treatment timing with a conventional Cox outcome model but does not address treatment-confounder feedback.

Fit a counting-process Cox model with treatment as a time-varying exposure, effective only after treat_start+90 days ... The model included G, treatment×G, baseline severity, age, and sex.

Patrún GPT-5.6 Sol

Uses a more appropriate causal inference method to properly account for treatment-confounder feedback.

Used a new-user marginal structural Cox model: excluded 818 flagged prevalent users, modeled treatment initiation with stabilized inverse-probability weights using baseline covariates and current biomarker, and treated exposure as time-varying with a 90-day efficacy lag.

Chun feidhmíocht atá beagnach foirfe a bhaint amach, beidh gá le meastóireachtaí a thomhaiseann dul chun cinn go hiontaofa agus a shainaithníonn na háiteanna ina dteipeann ar shamhlacha fós. Is féidir le tagarmharcanna cosúil le GeneBench-Pro cabhrú le heasnamh cumais doiléir a iompú ina rud is féidir linn a dhiagnóisiú agus a fheabhsú. 

Dá mbeadh gníomhairí in ann an cineál seo anailíse a uathoibriú go hiontaofa, d’fhéadfaidís dlús suntasach a chur le fionnachtain eolaíoch. Tá fianaise ghéiniteach dhaonna lárnach cheana féin i gcur tosaíochta ar spriocanna agus in obair leanúnach trasfhreagrach, toisc gur mó i bhfad an dóchúlacht go mbeidh cóireálacha ceadaithe mar thoradh ar mheicníochtaí a bhfuil tacaíocht ghéiniteach acu.

Idir an dá linn, tá costais an tseicheamhaithe tite go géar, agus anois nascann tacair shonraí ar scála bithbhainc an fhaisnéis mhóilíneach, an fheinitíopach, agus an fhaisnéis ó thaifid sláinte le fairsinge nach bhfacthas riamh roimhe sin. Tá an fachtóir teorannaitheach ag aistriú ó ghiniúint sonraí go dtí an fhaisnéis a thiontú ina léargais is féidir gníomh a dhéanamh orthu. D’fhéadfadh samhlacha a dhéanann anailísí go comhsheasmhach, anailísí atá á láimhseáil faoi láthair ag foirne saineolaithe daonna, taighde tionsclaíoch a athrú trí scagadh hipitéisí, leanúint suas ar spriocanna, agus an timthriall athdhéanamh idir giniúint sonraí agus cinnteoireacht a luathú.

Is iarracht tosaigh é GeneBench-Pro chun na scileanna níos doiléire a bhaineann le breithiúnas eolaíoch maith atá ag daoine a bhfuil taithí acu a mheasúnú. Cuireann na scileanna seo ar a gcumas na hanailísí tosaigh is geallta a thuiscint agus a shainaithint, athdhéanamh agus athbhreithniú a dhéanamh ar a gcuid smaointeoireachta nuair a shéanann sonraí na toimhdí tosaigh iad, agus teacht ar chonclúidí a bhféadfadh cinntí cliniciúla, acadúla nó gnó iardheireanach a bheith ag brath orthu. 

Táimid ag súil, de réir mar a théann cumais na samhla chun cinn, go n-éireoidh tagarmharcanna a scrúdaíonn cumais na samhla ag na leibhéil níos airde aicmithe níos úsáidí de réir a chéile, thar na cinn a dhéanann ach tástáil ar eolas leabhair nó ar an gcumas anailísí rialta a chur i gcrích.

Údar

OpenAI

Lean ort ag léamh

Féach gach rud
ARC-AGI-3 art-card 1x1
Mar a mhéadaigh dhá shocrú ár scóir faoi thrí ar thagarmharc ARC-IGS-3

Taighde

oai Science Academic Research Academic Research 1x1
Accelerating scientific discovery with ChatGPT for Academic Researchers

Cuideachta

Scientific computing agentic AI card image (1x1)
Ríomhaireacht eolaíoch i ré intleacht shaorga ghníomhaireach

Foilsiú