Үндсэн агуулга руу алгасах
OpenAI

2026 оны зургаадугаар сарын 30

СудалгааНийтлэл

GeneBench-Pro-г танилцуулж байна

Тооцооллын биологид хиймэл оюун ухаант агентууд тодорхойгүй байдлыг хэрхэн давж, чухал дүгнэлт гаргадгийг хэмжих судалгааны түвшний бенчмарк.

Өгүүллийг унших(шинэ цонхонд нээгдэнэ)
Ачаалж байна…

Шинжлэх ухааны өгөгдөл заавартай ирэх нь ховор. Судлаачид нэг хэв шинж биологийг илэрхийлж байна уу эсвэл шуугиан уу, өгөгдөл нь тавьсан асуултыг дэмжиж чадах уу, мөн үр дүн бүр дараагийн алхмыг хэрхэн өөрчлөх ёстойг шийдэх хэрэгтэй. Хиймэл оюун ухааны агентууд нарийн төвөгтэй шинжилгээ гүйцэтгэх чадвартай болж байгаа ч бодит шинжлэх ухааны судалгаа нь зөвхөн баримт санах, урьдчилан тогтоосон ажлын урсгал дагахаас гадна ийм өндөр түвшний дүгнэлт гаргаж чадахаас хамаардаг.

Өнөөдөр бид GeneBench-Pro-г танилцуулж байна — бодит ертөнцийн тооцооллын биологид шаардлагатай шүүлт, дүгнэлт өндөртэй шинжилгээг загварууд гүйцэтгэж чадах эсэхийг шалгах зорилготой, судалгааны түвшний, сорилт өндөртэй бенчмарк. Энэ нь GeneBench⁠(шинэ цонхонд нээгдэнэ)-ийг өргөтгөн, геномик, тоон биологи, болон суурь судалгааны ололтыг анагаах ухааны хүрээнд илүү хүнд, бодит нөхцөлд ойр даалгавруудыг хамруулсан бөгөөд тооцооллын биологийн шинжлэх ухааны судалгаанд байдаг төвөгтэй байдал, давтамжит (iterative) шинж чанар, болон тодорхой бус байдлыг тусган харуулдаг. 

Өнөөг хүртэл бодит тооцооллын судалгааг хүндрүүлдэг системийн түвшний дүгнэлтийг үнэмшилтэй үнэлсэн ажил цөөн байсан. Үүнд тодорхойгүй байдлыг зохицуулах, таамаглалаа шинэчлэх, зөв шинжилгээний зам сонгох, үр дүн шийдвэр гаргахад бэлэн эсэхийг мэдэх зэрэг орно. Эдгээр ур чадварыг албажуулахад хэцүү тул тэдгээрийг хатуу үнэлэхэд ч хэцүү; гэтэл эдгээрийн сул тал Хиймэл оюун ухааны нийт гүйцэтгэлийг улам бүр хязгаарлаж байна.

“Биологийн бенчмаркийн зөрүү” нэртэй диаграмм; уламжлалт бенчмаркийн ажлын урсгалыг эхнээсээ эцсээ хүртэлх шинжлэх ухааны шинжилгээтэй харьцуулж, шинжлэх ухааны дүгнэлтэд хүрэхээс өмнөх урьдчилан боловсруулалт, загварчлал, оношлогоо, давталттай сайжруулалт зэрэг нэмэлт алхмуудыг харуулна.

GeneBench-Pro нь эдгээр өндөр түвшний чадварыг нарийн хэмжихээр бүтээгдсэн. GeneBench-Pro-д бид “судалгааны мэдрэмж”-ийг шинжилгээг чиглүүлдэг дараалсан дүгнэлтүүд гэж тодорхойлдог: өгөгдөл ямар асуултыг дэмжих, эхний оношилгоо загвар эсвэл үзүүлэлтийг хэрхэн өөрчлөх, анхны төлөвлөгөөг хэзээ засах хэрэгтэй гэх мэт. GeneBench-Pro-ийн асуудал бүр нь загварт бодитой, эмх цэгцгүй өгөгдлийн багц, туршилтын товч нөхцөл, доод түвшний шийдвэртэй холбоотой зорилтот үзүүлэлтийг өгдөг. Зөв хариулахын тулд загвар өгөгдлийг судалж, тохирох шинжилгээний арга сонгон, туршилтын давталттай үйл явцад оролцож, эцсийн хариуг гаргах шаардлагатай.

Өгөгдлийн багц байгуулах

Биологид өгөгдөл үүсгэх өртөг (жишээ нь геномын дараалал тогтоох) огцом буурсан бөгөөд зарим судлаачид одоо⁠(шинэ цонхонд нээгдэнэ) хязгаарлагч хүчин зүйл нь дээж цуглуулах бус, дараах тооцоолол ба шинжилгээ болсон гэж үзэж байна. GeneBench-Pro нь энэ бөглөрлийг шийдэх ахицыг үнэлэхээр бүтээгдсэн бөгөөд тооцооллын биологийн өргөн орчин, аргыг хамарсан 129 асуулттай.

Домэйн Атлас: 10 домэйн болон 21 дэд домэйн дэх 129 асуудлууд

Жишиг бодлогуудын хооронд шилжихийн тулд сумтай товчлууруудыг ашиглана уу. Сонгосон асуудлын дэлгэрэнгүй мэдээлэл доор харагдаж байна.

Бенчмаркийн асуудлын талаар мэдэхийн тулд дээрх цэг дээр дарна уу.

Энэ атлас GeneBench-Pro-ийн цар хүрээг урьдчилан харуулна. Төлөөлөх 10 асуултыг дэлгэрэнгүй үзэхийн тулд кейс судалгааны хуудас -аар зочлоорой.

GeneBench-Pro нь бенчмаркт түгээмэл гардаг алдаанаас зайлсхийхээр мөн зохиогдсон. Урт хугацааны олон биологийн бенчмарк эмх замбараагүй түүхэн өгөгдөл дээр олон алхамт асуулт байгуулдаг бөгөөд шинжилгээг хийх цорын ганц зөв зам байхгүй байж болно. Нэг агент хамгаалж болох босго сонгоход нөгөө нь өөр боловч адил хамгаалж болох хувилбар сонгож болох ба энэ нь загварын гүйцэтгэлийн суурь ялгаанаас илүү бенчмарк бүтээгчийн дур мэдэн хийсэн сонголтыг тусгана. Эсрэг нь ч тохиолдож болно: хэрэв асуудал нь тоон утгаар хэт мэдрэмжгүй бол агент шинжилгээнд суурь алдаа гаргасан ч тэнцэх үр дүн гаргаж чадна.

Эдгээр загварын алдаанаас зайлсхийхийн тулд GeneBench-Pro-ийн асуудал бүрийг синтетикээр байгуулдаг: бид шалтгааны бүтцийг бүхэлд нь мэдэж, өгөгдөл үүсгэх процессыг шууд симуляц хийдэг. Ингэснээр асуудал бүрийн төвөгтэй зүйлсийг тохируулах, субьектив шинжилгээний боломжийн ялгаа ч хүлээн зөвшөөрөгдөх тоон үр дүн өгөхийг хангах, мөн боломжтой ч гэсэн буруу шинжилгээний алдааг (ablation судалгаагаар) шалгах боломжтой. Дараа нь бид мэдээлэл алдагдах болон санаандгүй шийдлийн зам байгаа эсэхийг шалгахын тулд асуудлын нооргийг нарийвчилсан гүйцэтгэлийн мөрийн шинжилгээгээр аудит хийдэг. Ингэснээр зөв хариу гаргах нь ямар нэг богино зам ашиглах эсвэл зохиогчийн дурын таамагтай тааруулах бус, харин зөв аналитик замыг сонгохоос хамаардаг гэдэгт итгэлтэй болдог.

“GeneBench-Pro асуудлыг үүсгэх ба баталгаажуулах” гэсэн гарчигтай диаграмм бөгөөд гүйцэтгэж болох даалгаврыг боловсруулах үеэс эхлэн хяналт, бат бөх байдлын шалгалт, агентын туршилт, мэргэжилтний хяналт, засвар, сайжруулалтын дараа эцсийн бенчмарк асуудал болох хүртэлх ажлын урсгалыг харуулсан байна.

Бид GeneBench-Pro-ийн 129 асуултаас 82-ыг гадаад домэйн мэргэжилтнүүдэд (магистрын оюутнууд, докторын дараах судлаачид, салбарын эрдэмтэд, профессоруудад) илгээсэн. Шүүгчид асуудал бүрийн бодит байдалтай нийцэх эсэх, зорилтот хариу тодорхойлох боломжтой эсэх, мөн ашигласан арга зүй болон үзүүлэлтүүд тохиромжтой эсэхийг үнэлсэн. Энэхүү санал хүсэлтийг асуудлуудыг сайжруулахад ашигласан.

1 -н 2
“Миний хянасан бодлогуудыг туршлагатай удирдагчаас дахин зөвлөгөө авахгүйгээр гүйцэтгэх нь магистрын оюутанд ч гүйцэтгэхэд хүнд байх байсан. Өгөгдөл нь техникийн болон чанарын хяналттай холбоотой асуудлуудыг агуулж байсан тул болзошгүй эрсдэл, алдаа дутагдлыг ухамсарласан, нухацтай бөгөөд эргэцүүлсэн шинжилгээ хийх шаардлагатай байв; энэ нь зүгээр л цэвэрлэж, сайтар боловсруулсан өгөгдөл дээр бэлэн аргыг шууд хэрэглэсэн ажил биш байсан.”
UCLA-ийн хүний генетикийн туслах профессор Александр Струдвик Янг

Үнэлгээ ба дүгнэх арга

GeneBench-Pro-ийн асуудал бүр бие даасан шинжлэх ухааны шинжилгээ юм. Агентууд богино өгөгдөл, өгөгдлийн файлууд, Python, шинжлэх ухааны тооцооллын сангууд, PLINK 2.0 зэрэг суурь геномикийн багцуудтай стандарт био-информатикийн стек бүхий тусгаарлагдсан ажлын талбар хандах эрх хүлээн авдаг (гэхдээ асуудлууд домэйн-өвөрмөц хэрэгсэл шаардахгүй).

Бүтцийн хувилбарт тулгуурласан хавдрын эмчилгээний ашиг-эрсдэлийн шийдвэр

A molecular tumor board registry contains trial-eligible advanced solid-tumor cases considered for a TXR1-directed inhibitor. Estimate, for tumors with SV-driven TXR1 target-mediated activation at time zero, the marginal effect of TXR1i versus non-TXR1 systemic therapy on week-16 clinical benefit as if all patients had an assessable week-16 visit. Also estimate the 8-week treatment-limiting toxicity/discontinuation risk under TXR1i in the same target population. Report net clinical utility = benefit risk difference (percentage points) - 0.35 * toxicity risk (percentage points), and choose therapy_class_code 1 if TXR1i has positive net utility and 0 otherwise. 

Use percentage-point units for all non-code quantities. Positive benefit means TXR1i improves week-16 clinical benefit relative to non-TXR1 systemic therapy.

These data came from a real experiment; you will be graded not just on numerical correctness but the quality of analytical reasoning you exhibit; do not attempt to take any shortcuts.

Return your final answer as exactly one JSON object.
Do not wrap the JSON in markdown.
Do not add prose before or after the JSON.
Do not omit any keys shown in the example.
Return the JSON object in your final answer:

JSON

1
{
2
  "answer": {
3
    "therapy_class_code": <int>,
4
    "benefit_rd_pp": <float>,
5
    "toxicity_dropout_risk_pp": <float>,
6
    "net_clinical_utility_pp": <float>
7
  },
8
  "reasoning": "<description of method and QC>"
9
}

Бид өгөгдөл үүсгэх процессыг бүхэлд нь хянадаг тул зөв эсэхийг мэдэгдэж буй зорилттой детерминистээр дүгнэж, стандарт рубрик үнэлгээнд гардаг загвар сонголтын хэлбэлзэл, нуршуу байдлын нөлөөнөөс зайлсхийж чадна.

Асуудал бүр зорьсон шинжилгээний бүтэц, хавсаргасан өгөгдлийн файлууд, олон хуудастай дэлгэрэнгүй кейс судалгаа, шинжээчийн хяналтын үр дүн зэрэг баялаг мета өгөгдөлтэй. Бид төлөөлөх 10 GeneBench-Pro асуултыг Hugging Face⁠(шинэ цонхонд нээгдэнэ) дээр бүрэн нээлттэй эх болгож, үзэхэд зориулсан interactive web interface-тэй нийтэлж байна. Эцэст нь бид ойрын хугацаанд хараат бус, гуравдагч талын бенчмаркинг хийхээр 50 асуултын дэд багцыг Artificial Analysis⁠(шинэ цонхонд нээгдэнэ)-д өгнө.

Үр дүн

Манай хамгийн хүчирхэг загвар GPT‑5.6 Sol нь хамгийн өндөр сэтгэн бодох түвшин буюу 28.7%-ийн тэнцсэн хувьтай (Pro горим идэвхтэй үед 31.5%) байна. Энэ нь бид анхны GeneBench-ийг байгуулж эхэлсэн үеэс огцом өссөн үзүүлэлт юм; тэр үед манай шилдэг загвар GPT‑5 нь 5%-иас доогуур оноо авч байсан. Энэ бенчмарк дээрх ахиц нь шилдэг загварууд илүү барьцгүй, системийн түвшний шинжлэх ухааны сэтгэн бодох дээр ч хурдан сайжирч байгааг харуулж байна. Одоогийн хурдаар энэ бенчмарк жилийн эцэс гэхэд ханалтдаа хүрч магадгүй.

Үр дүн нь тестийн үеийн тооцооллыг өргөтгөхийн нөлөөг мөн харуулж байна. Хамгийн доод сэтгэн бодох түвшинд GPT‑5.6 Sol зөвхөн нэг оронтой тэнцсэн хувьтай байна. Хамгийн өндөр сэтгэн бодох түвшинд GPT‑5.6 Sol нь GPT‑5.2‑оос бараг зургаа дахин олон асуултыг шийдэж, гэхдээ ойролцоогоор гуравны хоёртой тэнцэх хэмжээний токен ашигладаг.

Загварын төрлүүдийг харьцуулахад GPT загварууд тоон тодорхойгүй байдлын нөхцөлд өндөр түвшний шинжлэх ухааны сэтгэн бодох хамгийн хүчтэй системүүдийн нэг болохыг харуулж байна. GPT‑5.6, GPT‑5.5 болон GLM 5.2 зэрэг тэргүүлэх нээлттэй эхийн загваруудын гүйцэтгэлийн зөрүү нь код бичих бенчмаркууд⁠(шинэ цонхонд нээгдэнэ)-аас таамагласнаас хавьгүй их байгаа нь нээлттэй эхийн загварууд өргөн сэтгэн бодох чадвараас илүү код бичихэд мэргэшсэн болохыг илтгэнэ.

Бид хөгжүүлэлтийн явцад бодлогуудыг үнэлж, бат бөх болгоход шилдэг GPT загваруудыг ашигласан. Иймээс GeneBench-Pro нь бусад загварын төрлүүдтэй харьцуулахад GPT загваруудын эсрэг хазайлттай байж магадгүй гэж бид сэжиглэсэн. Гэвч өрсөлдөгч загварууд хамгийн сайндаа тухайн үеийн ижил түвшний GPT загварын гүйцэтгэлийг л давтаж, ихэвчлэн нэлээд хоцорч байв.

GeneBench-Pro асуултуудын хүндрэлийг бодолцвол GPT‑5.6 Sol (Pro) дээр 31.5% хүрсэн эдгээр үнэлгээний үр дүн гайхалтай юм. Судалгаанд манай хянагчид нэг ердийн GeneBench-Pro асуудлыг хүн шинжээч дуусгахад ойролцоогоор 20–40 цаг шаардана гэж тооцсон. Цагийн $200 гэсэн консерватив үнэлгээгээр авч үзвэл, нэг асуудлыг шийдвэрлэх хүний хөдөлмөрийн зардал хэдэн мянган долларт хүрнэ. Одоогийн Хиймэл оюун ухаант агентууд хүн шинжээчдийг орлуулахад хэт найдваргүй хэвээр ч өртгийн зөрүү их: inference зардал нэг бодлогод хэдхэн доллар байна. Тиймээс одоогийн чадвараар хэсэгчлэн автоматжуулах нь ч эдийн засаг, шинжлэх ухааны бодит үнэ цэнийг бий болгож чадна.

1 -н 2
“Бенчмаркуудыг олон төрлийн биологийн асуултаас сэдэвлэсэн ч … жинхэнэ сорилт нь хайгуулын өгөгдлийн шинжилгээ болон эдгээр нээлт дээрх үр дүнг тайлбарлахад оршдог: хэв шинж ба артефактыг таних, өгөгдлийг хасах уу эсвэл тохируулах уу гэдгийг шийдэх. Энэ нь бодит биологийн өгөгдлийн багцуудын эмх замбараагүй шинжтэй төстэй. Эдгээр үнэлгээг хянахад агент суурьтай шинжлэх ухааны асуудал шийдвэрлэхэд шийдвэрлэгчийн заавар тодорхой байх нь хэчнээн чухал болохыг харуулсан. Өгөгдлийн өөр найруулга эсвэл даалгаврын тодорхойлолт нь ямар шинжилгээг зөвшөөрөгдөх мэт харагдуулахад ихээхэн нөлөөлж чадна.”
Нью-Йоркийн Геномын Төвийн докторын дараах судлаач Сириллус Тан

Гэсэн ч шилдэг загварууд эдгээр бодлогын гуравны нэгээс цөөнхийг л шийдэж байгаа нь сайжруулах зай их байгааг харуулна. Загварууд хүнд асуудлууд дээр хэсэгчилсэн ахиц гаргаж чаддаг ч дүгнэлтийн гогцоог бүрэн хаахад бэрхшээлтэй байна. Энэ алдааны хэв шинж нь хүн шинжээч ба анхлан суралцагчийн ялгааг санагдуулна. Шинжээчид туршлагаа ашиглан асуудлыг зөв хүрээлж, арга барилаа өөрчилдөг бол эхлэн суралцагчид ажиглалт хийдэг ч түүнийгээ асуудлын өргөн нөхцөлд нэгтгэхэд бэрхшээлтэй байдаг.

Асуудал: Цаг хугацааны явцад өөрчлөгдөх эмчилгээг харгалзсан фармакогеномикийн хугацаа-үйл явдлын хариу урвал

Эмчилгээний эхлэл, генотипийн хамааралтай хариу урвал, удаашралтай фармакодинамик нөлөө, өмнөх хэрэглээний үзүүлэлтүүд болон урт хугацааны биомаркерууд нь шалтгаант амьд үлдэх үзүүлэлтийг хамтад нь тодорхойлно.

GPT-5.5 загварчлал

Handles treatment timing with a conventional Cox outcome model but does not address treatment-confounder feedback.

Fit a counting-process Cox model with treatment as a time-varying exposure, effective only after treat_start+90 days ... The model included G, treatment×G, baseline severity, age, and sex.

GPT-5.6 Sol загварчлал

Uses a more appropriate causal inference method to properly account for treatment-confounder feedback.

Used a new-user marginal structural Cox model: excluded 818 flagged prevalent users, modeled treatment initiation with stabilized inverse-probability weights using baseline covariates and current biomarker, and treated exposure as time-varying with a 90-day efficacy lag.

Бараг төгс гүйцэтгэлд хүрэхийн тулд ахицыг найдвартай хэмжихийн зэрэгцээ загварууд хаана алдаж байгааг тогтоох үнэлгээ хэрэгтэй. GeneBench-Pro шиг бенчмаркууд тодорхойгүй чадварын дутагдлыг оношилж, сайжруулж болох зүйл болгон хувиргахад тусална. 

Хэрэв агентууд энэ төрлийн шинжилгээг найдвартай автоматжуулж чадвал шинжлэх ухааны нээлтийг ихээхэн хурдасгаж чадна. Хүний генетикийн нотолгоо нь зорилтыг эрэмбэлэх, суурь судалгааны ололт нь дараах судалгаанд аль хэдийн төв байр суурьтай; учир нь генетикийн дэмжлэгтэй механизм батлагдсан эмчилгээнд хүрэх магадлал илүү өндөр.

Үүний зэрэгцээ дараалал тогтоох өртөг огцом буурч, биобанкын хэмжээний өгөгдлийн багцууд молекул, фенотип, эрүүл мэндийн бүртгэлийн мэдээллийг урьд өмнө байгаагүй өргөн хүрээнд холбож байна. Хязгаарлагч хүчин зүйл нь өгөгдөл үүсгэхээс илүү мэдээллийг хэрэгжүүлэх бодит шийдвэрт шилжүүлэх чадвар руу шилжиж байна. Одоо хүн шинжээчдийн баг хийдэг шинжилгээг тогтвортой гүйцэтгэж чаддаг загварууд таамаглалыг хурдан шүүх, зорилтот байг үргэлжлүүлэн судлах, өгөгдөл үүсгэх ба шийдвэр гаргалтын давталтыг хурдасгах замаар аж үйлдвэрийн судалгааг өөрчилж чадна.

GeneBench-Pro нь туршлагатай судлаачдын сайн шинжлэх ухааны дүгнэлтэд оролцдог илүү хийсвэр ур чадварыг үнэлэх анхны оролдлогуудын нэг юм. Эдгээр ур чадвар нь хамгийн ирээдүйтэй эхний шинжилгээг зөнгөөрөө мэдэрч тодорхойлох, өгөгдөл анхны таамаглалтай зөрөхөд бодлоо давтан засах, мөн дараах клиник, академик эсвэл бизнесийн шийдвэрүүд хамаарч болох дүгнэлтэд хүрэх боломж олгодог. 

Бидний таамаглаж байгаагаар, загваруудын чадвар улам сайжрахын хэрээр зөвхөн номын мэдлэг эсвэл ердийн, давтагдмал шинжилгээг гүйцэтгэх чадварыг шалгахаас гадна илүү өндөр түвшний хийсвэр чадварыг үнэлдэг бенчмаркууд улам бүр чухал болж, илүү өргөн хэрэглээтэй болно.

Зохиогч

OpenAI

Үргэлжлүүлэн уншина уу

Бүгдийг үзэх
A near-autonomous AI chemist improves a challenging reaction
Бараг бие даасан хиймэл оюун ухаант химич эмийн химийн сорилттой урвалыг сайжруулна

Судалгаа

LifeSciBench 1x1
LifeSciBench-ийг танилцуулж байна

Судалгаа

Production Resampling > Art Card
Байршуулалтыг симуляцлан загварын зан төлөвийг гаргахаас өмнө таамаглах

Судалгаа