30 հունիսի, 2026 թ.

Ներկայացնում ենք GeneBench-Pro-ն

Հետազոտական մակարդակի բենչմարկ, որը չափում է՝ ինչպես են AI ագենտները կողմնորոշվում երկիմաստության մեջ և հետևանքային դատողություններ անում հաշվարկային կենսաբանությունում։

Կարդալ հոդվածը

Բեռնվում է…

Գիտական տվյալները հազվադեպ են գալիս հրահանգներով։ Հետազոտողները պետք է որոշեն՝ օրինաչափությունը կենսաբանությո՞ւն է արտացոլում, թե՞ աղմուկ, արդյոք տվյալները կարող են հիմնավորել առաջադրված հարցը, և յուրաքանչյուր արդյունք ինչպես պետք է փոխի իրենց հաջորդ քայլերը։ AI ագենտները գնալով ավելի ունակ են կատարելու բարդ վերլուծություններ, բայց իրական գիտական հետազոտությունը կախված է ոչ միայն փաստեր հիշելուց կամ նախապես սահմանված աշխատանքային հոսքին հետևելուց, այլև այս ավելի բարձր կարգի դատողություններից։

Այսօր ներկայացնում ենք GeneBench-Pro-ն՝ հետազոտական մակարդակի բարդ բենչմարկ, որը ստուգում է՝ արդյոք մոդելները կարող են հաղթահարել դատողություններով հագեցած այն վերլուծությունը, որը պահանջում է իրական աշխարհի հաշվարկային կենսաբանությունը։ Այն ընդլայնում է GeneBench⁠(բացվում է նոր պատուհանում)-ը՝ ընդգրկելով ավելի դժվար և իրատեսական առաջադրանքներ գենոմիկայի, քանակական կենսաբանության և տրանսլյացիոն բժշկության ոլորտներում՝ արտացոլելով հաշվարկային կենսաբանության գիտական հետազոտության բարդությունը, կրկնվող բնույթը և երկիմաստությունը։

Մինչ այժմ քիչ են եղել համոզիչ գնահատումները համակարգային մակարդակի այն դատողությունների, որոնք դժվարացնում են իրական աշխարհի հաշվարկային հետազոտությունը։ Դրանք ներառում են երկիմաստության կառավարումը, ենթադրությունների վերանայումը, վերլուծության ճիշտ ուղու ընտրությունը և հասկանալը, թե երբ է արդյունքը պատրաստ որոշում ընդունելու համար։ Քանի որ այս հմտությունները դժվար է ձևականացնել, դրանք նաև դժվար է խիստ գնահատել, թեև դրանց թուլություններն ավելի ու ավելի են սահմանափակում AI-ի ընդհանուր արդյունավետությունը։

«Բենչմարկային բացը կենսաբանությունում» վերնագրով դիագրամ, որը համեմատում է ավանդական բենչմարկային աշխատանքային հոսքերը լիարժեք գիտական վերլուծության հետ և ցույց է տալիս լրացուցիչ քայլեր՝ նախամշակում, մոդելավորում, ախտորոշում և կրկնվող կատարելագործում՝ մինչև գիտական եզրակացության հասնելը։

GeneBench-Pro-ն նախագծված է հենց այս բարձր մակարդակի կարողությունները ճշգրիտ չափելու համար։ GeneBench-Pro-ում «հետազոտական ճաշակ» ենք անվանում այն դատողությունների շղթաները, որոնք ձևավորում են վերլուծությունը՝ ինչ հարցեր կարող են հիմնավորել տվյալները, ինչպես պետք է վաղ ախտորոշիչները փոխեն մոդելը կամ էստիմանդը, և երբ է անհրաժեշտ վերանայել սկզբնական պլանը։ GeneBench-Pro-ի յուրաքանչյուր խնդիր մոդելին տալիս է իրատեսական ու խառն տվյալաշար, կարճ փորձարարական համատեքստ և վերջնական որոշման հետ կապված թիրախային էստիմանդ։ Ճիշտ պատասխանելու համար մոդելը պետք է ուսումնասիրի տվյալները, ընտրի համապատասխան վերլուծական մոտեցում, անցնի փորձարկումների կրկնվող գործընթացով և ներկայացնի վերջնական պատասխան։

Տվյալաշարերի կառուցում

Կենսաբանության մեջ տվյալների գեներացման արժեքը (օրինակ՝ գենոմի սեքվենավորումը) կտրուկ նվազել է, և որոշ հետազոտողներ այժմ պնդում են⁠(բացվում է նոր պատուհանում), որ սահմանափակող գործոնը այլևս նմուշների հավաքումը չէ, այլ հաջորդական հաշվարկներն ու վերլուծությունը։ GeneBench-Pro-ն ստեղծվել է այդ նեղ տեղը հաղթահարելու առաջընթացը գնահատելու համար՝ 129 հարցով, որոնք ընդգրկում են հաշվարկային կենսաբանության միջավայրերի և մեթոդների լայն շրջանակ։

Տիրույթների ատլաս․ 129 խնդիրներ 10 տիրույթներում և 21 ենթատիրույթներում

Սեղմեք վերևի կետերից մեկի վրա՝ չափանիշային խնդրի մասին տեղեկանալու համար։

Այս ատլասը նախնական պատկերացում է տալիս GeneBench-Pro-ի ընդգրկման լայնության մասին։ Այցելեք դեպքերի ուսումնասիրությունների էջը՝ 10 ներկայացուցչական հարց ավելի մանրամասն ուսումնասիրելու համար։

GeneBench-Pro-ն նաև նախագծված է՝ խուսափելու բենչմարկների տարածված ձախողումներից։ Կենսաբանության շատ երկարահորիզոն բենչմարկներ բազմաքայլ հարցեր են կառուցում խառն պատմական տվյալաշարերի շուրջ, որտեղ վերլուծության մեկ միակ ճիշտ ուղի կարող է չլինել։ Մեկ ագենտ կարող է ընտրել պաշտպանելի մի շեմ, իսկ մյուսը՝ այլ, բայց նույնքան պաշտպանելի տարբերակ, ինչն ավելի շատ արտացոլում է բենչմարկի ստեղծողի կամայական ընտրությունները, քան մոդելների արդյունավետության հիմնարար տարբերությունները։ Կարող է տեղի ունենալ նաև հակառակը. եթե խնդիրը թվային առումով չափազանց անզգայուն է, ագենտը կարող է վերլուծության մեջ հիմնարար սխալներ անել և, միևնույն է, անցողիկ արդյունք ստանալ։

Այս ձախողման ձևերից խուսափելու համար GeneBench-Pro-ի յուրաքանչյուր խնդիր կառուցվում է սինթետիկորեն. մենք գիտենք ամբողջ պատճառային կառուցվածքը և ուղղակիորեն սիմուլացնում ենք տվյալների գեներացման գործընթացը։ Դա մեզ թույլ է տալիս կարգավորել յուրաքանչյուր խնդրի բարդությունը, ապահովել, որ սուբյեկտիվ վերլուծական ընտրությունների ողջամիտ տարբերությունները դեռ տան ընդունելի թվային արդյունքներ, և աբլացիոն ուսումնասիրություններով ստուգել, որ հավանական, բայց սխալ վերլուծությունները ձախողվեն։ Այնուհետև խնդրի սևագրերը աուդիտի ենք ենթարկում մանրամասն trace վերլուծություններով՝ տեղեկատվության արտահոսք և չնախատեսված լուծման ուղիներ հայտնաբերելու համար։ Սա մեզ վստահություն է տալիս, որ ճիշտ պատասխանը կախված է ճիշտ վերլուծական ուղու ընտրությունից, ոչ թե կարճ ճանապարհ շահագործելուց կամ հեղինակի կամայական նախապատվությանը համապատասխանելուց։

«GeneBench-Pro խնդրի կառուցում և վավերացում» վերնագրով դիագրամ, որը ցույց է տալիս աշխատանքային հոսք՝ գործարկելի առաջադրանքի կառուցումից մինչև վերանայում, հուսալիության ստուգումներ, ագենտի փորձարկում, փորձագիտական վերանայում, լրամշակում և պատրաստի բենչմարկային խնդիր։

GeneBench-Pro-ի 129 հարցերից 82-ը ուղարկել ենք արտաքին ոլորտային փորձագետների՝ ասպիրանտների, հետդոկտորական հետազոտողների, արդյունաբերության գիտնականների և պրոֆեսորների։ Գրախոսները գնահատել են յուրաքանչյուր խնդրի իրատեսականությունը, թիրախային պատասխանի նույնականացվելիությունը և մեթոդների ու գնահատիչների համապատասխանությունը։ Արձագանքն օգտագործվել է խնդիրները բարելավելու համար։

“Իմ դիտարկած խնդիրները փորձառու ղեկավարի կրկնվող արձագանքների բացակայության դեպքում դժվար կլիներ կատարել նույնիսկ ասպիրանտի համար։ Տվյալներում կային տեխնիկական և որակի վերահսկման խնդիրներ, որոնք հաջող ավարտի համար պահանջում էին մտածված, անդրադարձային տվյալների վերլուծություն՝ հնարավոր ծուղակների գիտակցմամբ. դրանք պարզապես պատրաստի մեթոդի կիրառում չէին մաքուր և լավ մշակված տվյալների վրա։”

Ալեքսանդր Ստրադվիկ Յանգ, UCLA-ի մարդու գենետիկայի ասիստենտ-պրոֆեսոր

“Նույնիսկ եթե ներկայիս մոդելները դեռ չեն կարող հուսալիորեն ինքնուրույն վերլուծություններ կատարել սկզբից մինչև վերջ, GeneBench-Pro-ի խնդիրներում լավ արդյունք ցուցաբերողները ակնհայտորեն կկարողանան օգնել հետազոտողներին ճիշտ աշխատանքային հոսքեր որոշելու և տվյալները ուսումնասիրելու գործում։ Կարծում եմ՝ դա կարող է զգալիորեն արագացնել հետազոտությունը և բարձրացնել դրա մանրակրկիտությունն ու վերարտադրելիությունը։”

Ջենիֆեր Գրունդման, UCLA-ի մարդու գենետիկայի PhD թեկնածու

1 -ը 2-ից

“Իմ դիտարկած խնդիրները փորձառու ղեկավարի կրկնվող արձագանքների բացակայության դեպքում դժվար կլիներ կատարել նույնիսկ ասպիրանտի համար։ Տվյալներում կային տեխնիկական և որակի վերահսկման խնդիրներ, որոնք հաջող ավարտի համար պահանջում էին մտածված, անդրադարձային տվյալների վերլուծություն՝ հնարավոր ծուղակների գիտակցմամբ. դրանք պարզապես պատրաստի մեթոդի կիրառում չէին մաքուր և լավ մշակված տվյալների վրա։”

Ալեքսանդր Ստրադվիկ Յանգ, UCLA-ի մարդու գենետիկայի ասիստենտ-պրոֆեսոր

“Նույնիսկ եթե ներկայիս մոդելները դեռ չեն կարող հուսալիորեն ինքնուրույն վերլուծություններ կատարել սկզբից մինչև վերջ, GeneBench-Pro-ի խնդիրներում լավ արդյունք ցուցաբերողները ակնհայտորեն կկարողանան օգնել հետազոտողներին ճիշտ աշխատանքային հոսքեր որոշելու և տվյալները ուսումնասիրելու գործում։ Կարծում եմ՝ դա կարող է զգալիորեն արագացնել հետազոտությունը և բարձրացնել դրա մանրակրկիտությունն ու վերարտադրելիությունը։”

Ջենիֆեր Գրունդման, UCLA-ի մարդու գենետիկայի PhD թեկնածու

Գնահատում և միավորավորում

GeneBench-Pro-ի յուրաքանչյուր խնդիր ինքնաբավ գիտական վերլուծություն է։ Ագենտները մուտք են ստանում մեկուսացված աշխատատարածք՝ կարճ հարցմամբ, տվյալների ֆայլերով և ստանդարտ բիոինֆորմատիկ փաթեթով, որը ներառում է Python, գիտական հաշվարկների գրադարաններ և հիմնական գենոմիկայի փաթեթներ, օրինակ՝ PLINK 2.0 (թեև խնդիրները չեն պահանջում ոլորտին հատուկ գործիքներ)։

Կառուցվածքային տարբերակով ուղղորդված ուռուցքային բուժման օգուտ-ռիսկ որոշում

A molecular tumor board registry contains trial-eligible advanced solid-tumor cases considered for a TXR1-directed inhibitor. Estimate, for tumors with SV-driven TXR1 target-mediated activation at time zero, the marginal effect of TXR1i versus non-TXR1 systemic therapy on week-16 clinical benefit as if all patients had an assessable week-16 visit. Also estimate the 8-week treatment-limiting toxicity/discontinuation risk under TXR1i in the same target population. Report net clinical utility = benefit risk difference (percentage points) - 0.35 * toxicity risk (percentage points), and choose therapy_class_code 1 if TXR1i has positive net utility and 0 otherwise.

Use percentage-point units for all non-code quantities. Positive benefit means TXR1i improves week-16 clinical benefit relative to non-TXR1 systemic therapy.

These data came from a real experiment; you will be graded not just on numerical correctness but the quality of analytical reasoning you exhibit; do not attempt to take any shortcuts.

Return your final answer as exactly one JSON object.
Do not wrap the JSON in markdown.
Do not add prose before or after the JSON.
Do not omit any keys shown in the example.
Return the JSON object in your final answer:

JSON

1{
2  "answer": {
3    "therapy_class_code": <int>,
4    "benefit_rd_pp": <float>,
5    "toxicity_dropout_risk_pp": <float>,
6    "net_clinical_utility_pp": <float>
7  },
8  "reasoning": "<description of method and QC>"
9}

Քանի որ մենք վերահսկում ենք տվյալների գեներացման ամբողջ գործընթացը, կարող ենք ճիշտ լինելը դետերմինիստորեն գնահատել հայտնի թիրախների նկատմամբ՝ խուսափելով ստանդարտ rubric-ային գնահատման մեջ հանդիպող մոդելի ընտրության փոփոխականությունից և verbose ազդեցություններից։

Յուրաքանչյուր խնդիր ունի նաև հարուստ մետատվյալներ՝ նախատեսված վերլուծության կառուցվածք, կցված տվյալների ֆայլեր, բազմաէջ մանրամասն դեպքի ուսումնասիրություն և փորձագիտական գրախոսության արդյունքներ։ Մենք ամբողջությամբ բաց կոդով հրապարակում ենք GeneBench-Pro-ի 10 ներկայացուցչական հարց Hugging Face⁠(բացվում է նոր պատուհանում)-ում՝ դրանք զննելու ինտերակտիվ վեբ միջերեսով։ Վերջապես, մոտ ապագայում 50 հարցից բաղկացած ենթաբազմություն կտրամադրենք Artificial Analysis⁠(բացվում է նոր պատուհանում)-ին՝ անկախ, երրորդ կողմի բենչմարկինգի համար։

Արդյունքներ

Մեր ամենաուժեղ մոդելը՝ GPT‑5.6 Sol-ը, ամենաբարձր հիմնավորման մակարդակում հասնում է 28.7% անցման ցուցանիշի (31.5%՝ Pro ռեժիմը միացված լինելու դեպքում)։ Դա կտրուկ աճ է այն պահից, երբ սկսեցինք կառուցել սկզբնական GeneBench-ը. այդ ժամանակ մեր լավագույն առաջադեմ մոդելը՝ GPT‑5‑ը, 5%-ից ցածր արդյունք էր ստանում։ Այս բենչմարկում առաջընթացը հուշում է, որ առաջադեմ մոդելները արագ բարելավվում են նույնիսկ պակաս շոշափելի, համակարգային մակարդակի գիտական դատողության մեջ։ Ներկայիս տեմպերով այս բենչմարկը կարող է մինչև տարվա վերջ հագենալ։

Արդյունքները ցույց են տալիս նաև թեստավորման պահին հաշվարկային ռեսուրսի մեծացման ազդեցությունը։ Ամենացածր հիմնավորման մակարդակում GPT‑5.6 Sol-ը հասնում է միայն միանիշ անցման ցուցանիշի։ Ամենաբարձր հիմնավորման մակարդակում GPT‑5.6 Sol-ը լուծում է գրեթե վեց անգամ ավելի շատ հարց, քան GPT‑5.2‑ը՝ օգտագործելով մոտ երկու երրորդով քիչ թոքեններ։

Մոդելների ընտանիքների համեմատությունները ցույց են տալիս, որ GPT մոդելները քանակական անորոշության պայմաններում բարձր մակարդակի գիտական դատողության ամենաուժեղ համակարգերից են։ GPT‑5.6‑ի, GPT‑5.5‑ի և GLM 5.2-ի նման առաջատար բաց կոդով մոդելների արդյունավետության տարբերությունը զգալիորեն ավելի մեծ է, քան կսպասեինք կոդավորման բենչմարկներից⁠(բացվում է նոր պատուհանում) արտածելիս, ինչը ցույց է տալիս, որ բաց կոդով մոդելներն ավելի մասնագիտացած են կոդավորման, քան լայն հիմնավորման կարողության մեջ։

Մշակման ընթացքում խնդիրները գնահատելու և ամրացնելու համար օգտագործել ենք առաջադեմ GPT մոդելներ։ Ուստի կասկածում էինք, որ GeneBench-Pro-ն կարող է կողմնակալ լինել GPT մոդելների դեմ՝ այլ մոդելային ընտանիքների համեմատ։ Սակայն մրցակից մոդելները լավագույն դեպքում միայն հավասարվեցին թողարկման պահին համապատասխան GPT մոդելի արդյունավետությանը և սովորաբար զգալիորեն հետ էին մնում։

Այս գնահատման արդյունքները՝ մինչև 31.5% GPT‑5.6 Sol (Pro)-ի համար, տպավորիչ են՝ հաշվի առնելով GeneBench-Pro-ի հարցերի դժվարությունը։ Հարցման ընթացքում մեր գրախոսները գնահատել են, որ GeneBench-Pro-ի տիպիկ խնդիրը մարդկային փորձագետից կպահանջի մոտ 20–40 ժամ։ Ժամը պահպանողական $200 հաշվարկով մեկ խնդրի մարդկային աշխատանքի արժեքը հասնում է հազարավոր դոլարների։ Ներկայիս AI ագենտները դեռ չափազանց անհուսալի են մարդկային փորձագետներին փոխարինելու համար, բայց ծախսերի տարբերությունը մեծ է. inference-ի արժեքը մեկ խնդրի համար ընդամենը մի քանի դոլար է։ Դա նշանակում է, որ նույնիսկ մասնակի ավտոմատացումը ներկայիս կարողություններով կարող է ստեղծել նշանակալի տնտեսական և գիտական արժեք։

“Բենչմարկների հիմքում կենսաբանական հարցերի բազմազան շրջանակ է, բայց … իրական դժվարությունը գալիս է հետախուզական տվյալների վերլուծությունից և այդ հայտնագործությունների շուրջ դատողությունից՝ օրինաչափություններ ու արտեֆակտներ հայտնաբերելուց և որոշելուց՝ տվյալները պետք է բացառե՞լ, թե՞ ճշգրտել։ Սա նման է իրական կենսաբանական տվյալաշարերի խառն ու անկանոն բնույթին։ Այս գնահատումների վերանայումը ցույց է տալիս, թե որքան կարևոր են հստակ solver contract-ները ագենտների վրա հիմնված գիտական խնդիրների լուծման համար։ Հարցման տարբեր ձևակերպումները կամ առաջադրանքի նկարագրությունը կարող են մեծապես ազդել, թե որ վերլուծություններն են թվում թույլատրելի։”

Սիրիլուս Թան, Նյու Յորքի գենոմի կենտրոնի հետդոկտորական հետազոտող

“Ինձ հիմնականում դուր եկան [հարցերը]։ Դրանցում սովորաբար համադրված էին՝ (1) թեմայի վերաբերյալ անհրաժեշտ գիտելիքներ, օրինակ՝ հնագույն ԴՆԹ-ում C>T շեղումը, (2) տվյալների անհամապատասխանություններ, օրինակ՝ ծագումնաբանական փոխատեղումներ, (3) որոշակի գիտելիքներ տվյալ աշխատանքի համար ճիշտ վերլուծական գործիքների և դրանք կիրառելու եղանակների վերաբերյալ։ Թվում էր, թե գործակալների մեծ մասը ձախողվել է (2)-ի հարցում։ Նրանք բավականաչափ զգուշավոր չեն տվյալների հետ կապված խնդիրների հարցում։ Գուցե դա ընդգծում է ներկայիս մոդելների թույլ կողմը։ Եվ մեծ քանակությամբ կենսաբանական տվյալներ ունեն անկանոնություններ։”

Լեքս Ֆլագել, Gencove-ի տվյալների գիտության տնօրեն

1 -ը 2-ից

“Բենչմարկների հիմքում կենսաբանական հարցերի բազմազան շրջանակ է, բայց … իրական դժվարությունը գալիս է հետախուզական տվյալների վերլուծությունից և այդ հայտնագործությունների շուրջ դատողությունից՝ օրինաչափություններ ու արտեֆակտներ հայտնաբերելուց և որոշելուց՝ տվյալները պետք է բացառե՞լ, թե՞ ճշգրտել։ Սա նման է իրական կենսաբանական տվյալաշարերի խառն ու անկանոն բնույթին։ Այս գնահատումների վերանայումը ցույց է տալիս, թե որքան կարևոր են հստակ solver contract-ները ագենտների վրա հիմնված գիտական խնդիրների լուծման համար։ Հարցման տարբեր ձևակերպումները կամ առաջադրանքի նկարագրությունը կարող են մեծապես ազդել, թե որ վերլուծություններն են թվում թույլատրելի։”

Սիրիլուս Թան, Նյու Յորքի գենոմի կենտրոնի հետդոկտորական հետազոտող

“Ինձ հիմնականում դուր եկան [հարցերը]։ Դրանցում սովորաբար համադրված էին՝ (1) թեմայի վերաբերյալ անհրաժեշտ գիտելիքներ, օրինակ՝ հնագույն ԴՆԹ-ում C>T շեղումը, (2) տվյալների անհամապատասխանություններ, օրինակ՝ ծագումնաբանական փոխատեղումներ, (3) որոշակի գիտելիքներ տվյալ աշխատանքի համար ճիշտ վերլուծական գործիքների և դրանք կիրառելու եղանակների վերաբերյալ։ Թվում էր, թե գործակալների մեծ մասը ձախողվել է (2)-ի հարցում։ Նրանք բավականաչափ զգուշավոր չեն տվյալների հետ կապված խնդիրների հարցում։ Գուցե դա ընդգծում է ներկայիս մոդելների թույլ կողմը։ Եվ մեծ քանակությամբ կենսաբանական տվյալներ ունեն անկանոնություններ։”

Լեքս Ֆլագել, Gencove-ի տվյալների գիտության տնօրեն

Միևնույն ժամանակ, այն փաստը, որ առաջադեմ մոդելները դեռ լուծում են այս խնդիրների մեկ երրորդից պակասը, ցույց է տալիս, որ բարելավման մեծ տարածք կա։ Մոդելները կարող են մասնակի առաջընթաց գրանցել բարդ խնդիրներում, բայց դժվարանում են փակել եզրահանգման շղթան։ Ձախողման այս օրինաչափությունը հիշեցնում է մարդկային փորձագետների և սկսնակների հակադրությունը։ Փորձագետները իրենց փորձն օգտագործում են խնդիրը ձևակերպելու և մոտեցումը հարմարեցնելու համար, մինչդեռ սկսնակները դիտարկումներ են անում, բայց դժվարանում են դրանք ինտեգրել խնդրի ավելի լայն համատեքստին։

Խնդիր. ֆարմակոգենոմային time-to-event արձագանք՝ ժամանակով փոփոխվող բուժմամբ

Բուժման սկիզբը, գենոտիպ-հատուկ արձագանքը, ուշացած ֆարմակոդինամիկան, prevalent-user դրոշակները և երկարաժամկետ կենսամարկերները միասին որոշում են պատճառային գոյատևման էստիմանդը։

GPT-5.5 օրինաչափություն

Handles treatment timing with a conventional Cox outcome model but does not address treatment-confounder feedback.

Fit a counting-process Cox model with treatment as a time-varying exposure, effective only after treat_start+90 days ... The model included G, treatment×G, baseline severity, age, and sex.

GPT-5.6 Sol օրինաչափություն

Uses a more appropriate causal inference method to properly account for treatment-confounder feedback.

Used a new-user marginal structural Cox model: excluded 818 flagged prevalent users, modeled treatment initiation with stabilized inverse-probability weights using baseline covariates and current biomarker, and treated exposure as time-varying with a 90-day efficacy lag.

Գրեթե կատարյալ արդյունավետության հասնելու համար անհրաժեշտ են գնահատումներ, որոնք և՛ հուսալիորեն չափում են առաջընթացը, և՛ ցույց են տալիս, թե որտեղ են մոդելները դեռ ձախողվում։ GeneBench-Pro-ի նման բենչմարկները կարող են օգնել անորոշ կարողության պակասը դարձնել մի բան, որը կարող ենք ախտորոշել և բարելավել։

Եթե ագենտները կարողանան հուսալիորեն ավտոմատացնել այս դասի վերլուծությունը, դրանք կարող են զգալիորեն արագացնել գիտական հայտնագործությունները։ Մարդու գենետիկական ապացույցներն արդեն առանցքային են թիրախների առաջնահերթացման և տրանսլյացիոն հետագա քայլերի համար, քանի որ գենետիկական աջակցություն ունեցող մեխանիզմները շատ ավելի հավանական է, որ հանգեցնեն հաստատված բուժումների։

Միևնույն ժամանակ սեքվենավորման արժեքը կտրուկ ընկել է, իսկ կենսաբանկային մասշտաբի տվյալաշարերն այժմ աննախադեպ լայնությամբ կապում են մոլեկուլային, ֆենոտիպային և բժշկական գրառումների տեղեկությունները։ Սահմանափակող գործոնը տվյալների գեներացումից տեղափոխվում է տեղեկատվությունը գործնական պատկերացումների վերածելու վրա։ Մոդելները, որոնք կարող են հետևողականորեն կատարել այն վերլուծությունները, որոնք այժմ անում են մարդկային փորձագետների թիմերը, կարող են փոխակերպել արդյունաբերական հետազոտությունը՝ արագացնելով հիպոթեզների նախնական զտումը, թիրախների հետագա ուսումնասիրությունը և տվյալների գեներացման ու որոշումների կայացման միջև կրկնվող ցիկլը։

GeneBench-Pro-ն փորձառուներին բնորոշ լավ գիտական դատողության մեջ ներգրավված ավելի վերացական հմտությունները գնահատելու նախնական փորձ է։ Այս հմտությունները թույլ են տալիս նրանց ինտուիտիվորեն հասկանալ և նույնականացնել ամենախոստումնալից սկզբնական վերլուծությունները, կրկնությամբ վերանայել իրենց մտածողությունը, երբ տվյալները հակասում են սկզբնական ենթադրություններին, և հասնել եզրակացությունների, որոնցից կարող են կախված լինել հետագա կլինիկական, ակադեմիական կամ բիզնես որոշումները։

Ակնկալում ենք, որ մոդելների կարողությունների զարգացման հետ ավելի օգտակար կդառնան այն բենչմարկները, որոնք ստուգում են մոդելների կարողություններն աբստրակցիայի այս բարձր մակարդակներում՝ ի լրումն նրանց, որոնք պարզապես ստուգում են գրքային գիտելիքը կամ routine վերլուծություններ կատարելու կարողությունը։

2026

Հեղինակ

OpenAI

Շարունակել կարդալ

Դիտել բոլորը

A near-autonomous AI chemist improves a challenging reaction

Գրեթե ինքնավար AI քիմիկոսը բարելավում է դեղագործական քիմիայի բարդ ռեակցիան

Հետազոտություններ17 հնս, 2026 թ.

Ներկայացնում ենք LifeSciBench-ը

Հետազոտություններ17 հնս, 2026 թ.

Մոդելի վարքի կանխատեսում մինչև թողարկումը՝ տեղակայումը սիմուլացնելով

Հետազոտություններ16 հնս, 2026 թ.