Ներկայացնում ենք LifeSciBench-ը

Գործուն ԱԲ համակարգերը գնալով ավելի լավ են կատարում գիտական առաջադրանքներ։ Սակայն կենսագետների համար դրանց արժեքը կախված է իրական հետազոտության բարդությունը հաղթահարելուց։ Այդ աշխատանքը հազվադեպ է մեկ փաստ հիշելու հարց կամ պարզ կանխատեսում։ Հետազոտողները մեկնաբանում են թերի ապացույցներ, հաշտեցնում հակասական արդյունքներ, նախագծում բարդ փորձեր, շտկում անալիզները, գնահատում տրանսլյացիոն ռիսկը և անորոշության մեջ որոշում հաջորդ քայլը։

Ներկայիս բենչմարքները այս կարողությունները լիովին չեն չափում։ Կենսագիտության շատ գնահատումներ նեղ ոլորտներ կամ առանձին հմտություններ են ստուգում, ուստի ունեն կառուցվածքային հարցեր և մաքուր հղումային պատասխաններ։ Դրանք արժեքավոր են, բայց հաճախ չեն պարզում՝ կարող է արդյոք մոդելը օգնել հետազոտական աշխատանքի լայն շրջանակում։

LifeSciBench-ը ստեղծեցինք այս բացը լրացնելու համար։ Յուրաքանչյուր առաջադրանք հիմնված է Ph.D. մակարդակի գործող կենսագետների դատողության վրա, որոնք դեղերի հայտնաբերման փորձ ունեն բիոտեխում և դեղագործությունում։

LifeSciBench-ը ներառում է փորձագետների գրած 750 առաջադրանք՝ յոթ workflow-ում և յոթ կենսաբանական ոլորտում։

LifeSciBench-ը չափում է՝ կարող են արդյոք AI համակարգերը աջակցել կենսագիտության իրատեսական հետազոտությանը, ոչ միայն պատասխանել կենսաբանության հարցերին։ Տաքսոնոմիան սահմանելու համար գործող կենսագետներին հարցրինք, թե կիրառական հետազոտությունում որ workflow-ներն են առավել հաճախ օգտագործում։ Պատասխանները խմբավորեցինք յոթ կատեգորիայում՝ ապացույցների մշակում, վերլուծություն, նախագծում և օպտիմալացում, գիտական հիմնավորում, վավերացում և գործառնություններ, տրանսլացիա, գիտական հաղորդակցություն։

Յուրաքանչյուր առաջադրանք նման է բանիմաց գործընկերոջն ուղղված խնդրանքի՝ գիտական հարցում, անհրաժեշտ համատեքստ կամ նյութեր և ազատ պատասխան։ Փորձագիտական ռուբրիկաները ստուգում են՝ տալիս է արդյոք մոդելը տվյալ խնդրի ճիշտ պատասխանը՝ սպասված մանրամասնությամբ, հիմնավորմամբ, վերապահումներով և ձևաչափով։

LifeSciBench-ը գիտական հիմնավորումը գնահատում է նաև իրական կիրառման համար պետքական, պակաս հստակ գործնական հմտությունների հետ։ Առաջադրանքները մոդելներից պահանջում են լուծել իրատեսական խնդիրներ՝ մեկնաբանել ապացույցներ, անել ոլորտային դատողություններ և փորձագետներին օգտակար եզրակացություններ ներկայացնել։ Շատ առաջադրանքներ նաև պահանջում են աշխատել անորոշության հետ և հիմնվել կից տվյալների ֆայլերի, ոչ միայն հարցման տեքստի վրա։

Բենչմարքը արտացոլում է կենսագիտական աշխատանքի բարդությունը։ Ընդհանուր՝ առաջադրանքների 79%-ը պահանջում է հիմնավորման կամ որոշման մի քանի քայլ, միջինը՝ չորս քայլ։ LifeSciBench-ն ունի 1,062 կցված նյութ՝ նկարներ, PDF-ներ, աղյուսակներ, հաջորդականության, կառուցվածքային կամ քիմիական ֆայլեր և վեբ հղումներ։ Առաջադրանքների ավելի քան կեսը (53%) պահանջում է առնվազն մեկ նյութից տեղեկություն մեկնաբանել կամ համադրել։

Առաջադրանքները ստեղծել են կենսագիտության տարբեր ուղղությունների 173 փորձագետ գիտնականներ։ Յուրաքանչյուրն ուներ Ph.D. մակարդակի պատրաստվածություն և բիոտեխի կամ դեղարդյունաբերության փորձ։ Ընդունումից առաջ առաջադրանքները կարող էին անցնել անսահմանափակ վերանայումներ. ընդունվածները միջինը անցել են վեց ավտոմատ ինքնավերանայում և առնվազն երկու փորձագիտական փուլ։ Գրախոսումը հիմնվում էր ստուգելի ճիշտ պատասխանի կամ ուժեղ կոնսենսուսի վրա՝ համապատասխան ոլորտի գրախոսների առնվազն 90% համաձայնությամբ։ Այս գործընթացը ապահովեց, որ ընդունված առաջադրանքները լինեն գիտականորեն հիմնավոր, գնահատելի և կիրառական հետազոտությանը համապատասխան։

LifeSciBench-ի առաջադրանքները գնահատվում են մանրամասն, տվյալ առաջադրանքին հատուկ ռուբրիկայով, որը պատասխանը բաժանում է պնդումների, հաշվարկների, որոշումների, հիմնավորումների և այլ չափանիշների։ Բենչմարքի ռուբրիկաները ներառում են 19,020 չափանիշ՝ միջինը 25 յուրաքանչյուր առաջադրանքի համար, և գնահատում են թե՛ գիտական ճշտությունը, թե՛ որոշումների օգտակարությունը։

Այս մոտեցումը նման է իրական գիտական գնահատմանը. շատ կենսագիտական առաջադրանքներ միայն վերջնական պատասխանով չեն ստուգվում։ Պատասխանը կարող է ճիշտ ընդհանուր եզրակացության գալ, բայց թերի համարվել, եթե անտեսում է կարևոր անալիզային սահմանափակում կամ կենսաբանական էական նրբություն։ Հակառակը՝ մասնակի պատասխանը կարող է լավ հիմնավորում ունենալ, թեև խնդիրը լիովին չլուծի։

Մանր ռուբրիկաները որսում են այս նրբությունը։ LifeSciBench-ը գնահատում է ոչ միայն վերջնական ճշտությունը, այլև՝ հասնում է արդյոք մոդելը պատասխանին գիտականորեն վավեր և գործնականորեն օգտակար ձևով։

LifeSciBench-ը վավերացրինք անկախ փորձագիտական գրախոսմամբ։ Կարծիք տվեցին 453 գրախոսներ, որոնք առաջադրանքների հեղինակներ չէին։ Նրանց 97%-ն ուներ Ph.D. կամ համարժեք դոկտորական աստիճան, միջինը՝ 12 տարվա փորձ և 14 գրախոսվող հոդված. 88%-ը նշել էր առնվազն մեկ մրցանակ կամ fellowship։

Գրախոսները գնահատեցին՝ արդյոք առաջադրանքը համապատասխանում է ուժեղ բենչմարքի պահանջներին՝ իրական հետազոտության հետ կապ, գիտական հիմնավորման և ոլորտային փորձի ստուգում, ապացույցների կամ կոնսենսուսի հիմք և մոդելի կատարողականը չափելու օգտակարություն։ Բոլոր կատեգորիաներում համաձայնությունը գերազանցեց 96%-ը։

Գրախոսների մեկնաբանությունները հաստատեցին քանակական գնահատականները.

Ներկայացնում ենք երկու փոխլրացնող չափանիշ։ Անցողիկությունը այն առաջադրանքների տոկոսն է, որտեղ մոդելը հասնում է 70% հաջողության շեմին։ Միավորը ռուբրիկայի միջին պարգևն է՝ մասնակի կրեդիտ տալով առանձին չափանիշների համար, նույնիսկ երբ առաջադրանքը լիովին լուծված չէ։ Երկուսն էլ կարևոր են, քանի որ գիտական պատասխանը կարող է մասնակի ճիշտ կամ օգտակար լինել՝ առանց բոլոր պահանջները կատարելու։

Մոդելի կատարողականը զգալիորեն փոխվում է ըստ առաջադրանքի տեսակի, workflow-ի և պատասխանի ձևաչափի։

LifeSciBench-ը ցույց է տալիս, որ frontier մոդելներն առավել ուժեղ են գիտական համադրման, հաղորդակցության և կառուցվածքային մեկնաբանության մեջ։ Անցողիկության բացարձակ ցուցանիշները դեռ համեստ են, բայց GPT‑Rosalind‑ը GPT‑5.5‑ի համեմատ առաջընթաց ունի՝ ընդհանուր ճշգրիտ անցողիկությունը 25.7%-ից հասցնելով 36.1%-ի։

Ամենամեծ առաջընթացը երևում է գիտական հաղորդակցության և տրանսլացիայի մեջ։ Օրինակ՝ գիտական հաղորդակցության անցողիկությունը GPT‑5.5‑ի 56.3%-ից հասնում է 71.1%-ի GPT‑Rosalind‑ի համար։ Կատեգորիան փոքր է (n=9), ուստի պետք է զգույշ մեկնաբանել, բայց այն հուշում է, որ frontier մոդելներն արագ են բարելավում ապացույցներ կազմակերպելու և փորձագետներին համոզիչ բացատրություններ տալու կարողությունը։ Տրանսլացիան՝ դեղերի մշակման «լաբորատորիայից կլինիկա» գործընթացը, նույն պատկերն ունի՝ GPT‑5.5‑ի 36.8%-ից հասնելով 57.7%-ի GPT‑Rosalind‑ի համար։ Սա հուշում է, որ մոդելներն արագ ավելի լավ են կապում նախակլինիկական ապացույցները կլինիկական հետևանքների հետ։

Ռուբրիկայի մակարդակի արդյունքներն էլ նույնն են ցույց տալիս։ Փորձագետին օգտակար կամ գործողելի արդյունք պահանջող առաջադրանքներում GPT‑Rosalind‑ը ստանում է 44.7%, իսկ GPT‑5.5‑ը՝ 29.1%։ Անորոշություն և վերապահումներ մշակող առաջադրանքներում այն ստանում է 44.8%, համեմատ՝ 29.3%։ Այս պատկերը հուշում է, որ մոդելներն առավել օգտակար են, երբ ապացույցների սահմանը հստակ է, իսկ խնդիրը պահանջում է կառուցվածքային գիտական դատողություն։

Կատարողականը շատ թույլ է նյութերով ծանր, նախագծում պահանջող և գործառնական սահմանափակումներով գիտական աշխատանքում։ Մասնավորապես, նախագծում, օպտիմալացում և կանխատեսում workflow-ը մնում է ամենադժվարներից՝ GPT‑Rosalind‑ի 30.7% անցողիկությամբ. վերլուծությունն էլ դժվար է՝ 30.3%։

Նյութերի օգտագործումը հատկապես հստակ բաց է։ Թեև GPT‑Rosalind‑ը նյութերով հարուստ միջավայրերում գերազանցում է GPT‑5.5‑ին, նրա անցողիկությունը տեքստային առաջադրանքների 45.1%-ից իջնում է 28.1%-ի՝ նյութերով կամ URL-ներով առաջադրանքներում։ GPT‑5.5‑ի մոտ նույն պատկերն է՝ 29.9%-ից իջնելով 21.9%-ի։ Ավելի մանր վերլուծությունը հաստատում է, որ frontier մոդելները դժվարանում են բարդ նկարներից կամ մեծ հաջորդականության ֆայլերից տեղեկություն հանել և ներառել վերջնական պատասխանում։

Պատասխանի ձևաչափը նույնպես կարևոր է։ Ճշգրիտ հաջորդականություն, կառուցվածք կամ կոնստրուկտ պահանջող առաջադրանքներն ավելի ցածր անցողիկություն ունեն. GPT‑Rosalind‑ը թվային առաջադրանքներում հասնում է միայն 14.8%-ի, իսկ հաջորդականության կամ կառուցվածքի արդյունքներում՝ 24.0%-ի։ Կոնստրուկտների ստեղծումն էլ փխրուն է՝ GPT‑Rosalind‑ի 27.3% ցուցանիշով և GPT‑5.5‑ի համեմատ փոքր բարելավմամբ։ Բացի մի մասը կարող է լինել ճշգրիտ պատասխանների խիստ գնահատումից, որտեղ հաշվարկի կամ ձևաչափի փոքր տարբերությունը կարող է պատասխանը թողնել շեմից ցածր։ Այդուհանդերձ, այս ձախողումները գիտականորեն կարևոր են, քանի որ շատ workflow-ներ պահանջում են անմիջապես կիրառելի ճշգրտություն, օրինակ՝ CRISPR/HDR դոնորի կամ siRNA-ի նախագծում։

Մոդելները հաճախ նաև մոտենում են լուծմանը, բայց լիովին չեն լուծում առաջադրանքը։ Առաջադրանքների մոտ 14%-ում մոդելները ստացել են ռուբրիկայի զգալի կրեդիտ, թեև չեն անցել ճշգրիտ շեմը։ GPT‑Rosalind‑ի դեպքում 109 առաջադրանքի անցողիկությունը 20%-ից ցածր էր, բայց ռուբրիկայի պարգևը՝ առնվազն 50%։ Գործնականում մոդելները կարող են գտնել ճիշտ ապացույցներ կամ տալ հավանական մասնակի պատասխան, բայց ձախողվել՝ բաց թողնելով հիմնական սահմանափակում, օգտագործելով սխալ ապացույց, թերի հաշվարկ անելով կամ հիմնավորումը չկապելով գիտականորեն օգտակար վերջնական որոշման հետ։

LifeSciBench-ը քայլ է՝ չափելու, թե որքան օգտակար կարող են լինել AI համակարգերը կենսագիտության համար, բայց չի փոխարինում կենդանի հետազոտական միջավայրերում մոդելների ուսումնասիրությանը։ Բենչմարքը կենտրոնանում է ինքնաբավ առաջադրանքների վրա, որոնք արտացոլում են կրկնվող արդյունաբերական workflow-ներ, բայց ներկայում դուրս է թողնում շատ մասնագիտություններ և առաջադրանքի տեսակներ։ Իրական հետազոտությունը կրկնվող է. գիտնականները հավաքում են նոր ապացույցներ, վերանայում վարկածները, նախագծում հաջորդ փորձերը և արդյունքներին զուգահեռ փոխում պլանները։

Ուստի LifeSciBench-ում ուժեղ կատարողականը պետք է դիտել որպես իրատեսական առաջադրանքի մակարդակի կարողության ապացույց, ոչ թե հետազոտական ազդեցության ուղիղ չափում։ Բենչմարքը հիմնված է արդյունաբերական workflow-ների վրա, բայց չի ընդգրկում կենդանի հետազոտական ծրագրերի ամբողջ բազմազանությունն ու դինամիկան, որտեղ առաջընթացը ձևավորվում է ժամանակի ընթացքում։

Հաջորդ քայլը բենչմարքի կատարողականը կենդանի հետազոտական workflow-ներում ներդրման ուսումնասիրություններին կապելն է։ Թեև LifeSciBench-ը մշակվել է գործող գիտնականների հետ, պարզելու համար՝ արագացնում են արդյոք AI համակարգերը հայտնագործությունը կամ բարելավում R&D արդյունքները, պետք է ուսումնասիրել մոդելների օգտագործումն ու կատարողականը իրական միջավայրերում, ավելի երկար ժամկետներով և հիմնավորման, հետադարձ կապի ու փորձարարական շարունակության մի քանի փուլերով։