Tunatambulisha LifeSciBench

Mifumo ya AI ya kiwakala inazidi kuwa na uwezo wa kutekeleza kazi za kisayansi. Hata hivyo, manufaa yake kwa watafiti wa sayansi ya maisha hutegemea jinsi inavyoshughulikia ugumu wa utafiti halisi. Kazi hiyo mara chache hufanana na swali moja la kukumbuka ukweli au tatizo safi la ubashiri. Watafiti hufasiri ushahidi usiokamilika, hupatanisha matokeo yanayokinzana, hubuni majaribio magumu, hutatua matatizo ya vipimo, hutathmini hatari ya uhawilishaji, na huamua hatua inayofuata chini ya kutokuwa na uhakika.

Vipimo vya sasa havinasi kikamilifu uwezo huu. Tathmini nyingi za sayansi ya maisha hulenga vikoa finyu au ujuzi uliotengwa, na hivyo kusababisha maswali yenye miundo iliyoratibiwa na majibu safi ya rejea. Ingawa zina thamani, mara nyingi hushindwa kutathmini kweli kama muundo unaweza kuchangia katika wigo mpana wa kazi ya kiwango cha utafiti.

Tulibuni LifeSciBench kusaidia kuziba pengo hili. Kila kazi ina msingi katika uamuzi wa wanasayansi wa maisha wanaofanya kazi, wenye mafunzo ya kiwango cha Ph.D. na uzoefu wa moja kwa moja wa kuendeleza programu za ugunduzi wa dawa katika mazingira ya bioteknolojia na dawa.

LifeSciBench inajumuisha kazi 750 zilizoandikwa na wataalamu, zinazofunika mitiririko saba ya kazi na vikoa saba vya kibiolojia.

LifeSciBench hupima kama mifumo ya AI inaweza kusaidia kazi halisi za utafiti wa sayansi ya maisha, si kujibu tu maswali ya biolojia. Ili kufafanua taksonomia ya kipimo, tuliwahoji wanasayansi wa maisha wanaofanya kazi kuhusu mitiririko ya kazi wanayotumia mara nyingi zaidi katika mazingira ya utafiti tumizi. Kisha tukapanga majibu yao katika makundi saba yanayojirudia: ushughulikiaji wa ushahidi, uchanganuzi, ubunifu na uboreshaji, uwazaji wa kisayansi, uthibitishaji na uendeshaji, uhawilishaji, na mawasiliano ya kisayansi.

Kila kazi imeundwa kama ombi ambalo mwanasayansi angeweza kumpa mshirika mwenye maarifa: dokeza la kisayansi, muktadha au viambatisho vinavyofaa, na jibu huru. Rubriki zilizoandikwa na wataalamu hutathmini kama muundo unaweza kutoa jibu sahihi kwa tatizo mahususi, kwa kiwango sahihi cha maelezo, uthibitisho, tahadhari, na umbizo ambalo mwanasayansi angetarajia.

LifeSciBench hutathmini uwazaji wa kisayansi pamoja na ujuzi wa vitendo usiofafanuliwa vizuri sana unaohitajika kwa matumizi halisi ya kisayansi. Kazi zake huomba miundo ishughulikie matatizo halisi ya utafiti: kufasiri ushahidi, kufanya maamuzi yenye msingi wa kikoa, na kuwasilisha hitimisho ambalo lingewafaa wakaguzi wataalamu. Kazi nyingi pia huhitaji miundo ishughulikie kutokuwa na uhakika na kufikiri juu ya faili za data zinazounga mkono badala ya kutegemea maandishi ya dokeza pekee.

Kipimo kimeundwa kuakisi ugumu wa kazi ya sayansi ya maisha. Kwa jumla, 79% ya kazi huhitaji hatua nyingi za uwazaji au kufanya maamuzi, zikiwa na wastani wa hatua nne kwa kila kazi. LifeSciBench inajumuisha viambatisho 1,062 vilivyoambatishwa, vinavyofunika michoro, PDF, majedwali, faili za mfuatano, faili za miundo au kemikali, na marejeleo ya wavuti. Zaidi ya nusu ya kazi (53%) huhitaji miundo kufasiri au kuunganisha taarifa kutoka angalau kiambatisho kimoja.

Kazi ziliundwa na wanasayansi wataalamu 173 katika taaluma mbalimbali za sayansi ya maisha. Kila mwanasayansi alikuwa na mafunzo ya kiwango cha Ph.D. na uzoefu katika sekta ya bioteknolojia au dawa. Kazi zingeweza kupitia mizunguko mingi ya marekebisho kadri ilivyohitajika kabla ya kukubaliwa, bila ukomo maalum wa idadi ya raundi; kazi zilizokubaliwa zilikuwa na wastani wa mizunguko sita ya uhakiki otomatiki unaojielekeza na zilikamilisha angalau raundi mbili za hakiki za wataalamu. Hakiki ziliegemezwa ama kwenye jibu sahihi linaloweza kuthibitishwa au makubaliano thabiti ya wataalamu, kukiwa na angalau 90% ya makubaliano miongoni mwa wakaguzi katika kikoa husika. Mchakato huu ulisaidia kuhakikisha kuwa kazi zilizokubaliwa zilikuwa na msingi wa kisayansi, zilikuwa wazi vya kutosha kutathminiwa, na ziliwakilisha utafiti tumizi.

Kazi za LifeSciBench huwekewa alama kwa rubriki ya kina, maalum kwa kazi, inayogawanya jibu linalotarajiwa katika madai mahususi ya kisayansi, hesabu, maamuzi, uthibitisho, na kadhalika. Katika kipimo chote, rubriki zilizotengenezwa na wataalamu zinajumuisha vigezo 19,020—wastani wa 25 kwa kila kazi—ili kutathmini usahihi wa kisayansi na manufaa kwa maamuzi ya utafiti.

Muundo huu unaakisi jinsi kazi ya kisayansi hutathminiwa kwa vitendo: kazi nyingi za sayansi ya maisha haziwezi kuwekewa alama kwa kukagua jibu la mwisho pekee. Jibu linaweza kufikia hitimisho sahihi la kiwango cha juu lakini bado lihesabiwe halijakamilika ikiwa, kwa mfano, linapuuza kikwazo muhimu cha kipimo au halileti mapema hoja ndogo ya kibiolojia yenye athari kubwa. Kinyume chake, jibu la sehemu linaweza kuwa na uwazaji wa ubora wa juu hata kama halitatui kazi kikamilifu.

Rubriki za kina hunasa utofauti huu. LifeSciBench haitathmini tu usahihi wa jibu la mwisho, bali kama muundo unafikia jibu lake kwa njia halali kisayansi na yenye manufaa kiuendeshaji.

Tulithibitisha LifeSciBench kupitia hakiki huru ya wataalamu. Maoni yalitoka kwa wakaguzi 453 ambao hawakuhusika katika kuandika kazi hizo. Kati ya wakaguzi hao, 97% walikuwa na Ph.D. au shahada sawa ya udaktari, wakiwa na wastani wa miaka 12 ya uzoefu wa nyanjani na machapisho 14 yaliyopitiwa na wenzao; 88% waliripoti kupokea angalau tuzo au ufadhili mmoja.

Wakaguzi walitoa alama kuhusu kama kila kazi iliakisi sifa zinazohitajika kwa swali thabiti la kipimo: kuoana na kazi halisi ya utafiti, kupima ipasavyo uwazaji wa kisayansi na utaalamu wa kikoa, msingi katika ushahidi au makubaliano ya wataalamu, na manufaa ya jumla katika kutathmini utendaji wa muundo. Makubaliano yalizidi 96% katika kila kategoria.

Maoni ya wakaguzi yaliimarisha viwango vya kikiasi:

Tunaripoti vipimo viwili vinavyokamilishana. Kiwango cha kufaulu ni asilimia ya kazi ambazo muundo unatimiza kizingiti cha mafanikio cha kiwango cha kazi cha 70%. Alama ni wastani wa tuzo ya rubriki, ikitoa alama za sehemu kwa vigezo binafsi hata wakati kazi nzima haijatatuliwa. Vyote ni muhimu kwa sababu jibu kwa kazi ya kisayansi linaweza kuwa sahihi kwa sehemu au lenye manufaa bila kutimiza kila hitaji la jibu kamili.

Utendaji wa muundo hutofautiana sana kulingana na aina ya kazi, mtiririko wa kazi, na umbizo la jibu.

LifeSciBench inaonyesha kuwa miundo ya hali ya juu ina nguvu kiasi zaidi kwenye kazi zinazohusisha usanisi wa kisayansi, mawasiliano, na ufasiri ulioratibiwa. Viwango kamili vya kufaulu bado ni vya wastani, kwa hivyo vikoa hivi vya kipimo viko mbali na kujaa, lakini GPT‑Rosalind inaonyesha maendeleo ya maana kuliko GPT‑5.5, ikiboresha kiwango cha jumla cha kufaulu kamili kutoka 25.7% hadi 36.1%.

Mielekeo imara zaidi ya maendeleo katika uwezo wa muundo inaonekana katika Mawasiliano ya Kisayansi na Uhawilishaji. Kwa mfano, kiwango cha kufaulu cha Mawasiliano ya Kisayansi kinaongezeka kutoka 56.3% kwa GPT‑5.5 hadi 71.1% kwa GPT‑Rosalind; kategoria hii ni ndogo (n=9), kwa hivyo inapaswa kufasiriwa kwa tahadhari, lakini inadokeza kuwa miundo ya hali ya juu inaboreka haraka katika uwezo wake wa kupanga ushahidi na kutoa maelezo ya kushawishi yanayolenga wataalamu. Uhawilishaji (mchakato wa "kutoka benchi hadi kitandani" katika maendeleo ya dawa) unaonyesha muundo sawa, ukipanda kutoka 36.8% kwa GPT‑5.5 hadi 57.7% kwa GPT‑Rosalind, ikidokeza kuwa miundo inaboreka haraka katika uwezo wake wa kuunganisha ushahidi wa kabla ya kliniki na athari za kliniki.

Matokeo ya kiwango cha rubriki yanaelekeza upande huo huo. Kwenye kazi zinazohitaji matokeo yenye manufaa kwa wataalamu au yanayoweza kutekelezwa, GPT‑Rosalind hupata 44.7%, ikilinganishwa na 29.1% kwa GPT‑5.5. Kwenye kazi zinazohitaji kushughulikia kutokuwa na uhakika na tahadhari, hupata 44.8%, ikilinganishwa na 29.3%. Mtindo huu unapendekeza kuwa miundo huwa na manufaa zaidi wakati kazi ina mpaka wazi wa ushahidi na inahitaji uamuzi wa kisayansi ulioratibiwa.

Utendaji unabaki dhaifu zaidi kwenye kazi za kisayansi zenye viambatisho vingi, ubunifu mwingi, na vikwazo vya kiuendeshaji. Yaani, Ubunifu, Uboreshaji, na Ubashiri unasalia kuwa mojawapo ya mitiririko migumu zaidi ya kazi, huku kiwango cha kufaulu cha GPT‑Rosalind kikiwa 30.7%; Uchanganuzi pia ni mgumu kwa 30.3%.

Matumizi ya viambatisho ni pengo lililo wazi hasa. Ingawa GPT‑Rosalind hufanya vizuri zaidi kuliko GPT‑5.5 katika mazingira yenye viambatisho vingi, kiwango chake cha kufaulu bado hushuka kutoka 45.1% kwenye kazi za maandishi pekee hadi 28.1% kwenye kazi zenye viambatisho au URL. GPT‑5.5 inaonyesha mtindo huo huo, ikishuka kutoka 29.9% hadi 21.9%. Uchanganuzi wa kina zaidi unathibitisha kuwa miundo ya hali ya juu hupata ugumu kutoa taarifa kutoka kwenye michoro changamano au faili kubwa za mfuatano na kuziunganisha katika jibu la mwisho.

Umbizo la jibu pia ni muhimu. Kazi zinazohitaji mfuatano kamili, muundo, au matokeo ya kiwango cha construct huonyesha viwango vya chini vya kufaulu: GPT‑Rosalind hufikia 14.8% tu kwenye kazi za nambari na 24.0% kwenye matokeo ya mfuatano au muundo. Kazi za kuzalisha constructs pia ni dhaifu, huku GPT‑Rosalind ikiwa 27.3% na ikionyesha maboresho kidogo kuliko GPT‑5.5. Sehemu ya pengo hili inaweza kuakisi uso mkali zaidi wa uwekaji alama kwa kazi za majibu kamili, ambapo tofauti ndogo katika hesabu au umbizo zinaweza kusababisha jibu kushuka chini ya kizingiti cha kufaulu. Hata hivyo, kushindwa huku kuna maana ya kisayansi kwa sababu mitiririko mingi ya kazi ya sayansi ya maisha huhitaji matokeo yaliyo sahihi vya kutosha kutumiwa moja kwa moja, kama katika ubunifu wa donor wa CRISPR/HDR au ubunifu wa siRNA.

Miundo pia mara nyingi hufika kiasi fulani bila kutatua kazi kikamilifu. Katika takriban 14% ya kazi, miundo ilipata alama kubwa za rubriki licha ya kushindwa kufikia kizingiti cha kufaulu kamili. Kwa GPT‑Rosalind, kazi 109 zilikuwa na viwango vya kufaulu chini ya 20% huku bado zikipata angalau 50% ya tuzo ya rubriki. Kwa vitendo, hii ina maana kwamba miundo inaweza kutambua ushahidi husika au kutoa jibu la sehemu linaloonekana kufaa, lakini bado ishindwe kwa sababu hukosa kikwazo muhimu, hutumia ushahidi usio sahihi, hufanya hesabu isiyokamilika, au haiungi uwazaji wake na uamuzi wa mwisho wenye manufaa kisayansi.

LifeSciBench ni hatua kuelekea kupima jinsi mifumo ya AI inaweza kuwa na manufaa kwa utafiti wa sayansi ya maisha, lakini si mbadala wa kuchunguza miundo katika mazingira hai ya utafiti. Kipimo kinalenga kazi zinazojitegemea zinazoakisi mitiririko ya kazi inayojirudia katika sekta, huku kikiziacha taaluma nyingi za kisayansi na aina za kazi nje ya wigo wake wa sasa. Utafiti halisi ni wa kurudiarudia: wanasayansi hukusanya ushahidi mpya, kurekebisha nadharia, kubuni majaribio ya ufuatiliaji, na kubadili mipango yao matokeo yanapojitokeza.

Kwa hiyo, utendaji thabiti kwenye LifeSciBench unapaswa kufasiriwa kama ushahidi wa uwezo halisi katika kiwango cha kazi, si kama kipimo cha moja kwa moja cha athari za baadaye za utafiti. Kipimo kina msingi katika mitiririko ya kazi ya sekta, lakini hakishiki utofauti kamili au mienendo ya programu hai za utafiti, ambapo maendeleo hutegemea mambo yanayojitokeza kadri muda unavyopita.

Hatua inayofuata ni kuunganisha utendaji wa kipimo na tafiti za utekelezaji katika mitiririko hai ya kazi za utafiti. Ingawa LifeSciBench iliendelezwa pamoja na wanasayansi wanaofanya kazi, kupima kama mifumo ya AI huharakisha ugunduzi au huboresha matokeo ya R&D kutahitaji kuchunguza matumizi na utendaji wa muundo katika mazingira halisi ya utafiti, kwa vipindi virefu zaidi, na katika raundi nyingi za uwazaji, maoni, na ufuatiliaji wa majaribio.