Tunawaletea GeneBench-Pro
Kigezo cha tathmini cha kiwango cha utafiti kinachopima jinsi mawakala wa AI wanavyokabiliana na utata na kufanya maamuzi yenye athari kubwa katika biolojia ya kikokotozi.
Data za kisayansi mara chache huja zikiwa na maelekezo. Watafiti lazima waamue ikiwa muundo fulani unaakisi biolojia au kelele, ikiwa data zinaweza kuunga mkono swali linaloulizwa, na jinsi kila tokeo linavyopaswa kubadili kile watakachofanya baadaye. Mawakala wa AI wanazidi kuwa na uwezo wa kutekeleza uchanganuzi changamano, lakini utafiti halisi wa kisayansi pia hautegemei tu kukumbuka ukweli au kufuata taratibu za kazi zilizobainishwa mapema, bali pia kufanya maamuzi haya ya kiwango cha juu.
Leo, tunawaletea GeneBench-Pro—kipimo linganishi chenye changamoto, cha kiwango cha utafiti, cha kupima iwapo muundo unaweza kushughulikia aina ya uchanganuzi unaohitaji uamuzi wa kina ambao biolojia ya kikokotozi ya ulimwengu halisi inahitaji. inaendeleza GeneBench(fungua katika dirisha jipya) ili kujumuisha kazi ngumu zaidi na zenye uhalisia zaidi katika jenomiki, biolojia ya kiasi, na tiba ya uhawilishaji, ikiakisi uchangamano, hali ya kurudiarudia, na kutokuwa dhahiri kwa utafiti wa kisayansi katika biolojia ya kompyuta.
Kufikia sasa, kumekuwa na tathmini chache za kushawishi kuhusu maamuzi ya ngazi ya mfumo yanayofanya utafiti wa ukokotoaji katika ulimwengu halisi kuwa mgumu. Haya yanajumuisha kushughulikia utata, kurekebisha dhana, kuchagua mkondo sahihi wa uchambuzi, na kujua wakati matokeo yakiwa tayari kwa maamuzi. Kwa sababu stadi hizi ni vigumu kuzifafanua rasmi, pia ni vigumu kuzitathmini kwa umakini, hata wakati udhaifu katika stadi hizo unazidi kuzuia utendaji wa jumla wa AI.
GeneBench-Pro imeundwa kupima kwa usahihi uwezo huu wa kiwango cha juu. Ndani ya GeneBench-Pro, tunafasili “ladha ya utafiti” kuwa misururu ya maamuzi ya kitaalamu yanayouunda uchanganuzi: ni maswali gani ambayo data inaweza kuyaunga mkono, jinsi uchunguzi wa awali unavyopaswa kubadilisha muundo au kiasi lengwa cha kukadiriwa, na ni wakati gani mpango wa awali unahitaji kurekebishwa. Kila tatizo la GeneBench-Pro huupa muundo seti ya data inayofanana na hali halisi na isiyopangika vizuri, muktadha mfupi wa majaribio, na kiasi lengwa kinachokadiriwa kinachohusishwa na uamuzi wa hatua inayofuata. Ili kujibu kwa usahihi, muundo lazima uchunguze data, uchague mbinu mwafaka ya uchanganuzi, ushiriki katika mchakato wa majaribio unaojirudia, na utoe jibu la mwisho.
Katika biolojia, gharama ya uzalishaji wa data (k.m., upangaji mfuatano wa jenomu) imeshuka kwa kiwango kikubwa, na baadhi ya watafiti sasa wanatoa hoja(fungua katika dirisha jipya) kwamba kikwazo kikuu si tena ukusanyaji wa sampuli bali ukokotoaji na uchanganuzi wa hatua zinazofuata. GeneBench-Pro imeundwa ili kutathmini maendeleo katika kushughulikia kikwazo hicho, ikiwa na maswali 129 yanayohusu anuwai ya mipangilio na mbinu za kibayolojia ya kompyuta.
Atlasi ya Vikoa: matatizo 129 katika vikoa 10 na vikoa vidogo 21
Bofya kitone kilicho hapo juu ili upate maelezo kuhusu tatizo la kipimo cha kiwango.
Atlasi hii inatoa muhtasari wa awali wa wigo wa GeneBench-Pro. Tembelea ukurasa wa uchunguzi kifani ili kuchunguza maswali 10 wakilishi kwa kina zaidi.
GeneBench-Pro pia imeundwa ili kuepuka matatizo ya kawaida ya vipimo linganishi. Vigezo vingi vya tathmini vya biolojia vya upeo mrefu huunda maswali ya hatua nyingi yanayohusu seti za data za kihistoria zisizo nadhifu, ambapo huenda kusiwe na njia moja pekee sahihi ya kupitia uchanganuzi. Wakala mmoja anaweza kuchagua kikomo kimoja kinachoweza kutetewa, ilhali mwingine anaweza kuchagua chaguo tofauti lakini linaloweza kutetewa kwa kiwango sawa, jambo linaloakisi zaidi maamuzi ya kiholela yaliyofanywa na mtayarishaji wa kipimo linganishi kuliko tofauti zozote za msingi katika utendaji wa muundo. Kinyume chake pia kinaweza kutokea: ikiwa tatizo halina unyeti wa kutosha kwa mabadiliko ya nambari, wakala anaweza kufanya makosa ya msingi katika uchanganuzi na bado atoe matokeo yanayofaulu.
Ili kuepuka hali hizi za kushindwa, kila tatizo la GeneBench-Pro hutengenezwa kwa njia ya usanisi: tunajua muundo kamili wa kisababishi na huiga moja kwa moja mchakato wa kuzalisha data. Jambo hilo hutuwezesha kurekebisha kiwango cha utata wa kila tatizo, kuhakikisha kwamba tofauti zinazoeleweka katika chaguo za uchanganuzi zinazotegemea mtazamo binafsi bado zinazalisha matokeo ya kihesabu yanayokubalika, na kuthibitisha (kupitia tafiti za ablation) kwamba uchanganuzi unaoonekana kuwa wa kuaminika lakini usio sahihi unashindwa. Kisha tunakagua rasimu za matatizo kupitia uchanganuzi wa kina wa ufuatiliaji ili kubaini uvujaji wa taarifa na njia za utatuzi zisizokusudiwa. Hili linatupa uhakika kwamba kupata jibu sahihi kunategemea kuchagua njia sahihi ya uchanganuzi, wala si kutumia njia ya mkato kiholela au kufuata mapendeleo ya mwandishi yasiyo na msingi maalum.
Tulituma maswali 82 kati ya 129 ya GeneBench-Pro kwa wataalamu wa nje katika nyanja husika, wakiwemo wanafunzi wa uzamili, watafiti wa baada ya udaktari, wanasayansi wa sekta ya viwanda, na maprofesa. Wahakiki walitathmini uhalisia wa kila tatizo, iwapo jibu lengwa liliweza kutambuliwa, na iwapo mbinu na vikadiriaji vilikuwa mwafaka. Maoni yalitumika kuboresha matatizo.
“Maswali niliyoyapitia yangekuwa magumu kwa mwanafunzi wa uzamili kuyakamilisha bila maoni ya mara kwa mara kutoka kwa msimamizi mwenye uzoefu. Data hizo zilikuwa na matatizo ya kiufundi na ya udhibiti wa ubora yaliyohitaji uchanganuzi wa data wa makini na wa kutafakari, pamoja na ufahamu wa vikwazo vinavyoweza kujitokeza, ili kukamilishwa kwa mafanikio; hawakuwa tu wakitumia mbinu iliyo tayari kutumiwa kwenye data safi na iliyotunzwa vizuri.”
“Hata kama miundo ya sasa haiwezi kutekeleza kwa kuaminika uchanganuzi huru kuanzia mwanzo hadi mwisho, ile inayofanya vizuri kwenye matatizo ya GeneBench-Pro bila shaka ingeweza kuwasaidia watafiti kubaini taratibu sahihi za kazi na kuchunguza data. Ningeweza kuona kwamba hilo lingeboresha sana kasi, ukamilifu, na uwezo wa kurudiwa kwa utafiti.”
Kila tatizo la GeneBench-Pro ni uchanganuzi wa kisayansi unaojitosheleza. Mawakala hupata ufikiaji wa eneokazi lililotengwa lenye dokeza fupi, faili za data, na seti ya kawaida ya zana za bioinfomatiki ikijumuisha Python, maktaba za ukokotoaji wa kisayansi, na vifurushi vya msingi vya genomiki kama PLINK 2.0 (ingawa matatizo hayahitaji zana mahususi za kikoa).
Uamuzi wa uwiano wa manufaa na hatari za tiba ya uvimbe unaoongozwa na miundo mbalimbali
Kwa sababu tunadhibiti mchakato mzima wa uzalishaji wa data, tunaweza kutathmini usahihi kwa njia bainifu dhidi ya malengo yanayojulikana, tukiepuka utofauti unaotokana na uchaguzi wa muundo na athari za urefu wa maelezo zinazopatikana katika tathmini ya kawaida inayotegemea rubriki.
Kila tatizo pia huja na metadata nyingi na za kina, ikijumuisha muundo wa uchanganuzi uliokusudiwa, faili za data zilizoambatishwa, utafiti kifani wa kina wenye kurasa nyingi, na matokeo ya tathmini ya wataalamu. Tunatoa kikamilifu kama chanzo huria maswali 10 wakilishi ya GeneBench-Pro kwenye Hugging Face(fungua katika dirisha jipya), pamoja na kiolesura shirikishi cha wavuti cha kuyavinjari. Hatimaye, tutatoa sehemu ndogo yenye maswali 50 kwa Uchambuzi Bandia(fungua katika dirisha jipya) kwa ajili ya upimaji linganishi huru unaofanywa na mhusika mwingine hivi karibuni.
Muundo wetu wenye uwezo mkubwa zaidi, GPT‑5.6 Sol, hufikia kiwango cha kufaulu cha asilimia 28.7 katika kiwango cha juu zaidi cha uwazaji (asilimia 31.5 kwa hali ya Pro ikiwa imewashwa). Hilo ni ongezeko kubwa ikilinganishwa na wakati tulipoanza kuunda GeneBench ya awali; wakati huo, muundo wetu bora unaoongoza, GPT‑5, ulipata alama ya chini ya asilimia 5. Maendeleo katika kipimo hiki cha ulinganisho yanaashiria kwamba miundo inayoongoza inaboreka haraka, hata katika uwazaji wa kisayansi wa kiwango cha mifumo usio dhihirika sana. Kwa kasi ya sasa, huenda kipimo hiki cha kiwango kikawa kimefikia ukomo kufikia mwisho wa mwaka.
Matokeo pia yanaonyesha athari za kuongeza rasilimali za ukokotoaji wakati wa majaribio. Katika kiwango cha chini kabisa cha uwazaji, GPT‑5.6 Sol hufikia tu kiwango cha ufaulu cha tarakimu moja. Katika kiwango cha juu zaidi cha uwazaji, GPT‑5.6 Sol hutatua takriban mara sita ya idadi ya maswali ambayo GPT‑5.2 hutatua huku ikitumia takriban theluthi mbili ya idadi ya tokeni.
Ulinganisho kati ya familia za miundo unaonyesha kuwa miundo ya GPT ni miongoni mwa mifumo yenye uwezo mkubwa zaidi katika uwazaji wa kisayansi wa kiwango cha juu chini ya kutokuwa na uhakika wa kiasi. Pengo la utendaji kati ya GPT‑5.6, GPT‑5.5 na miundo inayoongoza ya chanzo huria kama vile GLM 5.2 ni kubwa zaidi kuliko tunavyotarajia tunapokadiria kutoka kwenye vipimo linganishi vya usimbaji wa programu(fungua katika dirisha jipya), kuashiria kuwa miundo ya chanzo huria imebobea zaidi katika usimbaji kuliko katika uwezo mpana wa uwazaji.
Tulitumia miundo inayoongoza ya GPT kutathmini na kuimarisha utatuzi wa matatizo wakati wa maendeleo. Kwa hivyo, tulishuku kuwa GeneBench-Pro huenda ina upendeleo dhidi ya muundo wa GPT ikilinganishwa na familia nyingine za muundo. Hata hivyo, miundo ya washindani kwa kawaida yalilingana na utendaji wa muundo wa GPT husika wakati wa kutolewa, na mara nyingi yalishindwa kwa kiasi kikubwa.
Matokeo haya ya tathmini—hadi asilimia 31.5 kwenye GPT‑5.6 Sol (Pro)—ni ya kushangaza ikizingatiwa ugumu wa maswali ya GeneBench-Pro. Katika utafiti, wakaguzi wetu walikadiria kuwa tatizo la kawaida la GeneBench-Pro lingemchukua mtaalamu wa binadamu takriban saa 20–40 kulikamilisha. Kwa dola $200 kwa saa, hilo linafanya gharama ya kazi ya binadamu kwa tatizo moja kufikia maelfu ya madola. Mawakala wa sasa wa AI bado hawaaminiki sana kuchukua nafasi ya wataalamu wa kibinadamu, lakini pengo la gharama ni kubwa, huku gharama za makadirio zikiwa dola kadhaa tu kwa kila tatizo. Hiyo inamaanisha kwamba hata uendeshaji otomatiki wa sehemu fulani kwa uwezo wa sasa unaweza kuleta thamani kubwa ya kiuchumi na kisayansi.
“Vigezo vya ulinganishi vinatokana na maswali mbalimbali ya kibayolojia, lakini changamoto halisi hutokana na uchambuzi wa data wa uchunguzi na uwazaji juu ya ugunduzi huu: kutambua mifumo na athari bandia, na kuamua kama data inapaswa kuondolewa au kurekebishwa. Hii inafanana na asili isiyo safi na changamano ya seti halisi za data za kibayolojia. Kupitia tathmini hizi kunadhihirisha umuhimu wa mikataba wazi ya watatuzi katika utatuzi wa matatizo ya kisayansi unaotegemea mawakala. Uandishi tofauti wa dokezo au maelezo ya jukumu unaweza kuathiri sana aina za uchanganuzi zinazojulikana kuruhusiwa.”
“Nilipenda [maswali] zaidi. Kwa kawaida, yalikuwa na mchanganyiko wa: (1) Maarifa yanayohitajika kuhusu mada, kama vile upendeleo wa C>T katika DNA ya kale, (2) Kutofautiana kwa data, kama vile kubadilishana kwa asili ya nasaba, (3) Aina fulani ya maarifa kuhusu zana sahihi za uchanganuzi kwa kazi husika na jinsi ya kuzitekeleza. Ilionekana kana kwamba mawakala wengi walishindwa kuhusu (2). Hawako makini vya kutosha kuhusu masuala ya data. Labda hilo linaangazia udhaifu wa muundo wa sasa. Na data nyingi za kibayolojia zina kasoro.”
Hata hivyo, ukweli kwamba miundo inayoongoza bado hutatua chini ya theluthi moja ya matatizo haya unaonyesha kwamba kuna nafasi kubwa ya kuboresha. Miundo inaweza kufanya maendeleo kidogo katika matatizo yenye changamoto, lakini inajitahidi kukamilisha mzunguko wa hitimisho. Mwelekeo huu wa kushindwa unaakisi tofauti kati ya wataalamu wa kibinadamu na wasio na uzoefu. Wataalamu hutumia uzoefu wao kuelewa na kufafanua tatizo na kurekebisha mbinu yao, ilhali wanafunzi wapya hufanya uchunguzi lakini hupata ugumu kuunganisha matokeo hayo katika muktadha mpana wa tatizo.
Tatizo: Mwitikio wa kifamakogenomiki wa muda hadi tukio kwa matibabu yanayobadilika kulingana na wakati
Ruwaza ya GPT-5.5
Ruwaza ya GPT-5.6 Sol
Kufikia utendaji ulio karibu kuwa kamili kutahitaji tathmini zinazopima maendeleo kwa kutegemewa na kubainisha maeneo ambapo miundo bado inashindwa. Vipimo vya ulinganishi kama GeneBench-Pro vinaweza kusaidia kubadilisha upungufu wa uwezo usioeleweka vizuri kuwa kitu tunachoweza kutambua chanzo chake na kuuboresha.
Ikiwa mawakala wanaweza kuendesha kiotomatiki aina hii ya uchanganuzi kwa kutegemewa, wanaweza kuharakisha ugunduzi wa kisayansi kwa kiasi kikubwa. Ushahidi wa kijenetiki wa binadamu tayari ni msingi wa kupanga vipaumbele vya malengo na ufuatiliaji wa tafiti za kutafsiri matibabu, kwa sababu mifumo yenye msaada wa kijenetiki ina uwezekano mkubwa zaidi wa kusababisha matibabu yaliyoidhinishwa.
Wakati huohuo, gharama za upangaji mfuatano zimeporomoka, na seti za data za kiwango cha benki za sampuli za kibayolojia sasa zinaunganisha taarifa za kimolekuli, kifenotipu, na rekodi za afya kwa upana usio na kifani. Kikwazo kikuu ni kuhama kutoka kuzalisha data hadi kugeuza taarifa kuwa maarifa ya kina yanayoweza kufanyiwa kazi. Miundo inayoweza kufanya kwa uthabiti uchanganuzi ambao kwa sasa hushughulikiwa na timu za wataalamu binadamu inaweza kubadilisha utafiti wa viwandani kwa kuharakisha upangaji wa nadharia, ufuatiliaji wa malengo, na mzunguko wa marudio kati ya kuzalisha data na kufanya maamuzi.
GeneBench-Pro inawakilisha juhudi za awali za kutathmini ujuzi wa kidhahania zaidi unaohusika katika kufanya maamuzi bora ya kisayansi ambao unamilikiwa na watu wenye uzoefu. Stadi hizi huwawezesha kutambua kwa ufahamu wa ndani na kubaini uchambuzi wa awali wenye uwezekano mkubwa zaidi wa kufaa, kurudia hatua na kurekebisha fikra zao data zinapopingana na dhana za awali, na kufikia hitimisho ambalo maamuzi ya baadaye ya kitabibu, kitaaluma, au kibiashara yanaweza kulitegemea.
Tunatarajia kwamba kadiri uwezo wa miundo unavyoendelea kukua, vigezo vya upimaji vinavyochunguza uwezo wa miundo katika viwango hivi vya juu zaidi vya udhahania vitazidi kuwa muhimu, zaidi ya vile vinavyojaribu tu maarifa ya vitabuni au uwezo wa kutekeleza uchanganuzi wa kawaida.


