Iepazīstinām ar GeneBench-Pro
Pētniecības līmeņa etalontests, kas mēra, kā MI aģenti orientējas nenoteiktībā un pieņem nozīmīgus spriedumus skaitļošanas bioloģijā.
Zinātniskie dati reti ir pieejami ar instrukcijām. Pētniekiem jāizlemj, vai modelis datos atspoguļo bioloģiju vai troksni, vai dati spēj pamatot uzdoto jautājumu un kā katram rezultātam jāmaina turpmākā rīcība. MI aģenti arvien labāk spēj veikt sarežģītas analīzes, taču reāla zinātniskā pētniecība balstās ne tikai faktu atsaukšanā atmiņā vai iepriekš noteiktas darbplūsmas izpildē, bet arī šādu augstāka līmeņa spriedumu pieņemšanā.
Šodien iepazīstinām ar GeneBench-Pro — sarežģītu pētniecības līmeņa etalontestu, kas pārbauda, vai modeļi spēj tikt galā ar spriedumu prasīgu analīzi, kāda nepieciešama reālajā skaitļošanas bioloģijā. Tas paplašina GeneBench(atveras jaunā logā), aptverot grūtākus un reālistiskākus uzdevumus genomikā, kvantitatīvajā bioloģijā un translacionālajā medicīnā un atspoguļojot skaitļošanas bioloģijas pētījumu sarežģītību, iteratīvo raksturu un nenoteiktību.
Līdz šim bijis maz pārliecinošu novērtējumu par sistēmas līmeņa spriedumiem, kas apgrūtina reālus skaitļošanas pētījumus. Tie ietver nenoteiktības pārvaldīšanu, pieņēmumu pārskatīšanu, pareizā analīzes ceļa izvēli un izpratni, kad rezultāts ir gatavs lēmuma pieņemšanai. Tā kā šīs prasmes ir grūti formalizēt, tās ir arī grūti stingri novērtēt, pat ja to trūkumi arvien vairāk ierobežo kopējo MI veiktspēju.
GeneBench-Pro ir izstrādāts, lai precīzi mērītu šīs augstāka līmeņa funkcijas. GeneBench-Pro ietvaros mēs definējam “pētniecisko izjūtu” kā spriedumu ķēdes, kas veido analīzi: kādus jautājumus dati var pamatot, kā agrīnajai diagnostikai jāmaina modelis vai estimands un kad sākotnējais plāns jāpārskata. Katra GeneBench-Pro problēma modelim sniedz reālistisku un nekārtīgu datu kopu, īsu eksperimentālo kontekstu un mērķa estimandu, kas saistīts ar vēlāk pieņemamu lēmumu. Lai atbildētu pareizi, modelim jāizpēta dati, jāizvēlas piemērota analītiskā pieeja, iteratīvi jāeksperimentē un jāsniedz gala atbilde.
Bioloģijā datu iegūšanas izmaksas (piemēram, genoma sekvenēšanai) ir strauji kritušās, un daži pētnieki tagad apgalvo(atveras jaunā logā), ka ierobežojošais faktors vairs nav paraugu vākšana, bet gan turpmākā skaitļošana un analīze. GeneBench-Pro ir veidots, lai novērtētu progresu šī šaurā posma pārvarēšanā, iekļaujot 129 jautājumus par plašu skaitļošanas bioloģijas situāciju un metožu loku.
Domēnu atlants: 129 problēmas 10 domēnos un 21 apakšdomēnos
Noklikšķini uz kāda no augstāk redzamajiem punktiem, lai uzzinātu par etalona problēmu.
Šis atlants sniedz ieskatu GeneBench-Pro plašumā. Apmeklējiet gadījumu izpētes lapu, lai detalizētāk izpētītu 10 reprezentatīvus jautājumus.
GeneBench-Pro ir arī izstrādāts tā, lai izvairītos no biežām etalontestu kļūmēm. Daudzi ilgā horizonta bioloģijas etalontesti rada daudzsoļu jautājumus ap nekārtīgām vēsturiskām datu kopām, kur analīzei var nebūt viena pareiza ceļa. Viens aģents var izvēlēties aizstāvamu robežvērtību, bet cits — atšķirīgu, taču tikpat aizstāvamu variantu, kas vairāk atspoguļo etalontesta veidotāja patvaļīgās izvēles nekā būtiskas modeļa veiktspējas atšķirības. Var notikt arī pretējais: ja problēma ir pārāk nejutīga pret skaitliskām kļūdām, aģents var pieļaut fundamentālas analīzes kļūdas un tomēr iegūt ieskaitītu rezultātu.
Lai no šiem kļūmju veidiem izvairītos, katra GeneBench-Pro problēma tiek veidota sintētiski: mēs zinām pilnu kauzālo struktūru un tieši simulējam datu ģenerēšanas procesu. Tas ļauj pielāgot katras problēmas sarežģītību, nodrošināt, ka saprātīgas subjektīvu analītisku izvēļu atšķirības joprojām dod pieņemamus skaitliskus rezultātus, un ar ablācijas pētījumiem pārbaudīt, ka ticamas, bet nepareizas analīzes izgāžas. Pēc tam mēs auditējam problēmu melnrakstus ar detalizētām izpildes pēdu analīzēm, lai pārbaudītu informācijas noplūdi un neparedzētus risinājuma ceļus. Tas dod pārliecību, ka pareizās atbildes iegūšana ir atkarīga no pareizā analītiskā ceļa izvēles, nevis no īsceļa izmantošanas vai patvaļīgas autora preferences uzminēšanas.
Mēs nosūtījām 82 no 129 GeneBench-Pro jautājumiem ārējiem jomas ekspertiem, tostarp maģistrantiem un doktorantiem, pēcdoktorantūras pētniekiem, nozares zinātniekiem un profesoriem. Recenzenti vērtēja katras problēmas reālistiskumu, to, vai mērķa atbilde ir identificējama, un metožu un estimatoru piemērotību. Atsauksmes tika izmantotas problēmu uzlabošanai.
“Manis pārskatītās problēmas maģistrantam vai doktorantam būtu bijis sarežģīti atrisināt bez pieredzējuša vadītāja atkārtotas atgriezeniskās saites. Datos bija tehniskas un kvalitātes kontroles problēmas, kuru veiksmīgai atrisināšanai bija vajadzīga pārdomāta un reflektīva datu analīze ar izpratni par iespējamām kļūmēm; tas nebija vienkārši gatavas metodes piemērošana tīriem un labi sakārtotiem datiem.”
“Pat ja pašreizējie modeļi vēl nespēj uzticami veikt neatkarīgas analīzes no sākuma līdz beigām, tie, kas labi tiek galā ar GeneBench-Pro problēmām, skaidri spētu palīdzēt pētniekiem noteikt pareizas darbplūsmas un pētīt datus. Es redzu, ka tas būtiski paātrinātu pētniecību, padarītu to rūpīgāku un reproducējamāku.”
Katra GeneBench-Pro problēma ir patstāvīga zinātniska analīze. Aģenti saņem piekļuvi izolētai darbvietai ar īsu uzvedni, datu failiem un standarta bioinformātikas komplektu, tostarp Python, zinātniskās skaitļošanas bibliotēkām un pamata genomikas pakotnēm, piemēram, PLINK 2.0 (lai gan problēmām nav vajadzīgi jomai specifiski rīki).
Strukturālo variantu vadīts audzēju terapijas ieguvuma–riska lēmums
Tā kā mēs kontrolējam visu datu ģenerēšanas procesu, pareizību varam deterministiski vērtēt pret zināmiem mērķiem, izvairoties no modeļa izvēles mainīguma un izplūduma ietekmes, kas raksturīga standarta rubrikās balstītai vērtēšanai.
Katrai problēmai ir arī ļoti daudz metadatu, tostarp paredzētā analīzes struktūra, pievienotie datu faili, detalizēta vairākas lappuses gara gadījuma izpēte un ekspertu pārskatīšanas rezultāti. Mēs pilnībā atvērtā pirmkodā publicējam 10 reprezentatīvus GeneBench-Pro jautājumus vietnē Hugging Face(atveras jaunā logā), kā arī interaktīvu tīmekļa saskarni to pārlūkošanai. Visbeidzot, tuvākajā laikā nodosim 50 jautājumu apakškopu Artificial Analysis(atveras jaunā logā) neatkarīgai trešās puses etalontestēšanai.
Mūsu spēcīgākais modelis GPT‑5.6 Sol sasniedz 28,7% nokārtošanas īpatsvaru augstākajā spriestspējas līmenī (31,5% ar ieslēgtu Pro režīmu). Tas ir straujš kāpums salīdzinājumā ar brīdi, kad sākām veidot sākotnējo GeneBench; toreiz mūsu labākais robežšķirtnes modelis GPT‑5 ieguva mazāk nekā 5%. Progress šajā etalontestā liecina, ka robežšķirtnes modeļi strauji uzlabojas pat mazāk taustāmā, sistēmas līmeņa zinātniskajā spriestspējā. Pašreizējā tempā šis etalontests līdz gada beigām varētu tikt piesātināts.
Rezultāti parāda arī testēšanas laika skaitļošanas mērogošanas ietekmi. Zemākajā spriestspējas līmenī GPT‑5.6 Sol sasniedz tikai viencipara nokārtošanas īpatsvaru. Augstākajā spriestspējas līmenī GPT‑5.6 Sol atrisina gandrīz sešreiz vairāk jautājumu nekā GPT‑5.2, vienlaikus izmantojot apmēram divas trešdaļas tik daudz tekstvienību.
Salīdzinājumi starp modeļu saimēm liecina, ka GPT modeļi ir starp spēcīgākajām sistēmām augsta līmeņa zinātniskajā spriestspējā kvantitatīvas nenoteiktības apstākļos. Veiktspējas plaisa starp GPT‑5.6, GPT‑5.5 un vadošajiem atvērtā pirmkoda modeļiem, piemēram, GLM 5.2, ir būtiski lielāka, nekā gaidītu, ekstrapolējot no kodēšanas etalontestiem(atveras jaunā logā), kas norāda, ka atvērtā pirmkoda modeļi ir vairāk specializēti kodēšanai nekā plašākai spriestspējai.
Izstrādes laikā izmantojām robežšķirtnes GPT modeļus, lai novērtētu un nostiprinātu problēmas. Tāpēc mums bija aizdomas, ka GeneBench-Pro varētu būt neobjektīvs pret GPT modeļiem salīdzinājumā ar citām modeļu saimēm. Tomēr konkurentu modeļi labākajā gadījumā sasniedza attiecīgā GPT modeļa veiktspēju tā izlaišanas brīdī un parasti ievērojami atpalika.
Šie novērtējuma rezultāti — līdz pat 31,5% GPT‑5.6 Sol (Pro) gadījumā — ir iespaidīgi, ņemot vērā GeneBench-Pro jautājumu grūtību. Aptaujā mūsu recenzenti lēsa, ka tipiskas GeneBench-Pro problēmas atrisināšana cilvēka ekspertam prasītu ap 20–40 stundām. Pie konservatīvas likmes 200 USD stundā vienas problēmas cilvēka darba izmaksas sasniedz vairākus tūkstošus dolāru. Pašreizējie AI aģenti joprojām ir pārāk neuzticami, lai aizstātu cilvēku ekspertus, taču izmaksu plaisa ir liela: inferenču izmaksas ir tikai daži dolāri par problēmu. Tas nozīmē, ka pat daļēja automatizācija ar pašreizējām spējām varētu radīt nozīmīgu ekonomisku un zinātnisku vērtību.
“Etalontestus motivē daudzveidīgi bioloģiski jautājumi, bet … īstais izaicinājums slēpjas izpētes datu analīzē un spriestspējā par šiem atklājumiem: modeļu un artefaktu noteikšanā un lēmumā, vai dati jāizslēdz vai jāpielāgo. Tas līdzinās reālu bioloģisko datu kopu nekārtīgajai dabai. Šo novērtējumu pārskatīšana parāda, cik svarīgi aģentos balstītā zinātnisko problēmu risināšanā ir skaidri risinātāja nosacījumi. Atšķirīgs uzvednes formulējums vai uzdevuma specifikācija var būtiski ietekmēt to, kuras analīzes šķiet pieļaujamas.”
“Man lielākoties patika [jautājumi]. Tajos parasti bija apvienots: (1) nepieciešamās zināšanas par tēmu, piemēram, C>T nobīde senajā DNS; (2) datu neatbilstības, piemēram, izcelsmes apmaiņas; (3) zināšanas par piemērotajiem analītiskajiem rīkiem konkrētajam uzdevumam un to ieviešanu. Šķita, ka lielākajai daļai aģentu neizdevās tikt galā ar (2). Viņi nav pietiekami piesardzīgi attiecībā uz datu problēmām. Iespējams, tas izceļ pašreizējo modeļu vājumu. Un daudzos bioloģiskajos datos ir neregularitātes.”
Tomēr fakts, ka robežšķirtnes modeļi joprojām atrisina mazāk nekā trešdaļu šo problēmu, parāda, ka uzlabojumi vēl var turpināties. Modeļi spēj daļēji progresēt sarežģītās problēmās, taču tiem ir grūti noslēgt inferenciālo ciklu. Šis kļūmes raksts atspoguļo atšķirību starp cilvēku ekspertiem un iesācējiem. Eksperti izmanto pieredzi, lai formulētu problēmu un pielāgotu pieeju, savukārt iesācēji veic novērojumus, bet nespēj tos iekļaut plašākajā problēmas kontekstā.
Problēma: farmakogenomisks laika līdz notikumam atbildes reakcija ar laikā mainīgu ārstēšanu
GPT-5.5 modelis
GPT-5.6 Sol modelis
Lai sasniegtu gandrīz ideālu veiktspēju, nepieeciešami novērtējumi, kas vienlaikus uzticami izmēra progresu un parāda, kur modeļi joprojām kļūdās. Tādi etalontesti kā GeneBench-Pro var palīdzēt neskaidru spēju trūkumu pārvērst par kaut ko diagnosticējamu un uzlabojamu.
Ja aģenti spēs uzticami automatizēt šāda veida analīzi, tie varēs būtiski paātrināt zinātniskos atklājumus. Cilvēka ģenētiskie pierādījumi jau ir centrāli mērķu prioritizēšanā un translacionālajā turpinājumā, jo mehānismi ar ģenētisku atbalstu daudz biežāk noved pie apstiprinātām terapijām.
Tikmēr sekvenēšanas izmaksas ir strauji kritušās, un biobanku mēroga datu kopas tagad nepieredzētā plašumā sasaista molekulāro, fenotipisko un veselības ierakstu informāciju. Ierobežojošais faktors pāriet no datu ģenerēšanas uz informācijas pārvēršanu praktiski izmantojamām atziņām. Modeļi, kas spēj konsekventi veikt analīzes, ko pašlaik veic cilvēku ekspertu komandas, varētu pārveidot rūpniecisko pētniecību, paātrinot hipotēžu šķirošanu, mērķu turpmāku izpēti un iterācijas ciklu starp datu ģenerēšanu un lēmumu pieņemšanu.
GeneBench-Pro ir sākotnējs mēģinājums novērtēt abstraktākas prasmes, kas saistītas ar pieredzējušiem speciālistiem raksturīgu labu zinātnisko spriestspēju. Šīs prasmes ļauj intuitīvi noteikt daudzsološākās sākotnējās analīzes, iterēt un pārskatīt domāšanu, kad dati ir pretrunā sākotnējiem pieņēmumiem, un nonākt pie secinājumiem, no kuriem var būt atkarīgi turpmāki klīniski, akadēmiski vai biznesa lēmumi.
Mēs paredzam, ka, modeļu spējām attīstoties, arvien noderīgāki kļūs etalontesti, kas pārbauda modeļu spējas šajos augstākajos abstrakcijas līmeņos, nevis tikai grāmatu zināšanas vai spēju izpildīt rutīnas analīzes.
