Iepazīstinām ar GeneBench-Pro
Pētniecības līmeņa etalonnovērtējums, kas mēra, kā MI aģenti orientējas nenoteiktībā un pieņem spriedumus ar būtiskām sekām datorbioloģijā.
Zinātniskie dati reti nāk ar norādījumiem. Pētniekiem jāizlemj, vai likumsakarība atspoguļo bioloģiju vai troksni, vai dati var atbalstīt uzdoto jautājumu, un kā katrs rezultāts ietekmē viņu turpmākās darbības. MI aģenti aizvien vairāk spēj veikt sarežģītas analīzes, taču patiesa zinātniskā pētniecība balstās ne tikai uz faktu atcerēšanos vai iepriekš definētas darbplūsmas ievērošanu, bet arī uz augstāka līmeņa spriedumu pieņemšanu.
Šodien mēs iepazīstinām ar GeneBench-Pro – sarežģītu, pētniecības līmeņa etalontestu, kas paredzēts, lai pārbaudītu, vai modeļi spēj veikt tādu spriedumos balstītu analīzi, kāda nepieciešama reālās pasaules skaitļošanas bioloģijā. Tas paplašina GeneBench(atveras jaunā logā), aptverot sarežģītākus un reālistiskākus uzdevumus genomikā, kvantitatīvajā bioloģijā un translācijas medicīnā, atspoguļojot zinātniskās pētniecības sarežģītību, iteratīvo raksturu un nenoteiktību skaitļošanas bioloģijā.
Līdz šim ir bijis maz pārliecinošu izvērtējumu par sistēmas līmeņa izvēlēm, kas prasa vērtējošu spriedumu un apgrūtina reālos apstākļos veiktu skaitļošanas pētniecību. Tie ietver neskaidrību risināšanu, pieņēmumu pārskatīšanu, pareizā analīzes ceļa izvēli un to, kad rezultāts ir gatavs lēmumam. Tā kā šīs prasmes ir grūti formalizēt, tās arī grūti stingri novērtēt, pat ja šo prasmju nepilnības arvien vairāk ierobežo kopējo mākslīgā intelekta veiktspēju.
GeneBench-Pro ir izstrādāts, lai precīzi mērītu šīs augstāka līmeņa spējas. GeneBench-Pro ietvaros mēs definējam “pētniecisko gaumi” kā spriedumos balstītu lēmumu ķēdes, kas veido analīzi: kādus jautājumus dati var pamatot, kā agrīnajām diagnostikas pārbaudēm būtu jāmaina modelis vai novērtējamais lielums un kad sākotnējais plāns ir jāpārskata. Katrs GeneBench-Pro uzdevums sniedz modelim reālistisku un nekārtīgu datu kopu, īsu eksperimentālo kontekstu un mērķa estimandu, kas saistīts ar turpmāku lēmumu. Lai atbildētu pareizi, modelim ir jāizpēta dati, jāizvēlas atbilstoša analītiskā pieeja, jāiesaistās iteratīvā eksperimentēšanas procesā un jāsniedz galīgā atbilde.
Bioloģijā datu ģenerēšanas izmaksas (piemēram, genoma sekvencēšanai) ir krasi samazinājušās, un daži pētnieki tagad apgalvo(atveras jaunā logā), ka ierobežojošais faktors vairs nav paraugu vākšana, bet gan pakārtotā datu apstrāde un analīze. GeneBench-Pro ir izveidots, lai novērtētu progresu šī ierobežojuma pārvarēšanā, un tajā ir 129 jautājumi, kas aptver plašu skaitļošanas bioloģijas situāciju un metožu klāstu.
Domēnu atlants: 129 problēmas 10 domēnos un 21 apakšdomēnos
Noklikšķini uz kāda no augstāk redzamajiem punktiem, lai uzzinātu par etalona problēmu.
Šis atlants sniedz priekšstatu par GeneBench-Pro plašo iespēju klāstu. Apmeklē gadījumu izpētes lapu, lai detalizētāk iepazītos ar 10 pārstāvnieciskajiem jautājumiem.
GeneBench-Pro ir izstrādāts arī tā, lai izvairītos no bieži sastopamām etalontestu kļūmēm. Daudzi ilgtermiņa bioloģijas etalontesti veido daudzpakāpju jautājumus, balstoties uz nesakārtotām vēsturiskām datu kopām, kur analīzei var nebūt viena vienīga pareizā ceļa. Aģents varētu izvēlēties vienu pamatotu robežvērtību, savukārt cits varētu izvēlēties atšķirīgu, bet tikpat pamatotu variantu, kas drīzāk atspoguļotu etalonuzdevuma veidotāja patvaļīgās izvēles nekā jebkādas fundamentālas atšķirības modeļa veiktspējā. Var notikt arī pretējais: ja problēma ir pārāk skaitliski nejutīga, aģents var pieļaut fundamentālas kļūdas analīzē un tomēr iegūt sekmīgu rezultātu.
Lai izvairītos no šiem kļūmes režīmiem, katra GeneBench-Pro problēma tiek veidota sintētiski: mēs zinām pilnu cēloņsakarību struktūru un tieši simulējam datu ģenerēšanas procesu. Tas mums ļauj pielāgot katra uzdevuma sarežģītību, nodrošināt, ka saprātīgas atšķirības subjektīvās analītiskajās izvēlēs joprojām rada pieņemamus skaitliskos rezultātus, un pārbaudīt (izmantojot ablācijas pētījumus), ka šķietami ticamas, bet nepareizas analīzes neiztur pārbaudi. Pēc tam mēs auditējam uzdevumu melnrakstus, izmantojot detalizētas izsekošanas analīzes, lai pārbaudītu, vai nav informācijas noplūdes un neparedzētu risināšanas ceļu. Tas mums ļauj būt pārliecinātiem, ka pareizās atbildes iegūšana ir atkarīga no pareizās analītiskās pieejas izvēles, nevis no saīsnes izmantošanas vai pielāgošanās patvaļīgai autora preferencei.
Mēs nosūtījām 82 no 129 GeneBench-Pro jautājumiem ārējiem jomas ekspertiem, tostarp maģistrantūras un doktorantūras studentiem, pēcdoktorantūras pētniekiem, nozares zinātniekiem un profesoriem. Recenzenti novērtēja katra uzdevuma reālistiskumu, to, vai mērķa atbilde bija identificējama, un to, vai metodes un novērtētāji bija atbilstoši. Atsauksmes tika izmantotas, lai uzlabotu uzdevumus.
“Manis pārskatītos uzdevumus maģistrantam būtu bijis izaicinoši izpildīt bez atkārtotas pieredzējuša darba vadītāja atgriezeniskās saites. Dati ietvēra tehniskas un kvalitātes kontroles problēmas, kuru sekmīgai atrisināšanai bija nepieciešama pārdomāta un reflektīva datu analīze, apzinoties iespējamos klupšanas akmeņus; tas nebija vienkārši kādas gatavas metodes piemērošanas gadījums tīriem un labi sakārtotiem datiem.”
“Pat ja pašreizējie modeļi vēl nespēj uzticami patstāvīgi veikt analīzes no sākuma līdz beigām, tie, kas labi darbojas GeneBench-Pro uzdevumos, nepārprotami spētu palīdzēt pētniekiem noteikt pareizās darbplūsmas un izpētīt datus. Es varēju saskatīt, ka tas būtiski uzlabotu pētniecības tempu, rūpīgumu un reproducējamību.”
Katrs GeneBench-Pro uzdevums ir patstāvīga zinātniska analīze. Aģenti saņem piekļuvi izolētai darbvietai ar īsu uzvedni, datu failiem un standarta bioinformātikas programmatūras steku, tostarp Python, zinātniskās skaitļošanas bibliotēkām un pamata genomikas pakotnēm, piemēram, PLINK 2.0 (lai gan uzdevumiem nav nepieciešami jomas specifiski rīki).
Uz strukturālajiem variantiem balstīts lēmums par audzēja terapijas ieguvuma un riska attiecību
Tā kā mēs kontrolējam visu datu ģenerēšanas procesu, varam deterministiski novērtēt pareizību attiecībā pret zināmām mērķvērtībām, izvairoties no modeļa izvēles mainīguma un izvērstības efektiem, kas sastopami standarta, uz rubrikām balstītā vērtēšanā.
Katram uzdevumam ir pievienoti arī plaši metadati, tostarp paredzētā analīzes struktūra, pievienotie datu faili, detalizēts vairāku lappušu gadījuma pētījums un ekspertu izvērtējuma rezultāti. Mēs pilnībā atveram piekļuvi 10 reprezentatīviem GeneBench-Pro jautājumiem platformā Hugging Face(atveras jaunā logā), kā arī piedāvājam interaktīvu tīmekļa saskarni to pārlūkošanai. Visbeidzot, tuvākajā nākotnē mēs nodosim 50 jautājumu apakškopu Artificial Analysis(atveras jaunā logā) neatkarīgai trešās puses salīdzinošajai novērtēšanai.
Mūsu jaudīgākais modelis, GPT‑5.6 Sol, augstākajā spriestspējas līmenī sasniedz 28,7% sekmības rādītāju (31,5% ar iespējotu Pro režīmu). Tas ir straujš pieaugums salīdzinājumā ar laiku, kad sākām veidot sākotnējo GeneBench; tolaik mūsu labākais robežšķirtnes modelis GPT‑5 ieguva mazāk nekā 5%. Progress šajā etalontestā liecina, ka robežšķirtnes modelis strauji uzlabojas pat mazāk taustāmā, sistēmu līmeņa zinātniskajā spriestspējā. Pašreizējā tempā šis etalontests līdz gada beigām varētu sasniegt piesātinājumu.
Rezultāti arī parāda testēšanas laikā izmantotās skaitļošanas resursu mērogošanas ietekmi. Zemākajā spriestspējas līmenī GPT‑5.6 Sol sasniedz tikai vienciparu sekmības rādītāju. Augstākajā spriestspējas līmenī GPT‑5.6 Sol atrisina gandrīz sešreiz vairāk jautājumu nekā GPT‑5.2, vienlaikus izmantojot aptuveni par trešdaļu mazāk tekstvienību.
Salīdzinājumi starp modeļu saimēm liecina, ka GPT modeļi ir starp spēcīgākajām sistēmām augsta līmeņa zinātniskajā spriestspējā kvantitatīvas nenoteiktības apstākļos. Veiktspējas atšķirība starp GPT‑5.6, GPT‑5.5 un vadošajiem atvērtā pirmkoda modeļiem, piemēram, GLM 5.2, ir ievērojami lielāka, nekā mēs gaidītu, ekstrapolējot no programmēšanas etalontestiem(atveras jaunā logā), kas norāda, ka atvērtā pirmkoda modeļi ir vairāk specializēti programmēšanai nekā plašākai spriestspējai.
Izstrādes laikā mēs izmantojām robežšķirtnes GPT modeļus, lai izvērtētu un stiprinātu problēmas. Tādēļ mums radās aizdomas, ka GeneBench-Pro varētu būt aizspriedumains pret GPT modeļiem salīdzinājumā ar citām modeļu saimēm. Tomēr konkurentu modeļi labākajā gadījumā izlaišanas brīdī sasniedza attiecīgā GPT modeļa veiktspēju un parasti ievērojami atpalika.
Šie novērtējuma rezultāti – sasniedzot pat 31,5% modelī GPT‑5.6 Sol (Pro) – ir iespaidīgi, ņemot vērā GeneBench-Pro jautājumu sarežģītību. Aptaujā mūsu vērtētāji lēsa, ka tipiska GeneBench-Pro uzdevuma izpilde cilvēkam ar eksperta zināšanām prasītu aptuveni 20–40 stundas. Pie konservatīvas aplēses – 200 USD stundā – vienas problēmas cilvēka darba izmaksas ir mērāmas tūkstošos dolāru. Pašreizējie MI aģenti joprojām ir pārāk neuzticami, lai aizstātu cilvēku ekspertus, taču izmaksu atšķirība ir liela, un inferenču izmaksas ir tikai daži dolāri par vienu uzdevumu. Tas nozīmē, ka pat daļēja automatizācija ar pašreizējām iespējām varētu radīt būtisku ekonomisko un zinātnisko vērtību.
“Etalontestus motivē daudzveidīgs bioloģisko jautājumu klāsts, taču … patiesais izaicinājums rodas no izpētes datu analīzes un sprieduma, kas balstīts uz šiem atklājumiem: modeļu un artefaktu identificēšanas, kā arī lēmuma pieņemšanas par to, vai dati jāizslēdz vai jākoriģē. Tas atgādina reālu bioloģisko datu kopu haotisko raksturu. Šo izvērtējumu pārskatīšana uzsver, cik svarīgi aģentos balstītā zinātnisku problēmu risināšanā ir skaidri risinātāju kontrakti. Atšķirīgs uzvedņu formulējums vai uzdevuma specifikācija var būtiski ietekmēt to, kuras analīzes šķiet pieļaujamas.”
“Man lielākoties patika [jautājumi]. Tajos parasti bija apvienots: (1) nepieciešamās zināšanas par tēmu, piemēram, C>T nobīde senajā DNS; (2) datu neatbilstības, piemēram, izcelsmes apmaiņas; (3) zināšanas par piemērotajiem analītiskajiem rīkiem konkrētajam uzdevumam un to ieviešanu. Šķita, ka lielākajai daļai aģentu neizdevās tikt galā ar (2). Viņi nav pietiekami piesardzīgi attiecībā uz datu problēmām. Iespējams, tas izceļ pašreizējo modeļu vājumu. Un daudzos bioloģiskajos datos ir neregularitātes.”
Tomēr fakts, ka robežšķirtnes modeļi joprojām atrisina mazāk nekā trešdaļu šo problēmu, liecina, ka pastāv ievērojamas iespējas uzlabojumiem. Modeļi var panākt daļēju progresu sarežģītu problēmu risināšanā, taču tiem ir grūti noslēgt secinājumu loku. Šī kļūmju likumsakarība atspoguļo atšķirību starp cilvēku ekspertiem un iesācējiem. Eksperti izmanto savu pieredzi, lai formulētu problēmu un pielāgotu savu pieeju, savukārt iesācēji veic novērojumus, taču viņiem ir grūtības tos integrēt plašākā problēmas kontekstā.
Problēma: farmakogenomiskā laika līdz notikumam atbildes reakcija ar laikā mainīgu terapiju
GPT-5.5 paraugs
GPT-5.6 Sol paraugs
Gandrīz nevainojamas veiktspējas sasniegšanai būs nepieciešami novērtējumi, kas gan uzticami mēra progresu, gan identificē, kur modeļi joprojām pieļauj kļūdas. Tādi etalontesti kā GeneBench-Pro var palīdzēt pārvērst neskaidru spēju nepilnību par kaut ko tādu, ko varam diagnosticēt un uzlabot.
Ja aģenti spēj uzticami automatizēt šāda veida analīzi, tie varētu būtiski paātrināt zinātniskos atklājumus. Cilvēka ģenētiskie pierādījumi jau ir būtiski mērķu prioritizēšanā un translācijas turpmākajā izpētē, jo mehānismi ar ģenētisku atbalstu daudz biežāk noved pie apstiprinātām ārstēšanas metodēm.
Tikmēr sekvencēšanas izmaksas ir krasi samazinājušās, un biobanku mēroga datu kopas tagad sasaista molekulāro, fenotipisko un veselības ierakstu informāciju līdz šim nepieredzētā plašumā. Ierobežojošais faktors pāriet no datu ģenerēšanas uz informācijas pārvēršanu praktiski izmantojamās atziņās. Modeļi, kas spēj konsekventi veikt analīzes, ko pašlaik veic cilvēku ekspertu komandas, varētu pārveidot industriālo pētniecību, paātrinot hipotēžu prioritizēšanu, mērķu turpmāku izpēti un iterācijas ciklu starp datu ģenerēšanu un lēmumu pieņemšanu.
GeneBench-Pro ir sākotnējs mēģinājums novērtēt abstraktākās prasmes, kas saistītas ar labu zinātnisko spriestspēju, kāda piemīt pieredzējušiem pētniekiem. Šīs prasmes ļauj viņiem intuitīvi nojaust un identificēt visperspektīvākās sākotnējās analīzes, atkārtoti pilnveidot un pārskatīt savu domāšanu, kad dati ir pretrunā sākotnējiem pieņēmumiem, un nonākt pie secinājumiem, no kuriem var būt atkarīgi turpmākie klīniskie, akadēmiskie vai uzņēmējdarbības lēmumi.
Mēs paredzam, ka, attīstoties modeļu spējām, arvien noderīgāki kļūs etalontesti, kas pēta modeļu spējas šajos augstākajos abstrakcijas līmeņos, papildus tiem, kas vienkārši pārbauda grāmatās iegūtās zināšanas vai spēju veikt rutīnas analīzes.
