Pristatome „GeneBench-Pro“
Mokslinių tyrimų lygio lyginamoji analizė, matuojanti, kaip DI agentai susidoroja su dviprasmybėmis ir priima svarbius sprendimus skaičiuojamojoje biologijoje.
Prie mokslinių duomenų retai pridedamos instrukcijos. Tyrėjai turi nuspręsti, ar dėsningumas atspindi biologiją ar triukšmą, ar duomenys gali padėti atsakyti į užduotą klausimą ir kaip kiekvienas rezultatas turėtų pakeisti tolesnius jų veiksmus. DI agentai vis geriau atlieka sudėtingas analizes, tačiau tikri moksliniai tyrimai taip pat priklauso ne tik nuo faktų atsiminimo ar iš anksto apibrėžtos darbo eigos laikymosi, bet ir nuo šių aukštesnės eilės sprendimų priėmimo.
Šiandien pristatome „GeneBench-Pro“ – sudėtingą, mokslinių tyrimų lygio lyginamąją analizę, skirtą išbandyti, ar modeliai gali atlikti tokią protavimo reikalaujančią analizę, kokios reikia realaus pasaulio skaičiuojamojoje biologijoje. Šis įrankis papildo GeneBench(atsidaro naujame lange) ir apima sudėtingesnes, realesnes genomikos, kiekybinės biologijos ir transliacinės medicinos užduotis, atspindinčias mokslinių tyrimų skaičiuojamojoje biologijoje sudėtingumą, iteratyvumą ir dviprasmiškumą.
Iki šiol buvo atlikta nedaug įtikinamų sistemos lygmens sprendimų, dėl kurių realūs skaičiavimo tyrimai yra sudėtingi, vertinimų. Tai apima dviprasmybių sprendimą, prielaidų peržiūrą, teisingo analizės kelio pasirinkimą ir žinojimą, kada rezultatas yra paruoštas sprendimui priimti. Kadangi šiuos įgūdžius sunku formalizuoti, juos taip pat sunku griežtai įvertinti, nors dėl jų trūkumų vis labiau ribojamas bendras DI našumas.
„GeneBench-Pro“ sukurtas taip, kad tiksliai išmatuotų šiuos aukštesnio lygio gebėjimus. „GeneBench-Pro“ analizėje „tyrėjo skonį“ (angl. „research taste“) apibrėžiame kaip sprendimų, formuojančių analizę, grandines: kokius klausimus duomenys gali padėti išspręsti, kaip ankstyva diagnostika turėtų pakeisti modelį ar vertinamąjį dydį ir kada reikia peržiūrėti pradinį planą. Kiekvienai „GeneBench-Pro“ problemai modeliui pateikiamas realistiškas ir netvarkingas duomenų rinkinys, trumpas eksperimento kontekstas ir tikslinis vertinamasis dydis, susietas su tolesniu sprendimu. Norėdamas atsakyti teisingai, modelis turi ištirti duomenis, pasirinkti tinkamą analitinį metodą, įsitraukti į iteracinį eksperimentavimo procesą ir pateikti galutinį atsakymą.
Biologijoje duomenų generavimo (pvz., genomo sekoskaitos) kaina smarkiai krito, todėl dalis tyrėjų dabar teigia(atsidaro naujame lange), kad ribojantis veiksnys yra nebe mėginių rinkimas, o tolesnis skaičiavimas ir analizė. „GeneBench-Pro“ sukurtas šios problemos sprendimo pažangai įvertinti: jame yra 129 klausimai, apimantys platų skaičiuojamosios biologijos aplinkų ir metodų spektrą.
Domenų atlasas: 129 užduočių 10 domenuose ir 21 padomeniuose
Paspauskite viršuje esantį tašką, kad sužinotumėte apie etaloninę problemą.
Šis atlasas leidžia iš anksto susipažinti su „GeneBench-Pro“ aprėptimi. Apsilankykite atvejų analizių puslapyje, kad galėtumėte išsamiau panagrinėti 10 tipiškų klausimų.
„GeneBench-Pro“ taip pat sukurta taip, kad būtų išvengta dažnų lyginamųjų analizių klaidų. Daugelis ilgo horizonto biologijos lyginamųjų analizių sudaro daugiapakopius klausimus aplink netvarkingus istorinius duomenų rinkinius, kuriuose gali ir nebūti vieno teisingo analizės kelio. Vienas agentas gali pasirinkti vieną pagrįstą ribą, o kitas – kitokią, bet vienodai pagrįstą parinktį, atspindinčią veikiau lyginamosios analizės kūrėjo subjektyvius sprendimus nei esminius modelių našumo skirtumus. Gali nutikti ir atvirkščiai: jei problema yra per daug skaitmeniškai nejautri, agentas gali padaryti esminių analizės klaidų ir vis tiek gauti patenkinamą rezultatą.
Kad išvengtume šių nesklandumų, kiekviena „GeneBench-Pro“ problema kuriama sintetiškai: žinome visą priežastinę struktūrą ir tiesiogiai imituojame duomenų generavimo procesą. Tai leidžia mums reguliuoti kiekvienos problemos sudėtingumą, užtikrinti, kad pagrįsti subjektyvių analitinių pasirinkimų skirtumai vis tiek leistų gauti priimtinus skaitinius rezultatus, ir patikrinti (atliekant abliacijos tyrimus), kad patikimos, bet neteisingos analizės nepavyktų. Vėliau audituojame problemų juodraščius atlikdami išsamią pėdsakų analizę, kad patikrintume, ar nėra informacijos nutekėjimo ir nenumatytų sprendimo būdų. Tai suteikia mums pasitikėjimo, kad teisingo atsakymo gavimas priklauso nuo tinkamo analitinio kelio pasirinkimo, o ne nuo naudojimosi trumpiniais ar atitikimo subjektyviam autoriaus pasirinkimui.
82 iš 129 „GeneBench-Pro“ klausimų išsiuntėme išorės srities ekspertams, įskaitant magistrantus, podoktorantūros mokslo darbuotojus, pramonės mokslininkus ir profesorius. Recenzentai vertino kiekvienos problemos tikroviškumą, ar galima nustatyti tikslinį atsakymą ir ar metodai bei vertinimo kriterijai buvo tinkami. Atsiliepimai buvo naudojami problemoms tobulinti.
“Mano peržiūrėtos užduotys būtų sudėtingos magistrantui be daugkartinio patyrusio vadovo grįžtamojo ryšio. Duomenyse buvo techninių ir kokybės kontrolės problemų, todėl norint sėkmingai atlikti užduotį reikėjo apgalvotos ir išsamios duomenų analizės, įvertinant galimus spąstus – tai toli gražu nebuvo tiesiog standartinio metodo pritaikymas švariems ir gerai sutvarkytiems duomenims.”
“Net jei dabartiniai modeliai nepajėgia patikimai atlikti savarankiškų analizių nuo pradžios iki pabaigos, tie, kurie gerai sprendžia „GeneBench-Pro“ problemas, neabejotinai padėtų tyrėjams nustatyti tinkamas darbo eigas ir tyrinėti duomenis. Manau, kad tai gerokai padidintų tyrimų tempą, išsamumą ir atkuriamumą.”
Kiekviena „GeneBench-Pro“ problema yra savarankiška mokslinė analizė. Agentai gauna prieigą prie izoliuotos darbo erdvės, kurioje yra trumpa užklausa, duomenų failai ir standartinis bioinformatikos dėklas, įskaitant „Python“, mokslinio skaičiavimo bibliotekas ir pagrindinius genomikos paketus, tokius kaip „PLINK 2.0“ (nors problemoms spręsti nereikia srities specifiką atitinkančių įrankių).
Struktūrinio varianto valdomos naviko terapijos naudos ir rizikos sprendimas
Kadangi kontroliuojame visą duomenų generavimo procesą, galime deterministiškai įvertinti teisingumą pagal žinomus taikinius, išvengiant modelio pasirinkimo kintamumo ir daugiažodiškumo (angl. „verbosity“) poveikio, būdingo standartiniam vertinimui pagal rubrikas.
Prie kiekvienos problemos taip pat pridedami išsamūs metaduomenys, įskaitant numatytą analizės struktūrą, pridėtus duomenų failus, išsamią kelių puslapių atvejo analizę ir ekspertų vertinimo rezultatus. Visiškai atveriame 10 tipiškų „GeneBench-Pro“ klausimų atviruoju kodu Hugging Face(atsidaro naujame lange) su interaktyvia žiniatinklio sąsaja, skirta jiems naršyti. Galiausiai artimiausioje ateityje pateiksime 50 klausimų pogrupį Artificial Analysis(atsidaro naujame lange), kad jie galėtų atlikti nepriklausomą trečiųjų šalių lyginamąją analizę.
Mūsų stipriausias modelis „GPT‑5.6 Sol“ pasiekia 28,7 proc. sėkmės rodiklį taikant aukščiausio lygio protavimą (31,5 proc. įjungus „Pro“ režimą). Tai didelis šuolis, palyginti su tuo laiku, kai pradėjome kurti pradinį „GeneBench“; tuo metu mūsų geriausias priešakinis modelis GPT‑5 surinko mažiau nei 5 proc. Pažanga atliekant šią lyginamąją analizę rodo, kad priešakiniai modeliai tobulėja greitai, net ir mažiau apčiuopiamo, sistemos lygmens mokslinio protavimo srityje. Dabartiniu tempu ši lyginamoji analizė gali būti išsemta (angl. saturated) iki metų pabaigos.
Rezultatai taip pat rodo skaičiavimo išteklių didinimo poveikį. Taikant žemiausio lygio protavimą „GPT‑5.6 Sol“ pasiekia tik vienaženklį sėkmės rodiklį. Taikant aukščiausio lygio protavimą, „GPT‑5.6 Sol“ išsprendžia beveik šešis kartus daugiau klausimų nei GPT‑5.2, sunaudodamas maždaug dviem trečdaliais mažiau žetonų.
Modelių šeimų palyginimas rodo, kad GPT modeliai yra vienos stipriausių sistemų, pasižyminčių aukšto lygio moksliniu protavimu esant kiekybiniam neapibrėžtumui. Našumo atotrūkis tarp GPT‑5.6, GPT‑5.5 ir pirmaujančių atvirojo kodo modelių, tokių kaip GLM 5.2, yra žymiai didesnis, nei galėtume tikėtis ekstrapoliuodami iš programavimo lyginamųjų analizių(atsidaro naujame lange), o tai rodo, kad atvirojo kodo modeliai yra labiau specializuoti programavimui nei platesniam protavimui.
Kurdami problemoms vertinti ir sustiprinti naudojome priešakinius GPT modelius. Todėl įtarėme, kad „GeneBench-Pro“ gali būti šališkas GPT modelių atžvilgiu, palyginti su kitomis modelių šeimomis. Tačiau konkurentų modeliai geriausiu atveju prilygo atitinkamo GPT modelio našumui išleidimo metu ir dažniausiai gerokai atsilikdavo.
Šie vertinimo rezultatai – net 31,5 proc. naudojant „GPT‑5.6 Sol“ („Pro“) – yra stulbinantys, atsižvelgiant į „GeneBench-Pro“ klausimų sudėtingumą. Apklausos metu mūsų recenzentai įvertino, kad tipinei „GeneBench-Pro“ problemai išspręsti žmogui ekspertui prireiktų maždaug 20–40 valandų. Skaičiuojant kukliai po 200 USD per valandą, vienos problemos sprendimo žmogaus darbo kaina siekia tūkstančius dolerių. Dabartiniai DI agentai vis dar yra per daug nepatikimi, kad pakeistų ekspertus, tačiau sąnaudų skirtumas yra didelis – modelio vykdymo išlaidos siekia tik kelis dolerius už problemą. Tai reiškia, kad net ir dalinis automatizavimas esant dabartiniams pajėgumams galėtų sukurti reikšmingą ekonominę ir mokslinę vertę.
“Šiuos etaloninius testus padiktavo įvairūs biologiniai klausimai, tačiau... tikrasis iššūkis kyla iš tiriamųjų duomenų analizės ir protavimo remiantis šiais atradimais: dėsningumų ir artefaktų atpažinimo, taip pat sprendimo, ar duomenis reikėtų atmesti, ar pakoreguoti. Tai atspindi netvarkingą tikrų biologinių duomenų rinkinių pobūdį. Peržiūrint šiuos vertinimus išryškėja, kokios svarbios yra aiškios sprendėjo sutartys mokslines problemas sprendžiant pasitelkus agentus. Skirtinga užklausos formuluotė ar užduoties specifikacija gali smarkiai paveikti tai, kokios analizės bus laikomos leistinomis.”
“[Klausimai] man iš esmės patiko. Juos dažniausiai sudarė: 1) būtinos dalyko žinios, pvz., C>T poslinkis senovės DNR, 2) duomenų neatitikimai, pvz., kilmės sukeitimai, ir 3) žinios apie darbui tinkamus analizės įrankius ir kaip juos pritaikyti. Atrodė, kad daugumai agentų nepavyko įveikti (2) punkto. Jie nepakankamai atsargūs dėl duomenų problemų. Galbūt tai atskleidžia dabartinių modelių silpnybę. O daugybė biologinių duomenų turi nelygumų.”
Vis dėlto tai, kad priešakiniai modeliai vis dar išsprendžia mažiau nei trečdalį šių problemų, rodo, kad dar yra kur tobulėti. Modeliai gali padaryti dalinę pažangą sprendžiant sudėtingas problemas, tačiau jiems sunku užbaigti išvadų grandinę. Šis nesėkmių dėsningumas atspindi ekspertų ir naujokų skirtumus. Ekspertai naudojasi savo patirtimi, kad suformuluotų problemą ir pritaikytų savo požiūrį, o naujokai daro pastebėjimus, bet jiems sunkiai sekasi juos integruoti į platesnį problemos kontekstą.
Problema: farmakogenominis laikotarpio iki įvykio atsakas taikant kintamąjį gydymą
GPT-5.5 šablonas
„GPT-5.6 Sol“ šablonas
Norint pasiekti beveik tobulą našumą, reikės vertinimų, kurie patikimai matuotų pažangą ir nustatytų, kur modeliai vis dar klysta. Tokios lyginamosios analizės kaip „GeneBench-Pro“ gali padėti paversti miglotą pajėgumų trūkumą tuo, ką galime diagnozuoti ir patobulinti.
Jei agentai galėtų patikimai automatizuoti šios klasės analizę, tai galėtų gerokai paspartinti mokslinius atradimus. Žmogaus genetiniai įrodymai jau dabar yra labai svarbūs nustatant taikinių prioritetus ir tolesniam transliaciniam stebėjimui, nes genetiškai pagrįsti mechanizmai daug dažniau padeda sukurti patvirtintus gydymo būdus.
Tuo tarpu sekoskaitos kaina smarkiai nukrito, o biobanko masto duomenų rinkiniai dabar sujungia molekulinę, fenotipinę ir sveikatos įrašų informaciją precedento neturinčia aprėptimi. Ribojantis veiksnys pereina nuo duomenų generavimo prie informacijos vertimo pritaikomomis įžvalgomis. Modeliai, galintys nuosekliai atlikti analizes, kurias dabar tvarko žmonių ekspertų komandos, galėtų transformuoti pramoninius tyrimus – pagreitinti hipotezių atranką, taikinių stebėjimą ir iteracijų ciklą tarp duomenų generavimo bei sprendimų priėmimo.
„GeneBench-Pro“ – tai pirminės pastangos įvertinti abstraktesnius įgūdžius, susijusius su geru moksliniu sprendimu, kuriuo pasižymi patyrę specialistai. Šie įgūdžiai leidžia jiems intuityviai suvokti ir nustatyti perspektyviausias pradines analizes, pakartoti ir persvarstyti savo mąstymą, kai duomenys prieštarauja pradinėms prielaidoms, ir padaryti išvadas, nuo kurių gali priklausyti tolesni klinikiniai, akademiniai ar verslo sprendimai.
Numatome, kad tobulėjant modelių galimybėms, lyginamosios analizės, kurios tiria modelių gebėjimus šiuose aukštesniuose abstrakcijos lygiuose, taps vis naudingesnės, pranokdamos tas, kurios tiesiog tikrina vadovėlines žinias ar gebėjimą atlikti įprastines analizes.
