Predstavljamo GeneBench-Pro
Raziskovalno merilo, ki meri, kako agenti UI krmarijo po dvoumnosti in sprejemajo pomembne presoje v računalniški biologiji.
Znanstveni podatki redko pridejo z navodili. Raziskovalci se morajo odločiti, ali vzorec odraža biologijo ali šum, ali podatki podpirajo zastavljeno vprašanje in kako naj vsak rezultat spremeni njihove naslednje korake. Agenti UI vse bolje izvajajo kompleksne analize, toda resnične znanstvene raziskave niso odvisne le od priklica dejstev ali sledenja vnaprej določenemu poteku dela, temveč tudi od takih presoj višjega reda.
Danes predstavljamo GeneBench-Pro – zahtevno raziskovalno merilo za preverjanje, ali modeli zmorejo analize, polne presoj, kakršne zahteva računalniška biologija v praksi. Nadgrajuje GeneBench(odpre se v novem oknu) z zahtevnejšimi in bolj realističnimi nalogami iz genomike, kvantitativne biologije in translacijske medicine ter zajame kompleksnost, iterativnost in dvoumnost znanstvenih raziskav v računalniški biologiji.
Doslej je bilo malo prepričljivih ocen sistemskih presoj, zaradi katerih je računalniško raziskovanje v resničnem svetu težavno. Sem spadajo obvladovanje dvoumnosti, popravljanje predpostavk, izbira prave analitične poti in prepoznavanje, kdaj je rezultat pripravljen za odločitev. Ker je te veščine težko formalizirati, jih je težko tudi strogo ocenjevati, čeprav njihove slabosti vse bolj omejujejo skupno zmogljivost UI.
GeneBench-Pro je zasnovan za natančno merjenje teh zmožnosti višje ravni. V GeneBench-Pro »raziskovalni okus« opredelimo kot verige presoj, ki oblikujejo analizo: katera vprašanja podatki lahko podprejo, kako naj zgodnja diagnostika spremeni model ali ocenjevanko (»estimand«) in kdaj je treba prvotni načrt popraviti. Vsak problem GeneBench-Pro modelu ponudi realističen in neurejen podatkovni nabor, kratek eksperimentalni kontekst in ciljno ocenjevanko, vezano na poznejšo odločitev. Za pravilen odgovor mora model raziskati podatke, izbrati ustrezen analitični pristop, opraviti iterativno eksperimentiranje in podati končni odgovor.
V biologiji so stroški ustvarjanja podatkov (npr. sekvenciranja genoma) močno padli, zato nekateri raziskovalci zdaj trdijo(odpre se v novem oknu), da omejitveni dejavnik ni več zbiranje vzorcev, temveč nadaljnje računanje in analiza. GeneBench-Pro je zgrajen za oceno napredka pri odpravljanju tega ozkega grla, s 129 vprašanji iz širokega nabora okolij in metod računalniške biologije.
Atlas področij: težave (129) na področjih (10) in podpodročjih (21)
Kliknite zgornjo piko, da izveste več o primerjalni oceni.
Ta atlas ponuja vpogled v širino GeneBench-Pro. Obiščite stran s študijami primerov in podrobneje raziščite 10 reprezentativnih vprašanj.
GeneBench-Pro je zasnovan tudi tako, da se izogne pogostim napakam meril. Mnoga dolgoročna biološka merila gradijo večstopenjska vprašanja okrog neurejenih zgodovinskih podatkovnih naborov, kjer morda ni ene same pravilne analitične poti. En agent lahko izbere eno utemeljeno mejo, drugi pa drugačno, a enako utemeljeno možnost, kar bolj odraža arbitrarne izbire ustvarjalca merila kot temeljne razlike v zmogljivosti modelov. Lahko se zgodi tudi nasprotno: če je problem premalo numerično občutljiv, lahko agent v analizi naredi temeljne napake in vseeno doseže sprejemljiv rezultat.
Da bi se izognili tem načinom odpovedi, je vsak problem GeneBench-Pro zgrajen sintetično: poznamo celotno kavzalno strukturo in neposredno simuliramo proces nastajanja podatkov. To nam omogoča uravnavati kompleksnost vsakega problema, zagotoviti, da razumne razlike v subjektivnih analitičnih izbirah še vedno dajo sprejete numerične rezultate, in z ablacijskimi študijami preveriti, da verjetne, a napačne analize odpovejo. Nato osnutke problemov revidiramo s podrobnimi analizami sledi, da preverimo uhajanje informacij in nenamerne poti do rešitev. Zato lahko zaupamo, da je pravilen odgovor odvisen od izbire pravilne analitične poti, ne od izkoriščanja bližnjice ali ujemanja z arbitrarno avtorjevo preferenco.
82 od 129 vprašanj GeneBench-Pro smo poslali zunanjim področnim strokovnjakom, med njimi podiplomskim študentom, podoktorskim raziskovalcem, industrijskim znanstvenikom in profesorjem. Pregledovalci so ocenili realističnost vsakega problema, prepoznavnost ciljnega odgovora ter ustreznost metod in estimatorjev. Povratne informacije smo uporabili za izboljšanje problemov.
“Težave, ki sem jih pregledal, bi bilo zahtevno rešiti tudi za podiplomskega študenta brez večkratnih povratnih informacij izkušenega mentorja. Podatki so vsebovali tehnične težave in težave pri nadzoru kakovosti, zato je bila za uspešno izvedbo potrebna premišljena in refleksivna analiza podatkov z zavedanjem možnih pasti; ni šlo le za uporabo gotove metode na čistih in dobro urejenih podatkih.”
“Tudi če sedanji modeli še ne morejo zanesljivo izvajati samostojnih analiz od začetka do konca, bi tisti, ki se dobro odrežejo pri problemih GeneBench-Pro, raziskovalcem očitno lahko pomagali določati pravilne poteke dela in raziskovati podatke. Vidim, kako bi to močno izboljšalo hitrost, temeljitost in ponovljivost raziskav.”
Vsak problem GeneBench-Pro je samostojna znanstvena analiza. Agenti dobijo dostop do izoliranega delovnega prostora s kratkim pozivom, podatkovnimi datotekami in standardnim bioinformatičnim skladom, vključno s Pythonom, znanstvenimi računalniškimi knjižnicami in osnovnimi genomskimi paketi, kot je PLINK 2.0 (čeprav problemi ne zahtevajo domensko specifičnih orodij).
Odločitev o koristih in tveganjih tumorske terapije na podlagi strukturnih variant
Ker nadzorujemo celoten proces nastajanja podatkov, lahko pravilnost deterministično ocenjujemo glede na znane cilje ter se izognemo variabilnosti izbire modela in učinkom besedičenja, značilnim za standardne evalvacije po rubrikah.
Vsak problem ima tudi bogate metapodatke, vključno s predvideno strukturo analize, priloženimi podatkovnimi datotekami, podrobno večstransko študijo primera in izidi strokovnega pregleda. V celoti odprtokodno objavljamo 10 reprezentativnih vprašanj GeneBench-Pro na Hugging Face(odpre se v novem oknu) z interaktivnim spletnim vmesnikom za brskanje po njih. Nazadnje bomo v bližnji prihodnosti organizaciji Artificial Analysis(odpre se v novem oknu) posredovali podnabor 50 vprašanj za neodvisno primerjalno vrednotenje tretje strani.
Naš najmočnejši model, GPT‑5.6 Sol, doseže 28,7-odstotno stopnjo uspešnosti na najvišji ravni sklepanja (31,5 % z omogočenim načinom Pro). To je velik skok od začetka gradnje prvotnega GeneBench; takrat je naš najboljši prelomni model, GPT‑5, dosegel manj kot 5 %. Napredek na tem merilu kaže, da se prelomni modeli hitro izboljšujejo tudi pri manj otipljivem znanstvenem sklepanju na sistemski ravni. Ob sedanjem tempu bo to merilo morda nasičeno do konca leta.
Rezultati kažejo tudi vpliv prilagajanja obsega računanja v času testiranja. Na najnižji ravni sklepanja GPT‑5.6 Sol doseže le enomestno stopnjo uspešnosti. Na najvišji ravni sklepanja GPT‑5.6 Sol reši skoraj šestkrat več vprašanj kot GPT‑5.2, pri tem pa porabi približno dve tretjini toliko žetonov.
Primerjave med družinami modelov kažejo, da so modeli GPT med najmočnejšimi sistemi za znanstveno sklepanje na visoki ravni v razmerah kvantitativne negotovosti. Vrzel v zmogljivosti med GPT‑5.6, GPT‑5.5 in vodilnimi odprtokodnimi modeli, kot je GLM 5.2, je bistveno večja, kot bi pričakovali pri ekstrapolaciji iz programerskih meril(odpre se v novem oknu), kar kaže, da so odprtokodni modeli bolj specializirani za programiranje kot za širšo sposobnost sklepanja.
Med razvojem smo za ocenjevanje in utrjevanje problemov uporabljali prelomne modele GPT. Zato smo domnevali, da bi bil GeneBench-Pro lahko pristranski proti modelom GPT v primerjavi z drugimi družinami modelov. Vendar so konkurenčni modeli v najboljšem primeru dosegli zmogljivost ustreznega modela GPT ob izdaji, pogosto pa so precej zaostali.
Ti evalvacijski rezultati – do 31,5 % pri GPT‑5.6 Sol (Pro) – so glede na zahtevnost vprašanj GeneBench-Pro osupljivi. V anketi so naši pregledovalci ocenili, da bi tipičen problem GeneBench-Pro človeškemu strokovnjaku vzel približno 20–40 ur. Po konservativni oceni 200 USD na uro znaša strošek človeškega dela za en sam problem več tisočev dolarjev. Sedanji agenti UI so še vedno preveč nezanesljivi, da bi nadomestili človeške strokovnjake, vendar je stroškovna vrzel velika, saj stroški inferiranja znašajo le nekaj dolarjev na problem. To pomeni, da bi lahko že delna avtomatizacija pri sedanjih zmožnostih ustvarila pomembno ekonomsko in znanstveno vrednost.
“Merila izhajajo iz raznolikega nabora bioloških vprašanj, vendar … pravi izziv izhaja iz raziskovalne analize podatkov in sklepanja na podlagi teh odkritij: prepoznavanja vzorcev in artefaktov ter odločanja, ali je treba podatke izključiti ali prilagoditi. To spominja na neurejeno naravo resničnih bioloških podatkovnih naborov. Pregled teh evalvacij pokaže, kako pomembne so jasne pogodbe reševalcev za agentsko znanstveno reševanje problemov. Drugačno besedilo poziva ali specifikacija naloge lahko močno vpliva na to, katere analize se zdijo dovoljene.”
“[Vprašanja] so mi bila večinoma všeč. Pri njih je običajno šlo za mešanico: (1) potrebnega znanja o temi, kot je pristranskost C>T v starodavni DNK, (2) podatkovnih neskladij, kot so zamenjave porekla, (3) določene ravni poznavanja ustreznih analitičnih orodij za nalogo in njihove implementacije. Zdelo se je, da je večini agentov spodletelo pri (2). Niso dovolj previdni glede težav s podatki. Morda to izpostavlja slabost trenutnih modelov. In veliko bioloških podatkov vsebuje nepravilnosti.”
Kljub temu dejstvo, da prelomni modeli še vedno rešijo manj kot tretjino teh problemov, kaže, da je prostora za izboljšave veliko. Modeli lahko pri zahtevnih problemih delno napredujejo, vendar težko sklenejo inferenčno zanko. Ta vzorec neuspeha odraža razliko med človeškimi strokovnjaki in začetniki. Strokovnjaki uporabijo izkušnje za uokvirjanje problema in prilagajanje pristopa, začetniki pa opažajo stvari, vendar jih težko vključijo v širši kontekst problema.
Problem: farmakogenomski odziv časa do dogodka s časovno spremenljivim zdravljenjem
Vzorec GPT-5.5
Vzorec GPT-5.6 Sol
Skoraj popolna uspešnost bo zahtevala evalvacije, ki zanesljivo merijo napredek in hkrati pokažejo, kje modeli še odpovejo. Merila, kot je GeneBench-Pro, lahko nejasno pomanjkanje zmožnosti spremenijo v nekaj, kar lahko diagnosticiramo in izboljšamo.
Če lahko agenti zanesljivo avtomatizirajo ta razred analiz, bi lahko močno pospešili znanstvena odkritja. Človeški genetski dokazi so že osrednji za prednostno razvrščanje tarč in translacijsko nadaljnje delo, ker mehanizmi z genetsko podporo veliko verjetneje vodijo do odobrenih zdravljenj.
Medtem so stroški sekvenciranja strmo padli, podatkovni nabori v obsegu biobank pa zdaj z brezprecedenčno širino povezujejo molekularne, fenotipske in zdravstvenokartotečne podatke. Omejitveni dejavnik se premika od ustvarjanja podatkov k pretvarjanju informacij v uporabne uvide. Modeli, ki lahko dosledno izvajajo analize, ki jih zdaj opravljajo ekipe človeških strokovnjakov, bi lahko preoblikovali industrijsko raziskovanje s hitrejšim triažiranjem hipotez, nadaljnjim spremljanjem tarč in ciklom iteracij med ustvarjanjem podatkov ter odločanjem.
GeneBench-Pro je prvi poskus ocenjevanja bolj abstraktnih veščin dobrega znanstvenega presojanja, ki jih imajo izkušeni strokovnjaki. Te veščine jim omogočajo intuitivno prepoznati najobetavnejše začetne analize, iterirati in popraviti razmišljanje, ko podatki nasprotujejo začetnim predpostavkam, ter priti do sklepov, od katerih so lahko odvisne poznejše klinične, akademske ali poslovne odločitve.
Pričakujemo, da bodo z napredkom zmožnosti modelov vse uporabnejša merila, ki preverjajo sposobnosti modelov na teh višjih ravneh abstrakcije, ne le knjižnega znanja ali sposobnosti izvajanja rutinskih analiz.
