Predstavljamo GeneBench-Pro
Primerjalno merilo raziskovalne ravni, ki meri, kako se agenti umetne inteligence spoprijemajo z dvoumnostjo in sprejemajo presoje z znatnimi posledicami v računalniški biologiji.
Znanstveni podatki le redko pridejo z navodili. Raziskovalci se morajo odločiti, ali vzorec odraža biologijo ali šum, ali podatki zadoščajo za odgovor na zastavljeno vprašanje in kako naj vsak rezultat vpliva na njihove nadaljnje korake. Agenti umetne inteligence so vse bolj sposobni izvajati kompleksne analize, vendar dejansko znanstveno raziskovanje ni odvisno le od priklica dejstev ali sledenja vnaprej določenemu delovnemu toku, temveč tudi od oblikovanja teh presoj višjega reda.
Danes predstavljamo GeneBench-Pro – zahteven raziskovalni primerjalni preizkus za preverjanje, ali lahko modeli obvladajo analizo, ki zahteva veliko presoje in je potrebna v računalniški biologiji v resničnem svetu. Nadgrajuje GeneBench(odpre se v novem oknu) tako, da zajema zahtevnejše in bolj realistične naloge na področjih genomike, kvantitativne biologije in translacijske medicine ter pri tem zajame kompleksnost, iterativno naravo in dvoumnost znanstvenega raziskovanja v računalniški biologiji.
Doslej je bilo le malo prepričljivih ocen sistemskih odločitev, ki otežujejo računalniško raziskovanje v resničnem svetu. Mednje spadajo obvladovanje nejasnosti, ponovno presojanje predpostavk, izbira ustreznega poteka analize in prepoznavanje, kdaj je rezultat pripravljen za odločanje. Ker je teh veščin težko formalizirati, jih je tudi težko strogo ocenjevati, čeprav pomanjkljivosti pri njih vse bolj omejujejo splošno zmogljivost umetne inteligence.
GeneBench-Pro je zasnovan za natančno merjenje teh zmožnosti višje ravni. V okviru GeneBench-Pro »raziskovalni okus« opredeljujemo kot zaporedje presoj, ki oblikujejo analizo: katera vprašanja lahko podatki podprejo, kako naj zgodnja diagnostika spremeni model ali estimand ter kdaj je treba začetni načrt revidirati. Vsaka naloga GeneBench-Pro modelu poda realističen in neurejen nabor podatkov, kratek eksperimentalni kontekst ter ciljni estimand, vezan na nadaljnjo odločitev. Za pravilen odgovor mora model raziskati podatke, izbrati ustrezen analitični pristop, se vključiti v iterativni proces eksperimentiranja in podati končni odgovor.
V biologiji so se stroški generiranja podatkov (npr. sekvenciranja genoma) dramatično znižali, zato nekateri raziskovalci zdaj trdijo(odpre se v novem oknu), da omejitveni dejavnik ni več zbiranje vzorcev, temveč nadaljnja računalniška obdelava in analiza. GeneBench-Pro je zasnovan za ocenjevanje napredka pri odpravljanju tega ozkega grla: s 129 vprašanji, ki zajemajo širok nabor kontekstov in metod računalniške biologije.
Atlas področij: težave (129) na področjih (10) in podpodročjih (21)
Kliknite zgornjo piko, da izveste več o primerjalni oceni.
Atlas ponuja vpogled v obseg GeneBench-Pro. Obiščite stran s študijami primerov, kjer lahko podrobneje raziščete 10 reprezentativnih vprašanj.
GeneBench-Pro je zasnovan tudi tako, da se izogne pogostim napakam primerjalnih preizkusov. Številni biološki primerjalni testi z dolgim časovnim horizontom oblikujejo večstopenjska vprašanja na podlagi neurejenih zgodovinskih zbirk podatkov, pri katerih ni nujno ene same pravilne poti skozi analizo. Agent lahko izbere en utemeljljiv prag, medtem ko drug izbere drugačno, a enako utemeljljivo možnost, kar bolj odraža arbitrarne odločitve ustvarjalca benchmarka kot kakršne koli temeljne razlike v zmogljivosti modela. Lahko se zgodi tudi obratno: če je problem preveč numerično neobčutljiv, lahko agent pri analizi naredi temeljne napake, pa kljub temu ustvari rezultat, ki prestane preverjanje.
Da bi se izognili tem načinom odpovedi, je vsaka naloga GeneBench-Pro ustvarjena sintetično: poznamo celotno vzročno strukturo in neposredno simuliramo proces generiranja podatkov. To nam omogoča, da prilagajamo zahtevnost posameznega problema, zagotovimo, da razumne razlike v subjektivnih analitičnih odločitvah še vedno privedejo do sprejetih numeričnih rezultatov, in preverimo (z ablacijskimi študijami), da verjetne, vendar napačne analize ne uspejo. Nato osnutke nalog pregledamo z natančnimi analizami sledi, da preverimo morebitno uhajanje informacij in nenamerne poti do rešitve. To nam daje zaupanje, da je to, ali pridemo do pravilnega odgovora, odvisno od izbire ustrezne analitične poti, ne pa od izkoriščanja bližnjice ali ujemanja s poljubno avtorjevo preferenco.
Od 129 vprašanj GeneBench-Pro smo jih 82 poslali zunanjim področnim strokovnjakom, vključno s podiplomskimi študenti, podoktorskimi raziskovalci, znanstveniki iz industrije in profesorji. Recenzenti so ocenili realističnost vsakega problema, ali je bilo mogoče določiti ciljni odgovor ter ali so bile metode in cenilke ustrezne. Povratne informacije so bile uporabljene za izboljšanje problemov.
“Naloge, ki sem jih pregledal, bi bilo za podiplomskega študenta zahtevno dokončati brez večkratnih povratnih informacij izkušenega mentorja. Podatki so vsebovali tehnične in kakovostne težave, zaradi katerih je bila za uspešno izvedbo potrebna premišljena in refleksivna analiza z zavedanjem morebitnih pasti; niso zgolj uporabili vnaprej pripravljene metode za čiste in skrbno urejene podatke.”
“Tudi če trenutni modeli niso zmožni zanesljivo izvajati samostojnih analiz od začetka do konca, bi tisti, ki se dobro odrežejo pri nalogah GeneBench-Pro, raziskovalcem očitno lahko pomagali pri določanju pravilnih delovnih tokov in raziskovanju podatkov. Jasno mi je bilo, da bi to močno izboljšalo hitrost, temeljitost in ponovljivost raziskav.”
Vsaka naloga GeneBench-Pro je samostojna znanstvena analiza. Agenti prejmejo dostop do izoliranega delovnega prostora s kratkim ukazom, podatkovnimi datotekami in standardnim bioinformatičnim naborom orodij, ki vključuje Python, knjižnice za znanstveno računalništvo in osnovne genomske pakete, kot je PLINK 2.0 (čeprav naloge ne zahtevajo domensko specifičnih orodij).
Odločitev o razmerju med koristmi in tveganji zdravljenja tumorja na podlagi strukturnih različic
Ker nadzorujemo celoten proces generiranja podatkov, lahko pravilnost deterministično ocenjujemo glede na znane ciljne vrednosti ter se tako izognemo variabilnosti izbire modela in učinkom obširnosti, ki se pojavljajo pri standardnem ocenjevanju na podlagi rubrik.
Vsak problem vključuje tudi obsežne metapodatke, vključno s predvideno strukturo analize, priloženimi podatkovnimi datotekami, podrobno večstransko študijo primera in rezultati strokovnega pregleda. V celoti objavljamo 10 reprezentativnih vprašanj GeneBench-Pro na platformi Hugging Face(odpre se v novem oknu), skupaj z interaktivnim spletnim vmesnikom za njihovo pregledovanje. V bližnji prihodnosti bomo družbi Artificial Analysis(odpre se v novem oknu) zagotovili podnabor 50 vprašanj za neodvisno primerjalno vrednotenje s strani tretje osebe.
Naš najzmogljivejši model, GPT‑5.6 Sol, dosega stopnjo uspešnosti 28,7 % na najvišji ravni sklepanja (31,5 % z omogočenim načinom Pro). To je močno povečanje v primerjavi s časom, ko smo začeli razvijati prvotni GeneBench; takrat je naš najboljši prelomni model, GPT‑5, dosegel manj kot 5 %. Napredek pri tem referenčnem merilu kaže, da se prelomni modeli hitro izboljšujejo, tudi pri manj oprijemljivem znanstvenem sklepanju na sistemski ravni. Pri trenutnem tempu bo to referenčno merilo morda zasičeno do konca leta.
Rezultati kažejo tudi vpliv povečevanja računskih virov med testiranjem. Na najnižji ravni sklepanja GPT‑5.6 Sol doseže le enomestni odstotek uspešnosti. Na najvišji ravni sklepanja GPT‑5.6 Sol reši skoraj šestkrat toliko vprašanj kot GPT‑5.2 to počne, pri tem pa porabi približno dve tretjini toliko žetonov.
Primerjave med družinami modelov kažejo, da so modeli GPT med najmočnejšimi sistemi za znanstveno sklepanje na visoki ravni v pogojih kvantitativne negotovosti. Razlika v zmogljivosti med GPT‑5.6, Razlika med GPT‑5.5 in vodilnimi odprtokodnimi modeli, kot je GLM 5.2, je bistveno večja, kot bi pričakovali pri ekstrapolaciji iz programerskih benchmarkov(odpre se v novem oknu), kar kaže, da so odprtokodni modeli bolj specializirani za programiranje kot za širšo sposobnost sklepanja.
Med razvojem smo za ocenjevanje in utrjevanje nalog uporabili prelomne modele GPT. Zato smo sumili, da je GeneBench-Pro morda pristranski do modelov GPT v primerjavi z drugimi družinami modelov. Vendar so konkurenčni modeli v najboljšem primeru dosegli zmogljivost ustreznega modela GPT ob času izdaje, praviloma pa so precej zaostajali.
Ti rezultati evalvacije — do 31,5 % pri GPT‑5.6 Sol (Pro) — so osupljivi glede na zahtevnost vprašanj GeneBench-Pro. V anketi so naši ocenjevalci ocenili, da bi človeški strokovnjak za rešitev tipične naloge GeneBench-Pro potreboval približno 20–40 ur. Ob zadržani oceni 200 USD na uro strošek človeškega dela za en sam problem znaša več tisoč dolarjev. Trenutni agenti umetne inteligence so še vedno preveč nezanesljivi, da bi nadomestili človeške strokovnjake, vendar je razkorak v stroških velik, saj stroški inference znašajo le nekaj dolarjev na problem. To pomeni, da bi lahko že delna avtomatizacija ob trenutnih zmogljivostih ustvarila pomembno gospodarsko in znanstveno vrednost.
“Primerjalni preizkusi izhajajo iz raznolikega nabora bioloških vprašanj, toda … dejanski izziv izhaja iz raziskovalne analize podatkov in sklepanja na podlagi teh odkritij: prepoznavanja vzorcev in artefaktov ter odločanja, ali je treba podatke izključiti ali prilagoditi. To spominja na neurejeno naravo resničnih bioloških naborov podatkov. Pregled teh ocen poudarja, kako pomembni so jasni dogovori reševalcev pri reševanju znanstvenih problemov, ki temeljijo na agentih. Drugačna ubeseditev poziva ali specifikacija naloge lahko močno vpliva na to, katere analize se zdijo dopustne.”
“[Vprašanja] so mi bila večinoma všeč. Pri njih je običajno šlo za mešanico: (1) potrebnega znanja o temi, kot je pristranskost C>T v starodavni DNK, (2) podatkovnih neskladij, kot so zamenjave porekla, (3) določene ravni poznavanja ustreznih analitičnih orodij za nalogo in njihove implementacije. Zdelo se je, da je večini agentov spodletelo pri (2). Niso dovolj previdni glede težav s podatki. Morda to izpostavlja slabost trenutnih modelov. In veliko bioloških podatkov vsebuje nepravilnosti.”
Kljub temu dejstvo, da prelomni modeli še vedno rešijo manj kot tretjino teh problemov, kaže, da je še veliko prostora za izboljšave. Modeli lahko delno napredujejo pri zahtevnih problemih, vendar imajo težave s sklenitvijo inferenčne zanke. Ta vzorec neuspeha odraža razliko med človeškimi strokovnjaki in začetniki. Strokovnjaki uporabljajo svoje izkušnje, da opredelijo problem in prilagodijo svoj pristop, medtem ko začetniki podajajo opažanja, vendar jih težko vključijo v širši kontekst problema.
Problem: Farmakogenomski odziv glede časa do dogodka s časovno spremenljivim zdravljenjem
Vzorec GPT-5.5
Vzorec GPT-5.6 Sol
Doseganje skoraj popolne uspešnosti bo zahtevalo ocenjevanja, ki zanesljivo merijo napredek in ugotavljajo, kje modeli še vedno ne uspevajo. Primerjalni preizkusi, kot je GeneBench-Pro, lahko pomagajo pretvoriti nejasno pomanjkanje zmožnosti v nekaj, kar lahko prepoznamo in izboljšamo.
Če bi agenti lahko zanesljivo avtomatizirali to vrsto analiz, bi lahko znatno pospešili znanstveno odkrivanje. Človeški genetski dokazi so že osrednjega pomena pri prednostnem razvrščanju tarč in translacijskem nadaljnjem raziskovanju, saj je pri mehanizmih z genetsko podporo veliko verjetneje, da bodo privedli do odobrenih zdravljenj.
Medtem so stroški sekvenciranja strmo upadli, podatkovni nabori v obsegu biobank pa zdaj v doslej neprimerljivi širini povezujejo molekularne, fenotipske in informacije iz evidenc zdravja. Omejitveni dejavnik se z ustvarjanja podatkov premika k pretvarjanju informacij v uvide, na podlagi katerih je mogoče ukrepati. Modeli, ki lahko dosledno izvajajo analize, ki jih trenutno opravljajo ekipe človeških strokovnjakov, bi lahko preoblikovali industrijske raziskave s pospeševanjem triaže hipotez, nadaljnje obravnave tarč in iteracijskega cikla med ustvarjanjem podatkov in odločanjem.
GeneBench-Pro predstavlja začetni poskus ocenjevanja bolj abstraktnih veščin, ki so potrebne za dobro znanstveno presojo, ki jo imajo izkušeni strokovnjaki. Te spretnosti jim omogočajo, da intuitivno zaznajo in prepoznajo najobetavnejše začetne analize, iterativno prilagajajo in revidirajo svoje razmišljanje, kadar podatki nasprotujejo začetnim predpostavkam, ter pridejo do sklepov, od katerih so lahko odvisne nadaljnje klinične, akademske ali poslovne odločitve.
Pričakujemo, da bodo z napredovanjem zmogljivosti modelov primerjalni preizkusi, ki preverjajo sposobnosti modelov na teh višjih ravneh abstrakcije, postajali vse uporabnejši od tistih, ki zgolj preverjajo knjižno znanje ali sposobnost izvajanja rutinskih analiz.
