Predstavujeme GeneBench-Pro
Benchmark na výskumnej úrovni, ktorý meria, ako sa agenti umelej inteligencie orientujú v nejednoznačnosti a prijímajú rozhodnutia s významnými dôsledkami vo výpočtovej biológii.
Vedecké údaje len zriedka prichádzajú s návodom. Výskumníci musia rozhodnúť, či vzorec odráža biológiu alebo šum, či údaje dokážu podporiť odpoveď na položenú otázku a ako by mal každý výsledok ovplyvniť ich ďalší postup. Agenti umelej inteligencie sú čoraz schopnejší vykonávať komplexné analýzy, no skutočný vedecký výskum sa neopiera iba o vybavovanie si faktov alebo dodržiavanie vopred definovaného pracovného postupu, ale aj o tvorbu týchto úsudkov vyššieho rádu.
Dnes predstavujeme GeneBench-Pro – náročný benchmark na výskumnej úrovni určený na testovanie, či modely dokážu zvládnuť typ analýzy vyžadujúcej výraznú mieru úsudku, aký si vyžaduje výpočtová biológia v reálnom svete. Nadväzuje na GeneBench(otvorí sa v novom okne) a rozširuje ho tak, aby pokrýval náročnejšie a realistickejšie úlohy v oblasti genomiky, kvantitatívnej biológie a translačnej medicíny, pričom zachytáva zložitosť, iteratívnu povahu a nejednoznačnosť vedeckého výskumu vo výpočtovej biológii.
Doteraz existovalo len málo presvedčivých posúdení rozhodnutí vyžadujúcich úsudok na úrovni celého systému, ktoré sťažujú výpočtový výskum v reálnych podmienkach. Patrí sem zvládanie nejednoznačnosti, prehodnocovanie predpokladov, výber správneho analytického postupu a schopnosť rozpoznať, kedy je výsledok pripravený na rozhodovanie. Keďže tieto schopnosti je ťažké formalizovať, je tiež ťažké ich dôsledne hodnotiť, hoci ich slabé stránky čoraz viac obmedzujú celkovú výkonnosť AI.
GeneBench-Pro je navrhnutý na presné meranie týchto schopností vyššej úrovne. V rámci GeneBench-Pro definujeme „výskumný cit“ ako reťazce úsudkových rozhodnutí, ktoré formujú analýzu: ktoré otázky môžu dáta podložiť, ako by mali skoré diagnostické zistenia zmeniť model alebo estimand a kedy je potrebné revidovať počiatočný plán. Každý problém GeneBench-Pro poskytuje modelu realistický a neusporiadaný súbor údajov, stručný experimentálny kontext a cieľový estimand viazaný na nadväzujúce rozhodnutie. Aby model odpovedal správne, musí preskúmať údaje, zvoliť vhodný analytický prístup, zapojiť sa do iteratívneho procesu experimentovania a poskytnúť konečnú odpoveď.
V biológii náklady na generovanie dát (napr. sekvenovanie genómu) dramaticky klesli a niektorí výskumníci teraz tvrdia(otvorí sa v novom okne), že limitujúcim faktorom už nie je odber vzoriek, ale následné výpočtové spracovanie a analýza. GeneBench-Pro bol vytvorený na hodnotenie pokroku pri riešení tohto úzkeho hrdla a obsahuje 129 otázok pokrývajúcich širokú škálu prostredí a metód výpočtovej biológie.
Atlas domén: 129 problémov v 10 doménach a 21 subdoménach
Klikni na bodku vyššie a dozvieš sa viac o referenčnej hodnote.
Tento atlas poskytuje náhľad na rozsah GeneBench-Pro. Navštív stránku prípadových štúdií a podrobnejšie preskúmaj 10 reprezentatívnych otázok.
GeneBench-Pro je tiež navrhnutý tak, aby predchádzal bežným zlyhaniam benchmarkov. Mnohé biologické benchmarky s dlhým horizontom vytvárajú viacstupňové otázky založené na neusporiadaných historických súboroch údajov, pri ktorých nemusí existovať jediný správny postup analýzy. Jeden agent si môže zvoliť jednu obhájiteľnú hraničnú hodnotu, zatiaľ čo iný si môže zvoliť odlišnú, no rovnako obhájiteľnú možnosť, čo skôr odráža arbitrárne rozhodnutia tvorcu benchmarku než akékoľvek zásadné rozdiely vo výkonnosti modelov. Môže nastať aj opačný prípad: ak je problém príliš numericky necitlivý, agent môže urobiť zásadné chyby v analýze, a napriek tomu dosiahnuť vyhovujúci výsledok.
Aby sa predišlo týmto režimom zlyhania, každá úloha GeneBench-Pro je vytvorená synteticky: poznáme úplnú kauzálnu štruktúru a priamo simulujeme proces generovania údajov. To nám umožňuje doladiť zložitosť každej úlohy, zabezpečiť, aby primerané rozdiely v subjektívnych analytických voľbách stále viedli k akceptovaným numerickým výsledkom, a overiť (prostredníctvom ablačných štúdií), že vierohodné, ale nesprávne analýzy zlyhajú. Následne auditujeme návrhy úloh pomocou podrobných analýz stôp, aby sme overili únik informácií a nezamýšľané cesty riešenia. To nám dáva istotu, že získanie správnej odpovede závisí od výberu správneho analytického postupu, a nie od využitia skratky alebo prispôsobenia sa svojvoľnej preferencii autora.
Poslali sme 82 zo 129 otázok GeneBench-Pro externým odborníkom v danej oblasti, vrátane študentov postgraduálneho štúdia, postdoktorandských výskumníkov, vedcov z priemyslu a profesorov. Recenzenti posudzovali realistickosť každého problému, či bola cieľová odpoveď identifikovateľná a či boli metódy a odhadovače vhodné. Spätná väzba bola použitá na zlepšenie úloh.
“Úlohy, ktoré som posudzoval, by boli náročné pre postgraduálneho študenta vyriešiť bez opakovanej spätnej väzby od skúseného školiteľa. Údaje obsahovali technické problémy a problémy s kontrolou kvality. Na úspešné dokončenie si vyžadovali premyslenú a dôkladnú analýzu údajov s vedomím možných úskalí. Nešlo len o jednoduché použitie nejakej hotovej metódy na čisté a dobre kurátorované údaje.”
“Aj keď súčasné modely nedokážu spoľahlivo vykonávať nezávislé analýzy od začiatku do konca, tie, ktoré dosahujú dobré výsledky v úlohách GeneBench-Pro, by výskumníkom jednoznačne dokázali pomôcť pri určovaní správnych pracovných postupov a skúmaní údajov. Bolo mi jasné, že by to výrazne zlepšilo tempo, dôkladnosť a reprodukovateľnosť výskumu.”
Každá úloha GeneBench-Pro je samostatná vedecká analýza. Agenti získajú prístup k izolovanému pracovnému priestoru s krátkym príkazom, dátovými súbormi a štandardným bioinformatickým softvérovým balíkom vrátane jazyka Python, knižníc na vedecké výpočty a základných genomických balíkov, ako je PLINK 2.0 (hoci úlohy nevyžadujú nástroje špecifické pre danú doménu).
Rozhodnutie o pomere prínosu a rizika nádorovej liečby na základe štrukturálnych variantov
Keďže máme pod kontrolou celý proces generovania údajov, môžeme správnosť hodnotiť deterministicky porovnaním so známymi cieľovými výstupmi, čím sa vyhneme variabilite spôsobenej výberom modelu a vplyvom rozvláčnosti, ktoré sa vyskytujú pri štandardnom hodnotení založenom na hodnotiacich rubrikách.
Každá úloha je zároveň doplnená o bohaté metaúdaje vrátane zamýšľanej štruktúry analýzy, priložených dátových súborov, podrobnej viacstranovej prípadovej štúdie a výsledkov odborného posúdenia. Sprístupňujeme ako open source 10 reprezentatívnych otázok GeneBench-Pro na platforme Hugging Face(otvorí sa v novom okne) spolu s interaktívnym webovým rozhraním na ich prehliadanie. Napokon v blízkej budúcnosti poskytneme podmnožinu 50 otázok organizácii Artificial Analysis(otvorí sa v novom okne) na nezávislé porovnávacie testovanie treťou stranou.
Náš najvýkonnejší model, GPT‑5.6 Sol, dosahuje mieru úspešnosti 28,7 % na najvyššej úrovni uvažovania (31,5 % so zapnutým režimom Pro). To je prudký nárast oproti obdobiu, keď sme začali vytvárať pôvodný GeneBench. V tom čase náš najlepší prelomový model, GPT‑5, dosiahol skóre pod 5 %. Pokrok v tomto benchmarku naznačuje, že prelomové modely sa rýchlo zlepšujú, dokonca aj v menej uchopiteľnom vedeckom uvažovaní na systémovej úrovni. Pri súčasnom tempe môže byť tento benchmark do konca roka saturovaný.
Výsledky tiež ukazujú vplyv škálovania výpočtových prostriedkov v čase testovania. Na najnižšej úrovni uvažovania dosahuje GPT‑5.6 Sol iba jednocifernú mieru úspešnosti. Na najvyššej úrovni uvažovania rieši GPT‑5.6 Sol takmer šesťkrát toľko otázok ako GPT‑5.2. to robí, pričom používa približne dve tretiny tokenov.
Porovnania naprieč rodinami modelov naznačujú, že modely GPT patria medzi najsilnejšie systémy v oblasti vedeckého uvažovania na vysokej úrovni v podmienkach kvantitatívnej neistoty. Rozdiel vo výkonnosti medzi modelom GPT‑5.6, Rozdiel medzi GPT‑5.5 a poprednými open-source modelmi, ako je GLM 5.2, je výrazne väčší, než by sme očakávali pri extrapolácii z benchmarkov programovania(otvorí sa v novom okne), čo naznačuje, že open-source modely sú viac špecializované na programovanie než na širšiu schopnosť uvažovania.
Počas vývoja sme používali prelomové modely GPT na vyhodnocovanie a posilňovanie problémov. Preto sme mali podozrenie, že GeneBench-Pro môže byť v porovnaní s inými rodinami modelov zaujatý voči modelom GPT. Konkurenčné modely sa však v najlepšom prípade vyrovnali výkonu zodpovedajúceho modelu GPT v čase jeho vydania a zvyčajne za ním výrazne zaostávali.
Tieto výsledky hodnotenia – až 31,5 % v prípade modelu GPT‑5.6 Sol (Pro) – sú vzhľadom na náročnosť otázok GeneBench-Pro pozoruhodné. V prieskume naši hodnotitelia odhadli, že typická úloha GeneBench-Pro by ľudskému expertovi zabrala približne 20–40 hodín. Pri konzervatívnom odhade 200 USD za hodinu to znamená, že náklady na ľudskú prácu pri jednom probléme sa pohybujú v tisícoch dolárov. Súčasní agenti AI sú stále príliš nespoľahliví na to, aby nahradili ľudských expertov, no rozdiel v nákladoch je veľký, pričom náklady na inferenciu predstavujú iba niekoľko dolárov na jeden problém. To znamená, že aj čiastočná automatizácia pri súčasnej úrovni schopností by mohla vytvárať významnú ekonomickú a vedeckú hodnotu.
“Benchmarky vychádzajú z rozmanitej škály biologických otázok, ale… Skutočná výzva spočíva v prieskumnej analýze údajov a uvažovaní nad týmito zisteniami: v identifikácii vzorcov a artefaktov a v rozhodovaní, či sa majú údaje vylúčiť alebo upraviť. Toto pripomína neusporiadaný charakter skutočných biologických súborov údajov. Preskúmanie týchto hodnotení zdôrazňuje, aké dôležité sú jasné dohody riešiteľov pri agentovom riešení vedeckých problémov. Odlišné znenie príkazu alebo špecifikácia úlohy môže výrazne ovplyvniť, ktoré analýzy sa javia ako prípustné.”
“Väčšinou sa mi [otázky] páčili. Zvyčajne zahŕňali kombináciu: (1) požadovaných znalostí danej problematiky, ako napríklad bias C>T v starovekej DNA, (2) nezrovnalostí v údajoch, ako napríklad zámeny pôvodu, (3) určitých znalostí o správnych analytických nástrojoch pre danú úlohu a o tom, ako ich implementovať. Zdalo sa, že väčšina agentov zlyhala pri bode (2). K problémom s údajmi nepristupujú dostatočne obozretne. Možno to poukazuje na slabinu súčasných modelov. A veľa biologických údajov obsahuje nepravidelnosti.”
Napriek tomu skutočnosť, že prelomové modely stále dokážu vyriešiť menej než tretinu týchto problémov, ukazuje, že existuje značný priestor na zlepšenie. Modely dokážu dosiahnuť čiastočný pokrok pri riešení náročných problémov, no majú problém uzavrieť inferenčnú slučku. Tento vzorec zlyhania odzrkadľuje rozdiel medzi ľudskými expertmi a nováčikmi. Odborníci využívajú svoje skúsenosti na vymedzenie problému a prispôsobenie svojho prístupu, zatiaľ čo začiatočníci síce pozorujú, no majú problém začleniť svoje zistenia do širšieho kontextu problému.
Problém: farmakogenomická odpoveď typu čas do udalosti s časovo premenlivou liečbou
Vzor GPT-5.5
Vzor GPT-5.6 Sol
Dosiahnutie takmer dokonalej výkonnosti si bude vyžadovať hodnotenia, ktoré spoľahlivo merajú pokrok a zároveň identifikujú, kde modely stále zlyhávajú. Benchmarky ako GeneBench-Pro môžu pomôcť premeniť nejasný nedostatok schopností na niečo, čo dokážeme diagnostikovať a zlepšovať.
Ak agenti dokážu spoľahlivo automatizovať tento typ analýzy, mohli by výrazne urýchliť vedecké objavy. Dôkazy z humánnej genetiky už zohrávajú ústrednú úlohu pri prioritizácii cieľov a nadväzujúcom translačnom výskume, pretože mechanizmy podporené genetickými dôkazmi majú oveľa väčšiu pravdepodobnosť, že povedú k schváleným liečebným postupom.
Zároveň prudko klesli náklady na sekvenovanie a údajové súbory v rozsahu biobánk dnes prepájajú molekulárne, fenotypové a informácie zo zdravotných záznamov v bezprecedentnej šírke. Limitujúci faktor sa presúva z generovania údajov na premenu informácií na prakticky využiteľné poznatky. Modely, ktoré dokážu spoľahlivo vykonávať analýzy, ktoré v súčasnosti zabezpečujú tímy ľudských expertov, by mohli transformovať priemyselný výskum zrýchlením prioritizácie hypotéz, následného sledovania cieľov a iteračného cyklu medzi generovaním údajov a rozhodovaním.
GeneBench-Pro predstavuje prvotný pokus o vyhodnotenie abstraktnejších zručností zapojených do dobrého vedeckého úsudku, ktorými disponujú skúsení odborníci. Tieto zručnosti im umožňujú intuitívne vycítiť a identifikovať najsľubnejšie počiatočné analýzy, iterovať a prehodnocovať svoje uvažovanie, keď údaje odporujú počiatočným predpokladom, a dospieť k záverom, od ktorých môžu závisieť následné klinické, akademické alebo obchodné rozhodnutia.
Očakávame, že s napredovaním schopností modelov budú benchmarky, ktoré skúmajú schopnosti modelov na týchto vyšších úrovniach abstrakcie, čoraz užitočnejšie, a to nad rámec tých, ktoré jednoducho testujú knižné vedomosti alebo schopnosť vykonávať rutinné analýzy.
