Představujeme GeneBench-Pro
Benchmark na výzkumné úrovni, který měří, jak agenti AI zvládají nejednoznačnost a činí úsudky s významnými důsledky ve výpočetní biologii.
Vědecká data málokdy přicházejí s návodem. Výzkumníci se musí rozhodnout, zda určitý vzorec odráží biologické jevy, nebo šum, zda data stačí k zodpovězení položené otázky a jak by měl každý výsledek ovlivnit jejich další kroky. Agenti AI jsou stále schopnější provádět komplexní analýzy, ale skutečný vědecký výzkum nezávisí jen na vybavování si faktů nebo dodržování předem definovaného pracovního postupu, nýbrž také na utváření těchto úsudků vyššího řádu.
Dnes představujeme GeneBench-Pro – náročný benchmark na výzkumné úrovni, který testuje, zda modely dokážou zvládnout analýzu vyžadující značnou míru odborného úsudku, jakou vyžaduje praktická výpočetní biologie. Navazuje na GeneBench(otevře se v novém okně) a pokrývá náročnější, realističtější úlohy napříč genomikou, kvantitativní biologií a translační medicínou, přičemž zachycuje složitost, iterativní povahu a nejednoznačnost vědeckého výzkumu ve výpočetní biologii.
Dosud bylo provedeno jen málo přesvědčivých posouzení rozhodnutí vyžadujících úsudek na systémové úrovni, která komplikují výpočetní výzkum v reálných podmínkách. Mezi ně patří zvládání nejednoznačnosti, přehodnocování předpokladů, volba správného postupu analýzy a schopnost rozpoznat, kdy je výsledek připravený sloužit jako podklad pro rozhodnutí. Protože tyto dovednosti je obtížné formalizovat, je také obtížné je důsledně hodnotit, a to i přesto, že slabiny v těchto oblastech stále více omezují celkovou výkonnost AI.
GeneBench-Pro je navržen tak, aby přesně měřil tyto schopnosti vyšší úrovně. V rámci GeneBench-Pro definujeme „výzkumný vkus“ jako řetězce úsudkových rozhodnutí, která formují analýzu: jaké otázky mohou data podpořit, jak mají počáteční diagnostické kontroly změnit model nebo estimand a kdy je třeba revidovat původní plán. Každý problém GeneBench-Pro poskytuje modelu realistickou a neuspořádanou datovou sadu, stručný experimentální kontext a cílový estimand navázaný na následné rozhodnutí. Aby model odpověděl správně, musí prozkoumat data, zvolit vhodný analytický přístup, zapojit se do iterativního procesu experimentování a poskytnout konečnou odpověď.
V biologii náklady na generování dat (např. sekvenování genomu) dramaticky klesly a někteří výzkumníci nyní tvrdí(otevře se v novém okně), že omezujícím faktorem už není sběr vzorků, ale následné výpočetní zpracování a analýza. GeneBench-Pro je navržen tak, aby hodnotil pokrok v řešení tohoto úzkého hrdla, a obsahuje 129 otázek pokrývajících širokou škálu scénářů a metod výpočetní biologie.
Atlas domén: 129 problémů v 10 doménách a 21 subdoménách
Klikni na tečku výše a zjisti více o srovnávacím testu.
Tento atlas nabízí náhled na rozsah GeneBench-Pro. Navštiv stránku případových studií a podrobněji prozkoumej 10 reprezentativních otázek.
GeneBench-Pro je také navržen tak, aby se vyhnul běžným selháním benchmarků. Mnoho biologických benchmarků s dlouhým horizontem vytváří vícekrokové otázky založené na neuspořádaných historických datových sadách, kde nemusí existovat jediná správná cesta analýzou. Jeden agent si může zvolit jednu obhajitelnou prahovou hodnotu, zatímco jiný může zvolit odlišnou, ale stejně obhajitelnou možnost, což spíše odráží libovolná rozhodnutí tvůrce benchmarku než jakékoli zásadní rozdíly ve výkonu modelů. Může nastat i opačný případ: pokud je problém příliš numericky necitlivý, agent může v analýze udělat zásadní chyby a přesto dosáhnout vyhovujícího výsledku.
Aby se těmto způsobům selhání předešlo, je každá úloha GeneBench-Pro vytvořena synteticky: známe úplnou kauzální strukturu a přímo simulujeme proces generování dat. To nám umožňuje upravovat složitost každé úlohy, zajistit, aby přiměřené rozdíly v subjektivních analytických volbách stále vedly k akceptovaným číselným výsledkům, a ověřit (prostřednictvím ablačních studií), že věrohodné, avšak nesprávné analýzy selžou. Poté provádíme audit návrhů úloh pomocí podrobných analýz sledování, abychom ověřili, zda nedochází k úniku informací ani ke vzniku nezamýšlených cest k řešení. To nám dodává jistotu, že nalezení správné odpovědi závisí na zvolení správného analytického postupu, nikoli na využití zkratky nebo na přizpůsobení se nahodilé preferenci autora.
Poslali jsme externím odborníkům na danou oblast, včetně postgraduálních studentů, postdoktorandských výzkumníků, vědců z průmyslu a profesorů, 82 z 129 otázek GeneBench-Pro. Recenzenti posuzovali realističnost jednotlivých problémů, zda bylo možné identifikovat cílovou odpověď a zda byly použité metody a estimátory vhodné. Zpětná vazba byla použita ke zlepšení problémů.
“Úlohy, které jsem posoudil, by byly pro postgraduálního studenta náročné dokončit bez opakované zpětné vazby od zkušeného školitele. Data obsahovala technické problémy a problémy s kontrolou kvality, které k úspěšnému zvládnutí vyžadovaly promyšlenou a uvážlivou analýzu dat s vědomím možných úskalí. Nešlo o pouhé použití nějaké hotové metody na čistá a pečlivě spravovaná data.”
“I když současné modely nejsou schopny spolehlivě provádět nezávislé analýzy od začátku do konce, ty, které si dobře vedou v úlohách GeneBench-Pro, by výzkumníkům zjevně dokázaly pomoci s určováním správných pracovních postupů a zkoumáním dat. Myslím, že by to mohlo výrazně zrychlit tempo, zlepšit důkladnost a reprodukovatelnost výzkumu.”
Každá úloha GeneBench-Pro je samostatná vědecká analýza. Agenti získají přístup k izolovanému pracovnímu prostoru s krátkým promptem, datovými soubory a standardní bioinformatickou sadou softwaru včetně Pythonu, knihoven pro vědecké výpočty a základních genomických balíčků, jako je PLINK 2.0 (ačkoli úlohy nevyžadují doménově specifické nástroje).
Rozhodnutí o poměru přínosů a rizik léčby nádoru na základě strukturních variant
Protože máme pod kontrolou celý proces generování dat, můžeme deterministicky hodnotit správnost vůči známým cílovým výstupům, čímž se vyhneme variabilitě způsobené volbou modelu a vlivům rozvláčnosti, které se vyskytují ve standardním hodnocení založeném na rubrikách.
Každá úloha je také doplněna bohatými metadaty, včetně zamýšlené struktury analýzy, přiložených datových souborů, podrobné vícestránkové případové studie a výsledků odborného posouzení. Zveřejňujeme 10 reprezentativních otázek GeneBench-Pro na Hugging Face(otevře se v novém okně) jako open source, spolu s interaktivním webovým rozhraním pro jejich procházení. Nakonec poskytneme 50 otázek z Artificial Analysis(otevře se v novém okně) pro nezávislé srovnání třetí stranou v blízké budoucnosti.
Náš nejsilnější model, GPT‑5.6 Sol, dosahuje míry úspěšnosti 28,7 % na nejvyšší úrovni uvažování (31,5 % se zapnutým režimem Pro). To je výrazný nárůst oproti době, kdy jsme začali vytvářet původní GeneBench; tehdy náš nejlepší průkopnický model, GPT‑5, dosáhl skóre nižšího než 5 %. Pokrok v tomto benchmarku naznačuje, že průkopnické modely se rychle zlepšují, a to i v méně uchopitelném vědeckém uvažování na systémové úrovni. Při současném tempu může být tento srovnávací test do konce roku saturován.
Výsledky také ukazují dopad škálování výpočetních prostředků při testování. Na nejnižší úrovni uvažování dosahuje GPT‑5.6 Sol pouze jednociferné míry úspěšnosti. Na nejvyšší úrovni uvažování vyřeší GPT‑5.6 Sol téměř šestkrát tolik otázek jako GPT‑5.2. přičemž používá přibližně dvě třetiny tokenů.
Srovnání napříč rodinami modelů naznačuje, že modely GPT patří mezi nejsilnější systémy ve vědeckém uvažování na vysoké úrovni v podmínkách kvantitativní nejistoty. Rozdíl ve výkonu mezi GPT‑5.6, Rozdíl mezi GPT‑5.5 a předními open-source modely, jako je GLM 5.2, je výrazně větší, než bychom očekávali při extrapolaci z benchmarků pro programování(otevře se v novém okně), což naznačuje, že open-source modely jsou specializovanější na programování než na širší schopnost uvažování.
Během vývoje jsme k vyhodnocování a zpevňování problémů používali průkopnické modely GPT. Proto jsme měli podezření, že GeneBench-Pro může znevýhodňovat modely GPT ve srovnání s jinými rodinami modelů. Konkurenční modely však v nejlepším případě pouze dosahovaly výkonu příslušného modelu GPT v době jeho vydání a obvykle za ním výrazně zaostávaly.
Tyto výsledky hodnocení – dosahující až 31,5 % u modelu GPT‑5.6 Sol (Pro) – jsou vzhledem k obtížnosti otázek GeneBench-Pro pozoruhodné. V průzkumu naši hodnotitelé odhadli, že vyřešení typické úlohy GeneBench-Pro by lidskému expertovi zabralo přibližně 20–40 hodin. Při konzervativním odhadu 200 USD za hodinu se náklady na lidskou práci u jediného problému vyšplhají do tisíců dolarů. Současní AI agenti jsou stále příliš nespolehliví na to, aby nahradili lidské odborníky, ale rozdíl v nákladech je značný, přičemž náklady na inferenci činí jen několik dolarů na jednu úlohu. To znamená, že i částečná automatizace při současné úrovni schopností by mohla přinášet významnou ekonomickou a vědeckou hodnotu.
“Benchmarky jsou motivovány širokou škálou biologických otázek, ale… skutečná výzva spočívá v průzkumné analýze dat a uvažování nad těmito zjištěními: identifikaci vzorců a artefaktů a rozhodování, zda mají být data vyloučena nebo upravena. To připomíná chaotickou povahu skutečných biologických datových sad. Analýza těchto hodnocení ukazuje, jak důležité jsou jasně definované smlouvy řešitelů pro vědecké řešení problémů pomocí agentů. Odlišné prompt nebo specifikace úkolu může výrazně ovlivnit, které analýzy jsou přípustné.”
“Většinou se mi [ty otázky] líbily. Obvykle u nich šlo o kombinaci: (1) nezbytných znalostí dané problematiky, například zkreslení C>T ve starověké DNA, (2) nesrovnalostí v datech, například záměn původu, (3) určitého povědomí o vhodných analytických nástrojích pro daný úkol a o tom, jak je implementovat. Zdálo se, že většina agentů selhala u bodu (2). Nejsou dostatečně obezřetní ohledně problémů s daty. Možná to poukazuje na slabinu současných modelů. A spousta biologických dat vykazuje nepravidelnosti.”
Přesto skutečnost, že průkopnické modely stále řeší méně než třetinu těchto problémů, ukazuje, že existuje značný prostor pro zlepšení. Modely dokážou udělat částečný pokrok v řešení náročných problémů, ale mají potíže uzavřít inferenční smyčku. Tento vzorec selhání odráží kontrast mezi lidskými experty a nováčky. Odborníci využívají své zkušenosti k tomu, aby vymezili problém a přizpůsobili svůj přístup, zatímco začátečníci provádějí pozorování, ale mají potíže začlenit je do širšího kontextu problému.
Problém: farmakogenomická odpověď typu čas do události s časově proměnnou léčbou
Vzor GPT-5.5
vzor GPT-5.6 Sol
Dosažení téměř dokonalého výkonu bude vyžadovat hodnocení, která budou spolehlivě měřit pokrok a zároveň určovat, kde modely stále selhávají. Benchmarky jako GeneBench-Pro mohou pomoci proměnit nejasně vymezený nedostatek schopností v něco, co dokážeme diagnostikovat a zlepšovat.
Pokud agenti dokážou spolehlivě automatizovat tento typ analýzy, mohli by výrazně urychlit vědecké objevy. Genetické důkazy u lidí jsou již nyní zásadní pro prioritizaci cílů a navazující translační sledování, protože mechanismy podložené genetickými důkazy mají mnohem vyšší pravděpodobnost, že povedou ke schváleným léčbám.
Mezitím prudce klesly náklady na sekvenování, a datové soubory biobankového rozsahu nyní propojují molekulární, fenotypové a informace ze záznamů o Zdraví v bezprecedentní šíři. Limitující faktor se přesouvá od generování dat k přeměně informací na prakticky využitelné poznatky. Modely, které dokážou konzistentně provádět analýzy, jež nyní zajišťují týmy lidských expertů, by mohly proměnit průmyslový výzkum tím, že urychlí třídění hypotéz, následné prověřování cílů a iterační cyklus mezi generováním dat a rozhodováním.
GeneBench-Pro představuje první snahu vyhodnotit abstraktnější dovednosti, které jsou součástí dobrého vědeckého úsudku a jimiž disponují zkušení odborníci. Tyto dovednosti jim umožňují intuitivně odhadnout a určit nejslibnější počáteční analýzy, opakovaně upravovat a revidovat své uvažování, když data odporují počátečním předpokladům, a dospět k závěrům, na nichž mohou záviset navazující klinická, akademická nebo obchodní rozhodnutí.
Očekáváme, že s tím, jak se budou schopnosti modelů rozvíjet, budou benchmarky, které prověřují schopnosti modelů na těchto vyšších úrovních abstrakce, stále užitečnější než ty, které pouze testují knižní znalosti nebo schopnost provádět rutinní analýzy.
