Představujeme LifeSciBench

Agentní AI systémy jsou stále schopnější plnit vědecké úlohy. Jejich užitečnost pro výzkumníky v biologických vědách však závisí na tom, jak dobře zvládají složitost skutečného výzkumu. Taková práce málokdy vypadá jako otázka na vybavení jediného faktu nebo čistý predikční problém. Výzkumníci interpretují neúplné důkazy, slaďují rozporné výsledky, navrhují obtížné experimenty, řeší problémy s analýzami, hodnotí translační rizika a v nejistotě rozhodují, co dál.

Současné benchmarky tyto schopnosti plně nezachycují. Mnoho evaluací v biologických vědách se zaměřuje na úzké domény nebo izolované dovednosti, což vede k otázkám se strukturovaným formátem a jasnými referenčními odpověďmi. Ačkoli jsou cenné, často skutečně neposoudí, zda model dokáže přispět v širším rozsahu výzkumné práce.

LifeSciBench jsme navrhli tak, aby tuto mezeru pomohl zaplnit. Každá úloha vychází z úsudku aktivně působících vědců v oboru přírodních věd, kteří mají vzdělání na úrovni Ph.D. a přímé zkušenosti s rozvojem programů vývoje léčiv v biotechnologickém a farmaceutickém prostředí.

LifeSciBench obsahuje 750 úloh vytvořených experty napříč sedmi pracovními postupy a sedmi biologickými doménami.

LifeSciBench měří, zda AI systémy dokáží podporovat realistické výzkumné úlohy v biologických vědách, nejen odpovídat na biologické otázky. Abychom definovali taxonomii benchmarku, oslovili jsme aktivně působící odborníky v biologických vědách a zjišťovali, které pracovní postupy v aplikovaném výzkumu používají nejčastěji. Jejich odpovědi jsme poté seskupili do sedmi opakujících se kategorií: práce s důkazy, analýza, návrh a optimalizace, vědecké uvažování, validace a provoz, translace a vědecká komunikace.

Každá úloha má podobu žádosti, kterou by vědec mohl zadat znalému spolupracovníkovi: vědecký prompt, relevantní kontext či artefakty a volnou odpověď. Rubriky napsané experty hodnotí, zda model dokáže vytvořit správnou odpověď na konkrétní problém, a to s přiměřenou úrovní podrobností, odůvodněním, výhradami a formátováním, jaké by vědec očekával.

LifeSciBench hodnotí vědecké uvažování spolu s hůře definovatelnými praktickými dovednostmi nutnými pro reálné vědecké použití. Úlohy vyžadují, aby modely řešily realistické výzkumné problémy: interpretovaly důkazy, činily doménově podložené úsudky a komunikovaly závěry užitečné pro odborné recenzenty. Mnoho úloh také vyžaduje, aby modely zvládaly nejistotu a uvažovaly nad podpůrnými datovými soubory, nikoli jen nad textem promptu.

Benchmark je navržen tak, aby odrážel složitost práce v biologických vědách. Celkem 79 % úloh vyžaduje více kroků uvažování nebo rozhodování, v průměru čtyři kroky na úlohu. LifeSciBench zahrnuje 1 062 přiložených artefaktů, včetně obrázků, PDF, tabulek, sekvenčních souborů, strukturních či chemických souborů a webových odkazů. Více než polovina úloh (53 %) vyžaduje, aby modely interpretovaly nebo syntetizovaly informace alespoň z jednoho artefaktu.

Úlohy vytvořilo 173 expertů z různých oborů biologických věd. Každý vědec měl doktorské vzdělání a zkušenost z biotechnologického nebo farmaceutického průmyslu. Úlohy mohly před přijetím projít libovolným počtem revizí bez pevného limitu kol; přijaté úlohy měly v průměru šest samořízených automatizovaných revizí a absolvovaly alespoň dvě kola expertních recenzí. Recenze se opíraly buď o ověřitelně správnou odpověď, nebo o silný odborný konsenzus, s alespoň 90% shodou recenzentů v příslušné doméně. Tento proces pomohl zajistit, že přijaté úlohy jsou vědecky podložené, dostatečně jasné pro hodnocení a reprezentativní pro aplikovaný výzkum.

Úlohy LifeSciBench se hodnotí podle podrobného hodnotícího rámce specifického pro danou úlohu, která očekávanou odpověď rozkládá na konkrétní vědecká tvrzení, výpočty, rozhodnutí, zdůvodnění a podobně. Napříč benchmarkem zahrnují expertně vytvořené rubriky 19 020 kritérií — průměrně 25 na úlohu — pro posouzení vědecké správnosti i užitečnosti pro výzkumná rozhodnutí.

Tento přístup odráží, jak se vědecká práce hodnotí v praxi: mnoho úloh v biologických vědách nelze hodnotit jen na základě kontroly konečné odpovědi. Odpověď může dojít ke správnému obecnému závěru, ale přitom být neúplná, pokud například přehlédne klíčové omezení daného testu nebo proaktivně nezmiňuje biologický detail s dalekosáhlými důsledky. Naopak částečná odpověď může obsahovat kvalitní uvažování, i když úlohu zcela nevyřeší.

Granulární hodnotící rámce tuto nuanci zachycují. LifeSciBench nehodnotí jen přesnost konečné odpovědi, ale i to, zda k ní model dojde vědecky platným a provozně užitečným způsobem.

LifeSciBench jsme validovali nezávislou expertní recenzí. Zpětnou vazbu poskytlo 453 recenzentů, kteří se na psaní úloh nepodíleli. Z nich 97 % mělo Ph.D. nebo ekvivalentní doktorát, v průměru 12 let praxe v oboru a 14 recenzovaných publikací; 88 % uvedlo alespoň jedno ocenění nebo stipendium.

Recenzenti hodnotili, zda každá úloha splňuje vlastnosti kvalitní benchmarkové otázky: soulad s reálnou výzkumnou prací, vhodné testování vědeckého uvažování a odborných znalostí v dané oblasti, oporu v důkazech nebo odborném konsenzu a celkovou užitečnost pro hodnocení výkonu modelu. Shoda přesáhla 96 % ve všech kategoriích.

Kvantitativní hodnocení dále potvrdily komentáře recenzentů:

Uvádíme dva vzájemně se doplňující ukazatele. Míra úspěšnosti je procento úloh, v nichž model dosáhne úlohového prahu úspěchu 70 %. Skóre je průměrná odměna podle hodnotícího klíče, přičemž se udělují částečné body za jednotlivá kritéria i tehdy, když úloha není vyřešena celá. Obě metriky jsou důležité, protože odpověď na vědeckou úlohu může být částečně správná nebo užitečná, aniž splní všechny požadavky na úplnou odpověď.

Výkon modelů se výrazně liší podle typu úlohy, pracovního postupu a formátu odpovědi.

LifeSciBench ukazuje, že frontier modely jsou relativně nejsilnější v úlohách zahrnujících vědeckou syntézu, komunikaci a strukturovanou interpretaci. Absolutní míry úspěšnosti jsou stále skromné, takže tyto domény benchmarku zdaleka nejsou saturované, ale GPT‑Rosalind vykazuje proti GPT‑5.5 významný posun: celkovou přesnou míru úspěšnosti zvyšuje z 25,7 % na 36,1 %.

Nejsilnější posun ve schopnostech modelů se objevuje ve vědecké komunikaci a translaci. Například míra úspěšnosti ve vědecké komunikaci u GPT‑Rosalind roste z 56,3 % u GPT‑5.5 na 71,1 %; tato kategorie je malá (n=9), a proto je třeba ji vykládat opatrně, ale naznačuje rychlé zlepšování frontier modelů v organizaci důkazů a tvorbě přesvědčivých vysvětlení pro experty. Translace (proces vývoje léčiv „bench-to-bedside“) vykazuje podobný vzorec: roste z 36,8 % u GPT‑5.5 na 57,7 % u GPT‑Rosalind, což naznačuje, že se modely rychle zlepšují v propojování preklinických důkazů s klinickými důsledky.

Výsledky na úrovni hodnotících klíčů ukazují stejným směrem. V úlohách vyžadujících expertně užitečné nebo akční výstupy dosahuje GPT‑Rosalind skóre 44,7 %, oproti 29,1 % u GPT‑5.5. V úlohách vyžadujících práci s nejistotou a výhradami dosahuje 44,8 %, oproti 29,3 %. Tento vzorec naznačuje, že modely jsou nejužitečnější, když má úloha jasné hranice důkazů a vyžaduje strukturovaný vědecký úsudek.

Výkon zůstává mnohem slabší u vědecké práce náročné na artefakty, návrh a provozní omezení. Konkrétně návrh, optimalizace a predikce zůstávají jedním z nejtěžších pracovních postupů, s mírou úspěšnosti u GPT‑Rosalind 30,7 %; analýza je podobně obtížná s 30,3 %

Zvlášť zřetelnou mezerou je používání artefaktů. Ačkoli GPT‑Rosalind v prostředích náročných na artefakty překonává GPT‑5.5, jeho míra splnění stále klesá ze 45,1 % u čistě textových úloh na 28,1 % u úloh s artefakty nebo URL. GPT‑5.5 vykazuje stejný vzorec, s poklesem z 29,9 % na 21,9 %. Podrobnější analýza potvrzuje, že frontier modely mají potíže vytěžit informace ze složitých obrázků nebo velkých sekvenčních souborů a začlenit je do konečné odpovědi.

Záleží také na formátu odpovědi. Úlohy vyžadující přesné sekvenční, strukturní nebo konstrukční výstupy mají nižší míru úspěšnosti: GPT‑Rosalind dosahuje jen 14,8 % u numerických úloh a 24,0 % u sekvenčních nebo strukturních výstupů. Úlohy generování konstruktů jsou také křehké: GPT‑Rosalind dosahuje 27,3 % a proti GPT‑5.5 se zlepšuje jen málo. Část této mezery může odrážet přísnější hodnocení úloh s přesnou odpovědí, kde malé rozdíly ve výpočtu nebo formátování mohou dostat odpověď pod práh úspěšnosti. Přesto jsou tato selhání vědecky významná, protože mnoho pracovních postupů v biologických vědách vyžaduje výstupy dost přesné pro přímé použití, například v návrhu donorů pro CRISPR/HDR nebo návrhu siRNA.

Modely také často zvládnou část cesty, aniž úlohu plně vyřeší. Zhruba ve 14 % úloh získaly modely podstatné body v dílčím hodnotícím klíči, přestože nedosáhly na práh přesného úspěšnosti. U GPT‑Rosalind mělo 109 úloh míru splnění pod 20 %, ale přesto získalo alespoň 50 % odměny podle rubriky. V praxi to znamená, že modely mohou najít relevantní důkazy nebo vytvořit věrohodnou částečnou odpověď, ale selžou, protože nevezmou v úvahu klíčové omezení, použijí špatné důkazy, provedou neúplný výpočet nebo své uvažování nepropojí s vědecky užitečným konečným rozhodnutím.

LifeSciBench je krokem k měření užitečnosti AI systémů pro výzkum v biologických vědách, nenahrazuje však studium modelů v reálných výzkumných prostředích. Benchmark se zaměřuje na samostatné úlohy odrážející opakující se pracovní postupy v oboru, zatímco mnoho vědeckých specializací a typů úloh zůstává mimo jeho současný záběr. Skutečný výzkum je iterativní: vědci shromažďují nové důkazy, revidují hypotézy, navrhují navazující experimenty a upravují plány podle nových výsledků.

Silný výkon v LifeSciBench je proto třeba chápat jako důkaz realistické schopnosti na úrovni úloh, nikoli jako přímé měřítko dopadu na navazující výzkum. Benchmark vychází z průmyslových pracovních postupů, ale nezachycuje plnou rozmanitost ani dynamiku reálných výzkumných programů, kde pokrok závisí na faktorech rozvíjejících se v čase.

Dalším krokem je propojit výkon v benchmarku se studiemi nasazení v živých výzkumných pracovních postupech. Ačkoli byl LifeSciBench vyvinut s vědci z praxe, posouzení, zda AI systémy urychlují objevy nebo zlepšují výsledky výzkumu a vývoje, bude vyžadovat studium používání a výkonu modelů v reálných výzkumných prostředích, v delších horizontech a napříč více koly uvažování, zpětné vazby a experimentálního navazování.