Měříme, jak AI agenti zvládají každodenní laboratorní výzkum

Naším posláním je zajistit, aby obecná umělá inteligence přinášela prospěch celému lidstvu. V rámci tohoto poslání chceme vědcům pomáhat urychlovat biologický výzkum – od pochopení nemocí po vývoj nových léčebných postupů. Aby k tomu mohli přispět AI agenti, musí spolehlivě interpretovat experimentální podklady, s nimiž vědci denně pracují v laboratořích při pokusech s biologickými vzorky. Ke každodenní práci v experimentální laboratoři patří neúspěšné pokusy, nejednoznačné snímky i protichůdná pozorování. Stávající benchmarky vycházejí z grafů a snímků vybraných pro vědecké články, a proto nemusí zachytit tuto nejednoznačnost ani řešení problémů, které vyžaduje. Proto představujeme BioBasicsBench, nový benchmark vyvinutý ve spolupráci s biotechnologickou společností Ligo, která se zaměřuje na návrh enzymů. Měří, jak dobře agenti zvládají běžnou analýzu v experimentální laboratoři.

Jeho 100 úloh testuje, zda agenti dokážou interpretovat surová experimentální data, odhalovat chyby a rozpoznat, kdy podklady nestačí k vyvození závěru. Správné řešení těchto úloh je důležité: chybná interpretace snímku nebo přehlédnutí problému s kontrolami, které slouží k ověření výsledků experimentu, může vědce dovést k nesprávnému závěru a připravit je o čas na pokusy, které jejich otázku nepomohou zodpovědět.

Při nastavení „xhigh“, které umožňuje věnovat každé úloze více uvažování, získal GPT‑6 Astra v průměru 66,7 % z maximálního počtu bodů oproti 43,8 % u GPT‑5.6 Sol. Výsledky ukazují pokrok v běžné laboratorní analýze, ale také prostor pro další zlepšení v interpretaci snímků, ověřování kontrol a zohledňování kontextu experimentu.

BioBasicsBench využívá surové experimentální podklady, od snímků gelů a ploten s koloniemi až po mikroskopii a výstupy přístrojů.

BioBasicsBench obsahuje 100 úloh z pěti oblastí běžné experimentální laboratorní práce: metod práce s proteiny, zobrazování a cytometrie, kvantifikace a stanovení, metod práce s nukleovými kyselinami a molekulárního klonování. Úlohy sahají od jednoduchých požadavků, jako je odečtení molekulové hmotnosti vzorku DNA v gelu, až po podrobnou analýzu stanovení. Všechny se však týkají běžné práce, kterou by vědci v experimentálních laboratořích měli spolehlivě zvládat.

Vědci vytvořili úlohy z dat vlastních experimentů a ke každé otázce přiřadili odborně sestavená hodnoticí kritéria. Každou úlohu interně zkontroloval vědec ze společnosti Ligo, který nebyl jejím autorem, poté ji externě posoudil vědec s doktorátem pracující v experimentální laboratoři a nakonec prošla závěrečnou interní kontrolou.

Agenti vracejí strukturovanou odpověď s požadovaným závěrem, měřením nebo doporučením a tam, kde je to vyžadováno, i s podpůrným uvažováním. Odpovědi získávají body za jednotlivá hodnoticí kritéria, což benchmarku umožňuje rozlišit správný závěr od částečně správné analýzy. Většina úloh testuje více dovedností současně, včetně biologických znalostí, interpretace snímků a dalších dat, odhalování chyb a porozumění protokolům.

Vstupy zachovávají podobu podkladů, s nimiž vědci pracují: snímky gelů a blotů, fotografie ploten, série mikroskopických řezů, sekvenační čtení, exporty ze čteček mikrotitračních destiček a videa laboratorní práce. Jedna úloha může obsahovat více typů dat. Referenční přehledy, například přehledy velikostních markerů a plazmidové mapy, pomáhají s interpretací experimentálních podkladů.

Vědci sestavili úlohy z dat vlastních experimentů a experimentální podklady doplnili otázkou a odborně vytvořenou hodnoticí rubrikou. Každou úlohu interně zkontroloval vědec ze společnosti Ligo, který nebyl jejím autorem, poté ji externě posoudil vědec s doktorátem pracující v experimentální laboratoři a nakonec prošla závěrečnou interní kontrolou. Posuzovatelé kontrolovali prompt, experimentální podklady, hodnoticí rubriku, poznámky autora a obodovaný pokus modelu.

Odpovědi se bodují podle hodnoticí rubriky úlohy, která přiděluje body za jednotlivá kritéria. Podle konkrétní úlohy tato kritéria posuzují závěr, číselné výsledky, podpůrné uvažování nebo rozpoznání nedostatečných podkladů.

Na benchmarku BioBasicsBench jsme vyhodnotili sedm modelů: GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna a GPT‑6 Astra. Hodnocení zahrnuje 37 kombinací modelu a úrovně uvažování, vždy s pěti pokusy na každou ze 100 úloh, celkem tedy 18 500 výsledků.

Uvádíme průměrnou odměnu: průměrné skóre úloh vyjádřené jako procento z maximálního počtu bodů. Chybové úsečky znázorňují 95% intervaly spolehlivosti vypočtené opakovaným výběrem celých úloh, přičemž všech pět pokusů u každé úlohy zůstává pohromadě.

GPT‑6 Astra výrazně překonává GPT‑5.6 Sol, a to i při nízké úrovni uvažování. Tato zlepšení naznačují, že silnější nativní multimodální schopnosti mohou být klíčem k lepším výsledkům při každodenní laboratorní analýze.

Častou nástrahou ve vědě je vyvozování z dat více, než skutečně ukazují, zejména kvůli zkreslení, které vzniká při testování hypotézy. Astra prokázala lepší schopnost rozpoznat hranice toho, co data ukazují, a nevyvozovat nepodložené závěry.

V tomto příkladu GPT‑5.6 Sol označil buňky za mrtvé na základě signálu barviva používaného k detekci mrtvých buněk. Detektor ale mohl zachytit i světlo z druhého barviva, takže samotný jas k takovému závěru nestačil. Astra tuto nejednoznačnost rozpoznala a požadovala lepší kontroly k oddělení signálů.

Vědecký výzkum je výrazně multimodální a vyžaduje neustálou interpretaci vizuálních informací a rozhodování. Astra se výrazně zlepšila ve zpracování multimodálních dat ve formě fotografií a videí i surových výstupů ze sekvenování, měření na čtečkách mikrotitračních destiček, mikroskopie a průtokové cytometrie.

Na nejzákladnější úrovni se toto zlepšení projevilo tím, že GPT‑6 Astra dokáže na snímcích z experimentů zachytit jemnější detaily, a vyvozovat tak přesnější závěry, jak ukazuje tento příklad. V této úloze měli agenti vyvodit závěry z experimentu s klonováním DNA, u něhož jsou kontroly zásadní. GPT‑5.6 Sol na negativní kontrolní plotně neviděl žádné kolonie a na tomto pozorování založil své závěry. GPT‑6 Astra si všiml, že plotna je označena nesprávným antibiotikem, a správně ji odmítl jako nespolehlivou kontrolu.

Aby vědci správně interpretovali data, musí při jejich analýze zohledňovat tacitní biologické znalosti i kontext experimentu. Astra prokázala lepší schopnost uchovat si tento kontext a využívat ho v průběhu celé analýzy.

Jedna úloha ukazovala sérii mikroskopických snímků, na nichž se buňky střídavě dostávaly do roviny zaostření a mimo ni. Zatímco GPT‑5.6 Sol hledal biologické vysvětlení zdánlivého mizení buněk, GPT‑6 Astra správně rozpoznal z-stack: sérii snímků pořízených v různých hloubkách.

Vyšší skóre v benchmarku ještě neznamená, že modely dokážou v laboratoři spolehlivě posuzovat situaci. Tyto příklady Astry ukazují, jak mohou předpoklady, očekávané odpovědi a dodané popisky převážit nad důkazy a jak se správné dílčí pozorování nemusí promítnout do konečného rozhodnutí.

Astra dává obvyklému předpokladu přednost před interpretací podloženou experimentálními kontrolami. Dokáže rozlišit dvě skupiny proužků vzorků kolonií, ale předpokládá, že úspěšné klonování by označoval větší PCR produkt. Na základě tohoto předpokladu navrhuje dráhy 4, 6, 7 a 8; referenční řešení naopak při srovnání s kontrolami vybírá dráhy 5, 9 a 10.

Astra přikládá menší význam pozorováním, která odporují její preferované interpretaci. Dochází k závěru, že vakuoly, tedy oddíly uvnitř buněk, jsou obecně tmavší než okolní část buňky, přestože některé se na témže snímku jeví světlejší. Důležité jsou obě podoby: změna zaostření mikroskopu může kontrast obrátit, takže z tmavších příkladů nelze vyvodit obecné pravidlo.

Značky počítání Astry neodpovídají spolehlivě jednotlivým koloniím: nedokáže rozlišit těsně sousedící kolonie, přehlíží viditelné kolonie a označuje agar bez kolonií. Na této plotně tak celkově napočítala přibližně o 12 % více kolonií než referenční řešení benchmarku.

Nepřesný počet kolonií přímo ovlivňuje odhad účinnosti zavedení DNA do buněk. Při stejném vysetém objemu a ředění nadhodnocený počet zvýší tento odhad ve stejném poměru.

Urychlení biologického výzkumu vyžaduje správné zvládání každodenní práce. BioBasicsBench vymezuje tuto práci jako oblast pro zlepšování: interpretaci surových experimentálních dat, ověřování kontrol a rozpoznání nepodložených závěrů. Pokrok v těchto úlohách by vědcům mohl pomoci věnovat méně času řešení problémů a více času rozhodování o tom, jaké experimenty podniknout dál. Sledování těchto schopností nám také pomůže porozumět jejich dopadům na biologickou bezpečnost a ochranu před zneužitím biologických materiálů a poznatků.