A LifeSciBench bemutatása

Az ügynökalapú AI-rendszerek egyre több tudományos feladatra képesek. Élettudományi hasznuk azonban attól függ, mennyire bírják a valódi kutatás összetettségét. Ez ritkán egyetlen ténykérdés vagy tiszta előrejelzési probléma. A kutatók hiányos bizonyítékokat értelmeznek, ellentmondásokat oldanak fel, kísérleteket terveznek, vizsgálatokat javítanak, transzlációs kockázatot mérlegelnek, és bizonytalanságban döntenek a folytatásról.

A mai benchmarkok ezt nem mérik teljesen. Sok élettudományi értékelés szűk területekre vagy külön készségekre fókuszál, strukturált kérdésekkel és tiszta referenciaválaszokkal. Hasznosak, de gyakran nem mutatják meg, hogy egy modell segíthet-e a kutatói munka tágabb körében.

A LifeSciBench-et e hiány csökkentésére hoztuk létre. Minden feladat gyakorló, PhD-szintű élettudósok ítéletére épül, akik biotech- vagy gyógyszeripari gyógyszerkutatási programokon dolgoztak.

A LifeSciBench 750 szakértői feladatot fed le hét munkafolyamatban és hét biológiai területen.

A LifeSciBench azt méri, hogy az AI-rendszerek támogatnak-e valószerű élettudományi kutatási feladatokat, nem csak biológiai kérdésekre válaszolnak-e. A taxonómia kialakításához gyakorló élettudósokat kérdeztünk az alkalmazott kutatásban leggyakoribb munkafolyamataikról. Válaszaikat hét kategóriába soroltuk: bizonyítékkezelés, elemzés, tervezés és optimalizálás, tudományos érvelés, validálás és műveletek, transzláció, valamint tudományos kommunikáció.

Minden feladat olyan, mint egy kérés egy hozzáértő munkatárshoz: tudományos utasítás, releváns kontextus vagy anyagok, és szabad szöveges válasz. Szakértői rubrikák mérik, hogy a modell a várt részletességgel, indoklással, fenntartásokkal és formában ad-e helyes választ egy konkrét problémára.

A LifeSciBench a tudományos érvelés mellett a valós használathoz szükséges, kevésbé körülhatárolt gyakorlati készségeket is értékeli. Feladatai valószerű kutatási problémákon vezetik végig a modelleket: bizonyítékértelmezésen, szakterületi döntéseken és szakértőknek hasznos következtetéseken. Sok feladat bizonytalanságkezelést és alátámasztó adatfájlok alapján végzett érvelést is igényel, nem elég az utasítás szövege.

A benchmark az élettudományi munka összetettségét tükrözi. A feladatok 79%-a több érvelési vagy döntési lépést igényel, átlagosan négyet. A LifeSciBench 1062 csatolmányt tartalmaz: ábrákat, PDF-eket, táblákat, szekvencia-, szerkezeti vagy kémiai fájlokat és webhivatkozásokat. A feladatok több mint fele (53%) legalább egy csatolmány értelmezését vagy szintézisét kéri.

A feladatokat 173 szakértő tudós készítette több élettudományi területről. Mindegyikük PhD-szintű képzéssel és biotech- vagy gyógyszeripari tapasztalattal bírt. Elfogadás előtt a feladatok korlátlan számú átdolgozáson mehettek át; az elfogadottak átlagosan hat önirányított automatizált ellenőrzést és legalább két szakértői bírálati kört teljesítettek. A bírálatok ellenőrizhető helyes válaszon vagy erős szakértői konszenzuson alapultak, legalább 90%-os területi egyetértéssel. Ez biztosította, hogy az elfogadott feladatok tudományosan megalapozottak, jól értékelhetők és az alkalmazott kutatásra jellemzők legyenek.

A LifeSciBench feladatait részletes, feladatspecifikus rubrika pontozza, amely a várt választ tudományos állításokra, számításokra, döntésekre, indoklásokra stb. bontja. A benchmark szakértői rubrikái 19 020 kritériumot tartalmaznak — átlagosan 25-öt feladatonként — a tudományos helyesség és a kutatási döntésekben való hasznosság mérésére.

Ez a gyakorlatot tükrözi: sok élettudományi feladat nem értékelhető pusztán a végső válasz alapján. Egy válasz eljuthat a helyes fő következtetésig, mégis hiányos, ha például kihagy egy fontos assay-korlátot vagy egy lényeges biológiai árnyalatot. Fordítva: egy részleges válasz is tartalmazhat jó minőségű érvelést, ha nem oldja meg teljesen a feladatot.

A részletes rubrikák ezt is mérik. A LifeSciBench nemcsak a végső pontosságot nézi, hanem azt is, hogy a modell tudományosan érvényes és gyakorlatban hasznos úton jut-e el a válaszhoz.

A LifeSciBench-et független szakértői bírálattal validáltuk. A visszajelzést 453, a feladatírásban nem részt vevő bíráló adta. A bírálók 97%-a PhD-vel vagy egyenértékű doktori fokozattal, átlagosan 12 év szakterületi tapasztalattal és 14 lektorált publikációval rendelkezett; 88%-uk díjat vagy ösztöndíjat is kapott.

A bírálók azt pontozták, hogy a feladatok megfelelnek-e egy erős benchmark-kérdés elvárásainak: valós kutatási illeszkedés, a tudományos érvelés és szaktudás megfelelő tesztelése, bizonyítékon vagy konszenzuson alapulás, valamint hasznosság a modell teljesítményének mérésében. Az egyetértés minden kategóriában 96% felett volt.

A bírálói megjegyzések megerősítették a számszerű pontszámokat:

Két kiegészítő mérőszámot közlünk. A teljesítési arány azt mutatja, hogy a modell a feladatok hány százalékán éri el a 70%-os sikerküszöböt. A pontszám az átlagos rubrikajutalom, amely részpontot ad az egyes kritériumokért akkor is, ha a teljes feladat nincs megoldva. Mindkettő fontos, mert egy tudományos válasz lehet részben helyes vagy hasznos anélkül, hogy minden követelményt teljesítene.

A modell teljesítménye erősen függ a feladattípustól, a munkafolyamattól és a válaszformátumtól.

A LifeSciBench szerint az élvonalbeli modellek főként a tudományos szintézisben, kommunikációban és strukturált értelmezésben erősek. Az abszolút teljesítési arányok még szerények, így ezek a területek nem telítettek, de a GPT‑Rosalind érdemben javít a GPT‑5.5‑höz képest: az összesített pontos teljesítési arány 25,7%-ról 36,1%-ra nő.

A legerősebb fejlődés a tudományos kommunikációban és a transzlációban látszik. A tudományos kommunikáció teljesítési aránya például 56,3%-ról 71,1%-ra nő a GPT‑5.5‑ről a GPT‑Rosalindre; a kategória kicsi (n=9), ezért óvatosan értelmezendő, de jelzi, hogy az élvonalbeli modellek gyorsan javulnak a bizonyítékok rendezésében és a szakértőknek szóló magyarázatokban. A transzláció — a gyógyszerfejlesztés „bench-to-bedside” folyamata — hasonló: 36,8%-ról 57,7%-ra emelkedik a GPT‑5.5‑ről a GPT‑Rosalindre, ami a preklinikai bizonyítékok és klinikai következmények összekapcsolásának gyors javulását jelzi.

A rubrikaszintű eredmények is ezt mutatják. Szakértőknek hasznos vagy cselekvésre váltható kimeneteknél a GPT‑Rosalind 44,7%-ot ér el, míg a GPT‑5.5 29,1%-ot. Bizonytalanság és fenntartások kezelésekor 44,8%-ot ér el, szemben 29,3%-kal. Ez arra utal, hogy a modellek akkor a leghasznosabbak, ha a bizonyítékok köre világos, és a feladat strukturált tudományos ítéletet kér.

A teljesítmény sok csatolmányt, tervezést vagy működési korlátot igénylő tudományos munkában jóval gyengébb. A tervezés, optimalizálás és előrejelzés az egyik legnehezebb munkafolyamat: a GPT‑Rosalind teljesítési aránya 30,7%; az elemzés hasonlóan nehéz, 30,3%.

A csatolmányhasználat különösen világos hiány. Bár a GPT‑Rosalind itt jobb a GPT‑5.5‑nél, teljesítési aránya a csak szöveges feladatokon mért 45,1%-ról 28,1%-ra esik, ha csatolmányok vagy URL-ek is vannak. A GPT‑5.5‑nél ugyanez látszik: 29,9%-ról 21,9%-ra esik. A részletesebb elemzés szerint az élvonalbeli modellek nehezen nyernek ki adatot összetett ábrákból vagy nagy szekvenciafájlokból, és nehezen építik be azt a végső válaszba.

A válaszformátum is számít. A pontos szekvencia-, szerkezet- vagy konstruktszintű kimenetek gyengébbek: a GPT‑Rosalind numerikus feladatokon 14,8%-ot, szekvencia- vagy szerkezeti kimeneteken 24,0%-ot ér el. A konstruktgenerálás is sérülékeny: a GPT‑Rosalind 27,3%-on áll, alig javítva a GPT‑5.5‑höz képest. A különbség részben abból fakadhat, hogy a pontos választ igénylő feladatok pontozása szigorúbb: kis számítási vagy formázási eltérés is a küszöb alá viheti a választ. E hibák mégis fontosak, mert sok élettudományi munkafolyamat közvetlenül használható pontosságot kíván, például CRISPR/HDR donor- vagy siRNA-tervezésben.

A modellek gyakran részben eljutnak a megoldásig, de nem oldják meg teljesen a feladatot. A feladatok mintegy 14%-ában jelentős rubrikapontot kaptak, bár nem érték el a pontos teljesítési küszöböt. A GPT‑Rosalindnél 109 feladat teljesítési aránya 20% alatt volt, miközben legalább 50% rubrikajutalmat kapott. Gyakorlatban ez azt jelenti, hogy a modellek felismerhetnek releváns bizonyítékot vagy adhatnak hihető részválaszt, mégis elbuknak, mert kihagynak egy kulcskorlátot, rossz bizonyítékot használnak, hiányosan számolnak, vagy érvelésüket nem kötik tudományosan hasznos végső döntéshez.

A LifeSciBench előrelépés annak mérésében, mennyire hasznosak az AI-rendszerek az élettudományi kutatásban, de nem helyettesíti a modellek élő kutatási környezetben való vizsgálatát. A benchmark önálló, visszatérő iparági munkafolyamatokat tükröző feladatokra fókuszál, és sok szakterületet, illetve feladattípust egyelőre nem fed le. A valódi kutatás iteratív: a tudósok új bizonyítékot gyűjtenek, hipotéziseket módosítanak, utánkövető kísérleteket terveznek, és az eredményekhez igazítják terveiket.

A LifeSciBench-en elért erős teljesítmény ezért valószerű feladatszintű képességet jelez, nem a későbbi kutatási hatás közvetlen mérőszáma. A benchmark iparági munkafolyamatokra épül, de nem ragadja meg teljesen az élő kutatási programok sokféleségét és dinamikáját, ahol az előrehaladás időben alakuló tényezőktől függ.

A következő lépés a benchmarkteljesítmény összekapcsolása élő kutatási munkafolyamatok bevezetési vizsgálataival. Bár a LifeSciBench gyakorló tudósokkal készült, annak méréséhez, hogy az AI-rendszerek gyorsítják-e a felfedezést vagy javítják-e a K+F eredményeket, valós kutatási környezetben, hosszabb távon, több érvelési, visszajelzési és kísérleti utánkövetési körön át kell vizsgálni a modellhasználatot és -teljesítményt.