Bemutatjuk a GeneBench-Pro-t
Kutatási szintű benchmark, amely azt méri, hogyan kezelik az AI-ügynökök a bizonytalanságot és hoznak következményekkel járó döntéseket a számításos biológiában.
A tudományos adatok ritkán érkeznek használati útmutatóval. A kutatóknak el kell dönteniük, hogy egy mintázat biológiát vagy zajt tükröz-e, hogy az adatok alátámasztják-e a feltett kérdést, és hogyan módosítsa minden eredmény a következő lépést. Az AI-ügynökök egyre inkább képesek összetett elemzések végrehajtására, de a valódi tudományos kutatás nemcsak tények felidézésén vagy előre rögzített munkafolyamaton múlik, hanem ilyen magasabb rendű ítéleteken is.
Ma bemutatjuk a GeneBench-Pro-t: egy kihívást jelentő, kutatási szintű benchmarkot annak tesztelésére, hogy a modellek képesek-e kezelni a valós számításos biológiában szükséges, sok mérlegelést igénylő elemzést. A GeneBench(új ablakban nyílik meg) kiterjesztéseként nehezebb, valószerűbb feladatokat fed le a genomika, kvantitatív biológia és transzlációs orvoslás területén, megragadva a számításos biológiai kutatás összetettségét, iteratív jellegét és bizonytalanságát.
Eddig kevés meggyőző értékelés vizsgálta azokat a rendszerszintű döntéseket, amelyek a valós számításos kutatást nehézzé teszik. Ide tartozik a bizonytalanság kezelése, a feltevések felülvizsgálata, a helyes elemzési út kiválasztása és annak felismerése, mikor áll egy eredmény döntésre készen. Mivel ezeket a készségeket nehéz formalizálni, szigorúan mérni is nehéz őket, miközben gyengeségeik egyre inkább korlátozzák az AI teljesítményét.
A GeneBench-Pro éppen ezeket a magasabb szintű képességeket méri. A GeneBench-Pro-ban a „kutatói ízlés” az elemzést alakító döntések láncolata: milyen kérdéseket támaszthatnak alá az adatok, hogyan módosítsák a korai diagnosztikák a modellt vagy az estimandumot, és mikor kell újragondolni a kezdeti tervet. Minden GeneBench-Pro-probléma valószerű és rendezetlen adatkészletet, rövid kísérleti kontextust és egy későbbi döntéshez kötött cél-estimandumot ad a modellnek. A helyes válaszhoz a modellnek fel kell tárnia az adatokat, megfelelő elemzési megközelítést kell választania, iteratív kísérletezést kell végeznie, majd végső választ kell adnia.
A biológiában az adat-előállítás költsége (pl. genomszekvenálás) drámaian csökkent, és egyes kutatók ma már azt állítják(új ablakban nyílik meg), hogy a szűk keresztmetszet nem a mintagyűjtés, hanem a későbbi számítás és elemzés. A GeneBench-Pro ennek a szűk keresztmetszetnek a kezelésében elért haladást méri, 129 kérdéssel, amelyek sokféle számításos biológiai helyzetet és módszert fednek le.
Domain Atlas: 129 probléma 10 domainben és 21 aldomainben
Kattints a fenti pontra, hogy többet megtudj a referenciaértékről.
Ez az atlasz ízelítőt ad a GeneBench-Pro sokszínűségéből. A 10 reprezentatív kérdés részletesebb megismeréséhez látogass el az esettanulmányok oldalára.
A GeneBench-Pro célja az is, hogy elkerülje a benchmarkok gyakori hibáit. Sok hosszú távú biológiai benchmark rendezetlen történeti adatkészletek köré épít többlépcsős kérdéseket, ahol nincs feltétlenül egyetlen helyes elemzési út. Az egyik ügynök választhat egy védhető küszöböt, egy másik pedig más, de ugyanúgy védhető opciót; ez inkább a benchmark készítőjének önkényes döntéseit tükrözi, mint alapvető modellkülönbségeket. Az ellenkezője is előfordulhat: ha egy probléma numerikusan túl érzéketlen, az ügynök alapvető elemzési hibákat követhet el, mégis átmenő eredményt adhat.
E hibamódok elkerülésére minden GeneBench-Pro probléma szintetikusan készül: ismerjük a teljes oksági struktúrát, és közvetlenül szimuláljuk az adatgeneráló folyamatot. Így hangolhatjuk az egyes problémák összetettségét, biztosíthatjuk, hogy a szubjektív elemzési választások ésszerű eltérései is elfogadott numerikus eredményt adjanak, és ablációs vizsgálatokkal ellenőrizhetjük, hogy a hihető, de hibás elemzések elbuknak. Ezután a problémavázlatokat részletes nyomelemzésekkel auditáljuk, hogy kiszűrjük az információszivárgást és a nem szándékolt megoldási útvonalakat. Így biztosak lehetünk abban, hogy a helyes válasz a megfelelő elemzési út kiválasztásán múlik, nem rövidítés kihasználásán vagy egy önkényes szerzői preferencia eltalálásán.
A 129 GeneBench-Pro kérdésből 82-t külső szakterületi szakértőknek küldtünk el, köztük végzős hallgatóknak, posztdoktori kutatóknak, ipari tudósoknak és professzoroknak. Az értékelők minden probléma valószerűségét, a célválasz azonosíthatóságát, valamint a módszerek és becslők megfelelőségét vizsgálták. A visszajelzéseket a problémák javítására használtuk.
“Az általam áttekintett problémákat egy végzős hallgatónak is kihívás lett volna megoldania tapasztalt témavezető ismételt visszajelzése nélkül. Az adatok technikai és minőségellenőrzési problémákat tartalmaztak, amelyek sikeres kezeléséhez átgondolt, reflektív adatelemzésre és a lehetséges buktatók ismeretére volt szükség, nem pusztán egy kész módszert kellett alkalmazni tiszta, jól gondozott adatokra.”
“Még ha a jelenlegi modellek nem is képesek megbízhatóan önálló elemzéseket végigvinni az elejétől a végéig, azok, amelyek jól teljesítenek a GeneBench-Pro problémáin, egyértelműen segíthetnék a kutatókat a helyes munkafolyamatok meghatározásában és az adatok feltárásában. El tudom képzelni, hogy ez jelentősen javítaná a kutatás tempóját, alaposságát és reprodukálhatóságát.”
Minden GeneBench-Pro-probléma önálló tudományos elemzés. Az ügynökök egy izolált munkaterülethez kapnak hozzáférést rövid utasítással, adatfájlokkal és standard bioinformatikai környezettel, benne Python, tudományos számítási könyvtárak és alapvető genomikai csomagok, például PLINK 2.0 használatával (bár a problémák nem igényelnek szakterület-specifikus eszközöket).
Strukturális variáns által vezérelt tumor-terápia haszon–kockázat döntése
Mivel a teljes adatgenerálási folyamatot mi irányítjuk, az ismert célokhoz képest determinisztikusan pontozhatjuk a helyességet, elkerülve a hagyományos rubrikaalapú értékelés modellválasztási ingadozásait és terjengősségi hatásait.
Minden probléma gazdag metaadatokkal érkezik, köztük a tervezett elemzési struktúrával, csatolt adatfájlokkal, részletes, többoldalas esettanulmánnyal és szakértői értékelési eredményekkel. Tíz reprezentatív GeneBench-Pro kérdést teljesen nyílt forrásúvá teszünk a Hugging Face(új ablakban nyílik meg)-en, böngészésükhöz pedig interaktív webes felületet adunk. Végül a közeljövőben egy 50 kérdéses részhalmazt adunk az Artificial Analysis(új ablakban nyílik meg) számára független, harmadik fél általi benchmarkolásra.
Legerősebb modellünk, a GPT‑5.6 Sol, a legmagasabb érvelési szinten 28,7%-os sikerarányt ér el (Pro móddal 31,5%-ot). Ez nagy ugrás ahhoz képest, amikor az eredeti GeneBench építését kezdtük; akkor legjobb élvonalbeli modellünk, a GPT‑5, 5% alatt teljesített. A benchmarkon látható haladás arra utal, hogy az élvonalbeli modellek gyorsan javulnak, még a kevésbé kézzelfogható, rendszerszintű tudományos érvelésben is. A jelenlegi ütem mellett ez a benchmark az év végére telítődhet.
Az eredmények a tesztidőben használt számítási kapacitás skálázásának hatását is mutatják. A legalacsonyabb érvelési szinten a GPT‑5.6 Sol csak egyszámjegyű sikerarányt ér el. A legmagasabb érvelési szinten a GPT‑5.6 Sol közel hatszor annyi kérdést old meg, mint a GPT‑5.2, miközben nagyjából kétharmadannyi tokent használ.
A modellcsaládok összehasonlítása szerint a GPT‑modellek a kvantitatív bizonytalanság melletti magas szintű tudományos érvelés legerősebb rendszerei közé tartoznak. A GPT‑5.6, a GPT‑5.5 és a vezető nyílt forrású modellek, például a GLM 5.2 közötti teljesítménykülönbség jóval nagyobb annál, mint amit kódolási benchmarkokból(új ablakban nyílik meg) extrapolálva várnánk, ami arra utal, hogy a nyílt forrású modellek inkább kódolásra specializáltak, mint általánosabb érvelési képességre.
A fejlesztés során élvonalbeli GPT‑modelleket használtunk a problémák értékelésére és megerősítésére. Ezért felmerült bennünk, hogy a GeneBench-Pro más modellcsaládokhoz képest a GPT‑modellek ellen torzíthat. A versenytárs modellek azonban legfeljebb az adott GPT‑modell megjelenéskori teljesítményét érték el, és általában jelentősen elmaradtak attól.
Ezek az értékelési eredmények — akár 31,5% a GPT‑5.6 Sol (Pro) esetén — figyelemre méltók a GeneBench-Pro kérdések nehézségéhez képest. Egy felmérésben értékelőink úgy becsülték, hogy egy tipikus GeneBench-Pro probléma megoldása emberi szakértőnek körülbelül 20–40 órába telne. Óránként konzervatív 200 dollárral számolva egyetlen probléma emberi munkaköltsége több ezer dollár. A jelenlegi AI-ügynökök még túl megbízhatatlanok az emberi szakértők kiváltásához, de a költségkülönbség nagy: az inferenciaköltség problémánként csak néhány dollár. Ez azt jelenti, hogy a jelenlegi képességek mellett már a részleges automatizálás is érdemi gazdasági és tudományos értéket teremthet.
“A benchmarkokat sokféle biológiai kérdés motiválja, de … a valódi kihívást a feltáró adatelemzés és az ezekre a felfedezésekre épülő érvelés adja: mintázatok és műtermékek azonosítása, valamint annak eldöntése, hogy az adatokat ki kell-e zárni vagy korrigálni kell-e. Ez a valós biológiai adatkészletek rendezetlen természetére emlékeztet. Ezeknek az értékeléseknek az áttekintése megmutatja, mennyire fontosak a világos megoldói szerződések az ügynökalapú tudományos problémamegoldásban. Az eltérő utasításmegfogalmazás vagy feladatspecifikáció nagyban befolyásolhatja, mely elemzések tűnnek megengedhetőnek.”
“Többnyire tetszettek [a kérdések]. Jellemzően a következők keverékét mutatták: (1) a témához szükséges ismeretek, például a C>T torzítás az ősi DNS-ben, (2) adateltérések, például származási felcserélések, (3) bizonyos fokú ismeret arról, hogy melyek a megfelelő analitikai eszközök az adott feladathoz, és hogyan kell ezeket alkalmazni. Úgy tűnt, hogy az ágensek többsége elbukott a (2)-es ponton. Nem elég körültekintőek az adatproblémákkal kapcsolatban. Talán ez rávilágít a jelenlegi modell egyik gyengeségére. És sok biológiai adatban vannak szabálytalanságok.”
Ugyanakkor az, hogy az élvonalbeli modellek e problémák kevesebb mint harmadát oldják meg, jelentős fejlődési teret jelez. A modellek részben előre tudnak jutni a nehéz problémákban, de nehezen zárják le a következtetési hurkot. Ez a kudarcmintázat az emberi szakértők és kezdők közötti különbséget idézi. A szakértők tapasztalatukkal keretezik a problémát és igazítják megközelítésüket, míg a kezdők megfigyeléseket tesznek, de nehezen illesztik őket a probléma tágabb kontextusába.
Probléma: farmakogenomikai eseményig eltelt időre vonatkozó válasz időben változó kezeléssel
GPT-5.5 mintázat
GPT-5.6 Sol mintázat
A közel tökéletes teljesítményhez olyan értékelések kellenek, amelyek megbízhatóan mérik a haladást, és megmutatják, hol hibáznak még a modellek. Az olyan benchmarkok, mint a GeneBench-Pro, segíthetnek egy homályos képességhiányt diagnosztizálható és javítható problémává alakítani.
Ha az ügynökök megbízhatóan automatizálni tudják ezt az elemzési osztályt, jelentősen felgyorsíthatják a tudományos felfedezést. Az emberi genetikai bizonyíték már ma is központi a célpont-priorizálásban és a transzlációs utánkövetésben, mert a genetikai alátámasztású mechanizmusok sokkal nagyobb eséllyel vezetnek jóváhagyott kezelésekhez.
Közben a szekvenálási költségek zuhantak, és a biobankléptékű adatkészletek ma példátlan szélességben kapcsolják össze a molekuláris, fenotípusos és egészségügyi nyilvántartási információkat. A szűk keresztmetszet az adat-előállításról az információ cselekvésre váltható felismerésekké alakítására tolódik. Azok a modellek, amelyek következetesen el tudják végezni a ma emberi szakértői csapatok által végzett elemzéseket, átalakíthatják az ipari kutatást a hipotézisek triázsának, a célpontok utánkövetésének és az adat-előállítás–döntéshozatal ciklusának gyorsításával.
A GeneBench-Pro első lépés annak értékelésére, hogy a tapasztalt szakemberek jó tudományos ítéletéhez milyen absztraktabb készségek tartoznak. Ezek a készségek segítik őket a legígéretesebb kezdeti elemzések megérzésében és azonosításában, gondolkodásuk iterálásában és felülvizsgálatában, amikor az adatok ellentmondanak a kezdeti feltevéseknek, valamint olyan következtetések levonásában, amelyektől későbbi klinikai, akadémiai vagy üzleti döntések függhetnek.
Arra számítunk, hogy a modellképességek fejlődésével egyre hasznosabbak lesznek azok a benchmarkok, amelyek a modellek képességeit ilyen magasabb absztrakciós szinteken vizsgálják, túl a puszta lexikális tudáson vagy rutinanalízisek végrehajtásán.
