Bemutatkozik a GeneBench-Pro
Kutatási szintű referenciateszt, amely azt méri, hogyan igazodnak el az MI-ágensek a kétértelműségben, és hogyan hoznak nagy horderejű döntéseket a komputációs biológiában.
A tudományos adatok ritkán érkeznek útmutatóval. A kutatóknak dönteniük kell, hogy egy mintázat biológiai jelenséget vagy zajt tükröz-e, hogy az adatok alkalmasak-e a feltett kérdés megválaszolására, és hogyan változtassák meg a következő lépéseiket. Az MI-ügynökök egyre inkább képesek összetett elemzések elvégzésére, de a valódi tudományos kutatás nem pusztán tények felidézésén vagy egy előre meghatározott munkafolyamat követésén múlik, hanem ezen magasabb rendű megítélések meghozatalán is.
Ma bemutatjuk a GeneBench-Pro-t, egy kihívást jelentő, kutatási szintű referenciatesztet annak vizsgálatára, hogy a modellek képesek-e megbirkózni azzal a sok mérlegelést igénylő elemzéssel, amelyre a gyakorlati számítási biológiában szükség van. A GeneBench(új ablakban nyílik meg) rendszerre építve kiterjeszti annak hatókörét, hogy a genomika, a kvantitatív biológia és a transzlációs orvostudomány területén nehezebb, valósághűbb feladatokat is lefedjen, így tükrözve a számítógépes biológia területén végzett tudományos kutatások összetettségét, iteratív jellegét és többértelműségét.
Mindeddig kevés meggyőző értékelés született azokról a rendszerszintű mérlegelési döntésekről, amelyek megnehezítik a valós környezetben zajló számításalapú kutatást. Ezek közé tartozik az egyértelműtlenség kezelése, a feltételezések felülvizsgálata, a megfelelő elemzési megközelítés kiválasztása, valamint annak felismerése, hogy egy eredmény mikor tekinthető döntéshozatalra késznek. Mivel ezeket a készségeket nehéz formalizálni, szigorú módszertannal értékelni is nehéz őket, miközben az e területeken mutatkozó gyengeségek egyre inkább korlátozzák az MI általános teljesítményét.
A GeneBench-Pro célja, hogy pontosan mérje ezeket a magasabb szintű képességeket. A GeneBench-Pro keretében a „kutatói ízlés” fogalmát azoknak a döntési láncolatoknak tekintjük, amelyek alakítják az elemzést: mely kérdéseket támasztanak alá az adatok, hogyan kell a korai diagnosztikáknak módosítaniuk a modellt vagy a becsülendő mennyiséget, és mikor szükséges felülvizsgálni egy kezdeti tervet. Minden GeneBench-Pro feladat valósághű, rendezetlen adathalmazt, rövid kísérleti kontextust és egy későbbi döntéshez kapcsolódó célként megadott becsülendő mennyiséget ad a modellnek. Ahhoz, hogy helyesen válaszoljon, a modellnek meg kell vizsgálnia az adatokat, ki kell választania a megfelelő elemzési módszert, részt kell vennie egy iteratív kísérleti folyamatban, és végleges választ kell adnia.
A biológiában az adat-előállítás költsége (pl. a genomszekvenálásé) drámaian csökkent, és egyes kutatók ma már amellett érvelnek(új ablakban nyílik meg), hogy a szűk keresztmetszetet többé már nem a mintagyűjtés, hanem az azt követő számítási feldolgozás és elemzés jelenti. A GeneBench-Pro célja, hogy felmérje az előrehaladást e szűk keresztmetszet kezelésében, 129 kérdésével lefedve a számítási biológia különböző környezeteit és módszereit.
Domain Atlas: 129 probléma 10 domainben és 21 aldomainben
Kattints a fenti pontra, hogy többet megtudj a referenciaértékről.
Ez az atlasz előzetes képet ad a GeneBench-Pro széles körű lefedettségéről. Látogass el az esettanulmányok oldalára, és ismerd meg részletesebben a 10 reprezentatív kérdést.
A GeneBench-Pro úgy lett kialakítva, hogy elkerülje a gyakori benchmarkhibákat. Számos hosszú távú biológiai mérőszám több lépésből álló kérdéseket épít fel rendezetlen történeti adathalmazok köré, ahol előfordulhat, hogy nincs egyetlen helyes elemzési útvonal. Az egyik ügynök választhat egy védhető határértéket, míg egy másik ettől eltérő, de ugyanúgy védhető lehetőséget választhat, ami inkább a mérőszám készítője által hozott önkényes döntéseket tükrözi, mintsem a modell teljesítményében mutatkozó alapvető különbségeket. Ennek az ellenkezője is előfordulhat: ha egy probléma numerikusan túlérzéketlen, egy agent alapvető hibákat követhet el az elemzésben, és mégis megfelelő eredményt produkálhat.
E hibamódok elkerülése érdekében minden GeneBench-Pro-feladatot szintetikusan építünk fel: ismerjük a teljes oksági struktúrát, és közvetlenül szimuláljuk az adatgeneráló folyamatot. Ez lehetővé teszi számunkra, hogy finomhangoljuk az egyes problémák összetettségét, biztosítsuk, hogy a szubjektív elemzési döntésekben mutatkozó ésszerű eltérések továbbra is elfogadott numerikus eredményekhez vezessenek, valamint ellenőrizzük (ablációs vizsgálatok révén), hogy a hihető, de helytelen elemzések sikertelenek legyenek. Ezután részletes nyomkövetési elemzésekkel ellenőrizzük a feladattervezeteket, hogy kiszűrjük az információszivárgást és a nem szándékolt megoldási útvonalakat. Ez megerősít bennünket abban, hogy a helyes válasz megtalálása a megfelelő elemzési útvonal megválasztásán múlik, nem pedig egy kiskapu kihasználásán vagy egy önkényes szerzői preferenciához való igazodáson.
A 129 GeneBench-Pro kérdésből 82-t elküldtünk külső szakterületi szakértőknek, köztük doktoranduszoknak, posztdoktori kutatóknak, ipari kutatóknak és professzoroknak. Az értékelők felmérték az egyes problémák életszerűségét, azt, hogy a célként megadott válasz azonosítható volt-e, valamint azt, hogy a módszerek és a becslők megfelelőek voltak-e. A visszajelzéseket a problémák javítására használtuk fel.
“Az általam áttekintett feladatok megoldása egy mester- vagy doktori hallgató számára is kihívást jelentett volna egy tapasztalt témavezető ismételt visszajelzései nélkül. Az adatok technikai és minőség-ellenőrzési problémákat tartalmaztak, amelyek sikeres kezeléséhez átgondolt és mérlegelő adatelemzésre volt szükség, a lehetséges buktatók tudatában; nem pusztán arról volt szó, hogy valamilyen készen kapott módszert alkalmaztak tiszta és gondosan kezelt adatokra.”
“Még ha a jelenlegi modellek nem is képesek megbízhatóan, az elejétől a végéig önálló elemzéseket végezni, azok, amelyek jól teljesítenek a GeneBench-Pro feladatokon, egyértelműen képesek lennének segíteni a kutatókat a megfelelő munkafolyamatok meghatározásában és az adatok feltárásában. Úgy vélem, ez jelentősen javíthatja a kutatás ütemét, alaposságát és reprodukálhatóságát.”
Minden GeneBench-Pro-feladat önálló tudományos elemzés. Az ügynökök hozzáférést kapnak egy elkülönített munkaterülethez, amely egy rövid utasítást, adatfájlokat és egy szabványos bioinformatikai szoftverkészletet tartalmaz, beleértve a Pythont, tudományos számítástechnikai könyvtárakat és alapvető genomikai csomagokat, például a PLINK 2.0-t (bár a feladatok nem igényelnek szakterület-specifikus eszközöket).
Strukturális variáns által vezérelt tumorterápiás előny-kockázati döntés
Mivel mi irányítjuk az egész adatgenerálási folyamatot, a helyességet determinisztikusan értékeljük az ismert célértékek alapján, így elkerüljük a szabványos, értékelési rubrikán alapuló értékelésekben előforduló modell választás változékonyságát és a terjengősségi hatásokat.
Minden feladathoz gazdag metaadatok is tartoznak, beleértve a tervezett elemzési struktúrát, a csatolt adatfájlokat, egy részletes, többoldalas esettanulmányt és a szakértői felülvizsgálat eredményeit. Tíz reprezentatív GeneBench-Pro kérdést teljes mértékben nyílt forráskódúként teszünk közzé a Hugging Face(új ablakban nyílik meg) platformon, egy interaktív webes felülettel együtt, amelyen böngészhetők. Végül egy 50 kérdésből álló részhalmazt fogunk biztosítani az Artificial Analysis(új ablakban nyílik meg) számára független, harmadik fél általi teljesítményértékelés céljából a közeljövőben.
A legerősebb modellünk, a GPT‑5.6 Sol, a legmagasabb érvelési szinten 28,7%-os sikerességi arányt ér el (bekapcsolt Pro móddal 31,5%-ot). Ez jelentős növekedés ahhoz képest, amikor elkezdtük fejleszteni eredeti GeneBench-et; akkoriban a legjobb élvonalbeli modellünk, a GPT‑5, 5% alatti pontszámot ért el. Az ezen a benchmarkon elért előrelépés arra utal, hogy az élvonalbeli modellek gyorsan fejlődnek, még a kevésbé kézzelfogható, rendszerszintű tudományos érvelés terén is. A jelenlegi ütem mellett ez a referenciaérték az év végére telítődhet.
Az eredmények azt is megmutatják, milyen hatással van a tesztidőben felhasznált számítási kapacitás skálázása. A legalacsonyabb érvelési szinten a GPT‑5.6 Sol csak egyjegyű átmeneti arányt ér el. A legmagasabb érvelési szinten a GPT‑5.6 Sol közel hatszor annyi kérdést old meg, mint a GPT‑5.2 mindezt úgy teszi, hogy körülbelül kétharmadnyi tokent használ.
A modellcsaládok közötti összehasonlítások arra utalnak, hogy a GPT‑modellek a legerősebb rendszerek közé tartoznak a kvantitatív bizonytalanság melletti magas szintű tudományos érvelés terén. A teljesítménybeli különbség a GPT‑5.6, A GPT‑5.5 és az olyan vezető nyílt forráskódú modellek, mint a GLM 5.2 közötti különbség jelentősen nagyobb annál, mint amit a kódolási benchmarkok(új ablakban nyílik meg) alapján végzett extrapolációból várnánk, ami arra utal, hogy a nyílt forráskódú modellek inkább kódolásra specializálódtak, mint szélesebb körű érvelési képességre.
A fejlesztés során élvonalbeli GPT‑modelleket használtunk a problémák értékelésére és megerősítésére. Ezért azt feltételeztük, hogy a GeneBench-Pro más modellcsaládokhoz képest torzíthat a GPT‑modellek kárára. A versenytárs modellek azonban a megjelenésük idején legfeljebb a megfelelő GPT modell teljesítményével értek el eredményeket, és általában jelentősen elmaradtak tőle.
Ezek az értékelési eredmények – amelyek a GPT‑5.6 Sol (Pro) esetében akár 31,5%-ot is elérnek – figyelemre méltóak, tekintettel a GeneBench-Pro kérdések nehézségére. Egy felmérésben értékelőink úgy becsülték, hogy egy tipikus GeneBench-Pro-feladat elvégzése egy emberi szakértőnek körülbelül 20–40 órát venne igénybe. Visszafogott becsléssel, óránként 200 dollárral számolva ez egyetlen probléma emberi munkaerőköltségét több ezer dollárra rúgja. A jelenlegi MI-ügynökök még mindig túl megbízhatatlanok ahhoz, hogy kiváltsák az emberi szakértőket, de a költségkülönbség jelentős, mivel az inferencia költségei problémánként mindössze néhány dollárt tesznek ki. Ez azt jelenti, hogy a jelenlegi képességek mellett akár a részleges automatizálás is jelentős gazdasági és tudományos értéket teremthet.
“A benchmarkokat sokféle biológiai kérdés motiválja, de a valódi kihívás a feltáró adatelemzésből és az ezekre a felfedezésekre épülő érvelésből fakad: mintázatok és artefaktumok azonosítása, valamint annak eldöntése, hogy az adatokat ki kell-e zárni vagy korrigálni kell-e. Ez hasonlít a valós biológiai adatkészletek rendezetlen jellegére. Ezeknek az értékeléseknek az áttekintése rávilágít arra, mennyire fontosak a világos megoldószerződések az ágensalapú tudományos problémamegoldásban. Az utasítás eltérő megfogalmazása vagy a feladatmeghatározás jelentősen befolyásolhatja, hogy mely elemzések tűnnek megengedhetőnek.”
“Többnyire tetszettek [a kérdések]. Jellemzően a következők keverékét mutatták: (1) a témához szükséges ismeretek, például a C>T torzítás az ősi DNS-ben, (2) adateltérések, például származási felcserélések, (3) bizonyos fokú ismeret arról, hogy melyek a megfelelő analitikai eszközök az adott feladathoz, és hogyan kell ezeket alkalmazni. Úgy tűnt, hogy az ágensek többsége elbukott a (2)-es ponton. Nem elég körültekintőek az adatproblémákkal kapcsolatban. Talán ez rávilágít a jelenlegi modell egyik gyengeségére. És sok biológiai adatban vannak szabálytalanságok.”
Mindazonáltal az élvonalbeli modell továbbra is kevesebb mint egyharmadát oldja meg ezeknek a problémáknak, ami jelentős fejlődési lehetőséget jelez. A modellek részleges előrehaladást érhetnek el a kihívást jelentő problémákban, de nehezen zárják le a következtetési hurokot. Ez a hibamintázat tükrözi az emberi szakértők és kezdők közötti különbséget. A szakértők tapasztalataikat felhasználva keretezik a problémát, és igazítják megközelítésüket, míg a kezdők megfigyeléseket tesznek, de nehezen tudják ezeket beilleszteni a probléma tágabb összefüggésrendszerébe.
Probléma: farmakogenomikai, esemény bekövetkezéséig eltelt időre vonatkozó válasz időben változó kezeléssel
GPT-5.5 minta
GPT-5.6 Sol minta
A közel tökéletes teljesítmény eléréséhez olyan értékelésekre lesz szükség, amelyek egyszerre megbízhatóan mérik az előrehaladást és azonosítják, hol hibáznak még a modellek. A GeneBench-Pro-hoz hasonló teljesítménytesztek segíthetnek abban, hogy egy homályos képességhiányt diagnosztizálhatóvá és javíthatóvá tegyünk.
Ha az ügynökök megbízhatóan automatizálni tudják az ilyen elemzéseket, jelentősen felgyorsíthatod a tudományos felfedezéseket. A humán genetikai bizonyítékok már most központi szerepet töltenek be a célpont-priorizálásban és a transzlációs utánkövetésben, mivel a genetikai alátámasztással rendelkező mechanizmusok sokkal nagyobb valószínűséggel vezetnek engedélyezett kezelésekhez.
Eközben a szekvenálás költségei drámaian csökkentek, és a biobank-léptékű adatkészletek ma már példátlan kiterjedtségben kapcsolják össze a molekuláris, fenotípusos és egészség-nyilvántartásokból származó információkat. A szűk keresztmetszet az adatgenerálásról az információk gyakorlatban hasznosítható felismerésekké alakítására helyeződik át. Azok a modellek, amelyek következetesen képesek elvégezni a jelenleg emberi szakértői csapatok által kezelt elemzéseket, átalakíthatják az ipari kutatást azáltal, hogy felgyorsítják a hipotézisek előszűrését, a célpontok utánkövetését, valamint az adatgenerálás és a döntéshozatal közötti iterációs ciklust.
A GeneBench-Pro egy kezdeti kísérlet a tapasztalt szakemberek jó tudományos ítélőképességéhez kapcsolódó, elvontabb készségek értékelésére. Ezek a készségek lehetővé teszik számukra, hogy ráérezzenek a legígéretesebb kezdeti elemzésekre és azonosítsák azokat, iterálják és felülvizsgálják gondolkodásukat, amikor az adatok ellentmondanak a kezdeti feltételezéseknek, és olyan következtetésekre jussanak, amelyektől későbbi klinikai, tudományos vagy üzleti döntések függhetnek.
Arra számítunk, hogy a modell képességeinek fejlődésével az absztrakció magasabb szintjein a modell képességeit vizsgáló benchmarkok egyre hasznosabbá válnak, túl azon, hogy csupán a tankönyvi tudást vagy a rutinszerű elemzések végrehajtásának képességét tesztelik.
