Við kynnum GeneBench-Pro
Rannsóknarviðmið sem mælir hvernig AI-fulltrúar rata í óvissu og taka mikilvægar ákvarðanir í reiknilíffræði.
Vísindagögn berast sjaldan með leiðbeiningum. Rannsakendur þurfa að ákveða hvort mynstur endurspegli líffræði eða suð, hvort gögnin styðji spurninguna og hvernig hver niðurstaða eigi að breyta næstu skrefum. Gervigreindarfulltrúar geta sífellt betur framkvæmt flóknar greiningar, en raunverulegar vísindarannsóknir byggjast ekki aðeins á því að muna staðreyndir eða fylgja fyrirfram skilgreindu verkflæði heldur líka á slíkri æðri dómgreind.
Í dag kynnum við GeneBench-Pro—krefjandi rannsóknarviðmið sem prófar hvort líkön ráði við dómgreindarþunga greiningu af því tagi sem raunveruleg reiknilíffræði krefst. Það byggir á GeneBench(opnast í nýjum glugga) og nær yfir erfiðari og raunhæfari verkefni á sviði erfðamengjafræði, magnbundinnar líffræði og yfirfærslulæknisfræði, um leið og það fangar flækjustigið, ítrunareðlið og margræðnina sem einkenna vísindarannsóknir í reiknilíffræði.
Hingað til hafa fá sannfærandi möt verið til á kerfislægri dómgreind sem gerir raunverulegar reiknirannsóknir erfiðar. Þetta felur í sér að takast á við tvíræðni, endurskoða forsendur, velja rétta greiningarleið og vita hvenær niðurstaða er tilbúin til ákvörðunar. Þar sem erfitt er að formgera þessa færni er líka erfitt að meta hana af strangleika, jafnvel þótt veikleikar í henni takmarki í auknum mæli heildarframmistöðu gervigreindar.
GeneBench-Pro er hannað til að mæla þessa æðri getu nákvæmlega. Í GeneBench-Pro skilgreinum við „rannsóknarsmekk“ sem keðjur dómgreindarákvarðana sem móta greiningu: hvaða spurningar gögnin geta stutt, hvernig fyrstu greiningar eiga að breyta líkani eða matsmarki og hvenær þarf að endurskoða upphaflega áætlun. Hvert GeneBench-Pro-vandamál gefur líkaninu raunhæft og óreiðukennt gagnasafn, stutt tilraunasamhengi og markmatsstærð tengda síðari ákvörðun. Til að svara rétt þarf líkanið að kanna gögnin, velja viðeigandi greiningaraðferð, vinna í ítruðu ferli tilrauna og skila lokasvari.
Í líffræði hefur kostnaður við gagnagerð (t.d. raðgreiningu erfðamengis) lækkað stórlega og sumir rannsakendur halda því nú fram(opnast í nýjum glugga) að takmarkandi þátturinn sé ekki lengur sýnasöfnun heldur síðari útreikningar og greining. GeneBench-Pro er byggt til að meta framfarir í að leysa þann flöskuháls, með 129 spurningum sem ná yfir breitt svið aðstæðna og aðferða í reiknilíffræði.
Lénsatlas: 129 vandamál í 10 lénum og 21 undirlénum
Smelltu á punktinn hér að ofan til að fræðast um viðmiðunarvandamál.
Þessi atlas gefur innsýn í breidd GeneBench-Pro. Farðu á síðu með tilviksrannsóknum til að skoða 10 dæmigerðar spurningar nánar.
GeneBench-Pro er einnig hannað til að forðast algenga galla viðmiða. Mörg langtímaviðmið í líffræði byggja fjölþrepa spurningar á óreiðukenndum sögulegum gagnasöfnum, þar sem engin ein rétt leið er endilega í gegnum greininguna. Einn fulltrúi gæti valið verjanlegt þröskuldsgildi en annar annað, jafnverjanlegt, sem endurspeglar frekar handahófskenndar ákvarðanir höfundar viðmiðsins en grundvallarmun á frammistöðu líkana. Hið gagnstæða getur líka gerst: ef vandamál er of ónæmt tölulega getur fulltrúi gert grundvallarvillur í greiningu og samt skilað niðurstöðu sem stenst.
Til að forðast þessa bilunarhætti er hvert GeneBench-Pro-vandamál smíðað tilbúið: við þekkjum alla orsakasamsetninguna og hermum gagnasköpunarferlið beint. Það gerir okkur kleift að stilla flækjustig hvers vandamáls, tryggja að eðlilegur munur á huglægu greiningarvali skili samt samþykktum töluniðurstöðum og sannreyna (með brottnámsrannsóknum) að trúverðugar en rangar greiningar falli. Síðan rýnum við drög að vandamálum með ítarlegum ferilgreiningum til að kanna upplýsingaleka og óviljandi lausnarleiðir. Þannig treystum við því að rétt svar ráðist af réttri greiningarleið, ekki af því að nýta flýtileið eða hitta á handahófskennt val höfundar.
Við sendum 82 af 129 GeneBench-Pro-spurningum til ytri sérfræðinga á sviðinu, þar á meðal framhaldsnema, nýdoktora, vísindamanna í iðnaði og prófessora. Rýnar mátu raunsæi hvers vandamáls, hvort marksvörunin væri auðkennanleg og hvort aðferðir og metlar væru viðeigandi. Endurgjöfin var notuð til að bæta vandamálin.
“Vandamálin sem ég fór yfir hefðu verið krefjandi fyrir framhaldsnema að leysa án endurtekinnar endurgjafar frá reyndum leiðbeinanda. Gögnin innihéldu tæknileg vandamál og vandamál tengd gæðaeftirliti sem kröfðust ígrundaðrar og yfirvegaðrar gagnagreiningar, með meðvitund um hugsanlegar gildrur, til að ljúka verkinu með góðum árangri; þetta fólst ekki einfaldlega í því að beita tilbúinni staðalaðferð á hrein og vel varðveitt gögn.”
“Jafnvel þótt núverandi líkön geti ekki framkvæmt sjálfstæðar greiningar með áreiðanlegum hætti frá upphafi til enda, er ljóst að þau sem standa sig vel í GeneBench-Pro-verkefnum gætu aðstoðað rannsakendur við að ákvarða rétt verkferli og kanna gögn. Ég tel að þetta gæti bætt verulega hraða, ítarleika og endurtakanleika rannsókna.”
Hvert GeneBench-Pro-verkefni er sjálfstæð vísindaleg greining. Fulltrúar fá aðgang að einangruðu vinnusvæði með stuttri kvaðningu, gagnaskrám og stöðluðu hugbúnaðarumhverfi fyrir lífupplýsingafræði, þar á meðal Python, vísindalegum útreikningasöfnum og grunnpökkum fyrir erfðamengjafræði á borð við PLINK 2.0 (þótt verkefnin krefjist ekki sértækra verkfæra fyrir fagsviðið).
Ákvörðun um ávinning og áhættu æxlismeðferðar með stoð í byggingarfráviki
Þar sem við stjórnum öllu gagnasköpunarferlinu getum við metið réttmæti á afgerandi hátt gegn þekktum markmiðum og forðast breytileika vegna líkanavals og áhrif málalenginga í hefðbundnu mati eftir matskvarða.
Hverju vandamáli fylgja einnig ítarleg lýsigögn, þar á meðal fyrirhuguð greiningarbygging, tengdar gagnaskrár, nákvæm margra síðna tilviksrannsókn og niðurstöður sérfræðirýni. Við birtum 10 dæmigerðar GeneBench-Pro-spurningar að fullu sem opinn hugbúnað á Hugging Face(opnast í nýjum glugga), með gagnvirku vefviðmóti til að skoða þær. Að lokum munum við veita Artificial Analysis(opnast í nýjum glugga) 50 spurninga hlutmengi til óháðrar viðmiðunarprófunar þriðja aðila.
Sterkasta líkanið okkar, GPT‑5.6 Sol, nær 28,7% staðist-hlutfalli á hæsta rökstigi (31,5% með Pro-ham virkjanum). Það er mikil aukning frá því við hófum smíði upprunalega GeneBench; þá skoraði besta framarlega líkanið okkar, GPT‑5, undir 5%. Framfarir á þessu viðmiði benda til að framarleg líkön batni hratt, jafnvel í óáþreifanlegri, kerfislægum vísindalegum rökum. Með núverandi hraða gæti þetta viðmið verið mettað fyrir árslok.
Niðurstöðurnar sýna einnig áhrif þess að skala reikniafl við prófun. Á lægsta rökstigi nær GPT‑5.6 Sol aðeins staðist-hlutfalli á einnar tölu bili. Á hæsta rökstigi leysir GPT‑5.6 Sol næstum sexfalt fleiri spurningar en GPT‑5.2 og notar um það bil tvo þriðju af fjölda tóka.
Samanburður milli líkanafjölskyldna bendir til að GPT‑líkön séu meðal sterkustu kerfa í vísindalegum rökum á háu stigi við megindlega óvissu. Frammistöðubilið á milli GPT‑5.6, GPT‑5.5 og leiðandi opnum líkönum á borð við GLM 5.2 er mun meiri en við myndum búast við þegar framreiknað er út frá viðmiðunarprófum fyrir kóðun(opnast í nýjum glugga), sem bendir til þess að opin líkön séu sérhæfðari fyrir kóðun en fyrir víðtækari rök.
Við notuðum framarleg GPT‑líkön til að meta og herða vandamál meðan á þróun stóð. Því grunaði okkur að GeneBench-Pro gæti verið hlutdrægt gegn GPT‑líkönum miðað við aðrar líkanafjölskyldur. Samt náðu samkeppnislíkön í besta falli sömu frammistöðu og samsvarandi GPT‑líkan við útgáfu og voru oft talsvert lakari.
Þessar matsniðurstöður—allt að 31,5% hjá GPT‑5.6 Sol (Pro)—eru sláandi í ljósi erfiðleika GeneBench-Pro-spurninganna. Í könnun áætluðu rýnarnir okkar að dæmigert GeneBench-Pro-vandamál tæki mannlegan sérfræðing um 20–40 klukkustundir að leysa. Með varfærnu mati upp á 200 Bandaríkjadali á klukkustund nemur launakostnaður manna við eitt vandamál þúsundum dala. Núverandi gervigreindarfulltrúar eru enn of óáreiðanlegir til að leysa mannlega sérfræðinga af hólmi, en kostnaðarbilið er stórt; ályktunarkostnaður er aðeins nokkrir dollarar á vandamál. Það þýðir að jafnvel hlutafærð sjálfvirkni með núverandi getu gæti skapað verulegt efnahagslegt og vísindalegt gildi.
“Viðmiðin spretta af fjölbreyttum líffræðilegum spurningum, en … raunverulega áskorunin felst í könnunar-gagnagreiningu og rökum út frá þessum uppgötvunum: að greina mynstur og gripi og ákveða hvort útiloka eða leiðrétta eigi gögnin. Þetta líkist óreiðukenndu eðli raunverulegra líffræðilegra gagnasafna. Yfirferð þessara matsverkefna sýnir hve mikilvægir skýrir leysisamningar eru í vísindalegri lausn vandamála með fulltrúum. Mismunandi orðalag kvaðningar eða verklýsingar getur haft mikil áhrif á hvaða greiningar virðast leyfilegar.”
“Mér líkaði [spurningarnar] að mestu leyti. Þau höfðu yfirleitt blöndu af: (1) Nauðsynlegri þekkingu á viðfangsefninu, svo sem C>T-skekkju í fornu DNA, (2) Ósamræmi í gögnum, svo sem víxlun uppruna, (3) Eins konar þekkingu á réttum greiningartækjum fyrir verkið og hvernig ætti að innleiða þau. Mér virtist flestir fulltrúarnir hafa fallið á (2). Þeir eru ekki nógu varkárir gagnvart vandamálum í gögnum. Kannski dregur það fram veikleika núverandi líkana. Og mikið af líffræðilegum gögnum er óreglulegt.”
Samt sýnir sú staðreynd að framarleg líkön leysa enn færri en þriðjung þessara vandamála að mikið svigrúm er til úrbóta. Líkön geta náð hlutaframförum í krefjandi vandamálum, en eiga erfitt með að loka ályktunarhringnum. Þetta bilunarmynstur endurspeglar muninn á mannlegum sérfræðingum og byrjendum. Sérfræðingar nota reynslu sína til að ramma inn vandamálið og aðlaga nálgun sína, en byrjendur gera athuganir og eiga erfitt með að fella þær inn í víðara samhengi vandans.
Vandamál: Lyfjafræðileg erfðafræðisvörun fram að atburði með tímabreytilegri meðferð
GPT-5.5 mynstur
GPT-5.6 Sol mynstur
Að ná nánast fullkominni frammistöðu mun krefjast mats sem bæði mælir framfarir á áreiðanlegan hátt og greinir hvar líkön bregðast enn. Viðmið eins og GeneBench-Pro geta hjálpað til við að breyta óljósum getuskorti í eitthvað sem við getum greint og bætt.
Ef fulltrúar geta sjálfvirknivætt þennan flokk greininga áreiðanlega gætu þeir hraðað vísindalegum uppgötvunum verulega. Erfðafræðileg sönnunargögn úr mönnum eru þegar lykilatriði í forgangsröðun marka og hagnýtri eftirfylgni, því ferlar með erfðafræðilegan stuðning eru mun líklegri til að leiða til samþykktra meðferða.
Á sama tíma hefur kostnaður við raðgreiningu hrunið og gagnasöfn á lífsýnasafnskvarða tengja nú sameinda-, svipgerðar- og sjúkraskrárupplýsingar með áður óþekktri breidd. Takmarkandi þátturinn er að færast frá gagnagerð yfir í að breyta upplýsingunum í nothæfa innsýn. Líkön sem geta stöðugt framkvæmt greiningar sem nú eru í höndum teymis mannlegra sérfræðinga gætu umbreytt iðnaðarrannsóknum með því að hraða forflokkun tilgátna, eftirfylgni marka og ítrunarhringnum milli gagnagerðar og ákvarðanatöku.
GeneBench-Pro er fyrsta tilraun til að meta óhlutbundnari færni sem felst í góðri vísindalegri dómgreind reynslumikilla sérfræðinga. Þessi færni gerir þeim kleift að finna á innsæi og greina vænlegustu fyrstu greiningarnar, ítra og endurskoða hugsun sína þegar gögn stangast á við upphafsforendur og komast að niðurstöðum sem síðari klínískar, fræðilegar eða viðskiptalegar ákvarðanir geta byggst á.
Við gerum ráð fyrir að eftir því sem geta líkana eykst verði viðmið sem kanna getu líkana á þessum hærri stigum óhlutbundinnar hugsunar sífellt gagnlegri, umfram þau sem prófa aðeins bóklega þekkingu eða getu til að framkvæma venjubundnar greiningar.
