Prezantimi i GeneBench-Pro
Një standard i nivelit kërkimor që mat se si agjentët e IA-së lundrojnë mes paqartësive dhe kryejnë gjykime pasuese në biologjinë kompjuterike.
Të dhënat shkencore rrallë vijnë me udhëzime. Studiuesit duhet të vendosin nëse një motiv pasqyron biologjinë apo të dhëna të panevojshme, nëse të dhënat e mbështesin pyetjen në fjalë dhe si duhet ta ndryshojë çdo rezultat hapin tjetër të radhës. Agjentët e IA-së po bëhen gjithnjë më të aftë për analiza komplekse, por kërkimi real shkencor varet jo vetëm nga rimarrja e fakteve apo ndjekja e një rrjedhe të paracaktuar, por edhe nga gjykime të këtij niveli më të lartë.
Sot prezantojmë GeneBench-Pro, një standard sfidues të nivelit kërkimor për të testuar nëse modelet mund të përballojnë analizën e mbështetur në gjykime që kërkon biologjia kompjuterike reale. Ai e zgjeron GeneBench(hapet në një dritare të re) për të realizuar detyra më të vështira e më realiste në gjenomikë, biologjinë sasiore dhe mjekësinë translative, duke kuptuar kompleksitetin, natyrën përsëritëse dhe paqartësinë e kërkimeve shkencore në biologjinë kompjuterike.
Deri tani ka pasur pak vlerësime bindëse në lidhje me gjykimet e nivelit të sistemit që e bëjnë të vështirë kërkimin kompjuterik real. Këto përfshijnë trajtimin e paqartësive, rishikimin e supozimeve, zgjedhjen e rrugës së duhur analitike dhe identifikimin e momentit kur një rezultat është gati për vendim. Meqenëse këto aftësi janë të vështira për t’u formalizuar, ato janë edhe të vështira për t’u vlerësuar me rigorozitet, ndërkohë që dobësitë në to kufizojnë gjithmonë e më shumë performancën e përgjithshme të IA-së.
GeneBench-Pro është krijuar për t’i matur me saktësi këto aftësi të nivelit më të lartë. Në GeneBench-Pro, "shijen kërkimore" e përkufizojmë si zinxhirët e gjykimeve që i japin formën analizës: cilat pyetje mund të mbështeten nga të dhënat, si duhet ta ndryshojë diagnostikimi i hershëm modelin ose vlerësuesin sasior dhe kur duhet rishikuar plani fillestar. Çdo problem i GeneBench-Pro i jep modelit një grup të dhënash realist e të çrregullt, një kontekst të shkurtër eksperimental dhe një vlerësues sasior të synuar të lidhur me një vendim pasues. Për t’u përgjigjur me saktësi, modeli duhet të eksplorojë të dhënat, të zgjedhë një qasje të përshtatshme analitike, të ndjekë një proces përsëritës eksperimentimi dhe të japë një përgjigje përfundimtare.
Në biologji, kostoja e gjenerimit të të dhënave (p.sh., hartimi i sekuencës së gjenomit) është ulur ndjeshëm, dhe disa studiues tani argumentojnë(hapet në një dritare të re) se faktori kufizues nuk është më mbledhja e kampionëve, por llogaritja dhe analiza e mëtejshme. GeneBench-Pro është ndërtuar për të vlerësuar përparimin në trajtimin e asaj pengese, me 129 pyetje që mbulojnë një gamë të gjerë kontekstesh dhe metodash të biologjisë kompjuterike.
Atlasi i domeneve: 129 probleme në 10 domene dhe 21 nëndomene
Kliko mbi një pikë më lart për të mësuar rreth një problemi standard.
Ky atlas jep një pamje paraprake të zbatimit të gjerë të GeneBench-Pro. Vizito faqen e studimeve të rasteve për të rishikuar në më shumë detaje 10 pyetje përfaqësuese.
GeneBench-Pro është projektuar po ashtu për të shmangur dështimet e zakonshme në lidhje me standardet. Shumë standarde biologjie me rrjedha komplekse pune krijojnë pyetje me shumë hapa në kuadër të të dhënave historike të çrregullta, ku mund të mos ketë një rrugë të vetme të saktë për analizën. Një agjent mund të zgjedhë një prag trajnimi që mund të mbrohet, ndërsa një tjetër mund të zgjedhë një opsion tjetër që mund të mbrohet në të njëjtën mënyrë, duke pasqyruar zgjedhjet arbitrare të kryera nga krijuesi i standardit më shumë sesa diferencat thelbësore në performancën e modelit. Mund të ndodhë edhe e kundërta: nëse një problem është shumë pak i ndjeshëm në aspektin numerik, një agjent mund të bëjë gabime themelore në analizë dhe të japë përsëri një rezultat kalues.
Për t’i shmangur këto mënyra dështimi, çdo problem i GeneBench-Pro ndërtohet në mënyrë sintetike: ne njohim strukturën e plotë shkakësore dhe simulojmë drejtpërdrejt procesin që gjeneron të dhënat. Kjo na lejon të rregullojmë kompleksitetin e çdo problemi, të sigurohemi që diferencat e arsyeshme në zgjedhjet subjektive analitike japin përsëri rezultate numerike të pranuara dhe të verifikojmë (nëpërmjet studimeve eliminuese) kur analizat e arsyeshme por të pasakta dështojnë. Më pas ne auditojmë draftet e problemeve me analiza të hollësishme të gjurmëve për të kontrolluar rrjedhjet e informacioneve dhe rrugët jo të synuara të zgjidhjes. Kjo na jep besimin se përgjigjja e saktë varet nga zgjedhja e rrugës së duhur analitike dhe jo nga shfrytëzimi i një rruge të shkurtër apo përputhja me një preferencë arbitrare të autorit.
Ne u dërguam 82 nga 129 pyetjet e GeneBench-Pro ekspertëve të jashtëm të fushës, duke përfshirë studentë pasuniversitarë, kërkues postdoktoralë, shkencëtarë të industrisë në fjalë dhe profesorë. Rishikuesit vlerësuan realizmin e çdo problemi, nëse përgjigjja e synuar ishte e identifikueshme dhe nëse metodat dhe vlerësuesit ishin të përshtatshëm. Reagimet e tyre u përdorën për t’i përmirësuar problemet.
“Problemet që shqyrtova do të kishin qenë sfiduese për një student pasuniversitar për t’i përfunduar pa reagime të vazhdueshme nga një person përgjegjës me eksperiencë. Të dhënat përfshinin probleme teknike dhe të kontrollit të cilësisë që kërkonin analizë të kujdesshme dhe reflektuese, si dhe njohuri për rreziqe të mundshme; nuk kishte të bënte thjesht me zbatimin e një metode të gatshme për të dhëna të pastra dhe të kuruara mirë.”
“Edhe nëse modelet aktuale nuk janë ende në gjendje të kryejnë analiza të pavarura në mënyrë të besueshme nga fillimi deri në fund, ato që performojnë mirë në problemet e GeneBench-Pro do të ishin qartësisht në gjendje t'i ndihmonin studiuesit të përcaktonin rrjedhat e duhura të punës dhe të eksploronin të dhënat. Mund ta shoh se kjo përmirëson ndjeshëm ritmin, thellësinë dhe riprodhueshmërinë e kërkimit.”
Çdo problem i GeneBench-Pro është një analizë shkencore e pavarur. Agjentët marrin qasje në një hapësirë të izoluar pune me një kërkesë të shkurtër, skedarët e të dhënave dhe një paketë standarde bioinformatike, duke përfshirë Python, bibliotekat e llogaritjeve shkencore dhe paketat bazë gjenomike si PLINK 2.0 (megjithëse problemet nuk kërkojnë mjete specifike të fushës).
Vendimi për përfitimin krahasuar me rrezikun për terapinë tumorale të orientuar nga varianti strukturor
Duke qenë se ne kontrollojmë gjithë procesin e gjenerimit të të dhënave, mund ta matim nivelin e saktësisë në mënyrë përcaktuese kundrejt objektivave të njohur, duke shmangur variantet e zgjedhjes së modelit dhe efektet e tepricës së të dhënave në vlerësimet bazuar te rubrikat.
Çdo problem vjen edhe me metadata të pasura, duke përfshirë strukturën e synuar të analizës, skedarët e të dhënave, një studim rasti të detajuar me shumë faqe dhe rezultatet e rishikimit nga ekspertët. Ne po publikojmë me burim plotësisht të hapur 10 pyetje përfaqësuese të GeneBench-Pro në Hugging Face(hapet në një dritare të re), me një ndërfaqe interaktive uebi për shfletimin e tyre. Si përfundim, së shpejti do t’i ofrojmë Artificial Analysis(hapet në një dritare të re) një nëngrup me 50 pyetje për standardizim të pavarur nga një palë e tretë.
Modeli ynë më i fortë, GPT‑5.6 Sol, arrin një normë kalimi prej 28,7% në nivelin më të lartë të arsyetimit (31,5% me modalitetin Pro të aktivizuar). Kjo është rritje e fortë nga koha kur nisëm ndërtimin e versionit origjinal të GeneBench; në atë kohë, modeli ynë më i mirë avangardë, GPT‑5, kishte një rezultat nën 5%. Përparimi në këtë standard sugjeron se modelet avangardë po përmirësohen shpejt, edhe në arsyetimin shkencor më pak të prekshëm në nivel sistemesh. Me ritmin aktual, ky standard mund të plotësohet deri në fund të vitit.
Rezultatet tregojnë edhe ndikimin e shkallëzimit të llogaritjeve kompjuterike gjatë testimit. Në nivelin më të ulët të arsyetimit, GPT‑5.6 Sol arrin vetëm një normë njëshifrore kalimi. Në nivelin më të lartë të arsyetimit, GPT‑5.6 Sol zgjidh gati gjashtë herë më shumë pyetje se GPT‑5.2, duke përdorur rreth dy të tretat e tokenëve.
Krahasimet mes familjeve të modeleve sugjerojnë se modelet e GPT janë ndër sistemet më të forta në arsyetim shkencor të nivelit të lartë në kuadër të pasigurisë sasiore. Diferenca e performancës mes GPT‑5.6, GPT‑5.5 dhe modeleve kryesore me burim të hapur si GLM 5.2 është mjaft më i madh se sa do të prisnim nga ekstrapolimi nga standardet e kodimit(hapet në një dritare të re), gjë që tregon se modelet me burim të hapur janë më të specializuara për kodim sesa për aftësinë më të gjerë të arsyetimit.
Gjatë zhvillimit ne përdorëm modelet avangardë të GPT për të vlerësuar dhe përmirësuar problemet. Për këtë arsye, dyshuam se GeneBench-Pro mund të ishte i anshëm kundrejt modeleve të GPT krahasuar me familje të tjera modelesh. Megjithatë, modelet konkurruese, në rastin më të mirë, arritën të përputheshin me performancën e modelit përkatës të GPT në kohën e publikimit dhe zakonisht mbetën mjaft prapa.
Këto rezultate vlerësimi, deri në 31,5% në GPT‑5.6 Sol (Pro), janë mbresëlënëse duke pasur parasysh vështirësinë e pyetjeve të GeneBench-Pro. Në një anketë, rishikuesit tanë vlerësuan se për një problem tipik të GeneBench-Pro një eksperti njerëzor do t'i duheshin rreth 20-40 orë për ta përfunduar. Me një vlerësim konservator prej 200 $ në orë, kostoja e punës njerëzore për një problem të vetëm shkon në mijëra dollarë. Agjentët aktualë të IA-së janë akoma shumë jo të besueshëm për të zëvendësuar ekspertët njerëzorë, por diferenca e kostos është e madhe: me kostot e nxjerrjes së përfundimeve në vetëm disa dollarë për problem. Kjo do të thotë se edhe automatizimi i pjesshëm me aftësitë aktuale mund të krijojë vlerë domethënëse ekonomike dhe shkencore.
“Standardet nxiten nga një gamë e larmishme pyetjesh biologjike, por … sfida e vërtetë vjen nga analiza eksploruese e të dhënave dhe arsyetimi mbi këto zbulime: identifikimi i motiveve dhe artefakteve, si dhe vendimi nëse të dhënat duhen përjashtuar apo rregulluar. Kjo ngjan me natyrën e çrregullt të grupeve reale të të dhënave biologjike. Shqyrtimi i këtyre vlerësimeve tregon sa të rëndësishme janë kontratat e qarta të zgjidhësit për zgjidhjen shkencore të problemeve bazuar tek agjentët. Formulimet e ndryshme të kërkesave ose specifikimet e ndryshme të detyrave mund të ndikojnë shumë te fakti se cilat analiza duken të lejuara.”
“Më pëlqyen [pyetjet], në përgjithësi. Ato kishin tendencën të shfaqnin një ndërthurje mes: (1) njohurive të fituara për fushën, si anshmëria C>T në ADN-në e lashtë, (2) mospërputhjet e të dhënave, si shkëmbimet e prejardhjes, (3) një lloj njohurie për mjetet e duhura analitike për punën dhe mënyrën e zbatimit të tyre. Me sa dukej shumica e agjentëve nuk patën sukses te pika (2). Ata nuk janë mjaft të kujdesshëm për problemet e të dhënave. Ndoshta kjo nxjerr në pah një dobësi të modeleve aktuale. Dhe shumë të dhëna biologjike kanë parregullsi.”
Megjithatë, fakti që modelet avangardë zgjidhin akoma më pak se një të tretën e këtyre problemeve tregon se ka shumë vend për përmirësim. Modelet mund të bëjnë përparim të pjesshëm në lidhje me problemet sfiduese, por ato hasin vështirësi në mbylljen e ciklit të nxjerrjes së përfundimeve. Kjo strukturë dështimi pasqyron kontrastin mes ekspertëve njerëzorë dhe fillestarëve. Ekspertët përdorin përvojën e tyre për ta inkuadruar problemin dhe për të përshtatur qasjen, ndërsa fillestarët bëjnë vëzhgime, por e kanë të vështirë t’i integrojnë ato në kontekstin më të gjerë të problemit.
Problemi: Reagimi farmako-gjenomik për ndodhinë nga pika e nisjes me trajtimin me ndryshime në kohë
Motivi i GPT-5.5
Motivi i GPT-5.6 Sol
Arritja e performancës thuajse të përsosur do të kërkojë vlerësime që matin në mënyrë të besueshme progresin dhe tregojnë se ku dështojnë ende modelet. Standardet si GeneBench-Pro mund të ndihmojnë për ta shndërruar një mungesë paqartësie tek aftësitë në diçka që mund ta diagnostikojmë dhe ta përmirësojmë.
Nëse agjentët mund ta automatizojnë në mënyrë të besueshme këtë kategori analize, ata mund ta përshpejtojnë ndjeshëm zbulimin shkencor. Provat gjenetike njerëzore janë tashmë thelbësore për caktimin e prioriteteve të objektivave dhe punën vijuese translative, pasi mekanizmat me mbështetjen gjenetike kanë shumë më tepër mundësi të na çojnë drejt trajtimeve të miratuara.
Ndërkohë, kostot e përcaktimit të sekuencave kanë rënë ndjeshëm dhe grupet e të dhënave në shkallën e bankave biologjike tani mund t'i lidhin informacionet molekulare, fenotipike dhe të regjistrimeve shëndetësore në një shkallë të paprecedentë. Faktori kufizues po ndryshon nga gjenerimi i të dhënave te transformimi i informacioneve në njohuri të zbatueshme. Modelet që mund të kryejnë në mënyrë konsistente analiza që sot realizohen nga ekipet e ekspertëve njerëzorë mund ta transformojnë kërkimin industrial duke përshpejtuar vlerësimin paraprak të hipotezave, ndjekjen e objektivave dhe ciklin përsëritës mes gjenerimit të të dhënave dhe vendimmarrjes.
GeneBench-Pro përfaqëson një përpjekje fillestare për të vlerësuar aftësitë më abstrakte që kërkohen në gjykimin e mirë shkencor që zotërojnë studiuesit me përvojë. Këto aftësi i lejojnë ata të veprojnë me intuitë dhe të identifikojnë analizat fillestare më premtuese, të përsërisin dhe të rishikojnë arsyetimin e tyre kur të dhënat kundërshtojnë supozimet fillestare dhe të arrijnë në përfundime nga të cilat mund të varen vendime klinike, akademike apo biznesi.
Ne presim që, me përparimin e aftësive të modeleve, standardet që vrojtojnë aftësitë e modeleve në këto nivele më të larta abstraksioni të bëhen gjithnjë më të dobishme, përtej atyre që thjesht testojnë njohuritë e literaturës apo aftësisë për të realizuar analiza rutinë.
