Vi introduserer GeneBench-Pro

Vitenskapelige data kommer sjelden med bruksanvisning. Forskere må avgjøre om et mønster gjenspeiler biologi eller støy, om dataene kan støtte spørsmålet som stilles, og hvordan hvert resultat bør endre hva de gjør videre. KI-agenter blir stadig bedre i stand til å utføre komplekse analyser, men reell vitenskapelig forskning avhenger ikke bare av å gjengi fakta eller følge en forhåndsdefinert arbeidsflyt, men også av å foreta disse vurderingene på høyere nivå.

I dag introduserer vi GeneBench-Pro – en utfordrende referansetest på forskningsnivå for å teste om modeller kan håndtere den typen analyse som krever mye faglig skjønn, slik reell beregningsbiologi krever. Den bygger videre på GeneBench⁠(åpnes i et nytt vindu) for å dekke vanskeligere og mer realistiske oppgaver innen genomikk, kvantitativ biologi og translasjonsmedisin, og fanger opp kompleksiteten, den iterative naturen og tvetydigheten i vitenskapelig forskning innen beregningsbiologi. 

Hittil har det vært få overbevisende vurderinger av de skjønnsmessige avgjørelsene på systemnivå som gjør beregningsbasert forskning i praksis vanskelig. Disse omfatter håndtering av tvetydighet, revidering av antakelser, valg av riktig analysevei og å vite når et resultat er beslutningsklart. Fordi disse ferdighetene er vanskelige å formalisere, er de også vanskelige å evaluere på en stringent måte, samtidig som svakheter ved dem i økende grad begrenser den samlede KI-ytelsen.

GeneBench-Pro er utviklet for å nøyaktig måle disse egenskapene på høyere nivå. I GeneBench-Pro definerer vi «forskningsskjønn» som kjeder av skjønnsmessige vurderinger som former en analyse: hvilke spørsmål dataene kan underbygge, hvordan tidlige diagnostiske kontroller bør endre modellen eller estimeringsmålet, og når en opprinnelig plan må revideres. Hver GeneBench-Pro-oppgave gir modellen et realistisk og rotete datasett, kort eksperimentell kontekst og et målestimand knyttet til en nedstrømsbeslutning. For å svare riktig må modellen utforske dataene, velge en hensiktsmessig analytisk tilnærming, gjennomføre en iterativ prosess med eksperimentering og levere et endelig svar.

Innen biologi har kostnaden ved generering av data (f.eks. genomsekvensering) falt dramatisk, og enkelte forskere hevder nå⁠(åpnes i et nytt vindu) at den begrensende faktoren ikke lenger er prøveinnsamling, men etterfølgende beregning og analyse. GeneBench-Pro er utviklet for å vurdere fremdriften i arbeidet med å håndtere denne flaskehalsen, med 129 spørsmål som dekker et bredt spekter av kontekster og metoder innen beregningsbiologi.

GeneBench-Pro er også utviklet for å unngå vanlige feil i referansetester. Mange biologibenchmarker med lang tidshorisont bygger flertrinnsspørsmål rundt rotete historiske datasett, der det kanskje ikke finnes én enkelt riktig vei gjennom analysen. En agent kan velge én forsvarlig terskelverdi, mens en annen kan velge et annet, men like forsvarlig alternativ, noe som gjenspeiler de vilkårlige valgene som er gjort av benchmark-skaperen mer enn noen grunnleggende forskjeller i modellens ytelse. Det motsatte kan også skje: Hvis et problem er lite numerisk sensitivt, kan en agent gjøre fundamentale feil i en analyse og likevel produsere et godkjent resultat.

For å unngå disse feilmodusene er hvert GeneBench-Pro-problem konstruert syntetisk: vi kjenner hele den kausale strukturen og simulerer den datagenererende prosessen direkte. Det gjør det mulig for oss å finjustere kompleksiteten i hvert problem, sikre at rimelige forskjeller i subjektive analysevalg likevel gir godkjente numeriske resultater, og verifisere (gjennom ablasjonsstudier) at plausible, men feilaktige, analyser mislykkes. Deretter gjennomgår vi oppgaveutkast ved hjelp av detaljerte sporanalyser for å kontrollere om det finnes informasjonslekkasje og utilsiktede løsningsveier. Dette gir oss trygghet for at det å komme frem til riktig svar avhenger av å velge riktig analytisk fremgangsmåte, og ikke av å utnytte en snarvei eller treffe en vilkårlig forfatterpreferanse.

Vi sendte 82 av de 129 GeneBench-Pro-spørsmålene til eksterne fageksperter, inkludert master- og doktorgradsstudenter, postdoktorforskere, forskere i industrien og professorer. Vurdererne vurderte realismen i hvert problem, om målsvaret var identifiserbart, og om metodene og estimatorene var hensiktsmessige. Tilbakemeldinger ble brukt til å forbedre problemer.

Hver GeneBench-Pro-oppgave er en selvstendig vitenskapelig analyse. Agenter får tilgang til et isolert arbeidsområde med en kort prompt, datafiler og en standard bioinformatikkstakk som inkluderer Python, vitenskapelige beregningsbiblioteker og grunnleggende genomikkpakker som PLINK 2.0 (selv om oppgavene ikke krever domenespesifikke verktøy).

Fordi vi kontrollerer hele datagenereringsprosessen, kan vi vurdere korrekthet deterministisk opp mot kjente målverdier og unngå variasjon som skyldes modellvalg og effekter av ordrikhet som finnes i standard rubrikkbasert evaluering.

Hver oppgave leveres også med omfattende metadata, inkludert den tiltenkte analysestrukturen, vedlagte datafiler, en detaljert casestudie på flere sider og resultater fra ekspertvurderinger. Vi gjør 10 representative GeneBench-Pro-spørsmål tilgjengelige som åpen kildekode på Hugging Face⁠(åpnes i et nytt vindu), med et interaktivt nettgrensesnitt for å bla gjennom dem. Til slutt vil vi gi et delsett med 50 spørsmål til Artificial Analysis⁠(åpnes i et nytt vindu) for uavhengig tredjeparts benchmarking i nær fremtid.

Vår sterkeste modell, GPT‑5.6 Sol, oppnår en beståttandel på 28,7 % på det høyeste resonneringsnivået (31,5 % med Pro-modus aktivert). Det er en kraftig økning sammenlignet med da vi begynte å bygge den opprinnelige GeneBench; på det tidspunktet oppnådde vår beste banebrytende modell, GPT‑5, under 5 %. Fremgang på denne referansemålingen tyder på at banebrytende modell forbedrer seg raskt, selv innen mindre håndgripelig vitenskapelig resonnering på systemnivå. Med dagens tempo kan denne referansemålingen bli mettet innen utgangen av året.

Resultatene viser også effekten av å skalere beregningsressursene ved testtid. På det laveste resonneringsnivået oppnår GPT‑5.6 Sol bare en ensifret beståelsesprosent. På det høyeste resonneringsnivået løser GPT‑5.6 Sol nesten seks ganger så mange spørsmål som GPT‑5.2 gjør, samtidig som den bruker omtrent to tredjedeler så mange tokener.

Sammenligninger på tvers av modellfamilier tyder på at GPT‑modeller er blant de sterkeste systemene for vitenskapelig resonnering på høyt nivå under kvantitativ usikkerhet. Ytelsesgapet mellom GPT‑5.6, Forskjellen mellom GPT‑5.5 og ledende modeller med åpen kildekode som GLM 5.2 er betydelig større enn vi ville forvente når vi ekstrapolerer fra kodebenchmarker⁠(åpnes i et nytt vindu), noe som indikerer at modeller med åpen kildekode er mer spesialiserte for koding enn for bredere resonnering.

Vi brukte banebrytende GPT‑modeller for å evaluere og styrke problemstillinger under utviklingen. Derfor mistenkte vi at GeneBench-Pro kunne være skjev mot GPT‑modeller sammenlignet med andre modellfamilier. Imidlertid matchet konkurrentenes modeller i beste fall ytelsen til den tilsvarende GPT‑modellen på lanseringstidspunktet, og hadde en tendens til å komme betydelig til kort.

Disse evalueringsresultatene – så høye som 31,5 % på GPT‑5.6 Sol (Pro) – er oppsiktsvekkende gitt hvor vanskelige GeneBench-Pro-spørsmålene er. I en undersøkelse anslo vurdererne våre at en typisk GeneBench-Pro-oppgave ville ta en menneskelig ekspert rundt 20–40 timer å fullføre. Med et konservativt anslag på $200 per time, betyr det at kostnaden for menneskelig arbeid knyttet til ett enkelt problem kommer opp i flere tusen dollar. Dagens AI-agenter er fortsatt for upålitelige til å erstatte menneskelige eksperter, men kostnadsgapet er stort, med inferenskostnader på bare noen få dollar per problem. Det betyr at selv delvis automatisering på dagens nivå vil kunne skape betydelig økonomisk og vitenskapelig verdi.

Likevel viser det faktum at banebrytende modeller fortsatt løser færre enn en tredjedel av disse problemene, at det er betydelig rom for forbedring. Modeller kan komme et stykke på vei med utfordrende problemer, men de strever med å lukke resonnementsløkken. Dette feilmønsteret gjenspeiler kontrasten mellom menneskelige eksperter og nybegynnere. Eksperter bruker erfaringen sin til å definere problemstillingen og tilpasse tilnærmingen sin, mens nybegynnere gjør observasjoner, men strever med å integrere dem i den bredere konteksten for problemet.

Å oppnå tilnærmet perfekt ytelse vil kreve evalueringer som både pålitelig måler fremgang og identifiserer hvor modellen fortsatt feiler. Referansetester som GeneBench-Pro kan bidra til å omforme en uklar mangelfullhet til noe vi kan diagnostisere og forbedre. 

Hvis agenter kan automatisere denne typen analyse på en pålitelig måte, kan de fremskynde vitenskapelige oppdagelser betydelig. Genetiske bevis fra mennesker er allerede sentralt for prioritering av mål og oppfølging i translasjonsforskning, fordi mekanismer med genetisk støtte har langt større sannsynlighet for å føre til godkjente behandlinger.

Samtidig har kostnadene ved sekvensering falt kraftig, og datasett i biobankskala kobler nå molekylære, fenotypiske og helsejournalopplysninger i en bredde uten sidestykke. Den begrensende faktoren flytter seg fra datagenerering til å omsette informasjonen til handlingsrettet innsikt. Modeller som konsekvent kan utføre analyser som i dag håndteres av team av menneskelige eksperter, kan transformere industriell forskning ved å akselerere triage av hypoteser, oppfølging av mål og iterasjonssyklusen mellom datagenerering og beslutningstaking.

GeneBench-Pro representerer et første forsøk på å evaluere de mer abstrakte ferdighetene som inngår i god vitenskapelig dømmekraft hos erfarne fagpersoner. Disse ferdighetene gjør dem i stand til å intuitivt fornemme og identifisere de mest lovende innledende analysene, arbeide iterativt og revidere tenkningen sin når dataene motsier de opprinnelige antakelsene, og komme frem til konklusjoner som påfølgende kliniske, akademiske eller forretningsmessige beslutninger kan avhenge av. 

Vi forventer at etter hvert som modellenes evner utvikler seg, vil referansetester som undersøker modellers evner på disse høyere abstraksjonsnivåene, bli stadig mer nyttige, utover de som bare tester boklig kunnskap eller evnen til å utføre rutineanalyser.