Vi introduserer GeneBench-Pro

Vitenskapelige data kommer sjelden med bruksanvisning. Forskere må avgjøre om et mønster gjenspeiler biologi eller støy, om dataene kan belyse spørsmålet som stilles, og hvordan hvert resultat bør påvirke hva de gjør videre. AI-agenter blir stadig bedre til å utføre komplekse analyser, men reell vitenskapelig forskning handler ikke bare om å huske fakta eller følge en forhåndsdefinert arbeidsflyt. Den avhenger også av slike vurderinger på høyere nivå.

I dag introduserer vi GeneBench-Pro – en utfordrende referansetest på forskningsnivå som tester om modeller kan håndtere den vurderingstunge analysen som virkelig beregningsbiologi krever. Den bygger videre på GeneBench⁠(åpnes i et nytt vindu) og dekker vanskeligere og mer realistiske oppgaver innen genomikk, kvantitativ biologi og translasjonsmedisin. Den fanger kompleksiteten, den iterative naturen og tvetydigheten i vitenskapelig forskning i beregningsbiologi. 

Til nå har det vært få overbevisende vurderinger av de systemnivåbaserte skjønnsvurderingene som gjør virkelig beregningsforskning vanskelig. Dette omfatter å håndtere tvetydighet, revidere antakelser, velge riktig analysevei og vite når et resultat er klart for beslutning. Fordi disse ferdighetene er vanskelige å formalisere, er de også vanskelige å vurdere strengt, samtidig som svakheter her i økende grad begrenser AI-ytelsen samlet sett.

GeneBench-Pro er laget for å måle disse evnene på høyere nivå presist. I GeneBench-Pro definerer vi «research taste» som kjeder av skjønnsvurderinger som former en analyse: hvilke spørsmål dataene kan støtte, hvordan tidlige diagnostiske funn bør endre modellen eller estimanden, og når en opprinnelig plan må revideres. Hvert GeneBench-Pro-problem gir modellen et realistisk og rotete datasett, kort eksperimentell kontekst og en målestimand knyttet til en senere beslutning. For å svare riktig må modellen utforske dataene, velge en egnet analytisk tilnærming, gå gjennom en iterativ eksperimenteringsprosess og levere et endelig svar.

I biologi har kostnaden ved å generere data (f.eks. genomsekvensering) falt dramatisk, og noen forskere hevder nå⁠(åpnes i et nytt vindu) at den begrensende faktoren ikke lenger er innsamling av prøver, men etterfølgende beregning og analyse. GeneBench-Pro er bygget for å vurdere fremskritt i håndteringen av denne flaskehalsen, med 129 spørsmål som dekker et bredt spekter av miljøer og metoder innen beregningsbiologi.

GeneBench-Pro er også utformet for å unngå vanlige feil i referansetester. Mange langsiktige referansetester i biologi bygger flertrinnsspørsmål rundt rotete historiske datasett, der det kanskje ikke finnes én riktig vei gjennom analysen. Én agent kan velge en forsvarlig grenseverdi, mens en annen velger et annet, men like forsvarlig alternativ. Det gjenspeiler da de vilkårlige valgene til den som laget referansetesten, mer enn grunnleggende forskjeller i modellytelse. Det motsatte kan også skje: Hvis et problem er for lite følsomt numerisk, kan en agent gjøre grunnleggende feil i en analyse og likevel få et godkjent resultat.

For å unngå slike feilmoder bygges hvert GeneBench-Pro-problem syntetisk: Vi kjenner hele den kausale strukturen og simulerer den datagenererende prosessen direkte. Det gjør at vi kan justere kompleksiteten i hvert problem, sikre at rimelige forskjeller i subjektive analysevalg fortsatt gir aksepterte numeriske resultater, og verifisere (gjennom ablasjonsstudier) at plausible, men feilaktige analyser mislykkes. Deretter reviderer vi problemutkast gjennom detaljerte sporanalyser for å kontrollere informasjonslekkasje og utilsiktede løsningsveier. Dette gir oss trygghet for at riktig svar avhenger av å velge riktig analysevei, ikke av å utnytte en snarvei eller treffe en vilkårlig forfatterpreferanse.

Vi sendte 82 av de 129 GeneBench-Pro-spørsmålene til eksterne fageksperter, blant annet master- og doktorgradsstudenter, postdoktorer, forskere i industrien og professorer. Vurdererne bedømte realismen i hvert problem, om målsvaret kunne identifiseres, og om metodene og estimatorene var passende. Tilbakemeldingene ble brukt til å forbedre problemene.

Hvert GeneBench-Pro-problem er en selvstendig vitenskapelig analyse. Agenter får tilgang til et isolert arbeidsområde med en kort prompt, datafiler og en standard bioinformatikkstakk med Python, vitenskapelige beregningsbiblioteker og grunnleggende genomikkpakker som PLINK 2.0 (selv om problemene ikke krever domenespesifikke verktøy).

Fordi vi kontrollerer hele datagenereringsprosessen, kan vi vurdere riktighet deterministisk mot kjente mål og unngå variasjon fra modellvalg og effekter av ordrikhet som finnes i standard rubrikkbasert evaluering.

Hvert problem leveres også med rike metadata, blant annet den tiltenkte analysestrukturen, vedlagte datafiler, en detaljert kasusstudie over flere sider og resultater fra ekspertvurdering. Vi gjør 10 representative GeneBench-Pro-spørsmål helt åpne på Hugging Face⁠(åpnes i et nytt vindu), med et interaktivt webgrensesnitt for å bla gjennom dem. Til slutt vil vi snart gi et delsett på 50 spørsmål til Artificial Analysis⁠(åpnes i et nytt vindu) for uavhengig tredjepartsreferansetesting.

Vår sterkeste modell, GPT‑5.6 Sol, oppnår en beståttandel på 28,7 % på høyeste resonneringsnivå (31,5 % med Pro-modus aktivert). Det er en kraftig økning fra da vi begynte å bygge den opprinnelige GeneBench. Den gangen scoret vår beste banebrytende modell, GPT‑5, under 5 %. Fremskritt på denne referansetesten tyder på at banebrytende modeller forbedres raskt, også på mindre håndgripelig vitenskapelig resonnering på systemnivå. Med dagens tempo kan denne referansetesten være mettet innen årets slutt.

Resultatene viser også effekten av å skalere beregning ved testtid. På det laveste resonneringsnivået oppnår GPT‑5.6 Sol bare en ensifret beståttandel. På det høyeste resonneringsnivået løser GPT‑5.6 Sol nesten seks ganger så mange spørsmål som GPT‑5.2, samtidig som den bruker omtrent to tredeler så mange token.

Sammenligninger på tvers av modellfamilier tyder på at GPT‑modeller er blant de sterkeste systemene for vitenskapelig resonnering på høyt nivå under kvantitativ usikkerhet. Ytelsesgapet mellom GPT‑5.6, GPT‑5.5 og ledende modeller med åpen kildekode som GLM 5.2 er betydelig større enn vi ville ventet ved ekstrapolering fra kodingsreferansetester⁠(åpnes i et nytt vindu). Det tyder på at modeller med åpen kildekode er mer spesialisert for koding enn for bredere resonneringsevne.

Vi brukte banebrytende GPT‑modeller til å evaluere og herde problemer under utviklingen. Derfor mistenkte vi at GeneBench-Pro kunne være skjev til ugunst for GPT‑modeller sammenlignet med andre modellfamilier. Likevel matchet konkurrentmodeller i beste fall ytelsen til den tilsvarende GPT‑modellen på utgivelsestidspunktet, og de lå ofte betydelig etter.

Disse evalueringsresultatene – helt opp til 31,5 % for GPT‑5.6 Sol (Pro) – er oppsiktsvekkende gitt hvor vanskelige GeneBench-Pro-spørsmålene er. I en spørreundersøkelse anslo vurdererne våre at et typisk GeneBench-Pro-problem ville ta en menneskelig ekspert rundt 20–40 timer å fullføre. Med et konservativt anslag på 200 dollar i timen betyr det at arbeidskostnaden for ett enkelt problem ligger på flere tusen dollar. Dagens AI-agenter er fortsatt for upålitelige til å erstatte menneskelige eksperter, men kostnadsgapet er stort: inferenskostnadene er bare noen få dollar per problem. Det betyr at selv delvis automatisering med dagens evner kan skape betydelig økonomisk og vitenskapelig verdi.

Samtidig viser det at banebrytende modeller fortsatt løser færre enn en tredel av disse problemene, at det finnes betydelig rom for forbedring. Modeller kan komme et stykke på vanskelige problemer, men de strever med å lukke den inferensielle sløyfen. Dette feilmønsteret speiler kontrasten mellom menneskelige eksperter og nybegynnere. Eksperter bruker erfaringen sin til å ramme inn problemet og tilpasse tilnærmingen, mens nybegynnere gjør observasjoner, men strever med å integrere dem i problemets bredere kontekst.

Å oppnå nesten perfekt ytelse vil kreve evalueringer som både måler fremgang pålitelig og identifiserer hvor modeller fortsatt feiler. Referansetester som GeneBench-Pro kan bidra til å gjøre en vag evnesvakhet om til noe vi kan diagnostisere og forbedre. 

Hvis agenter kan automatisere denne typen analyse pålitelig, kan de akselerere vitenskapelige oppdagelser betydelig. Humangenetisk evidens er allerede sentral for målprioritering og translasjonell oppfølging, fordi mekanismer med genetisk støtte har langt større sannsynlighet for å føre til godkjente behandlinger.

Samtidig har sekvenseringskostnadene stupt, og datasett på biobankskala kobler nå molekylær informasjon, fenotyper og helsedata med en bredde vi aldri før har sett. Den begrensende faktoren flytter seg fra datagenerering til å omsette informasjonen i handlingsrettet innsikt. Modeller som konsekvent kan utføre analyser som i dag håndteres av team av menneskelige eksperter, kan forandre industriell forskning ved å akselerere hypotesetriage, oppfølging av mål og iterasjonssyklusen mellom datagenerering og beslutningstaking.

GeneBench-Pro er et første forsøk på å evaluere de mer abstrakte ferdighetene som inngår i god vitenskapelig dømmekraft hos erfarne forskere. Disse ferdighetene gjør dem i stand til intuitivt å identifisere de mest lovende innledende analysene, iterere og revidere tenkningen når data motsier de første antakelsene, og komme frem til konklusjoner som senere kliniske, akademiske eller forretningsmessige beslutninger kan avhenge av. 

Vi forventer at etter hvert som modellevnene øker, vil referansetester som undersøker modellevner på slike høyere abstraksjonsnivåer, bli stadig mer nyttige enn tester som bare måler bokkunnskap eller evnen til å utføre rutineanalyser.