Vi introducerer GeneBench-Pro

Videnskabelige data kommer sjældent med en brugsanvisning. Forskere må afgøre, om et mønster afspejler biologi eller støj, om data kan bære det spørgsmål, der stilles, og hvordan hvert resultat bør ændre det næste skridt. AI-agenter bliver stadig bedre til at udføre komplekse analyser, men reel videnskabelig forskning afhænger ikke kun af at genkalde fakta eller følge et foruddefineret workflow, men også af at træffe disse vurderinger på højere niveau.

I dag introducerer vi GeneBench-Pro – et udfordrende benchmark på forskningsniveau, der tester, om modeller kan håndtere den vurderingstunge analyse, som computational biology kræver i praksis. Det bygger videre på GeneBench⁠(åbner i et nyt vindue) og dækker sværere og mere realistiske opgaver inden for genomik, kvantitativ biologi og translationel medicin, så kompleksiteten, den iterative karakter og tvetydigheden i videnskabelig forskning i computational biology indfanges. 

Hidtil har der været få overbevisende vurderinger af de systemniveaubaserede skøn, der gør computational research i den virkelige verden vanskelig. Det omfatter at håndtere tvetydighed, revidere antagelser, vælge den rette analysevej og vide, hvornår et resultat er klar til beslutning. Fordi disse færdigheder er svære at formalisere, er de også svære at vurdere stringent, selv om svagheder i dem i stigende grad begrænser AI's samlede præstation.

GeneBench-Pro er designet til præcist at måle disse kapaciteter på højere niveau. I GeneBench-Pro definerer vi »research taste« som de kæder af skøn, der former en analyse: hvilke spørgsmål data kan understøtte, hvordan tidlige diagnostikker bør ændre modellen eller estimanden, og hvornår en oprindelig plan skal revideres. Hvert GeneBench-Pro-problem giver modellen et realistisk og rodet datasæt, kort eksperimentel kontekst og en mål-estimand knyttet til en efterfølgende beslutning. For at svare korrekt skal modellen udforske dataene, vælge en passende analytisk tilgang, indgå i en iterativ eksperimentproces og levere et endeligt svar.

I biologi er omkostningerne ved datagenerering (f.eks. genomsekventering) faldet dramatisk, og nogle forskere argumenterer nu for⁠(åbner i et nyt vindue), at den begrænsende faktor ikke længere er indsamling af prøver, men efterfølgende beregning og analyse. GeneBench-Pro er bygget til at vurdere fremskridt i håndteringen af den flaskehals med 129 spørgsmål, der dækker et bredt udvalg af miljøer og metoder i computational biology.

GeneBench-Pro er også designet til at undgå almindelige benchmarkfejl. Mange biologi-benchmarks med lang tidshorisont bygger flertrinsopgaver op omkring rodede historiske datasæt, hvor der måske ikke findes én korrekt vej gennem analysen. Én agent kan vælge én forsvarlig grænse, mens en anden vælger en anden, men lige så forsvarlig, mulighed, hvilket afspejler benchmarkskaberens vilkårlige valg mere end grundlæggende forskelle i modelpræstation. Det omvendte kan også ske: Hvis et problem er for numerisk ufølsomt, kan en agent begå grundlæggende fejl i en analyse og stadig levere et bestået resultat.

For at undgå disse fejltilstande bygges hvert GeneBench-Pro-problem syntetisk: Vi kender hele den kausale struktur og simulerer datagenereringsprocessen direkte. Det gør det muligt at justere kompleksiteten i hvert problem, sikre at rimelige forskelle i subjektive analytiske valg stadig giver accepterede numeriske resultater, og verificere (via ablationsstudier), at plausible, men forkerte analyser fejler. Derefter auditerer vi problemudkast gennem detaljerede sporingsanalyser for at kontrollere informationslækage og utilsigtede løsningsveje. Det giver os tillid til, at det rigtige svar afhænger af at vælge den korrekte analytiske vej –ikke af at udnytte en genvej eller matche en vilkårlig forfatterpræference.

Vi sendte 82 af de 129 GeneBench-Pro-spørgsmål til eksterne domæneeksperter, herunder kandidatstuderende, postdocs, brancheforskere og professorer. Bedømmerne vurderede hvert problems realisme, om målsvaret kunne identificeres, og om metoderne og estimatorerne var passende. Feedback blev brugt til at forbedre problemerne.

Hvert GeneBench-Pro-problem er en selvstændig videnskabelig analyse. Agenter får adgang til et isoleret arbejdsområde med en kort prompt, datafiler og en standard-bioinformatikstack med Python, biblioteker til scientific computing og basale genomikpakker som PLINK 2.0 (selv om problemerne ikke kræver domænespecifikke værktøjer).

Fordi vi kontrollerer hele datagenereringsprocessen, kan vi bedømme korrekthed deterministisk op mod kendte mål og undgå modelvalgsvariabilitet og ordrigdomseffekter fra standardrubrikbaseret evaluering.

Hvert problem ledsages også af rige metadata, herunder den tilsigtede analysestruktur, vedhæftede datafiler, et detaljeret casestudie på flere sider og resultater fra ekspertgennemgang. Vi open-sourcer fuldt ud 10 repræsentative GeneBench-Pro-spørgsmål på Hugging Face⁠(åbner i et nyt vindue) med en interaktiv webgrænseflade til at gennemse dem. Endelig vil vi i nær fremtid stille en delmængde på 50 spørgsmål til rådighed for Artificial Analysis⁠(åbner i et nyt vindue) til uafhængig tredjepartsbenchmarking.

Vores stærkeste model, GPT‑5.6 Sol, opnår en beståelsesrate på 28,7 % ved det højeste ræsonneringsniveau (31,5 % med Pro-tilstand aktiveret). Det er en markant stigning fra dengang, vi begyndte at bygge det oprindelige GeneBench; på det tidspunkt scorede vores bedste banebrydende model, GPT‑5, under 5 %. Fremskridt på dette benchmark tyder på, at banebrydende modeller forbedres hurtigt, selv på mindre håndgribelig videnskabelig ræsonnering på systemniveau. Med det nuværende tempo kan dette benchmark være mættet ved årets udgang.

Resultaterne viser også effekten af at skalere beregning ved testtid. Ved det laveste ræsonneringsniveau opnår GPT‑5.6 Sol kun en encifret beståelsesrate. Ved det højeste ræsonneringsniveau løser GPT‑5.6 Sol næsten seks gange så mange spørgsmål som GPT‑5.2, mens den bruger omkring to tredjedele så mange tokens.

Sammenligninger på tværs af modelfamilier tyder på, at GPT‑modeller er blandt de stærkeste systemer til videnskabelig ræsonnering på højt niveau under kvantitativ usikkerhed. Præstationskløften mellem GPT‑5.6, GPT‑5.5 og førende open source-modeller som GLM 5.2 er betydeligt større, end vi ville forvente ved ekstrapolation fra coding-benchmarks⁠(åbner i et nyt vindue), hvilket indikerer, at open source-modeller er mere specialiserede til coding end til bredere ræsonneringsevne.

Vi brugte banebrydende GPT‑modeller til at evaluere og gøre problemerne mere robuste under udviklingen. Derfor mistænkte vi, at GeneBench-Pro kunne være skævvredet mod GPT‑modeller sammenlignet med andre modelfamilier. Konkurrentmodeller matchede dog i bedste fald præstationen for den tilsvarende GPT‑model på udgivelsestidspunktet og klarede sig som regel betydeligt dårligere.

Disse evalueringsresultater – helt op til 31,5 % på GPT‑5.6 Sol (Pro) – er slående i lyset af sværhedsgraden af GeneBench-Pro-spørgsmålene. I en undersøgelse anslog vores bedømmere, at et typisk GeneBench-Pro-problem ville tage en menneskelig ekspert omkring 20-40 timer at løse. Ved et konservativt skøn på 200 dollars i timen placerer det arbejdskraftomkostningen for et enkelt problem i tusindvis af dollars. Nuværende AI-agenter er stadig for upålidelige til at erstatte menneskelige eksperter, men omkostningsforskellen er stor, da inferens kun koster få dollars pr. problem. Det betyder, at selv delvis automatisering med nuværende kapaciteter kan skabe meningsfuld økonomisk og videnskabelig værdi.

Alligevel viser det forhold, at banebrydende modeller stadig løser færre end en tredjedel af disse problemer, at der er betydelig plads til forbedring. Modeller kan gøre delvise fremskridt på udfordrende problemer, men de har svært ved at lukke den inferentielle løkke. Dette fejlmønster afspejler kontrasten mellem menneskelige eksperter og nybegyndere. Eksperter bruger deres erfaring til at indramme problemet og tilpasse deres tilgang, mens nybegyndere gør observationer, men har svært ved at integrere dem i problemets bredere kontekst.

At opnå næsten perfekt præstation vil kræve evalueringer, der både måler fremskridt pålideligt og identificerer, hvor modeller stadig fejler. Benchmarks som GeneBench-Pro kan hjælpe med at gøre en vag kapacitetsmangel til noget, vi kan diagnosticere og forbedre. 

Hvis agenter pålideligt kan automatisere denne type analyse, kan de markant accelerere videnskabelige opdagelser. Human genetisk evidens er allerede central for målprioritering og translationel opfølgning, fordi mekanismer med genetisk støtte langt oftere fører til godkendte behandlinger.

Samtidig er sekventeringsomkostningerne styrtdykket, og datasæt i biobankskala forbinder nu molekylære, fænotypiske og sundhedsjournalbaserede oplysninger i hidtil uset bredde. Den begrænsende faktor flytter sig fra datagenerering til at omsætte informationen til handlingsrettede indsigter. Modeller, der konsekvent kan udføre analyser, som i dag håndteres af teams af menneskelige eksperter, kan transformere industriel forskning ved at accelerere hypotesetriagering, målopfølgning og iterationscyklussen mellem datagenerering og beslutningstagning.

GeneBench-Pro er et første forsøg på at evaluere de mere abstrakte færdigheder, der indgår i den gode videnskabelige dømmekraft, som erfarne forskere har. Disse færdigheder gør dem i stand til intuitivt at finde de mest lovende indledende analyser, iterere og revidere deres tænkning, når data modsiger de oprindelige antagelser, og nå frem til konklusioner, som efterfølgende kliniske, akademiske eller forretningsmæssige beslutninger kan afhænge af. 

Vi forventer, at benchmarks, der undersøger modellers evner på disse højere abstraktionsniveauer, bliver stadig mere nyttige, efterhånden som modelkapaciteterne udvikler sig – ud over dem, der blot tester boglig viden eller evnen til at udføre rutineanalyser.