Vi introducerer GeneBench-Pro

Videnskabelige data kommer sjældent med instruktioner. Forskere skal afgøre, om et mønster afspejler biologi eller støj, om dataene kan understøtte det spørgsmål, der stilles, og hvordan hvert resultat bør ændre, hvad de gør herefter. AI-agenter bliver i stigende grad i stand til at udføre komplekse analyser, men egentlig videnskabelig forskning afhænger ikke blot af at kunne genkalde fakta eller følge en foruddefineret arbejdsgang, men også af at kunne foretage disse mere overordnede vurderinger.

I dag introducerer vi GeneBench-Pro – en udfordrende benchmark på forskningsniveau til at teste, om model kan håndtere den type vurderingstung analyse, som beregningsbiologi i praksis kræver. Den bygger videre på GeneBench⁠(åbner i et nyt vindue) for at dække sværere og mere realistiske opgaver inden for genomik, kvantitativ biologi og translationel medicin og indfanger kompleksiteten, den iterative karakter og tvetydigheden i videnskabelig forskning inden for beregningsbiologi. 

Hidtil har der været få overbevisende vurderinger af de skønsmæssige beslutninger på systemniveau, som gør beregningsbaseret forskning i praksis vanskelig. Disse omfatter håndtering af tvetydighed, revurdering af antagelser, valg af den rette analysetilgang og viden om, hvornår et resultat er beslutningsklart. Eftersom disse færdigheder er vanskelige at formalisere, er de også vanskelige at vurdere stringent, samtidig med at svagheder på disse områder i stigende grad begrænser den samlede AI-ydeevne.

GeneBench-Pro er udviklet til præcist at måle disse kapaciteter på højere niveau. I GeneBench-Pro definerer vi "forskningsmæssig dømmekraft" som de kæder af skønsmæssige vurderinger, der former en analyse: hvilke spørgsmål dataene kan understøtte, hvordan tidlig diagnostik bør ændre modellen eller estimanden, og hvornår en indledende plan skal revideres. Hver GeneBench-Pro-opgave giver modellen et realistisk og rodet datasæt, en kort eksperimentel kontekst og en målestimand, der er knyttet til en efterfølgende beslutning. For at svare korrekt skal modellen undersøge dataene, vælge en passende analytisk tilgang, indgå i en iterativ proces med eksperimentering og levere et endeligt svar.

Inden for biologi er omkostningerne ved datagenerering (f.eks. genomsekventering) faldet dramatisk, og nogle forskere hævder nu⁠(åbner i et nyt vindue), at den begrænsende faktor ikke længere er indsamling af prøver, men efterfølgende beregning og analyse. GeneBench-Pro er udviklet til at vurdere fremskridt med at håndtere denne flaskehals med 129 spørgsmål, der dækker en bred vifte af indstillinger og metoder inden for beregningsbiologi.

GeneBench-Pro er også designet til at undgå almindelige benchmark-fejl. Mange biologiske benchmarks med lang tidshorisont konstruerer flertrinsspørgsmål omkring rodede historiske datasæt, hvor der ikke nødvendigvis findes én entydig korrekt vej gennem analysen. En agent kan vælge én forsvarlig grænseværdi, mens en anden kan vælge en anden, men lige så forsvarlig mulighed, hvilket i højere grad afspejler de vilkårlige valg, som benchmark-skaberen har truffet, end eventuelle grundlæggende forskelle i modellens ydeevne. Det omvendte kan også ske: Hvis et problem er for numerisk ufølsomt, kan en agent begå grundlæggende fejl i en analyse og stadig frembringe et bestået resultat.

For at undgå disse fejltilstande er hver GeneBench-Pro-opgave konstrueret syntetisk: vi kender den fulde kausale struktur og simulerer direkte den datagenererende proces. Det gør det muligt for os at finjustere kompleksiteten af hvert problem, sikre, at rimelige forskelle i subjektive analytiske valg stadig giver accepterede numeriske resultater, og verificere (gennem ablationsstudier), at plausible, men ukorrekte analyser ikke består. Derefter gennemgår vi opgaveudkast via detaljerede sporingsanalyser for at kontrollere for informationslækage og utilsigtede løsningsveje. Det giver os tillid til, at det at finde det rigtige svar afhænger af at vælge den korrekte analytiske fremgangsmåde og ikke af at udnytte en genvej eller ramme en vilkårlig præference hos forfatteren.

Vi sendte 82 af de 129 GeneBench-Pro-spørgsmål til eksterne fageksperter, herunder kandidatstuderende, postdoktorale forskere, industriforskere og professorer. Bedømmerne vurderede realismen i hvert problem, om målsvaret kunne identificeres, og om metoderne og estimatorerne var hensigtsmæssige. Feedback blev brugt til at forbedre problemer.

Hver GeneBench-Pro-opgave er en selvstændig videnskabelig analyse. Agenter får adgang til et isoleret arbejdsområde med en kort prompt, datafiler og en standardbioinformatikstack, herunder Python, biblioteker til videnskabelige beregninger og grundlæggende genomikpakker som PLINK 2.0 (selvom opgaverne ikke kræver domænespecifikke værktøjer).

Eftersom vi kontrollerer hele datagenereringsprocessen, kan vi vurdere korrektheden deterministisk i forhold til kendte mål og dermed undgå variation som følge af valg af model og effekter af ordrigdom, som findes i standardevaluering baseret på bedømmelsesrubrikker.

Hver opgave leveres også med omfattende metadata, herunder den tiltænkte analysestruktur, vedhæftede datafiler, et detaljeret casestudie på flere sider og resultater af ekspertgennemgange. Vi frigiver 10 repræsentative GeneBench-Pro-spørgsmål som open source på Hugging Face⁠(åbner i et nyt vindue) med en interaktiv webgrænseflade til at gennemse dem. Endelig vil vi stille et udvalg på 50 spørgsmål til rådighed for Artificial Analysis⁠(åbner i et nyt vindue) med henblik på uafhængig benchmarking foretaget af en tredjepart i den nærmeste fremtid.

Vores stærkeste model, GPT‑5.6 Sol, opnår en beståelsesrate på 28,7 % på det højeste ræsonneringsniveau (31,5 % med Pro-tilstand aktiveret). Det er en markant stigning fra dengang, vi begyndte at bygge den oprindelige GeneBench; på det tidspunkt opnåede vores bedste banebrydende model, GPT‑5, en score på under 5 %. Fremskridtene på dette benchmark tyder på, at banebrydende model forbedres hurtigt, selv inden for mindre håndgribelig videnskabelig ræsonnering på systemniveau. I det nuværende tempo kan denne benchmark være mættet inden årets udgang.

Resultaterne viser også effekten af at skalere beregningsressourcerne ved testtid. På det laveste ræsonneringsniveau opnår GPT‑5.6 Sol kun en encifret beståelsesprocent. På det højeste ræsonneringsniveau løser GPT‑5.6 Sol næsten seks gange så mange spørgsmål som GPT‑5.2 gør, samtidig med at den bruger omkring to tredjedele så mange tokens.

Sammenligninger på tværs af model-familier tyder på, at GPT‑modeller er blandt de stærkeste systemer til videnskabelig ræsonnering på højt niveau under kvantitativ usikkerhed. Ydelsesforskellen mellem GPT‑5.6, GPT‑5.5 og førende open-source-modeller såsom GLM 5.2 er betydeligt større, end vi ville forvente ved ekstrapolering fra kodningsbenchmarks⁠(åbner i et nyt vindue), hvilket indikerer, at open-source-modeller er mere specialiserede i kodning end i bredere ræsonneringsevne.

Vi brugte banebrydende GPT‑modeller til at evaluere og styrke problemstillingerne under udviklingen. Derfor havde vi en mistanke om, at GeneBench-Pro kunne være forudindtaget over for GPT‑modeller i forhold til andre modelfamilier. Konkurrerende modeller matchede dog i bedste fald ydeevnen for den tilsvarende GPT‑model på udgivelsestidspunktet og klarede sig som regel betydeligt dårligere.

Disse evalueringsresultater – helt op til 31,5 % på GPT‑5.6 Sol (Pro) – er bemærkelsesværdige i betragtning af sværhedsgraden af spørgsmålene i GeneBench-Pro. I en undersøgelse anslog vores bedømmere, at en typisk GeneBench-Pro-opgave ville tage en menneskelig ekspert omkring 20-40 timer at gennemføre. Med et konservativt skøn på 200 USD i timen betyder det, at omkostningerne til menneskelig arbejdskraft for et enkelt problem løber op i tusindvis af dollars. Nuværende AI-agenter er stadig for upålidelige til at erstatte menneskelige eksperter, men omkostningskløften er stor, idet inferensomkostningerne kun ligger på nogle få USD pr. problem. Det betyder, at selv delvis automatisering med de nuværende kapaciteter kan skabe betydelig økonomisk og videnskabelig værdi.

Alligevel viser det faktum, at banebrydende model stadig løser færre end en tredjedel af disse problemer, at der er et betydeligt forbedringspotentiale. Modeller kan gøre delvise fremskridt med udfordrende problemer, men de har svært ved at lukke den inferenssløjfe. Dette fejlmønster afspejler kontrasten mellem menneskelige eksperter og nybegyndere. Eksperter bruger deres erfaring til at afgrænse problemstillingen og tilpasse deres tilgang, mens nybegyndere gør observationer, men har svært ved at integrere dem i problemets bredere kontekst.

At opnå næsten perfekt ydeevne kræver evalueringer, som både pålideligt måler fremskridt og identificerer, hvor model stadig fejler. Benchmarks som GeneBench-Pro kan hjælpe med at forvandle en uklar funktionalitetsmangel til noget, vi kan diagnosticere og forbedre. 

Hvis agenter pålideligt kan automatisere denne type analyse, kan de markant fremskynde videnskabelige opdagelser. Genetisk evidens fra mennesker er allerede central for prioritering af mål og translationel opfølgning, fordi mekanismer med genetisk belæg har langt større sandsynlighed for at føre til godkendte behandlinger.

Samtidig er sekventeringsomkostningerne faldet betydeligt, og datasæt i biobankskala forbinder nu molekylære, fænotypiske og sundhedsjournaloplysninger med hidtil uset bredde. Den begrænsende faktor skifter fra datagenerering til at omsætte informationen til handlingsorienterede indsigter. Modeller, der konsekvent kan udføre analyser, som i dag håndteres af eksperthold, kan transformere industriel forskning ved at accelerere triagering af hypoteser, opfølgning på mål og iterationscyklus mellem datagenerering og beslutningstagning.

GeneBench-Pro repræsenterer et første forsøg på at evaluere de mere abstrakte færdigheder, der indgår i god videnskabelig dømmekraft, som erfarne fagfolk besidder. Disse færdigheder gør dem i stand til intuitivt at fornemme og identificere de mest lovende indledende analyser, iterere og revidere deres tænkning, når data modsiger de indledende antagelser, og nå frem til konklusioner, som efterfølgende kliniske, akademiske eller forretningsmæssige beslutninger kan afhænge af. 

Vi forventer, at efterhånden som modellers kapaciteter udvikler sig, vil benchmarks, der undersøger modellers evner på disse højere abstraktionsniveauer, blive stadig mere nyttige, ud over dem, der blot tester boglig viden eller evnen til at udføre rutineanalyser.