Introductie van GeneBench-Pro

Wetenschappelijke data worden zelden geleverd met instructies. Onderzoekers moeten bepalen of een patroon een biologisch verschijnsel of ruis weerspiegelt, of de gegevens voldoende zijn om de gestelde vraag te beantwoorden, en welke gevolgen elk resultaat moet hebben voor hun volgende stappen. AI-agenten zijn steeds beter in staat om complexe analyses uit te voeren, maar echt wetenschappelijk onderzoek berust niet simpelweg op het ophalen van feiten of het volgen van een vooraf gedefinieerde workflow, maar ook op het maken van deze hogereorde-oordelen.

Vandaag introduceren we GeneBench-Pro, een uitdagende benchmark op onderzoeksniveau om te testen of modellen kunnen omgaan met het soort analyses waarbij veel oordeelsvorming komt kijken en die echte computationele biologie vereist. Het bouwt voort op GeneBench⁠(opent in een nieuw venster) om moeilijkere, realistischere taken te omvatten binnen genomica, kwantitatieve biologie en translationele geneeskunde, waarbij de complexiteit, iteratieve aard en ambiguïteit van wetenschappelijk onderzoek in de computationele biologie worden vastgelegd. 

Tot op heden zijn er weinig overtuigende evaluaties geweest van de afwegingen op systeemniveau die computationeel onderzoek in de praktijk moeilijk maken. Hiertoe behoren het omgaan met ambiguïteit, het herzien van aannames, het kiezen van het juiste analysetraject en weten wanneer een resultaat klaar is voor besluitvorming. Omdat deze vaardigheden moeilijk te formaliseren zijn, zijn ze ook moeilijk nauwgezet te beoordelen, terwijl tekortkomingen daarin de algehele AI-prestaties steeds meer beperken.

GeneBench-Pro is ontworpen om deze capaciteiten op hoger niveau nauwkeurig te meten. Binnen GeneBench-Pro definiëren we "onderzoeksgevoel" als de ketens van afwegingen die een analyse vormgeven: welke vragen de data kunnen onderbouwen, hoe vroege diagnostiek het model of de estimand zou moeten veranderen, en wanneer een aanvankelijk plan moet worden herzien. Elke GeneBench-Pro-opgave geeft het model een realistische en rommelige dataset, een beknopte experimentele context en een doelestimand die is gekoppeld aan een vervolgbeslissing. Om correct te antwoorden, moet het model de gegevens verkennen, een passende analytische aanpak kiezen, een iteratief proces van experimenteren doorlopen en een definitief antwoord geven.

In de biologie zijn de kosten van gegevensgeneratie (bijv. genoomsequencing) drastisch gedaald, en sommige onderzoekers stellen nu⁠(opent in een nieuw venster) dat de beperkende factor niet langer monsterverzameling is, maar verdere computationele verwerking en analyse. GeneBench-Pro is ontwikkeld om de vooruitgang bij het aanpakken van dat knelpunt te beoordelen, met 129 vragen die een breed scala aan contexten en methoden binnen de computationele biologie bestrijken.

GeneBench-Pro is ook ontworpen om veelvoorkomende benchmarkfouten te voorkomen. Veel biologie-benchmarks met een lange horizon stellen meerstapsvragen rond rommelige historische datasets, waarbij er mogelijk niet één juiste weg door de analyse is. Een agent kan de ene verdedigbare afkapwaarde kiezen, terwijl een andere agent een andere maar even goed verdedigbare optie kiest; dit weerspiegelt eerder de arbitraire keuzes van de maker van de benchmark dan fundamentele verschillen in modelprestaties. Het omgekeerde kan ook gebeuren: als een probleem te weinig numeriek gevoelig is, kan een agent fundamentele fouten maken in een analyse en toch een voldoende resultaat produceren.

Om deze faalmodi te vermijden, wordt elk GeneBench-Pro-probleem synthetisch opgebouwd: we kennen de volledige causale structuur en simuleren direct het datagenererende proces. Dat stelt ons in staat om de complexiteit van elk probleem af te stemmen, ervoor te zorgen dat redelijke verschillen in subjectieve analytische keuzes nog steeds geaccepteerde numerieke resultaten opleveren, en te verifiëren (via ablatiestudies) dat plausibele maar onjuiste analyses niet slagen. Vervolgens auditen we conceptversies van opgaven aan de hand van gedetailleerde trace-analyses om te controleren op informatielekken en onbedoelde oplossingsroutes. Dit geeft ons het vertrouwen dat tot het juiste antwoord komen afhangt van het kiezen van de juiste analytische route, en niet van het gebruikmaken van een sluiproute of het aansluiten bij een willekeurige voorkeur van de auteur.

We stuurden 82 van de 129 GeneBench-Pro-vragen naar externe domeinexperts, waaronder masterstudenten, postdoctorale onderzoekers, wetenschappers uit het bedrijfsleven en hoogleraren. Beoordelaars beoordeelden het realiteitsgehalte van elk vraagstuk, of het beoogde antwoord identificeerbaar was en of de methoden en schatters geschikt waren. Feedback is gebruikt om problemen te verbeteren.

Elk GeneBench-Pro-probleem is een op zichzelf staande wetenschappelijke analyse. Agenten krijgen toegang tot een geïsoleerde werkruimte met een korte prompt, databestanden en een standaard bio-informaticastack inclusief Python, bibliotheken voor wetenschappelijk rekenen en basispakketten voor genomics zoals PLINK 2.0 (hoewel de opdrachten geen domeinspecifieke tools vereisen).

Omdat we het volledige proces van datageneratie beheersen, kunnen we de correctheid deterministisch beoordelen aan de hand van bekende doelen. Hierdoor vermijden we de variabiliteit door modelkeuze en de invloed van breedsprakigheid die je ziet bij standaard evaluaties op basis van beoordelingsrubrieken.

Elk vraagstuk is ook voorzien van uitgebreide metadata, waaronder de beoogde analysestructuur, bijgevoegde databestanden, een gedetailleerde casestudy van meerdere pagina’s en de uitkomsten van expertbeoordelingen. We stellen 10 representatieve GeneBench-Pro-vragen volledig als open source beschikbaar op Hugging Face⁠(opent in een nieuw venster), met een interactieve webinterface om ze te bekijken. Tot slot zullen we in de nabije toekomst een deelset van 50 vragen verstrekken aan Artificial Analysis⁠(opent in een nieuw venster) voor onafhankelijke benchmarking door een derde partij.

Ons sterkste model, GPT‑5.6 Sol, behaalt een slagingspercentage van 28,7% op het hoogste redeneringsniveau (31,5% met Pro-modus ingeschakeld). Dat is een sterke stijging ten opzichte van het moment waarop we begonnen met het bouwen van de oorspronkelijke GeneBench; destijds scoorde ons beste grensverleggend model, GPT‑5, onder de 5%. Vooruitgang op deze benchmark wijst erop dat grensverleggende modellen zich snel verbeteren, zelfs op het gebied van minder tastbaar, wetenschappelijk redeneren op systeemniveau. In het huidige tempo is deze benchmark mogelijk tegen het einde van het jaar verzadigd.

De resultaten laten ook de impact zien van het opschalen van de rekentijd tijdens de testfase (test-time compute). Op het laagste redeneringsniveau haalt GPT‑5.6 Sol slechts een slagingspercentage van één cijfer. Op het hoogste redeneringsniveau lost GPT‑5.6 Sol bijna zes keer zoveel vragen op als GPT‑5.2 doet terwijl het ongeveer twee-derde zoveel tokens gebruikt.

Vergelijkingen tussen modelfamilies suggereren dat GPT‑modellen tot de sterkste systemen behoren voor wetenschappelijke redenering op hoog niveau onder kwantitatieve onzekerheid. Het prestatieverschil tussen GPT‑5.6, Het verschil tussen GPT‑5.5 en toonaangevende open source-modellen zoals GLM 5.2 is aanzienlijk groter dan we zouden verwachten wanneer we extrapoleren op basis van programmeerbenchmarks⁠(opent in een nieuw venster), wat erop wijst dat open source-modellen sterker gespecialiseerd zijn in programmeren dan in bredere redenering.

We hebben grensverleggende GPT‑modellen gebruikt om problemen tijdens de ontwikkeling te evalueren en te versterken. Om die reden vermoedden we dat GeneBench-Pro mogelijk vertekend was in het nadeel van GPT‑modellen ten opzichte van andere modelfamilies. Concurrerende modellen evenaarden echter hooguit de prestaties van het overeenkomstige GPT‑model op het moment van release, en bleven doorgaans aanzienlijk achter.

Deze evaluatieresultaten—tot wel 31,5% op GPT‑5.6 Sol (Pro)—zijn opmerkelijk gezien de moeilijkheidsgraad van de GeneBench-Pro-vragen. In een enquête schatten onze beoordelaars dat een typische GeneBench-Pro-opgave een menselijke expert ongeveer 20–40 uur zou kosten om op te lossen. Bij een voorzichtige schatting van $200 per uur komen de kosten voor menselijke arbeid voor één enkel probleem al uit op duizenden dollars. Huidige AI-agenten zijn nog steeds te onbetrouwbaar om menselijke experts te vervangen, maar het kostenverschil is groot, met inferentiekosten van slechts enkele dollars per probleem. Dat betekent dat zelfs gedeeltelijke automatisering met de huidige mogelijkheden aanzienlijke economische en wetenschappelijke waarde zou kunnen creëren.

Toch laat het feit dat grensverleggende modellen nog steeds minder dan een derde van deze problemen oplossen zien dat er nog veel ruimte is voor verbetering. Modellen kunnen gedeeltelijke vooruitgang boeken bij uitdagende problemen, maar ze hebben moeite om de inferentiële lus te sluiten. Dit faalpatroon weerspiegelt het contrast tussen menselijke experts en novices. Experts gebruiken hun ervaring om het probleem te kaderen en hun aanpak aan te passen, terwijl novices waarnemingen doen maar moeite hebben om die in de bredere context van het probleem te integreren.

Het bereiken van nagenoeg perfecte prestaties vereist evaluaties die zowel de voortgang betrouwbaar meten als vaststellen waar modellen nog tekortschieten. Benchmarks zoals GeneBench-Pro kunnen helpen om een vage tekortkoming in capaciteiten om te zetten in iets dat we kunnen diagnosticeren en verbeteren. 

Als agents dit soort analyses betrouwbaar kunnen automatiseren, zouden ze wetenschappelijke ontdekkingen aanzienlijk kunnen versnellen. Genetisch bewijs bij mensen staat al centraal bij de prioritering van doelen en translationeel vervolgonderzoek, omdat mechanismen met genetische onderbouwing veel waarschijnlijker tot goedgekeurde behandelingen leiden.

Intussen zijn de kosten voor sequenering sterk gedaald en koppelen datasets op biobankniveau nu moleculaire, fenotypische en gezondheidsdossierinformatie op ongekende schaal. De beperkende factor verschuift van het genereren van data naar het omzetten van de informatie in bruikbare inzichten. Modellen die consistent analyses kunnen uitvoeren die nu door teams van menselijke experts worden uitgevoerd, zouden industrieel onderzoek kunnen transformeren door hypothesetriage, vervolgonderzoek naar doelen en de iteratiecyclus tussen datageneratie en besluitvorming te versnellen.

GeneBench-Pro vormt een eerste poging om de abstractere vaardigheden te evalueren die betrokken zijn bij goed wetenschappelijk oordeelsvermogen van ervaren onderzoekers. Deze vaardigheden stellen hen in staat om de meest veelbelovende eerste analyses intuïtief aan te voelen en te identificeren, hun denkproces iteratief bij te stellen en te herzien wanneer gegevens de aanvankelijke aannames tegenspreken, en conclusies te trekken waarop daaropvolgende klinische, academische of zakelijke beslissingen kunnen berusten. 

We verwachten dat naarmate de capaciteiten van modellen toenemen, benchmarks die de vaardigheden van modellen op deze hogere abstractieniveaus toetsen steeds nuttiger zullen worden, naast benchmarks die slechts boekenkennis of het vermogen om routinematige analyses uit te voeren testen.