Introductie van LifeSciBench

Agentic AI-systemen kunnen steeds beter wetenschappelijke taken uitvoeren. Hun waarde voor levenswetenschappers hangt af van hoe goed ze de complexiteit van echt onderzoek aankunnen. Dat werk is zelden een losse feitenvraag of een afgebakende voorspellingstaak. Onderzoekers duiden onvolledig bewijs, wegen conflicterende resultaten, ontwerpen lastige experimenten, lossen assayproblemen op, beoordelen translationeel risico en kiezen onder onzekerheid de volgende stap.

Huidige benchmarks meten die vaardigheden maar beperkt. Veel evaluaties in de levenswetenschappen testen smalle domeinen of losse vaardigheden, met vaste vraagvormen en nette referentieantwoorden. Dat is nuttig, maar laat vaak niet zien of een model breder onderzoekswerk kan ondersteunen.

Daarom ontwikkelden we LifeSciBench. Elke taak is gebaseerd op het oordeel van praktiserende levenswetenschappers met PhD-opleiding en directe ervaring met geneesmiddelenontwikkeling in biotech en farma.

LifeSciBench bevat 750 door experts opgestelde taken in zeven workflows en zeven biologische domeinen.

LifeSciBench meet of AI-systemen realistische onderzoekstaken in de levenswetenschappen kunnen ondersteunen, niet alleen biologievragen beantwoorden. Voor de taxonomie vroegen we praktiserende levenswetenschappers welke workflows zij het vaakst gebruiken in toegepast onderzoek. Hun antwoorden groepeerden we in zeven categorieën: bewijsverwerking, analyse, ontwerp en optimalisatie, wetenschappelijke redenering, validatie en operationele uitvoering, translatie en wetenschapscommunicatie.

Elke taak lijkt op een verzoek aan een deskundige collega: een wetenschappelijke prompt, relevante context of artefacten en een vrij antwoord. Door experts opgestelde rubrics beoordelen of een model voor een specifiek probleem het juiste antwoord geeft, met de verwachte details, onderbouwing, kanttekeningen en opmaak.

LifeSciBench toetst wetenschappelijke redenering én de praktische vaardigheden die nodig zijn voor echt wetenschappelijk gebruik. Modellen moeten realistische onderzoeksproblemen oplossen: bewijs interpreteren, oordelen op basis van domeinkennis en conclusies trekken die expertbeoordelaars kunnen gebruiken. Veel taken vereisen ook omgaan met onzekerheid en redeneren over databestanden, niet alleen over de prompttekst.

De benchmark weerspiegelt de complexiteit van werk in de levenswetenschappen. In totaal vraagt 79% van de taken meerdere redeneer- of beslisstappen, gemiddeld vier per taak. LifeSciBench bevat 1.062 bijlagen: figuren, pdf's, tabellen, sequentiebestanden, structuur- of chemiebestanden en webreferenties. Bij 53% van de taken moeten modellen informatie uit minstens één artefact interpreteren of combineren.

De taken zijn gemaakt door 173 expertwetenschappers uit uiteenlopende levenswetenschappelijke disciplines. Allen hadden een PhD-opleiding en ervaring in biotech of farma. Taken kregen vóór acceptatie zoveel revisies als nodig was; geaccepteerde taken doorliepen gemiddeld zes automatische zelfreviews en minstens twee expertreviews. Reviews steunden op een verifieerbaar juist antwoord of sterke expertconsensus, met minstens 90% overeenstemming in het domein. Zo bleven geaccepteerde taken wetenschappelijk onderbouwd, goed beoordeelbaar en representatief voor toegepast onderzoek.

LifeSciBench-taken worden beoordeeld met een taakspecifieke rubric die de verwachte reactie opsplitst in claims, berekeningen, beslissingen, onderbouwingen en meer. Samen bevatten de door experts opgestelde rubrics 19.020 criteria, gemiddeld 25 per taak, voor wetenschappelijke juistheid en bruikbaarheid bij onderzoeksbesluiten.

Dit past bij de praktijk: veel levenswetenschappelijke taken kun je niet beoordelen door alleen het eindantwoord te controleren. Een antwoord kan de juiste hoofdconclusie trekken, maar toch onvolledig zijn als het bijvoorbeeld een assaybeperking of belangrijke biologische nuance mist. Omgekeerd kan een gedeeltelijk antwoord goede redenering bevatten zonder de taak volledig op te lossen.

De fijnmazige rubrics leggen die nuance vast. LifeSciBench beoordeelt niet alleen het eindantwoord, maar ook of een model er wetenschappelijk valide en praktisch bruikbaar toe komt.

We valideerden LifeSciBench met een onafhankelijke expertreview. De feedback kwam van 453 beoordelaars die de taken niet hadden geschreven. Van hen had 97% een PhD of gelijkwaardig doctoraat, gemiddeld 12 jaar ervaring en 14 peer-reviewed publicaties; 88% meldde minstens één prijs of beurs.

Beoordelaars scoorden of elke taak voldeed aan eisen voor een sterke benchmarkvraag: aansluiting op echt onderzoek, toetsing van redenering en domeinkennis, basis in bewijs of consensus en nut voor het meten van modelprestaties. In elke categorie was de overeenstemming hoger dan 96%.

De opmerkingen van beoordelaars bevestigden de cijfers:

We rapporteren twee aanvullende maatstaven. Slagingspercentage: het aandeel taken waarbij een model de taakdrempel van 70% haalt. Score: de gemiddelde rubricscore, met deelpunten voor criteria, ook als de taak niet volledig is opgelost. Beide tellen, omdat een wetenschappelijk antwoord deels juist of nuttig kan zijn zonder volledig te zijn.

Modelprestaties verschillen sterk per taaktype, workflow en antwoordvorm.

LifeSciBench laat zien dat frontiermodellen relatief sterk zijn in wetenschappelijke synthese, communicatie en gestructureerde interpretatie. De absolute slagingspercentages blijven bescheiden, dus deze domeinen zijn niet verzadigd. Toch verbetert GPT‑Rosalind duidelijk ten opzichte van GPT‑5.5: het exacte slagingspercentage stijgt van 25,7% naar 36,1%.

De grootste vooruitgang zit in Wetenschapscommunicatie en Translatie. Bij Wetenschapscommunicatie stijgt het slagingspercentage van 56,3% voor GPT‑5.5 naar 71,1% voor GPT‑Rosalind. De categorie is klein (n=9), dus voorzichtigheid is nodig, maar frontiermodellen lijken snel beter te worden in bewijs ordenen en overtuigend uitleggen aan experts. Translatie, het proces van 'lab naar patiënt' in geneesmiddelenontwikkeling, toont hetzelfde patroon: van 36,8% voor GPT‑5.5 naar 57,7% voor GPT‑Rosalind. Modellen koppelen preklinisch bewijs dus steeds beter aan klinische implicaties.

Resultaten op rubric-niveau wijzen dezelfde kant op. Voor taken met output die bruikbaar is voor experts of uitvoerbare output scoort GPT‑Rosalind 44,7%, tegen 29,1% voor GPT‑5.5. Voor taken rond onzekerheid en kanttekeningen scoort het 44,8%, tegen 29,3%. Modellen lijken het nuttigst wanneer de grenzen van het bewijs duidelijk zijn en de taak om gestructureerd wetenschappelijk oordeel vraagt.

Prestaties blijven zwak bij werk met veel artefacten, veel ontwerpkeuzes of strikte operationele eisen. Ontwerp, optimalisatie en voorspelling blijft een van de moeilijkste workflows: GPT‑Rosalind haalt 30,7%; Analyse is met 30,3% vergelijkbaar lastig.

Artefactgebruik is een opvallende kloof. GPT‑Rosalind presteert daar beter dan GPT‑5.5, maar zakt nog steeds van 45,1% op teksttaken naar 28,1% op taken met artefacten of URL's. GPT‑5.5 laat hetzelfde zien: van 29,9% naar 21,9%. Nadere analyse bevestigt dat frontiermodellen moeite hebben om informatie uit complexe figuren of grote sequentiebestanden te halen en in het eindantwoord te verwerken.

Ook de antwoordvorm telt. Taken met exacte outputs op sequentie-, structuur- of constructniveau scoren lager: GPT‑Rosalind haalt 14,8% op numerieke taken en 24,0% op sequentie- of structuuroutputs. Constructgeneratie is ook kwetsbaar: GPT‑Rosalind haalt 27,3% en verbetert weinig ten opzichte van GPT‑5.5. Een deel van de kloof kan komen door strengere beoordeling bij exacte antwoorden, waar kleine reken- of opmaakverschillen al onder de drempel kunnen uitkomen. Toch zijn deze fouten wetenschappelijk relevant: veel workflows vereisen direct bruikbare, exacte output, zoals bij CRISPR/HDR-donorontwerp of siRNA-ontwerp.

Modellen komen vaak gedeeltelijk tot een oplossing. Bij ongeveer 14% van de taken kregen modellen veel punten op de rubric zonder de exacte slagingsdrempel te halen. Voor GPT‑Rosalind hadden 109 taken een slagingspercentage onder 20%, maar toch minstens 50% rubricscore. In de praktijk vinden modellen soms relevant bewijs of een plausibel deelantwoord, maar falen ze doordat ze een kernbeperking missen, verkeerd bewijs gebruiken, onvolledig rekenen of hun redenering niet koppelen aan een nuttige eindbeslissing.

LifeSciBench helpt meten hoe nuttig AI-systemen kunnen zijn voor levenswetenschappelijk onderzoek, maar vervangt geen studies in echte onderzoeksomgevingen. De benchmark richt zich op op zichzelf staande taken uit terugkerende industriële workflows; veel specialismen en taaktypen vallen er nog buiten. Echt onderzoek is iteratief: wetenschappers verzamelen bewijs, herzien hypothesen, ontwerpen vervolgexperimenten en passen plannen aan op basis van resultaten.

Sterke LifeSciBench-prestaties tonen daarom realistische taakcapaciteit, geen directe downstream onderzoeksimpact. De benchmark steunt op industriële workflows, maar omvat niet de volledige diversiteit en dynamiek van lopende onderzoeksprogramma’s en workflows, waar vooruitgang zich in de loop van de tijd ontwikkelt.

De volgende stap is benchmarkprestaties koppelen aan implementatiestudies in lopende onderzoeksworkflows. Hoewel LifeSciBench met praktiserende wetenschappers is ontwikkeld, vergt meten of AI-systemen ontdekking versnellen of R&D-resultaten verbeteren onderzoek naar modelgebruik en -prestaties in echte onderzoeksomgevingen, over langere perioden en meerdere rondes van redenering, feedback en experimentele follow-up.