Introduktion til LifeSciBench

Agentiske AI-systemer bliver stadig bedre til at udføre videnskabelige opgaver. Men hvor nyttige de er for life science-forskere, afhænger af, hvor godt de håndterer kompleksiteten i reel forskning. Det arbejde ligner sjældent et enkelt spørgsmål om faktagenkaldelse eller et klart afgrænset prædiktionsproblem. Forskere fortolker ufuldstændig evidens, forener modstridende resultater, designer vanskelige eksperimenter, fejlfinder assays, vurderer translationel risiko og beslutter under usikkerhed, hvad næste skridt skal være.

Nuværende benchmarks indfanger ikke disse evner fuldt ud. Mange evalueringer inden for life science fokuserer på snævre domæner eller isolerede færdigheder, hvilket giver spørgsmål med strukturerede formater og klare referencesvar. Selvom de er værdifulde, formår de ofte ikke reelt at vurdere, om en model kan bidrage på tværs af det bredere spektrum af forskningsarbejde.

Vi har udviklet LifeSciBench for at hjælpe med at lukke dette hul. Hver opgave er forankret i vurderinger fra praktiserende life science-forskere med ph.d.-niveau og direkte erfaring med at fremme lægemiddeludviklingsprogrammer i biotek- og medicinalmiljøer.

LifeSciBench omfatter 750 ekspertforfattede opgaver fordelt på syv workflows og syv biologiske domæner.

LifeSciBench måler, om AI-systemer kan understøtte realistiske forskningsopgaver inden for life science, ikke blot besvare biologispørgsmål. For at definere benchmarkets taksonomi spurgte vi praktiserende life science-forskere om de workflows, de oftest bruger i anvendte forskningsmiljøer. Derefter grupperede vi deres svar i syv tilbagevendende kategorier: håndtering af evidens, analyse, design og optimering, videnskabelig ræsonnering, validering og drift, translation samt videnskabelig kommunikation.

Hver opgave er struktureret som en anmodning, en forsker kunne give til en kyndig samarbejdspartner: videnskabeligt prompt, relevant kontekst eller artefakter og et frit formuleret svar. Ekspertskrevne rubrikker vurderer, om en model kan levere det rette svar på et specifikt problem med det niveau af detaljer, begrundelse, forbehold og format, som en forsker ville forvente.

LifeSciBench evaluerer videnskabelig ræsonnering sammen med de mindre veldefinerede, praktiske færdigheder, der er nødvendige for videnskabelig brug i den virkelige verden. Opgaverne beder modeller arbejde sig igennem realistiske forskningsproblemer: fortolke evidens, foretage domæneforankrede vurderinger og kommunikere konklusioner, der er nyttige for ekspertbedømmere. Mange opgaver kræver også, at modeller håndterer usikkerhed og ræsonnerer over understøttende datafiler i stedet for kun at basere sig på promptteksten.

Benchmarket er designet til at afspejle kompleksiteten i life science-arbejde. Samlet set kræver 79 % af opgaverne flere ræsonnerings- eller beslutningstrin, med et gennemsnit på fire trin pr. opgave. LifeSciBench omfatter 1.062 vedhæftede artefakter fordelt på figurer, PDF'er, tabeller, sekvensfiler, struktur- eller kemifiler og webreferencer. Mere end halvdelen af opgaverne (53 %) kræver, at modeller fortolker eller syntetiserer information fra mindst ét artefakt.

Opgaverne blev skabt af 173 ekspertforskere på tværs af forskellige life science-discipliner. Hver forsker havde uddannelse på ph.d.-niveau og erfaring fra biotek- eller medicinalindustrien. Opgaver kunne gennemgå så mange revisionsrunder som nødvendigt før accept, uden et fast loft over antallet af runder; accepterede opgaver havde i gennemsnit seks selvstyrede automatiserede reviewcyklusser og gennemførte mindst to runder ekspertreview. Reviewene var forankret i enten et verificerbart korrekt svar eller stærk ekspertkonsensus med mindst 90 % enighed blandt reviewere i det relevante domæne. Denne proces var med til at sikre, at accepterede opgaver var videnskabeligt forankrede, klare nok til at bedømme og repræsentative for anvendt forskning.

LifeSciBench-opgaver bedømmes med en detaljeret, opgavespecifik rubrik, der opdeler det forventede svar i konkrete videnskabelige påstande, beregninger, beslutninger, begrundelser osv. På tværs af benchmarket omfatter ekspertudviklede rubrikker 19.020 kriterier — i gennemsnit 25 pr. opgave — til at vurdere både videnskabelig korrekthed og anvendelighed for forskningsbeslutninger.

Dette design afspejler, hvordan videnskabeligt arbejde vurderes i praksis: Mange life science-opgaver kan ikke bedømmes ved kun at kontrollere det endelige svar. Et svar kan nå frem til den korrekte overordnede konklusion, men stadig blive vurderet som ufuldstændigt, hvis det for eksempel overser en vigtig assaybegrænsning eller ikke proaktivt fremhæver en biologisk nuance med stor betydning. Omvendt kan et delvist svar indeholde ræsonnering af høj kvalitet, selv om det ikke løser opgaven fuldt ud.

De granulære rubrikker indfanger denne nuance. LifeSciBench evaluerer ikke kun nøjagtigheden af det endelige svar, men også om en model når frem til svaret på en videnskabeligt valid og operationelt nyttig måde.

Vi validerede LifeSciBench gennem et uafhængigt ekspertreview. Feedbacken kom fra 453 reviewere, som ikke havde været involveret i at skrive opgaverne. Af disse reviewere havde 97 % en ph.d. eller tilsvarende doktorgrad, med i gennemsnit 12 års felterfaring og 14 fagfællebedømte publikationer; 88 % rapporterede at have modtaget mindst én pris eller et fellowship.

Reviewere vurderede, om hver opgave afspejlede de kvaliteter, der kræves af et stærkt benchmarkspørgsmål: overensstemmelse med forskningsarbejde i praksis, passende test af videnskabelig ræsonnering og domæneekspertise, forankring i evidens eller ekspertkonsensus og samlet anvendelighed til at vurdere modelperformance. Enigheden oversteg 96 % i hver kategori.

Reviewernes kommentarer understøttede de kvantitative vurderinger:

Vi rapporterer to komplementære målinger. Beståelsesrate er procentdelen af opgaver, hvor en model opfylder opgavens succesgrænse på 70 %. Score er den gennemsnitlige rubrikbelønning, som giver delvis kredit for individuelle kriterier, selv når hele opgaven ikke er løst. Begge er vigtige, fordi et svar på en videnskabelig opgave kan være delvist korrekt eller nyttigt uden at opfylde alle krav til et fuldstændigt svar.

Modelperformance varierer betydeligt efter opgavetype, workflow og svarformat.

LifeSciBench viser, at frontier-modeller er relativt stærkest på opgaver, der involverer videnskabelig syntese, kommunikation og struktureret fortolkning. De absolutte beståelsesrater er stadig moderate, så disse benchmarkdomæner er langt fra mættede, men GPT‑Rosalind viser meningsfuld fremgang i forhold til GPT‑5.5 og forbedrer den samlede eksakte beståelsesrate fra 25,7 % til 36,1 %.

De tydeligste fremskridt i modellernes evner ses inden for videnskabelig kommunikation og translation. For eksempel stiger beståelsesraten for videnskabelig kommunikation fra 56,3 % for GPT‑5.5 til 71,1 % for GPT‑Rosalind; denne kategori er lille (n=9), så den bør fortolkes med forsigtighed, men den tyder på, at frontier-modeller hurtigt forbedrer deres evne til at organisere evidens og producere overbevisende forklaringer til eksperter. Translation (lægemiddeludviklingens "bench-to-bedside"-proces) viser et lignende mønster og stiger fra 36,8 % for GPT‑5.5 til 57,7 % for GPT‑Rosalind, hvilket tyder på, at modeller hurtigt forbedrer deres evne til at koble præklinisk evidens til kliniske implikationer.

Resultater på rubrikniveau peger i samme retning. På opgaver, der kræver output, som er nyttige eller handlingsrettede for eksperter, scorer GPT‑Rosalind 44,7 % mod 29,1 % for GPT‑5.5. På opgaver, der kræver håndtering af usikkerhed og forbehold, scorer den 44,8 % mod 29,3 %. Dette mønster tyder på, at modeller er mest nyttige, når opgaven har en klar evidensafgrænsning og kræver struktureret videnskabelig vurdering.

Performance er fortsat langt svagere på videnskabeligt arbejde, der er artefakttungt, designtungt og operationelt begrænset. Design, optimering & prædiktion er fortsat et af de sværeste workflows med en beståelsesrate for GPT‑Rosalind på 30,7 %; analyse er tilsvarende vanskelig med 30,3 %.

Brugen af artefakter er en særlig tydelig mangel. Selv om GPT‑Rosalind klarer sig bedre end GPT‑5.5 i artefakttunge sammenhænge, falder dens beståelsesrate stadig fra 45,1 % på opgaver med kun tekst til 28,1 % på opgaver med artefakter eller URL'er. GPT‑5.5 viser det samme mønster og falder fra 29,9 % til 21,9 %. En mere detaljeret analyse bekræfter, at frontier-modeller har svært ved at udtrække information fra komplekse figurer eller store sekvensfiler og integrere den information i det endelige svar.

Svarformatet har også betydning. Opgaver, der kræver eksakte sekvens-, struktur- eller konstruktoutput, viser lavere beståelsesrater: GPT‑Rosalind når kun 14,8 % på numeriske opgaver og 24,0 % på sekvens- eller strukturoutput. Konstruktgenereringsopgaver er også skrøbelige, hvor GPT‑Rosalind ligger på 27,3 % og kun viser begrænset forbedring i forhold til GPT‑5.5. Noget af dette gab kan skyldes en strengere bedømmelsesflade for opgaver med eksakte svar, hvor små forskelle i beregning eller formatering kan få et svar til at falde under beståelsesgrænsen. Alligevel er disse fejl videnskabeligt meningsfulde, fordi mange life science-workflows kræver output, der er eksakte nok til at blive brugt direkte, for eksempel i CRISPR/HDR-donordesign eller siRNA-design.

Modeller når også ofte noget af vejen uden at løse opgaven fuldt ud. I cirka 14 % af opgaverne opnåede modeller betydelig rubrikkredit, selv om de ikke nåede grænsen for eksakt beståelse. For GPT‑Rosalind havde 109 opgaver beståelsesrater under 20 %, men opnåede stadig mindst 50 % rubrikbelønning. I praksis betyder det, at modeller kan identificere relevant evidens eller levere et plausibelt delvist svar, men stadig fejle, fordi de overser en central begrænsning, bruger den forkerte evidens, laver en ufuldstændig beregning eller ikke kobler deres ræsonnering til en videnskabeligt nyttig endelig beslutning.

LifeSciBench er et skridt mod at måle, hvor nyttige AI-systemer kan være for life science-forskning, men det er ikke en erstatning for at studere modeller i levende forskningsmiljøer. Benchmarket fokuserer på selvstændige opgaver, der afspejler tilbagevendende workflows i industrien, men lader mange videnskabelige specialer og opgavetyper ligge uden for sit nuværende omfang. Reel forskning er iterativ: Forskere indsamler ny evidens, reviderer hypoteser, designer opfølgende eksperimenter og tilpasser deres planer, efterhånden som resultaterne kommer frem.

Stærk performance på LifeSciBench bør derfor fortolkes som evidens for realistiske evner på opgaveniveau, ikke som et direkte mål for efterfølgende forskningsimpact. Benchmarket er forankret i industriens workflows, men indfanger ikke den fulde diversitet eller dynamik i levende forskningsprogrammer, hvor fremskridt afhænger af faktorer, der udfolder sig over tid.

Næste skridt er at koble benchmarkperformance til udrulningsstudier i levende forskningsworkflows. Selvom LifeSciBench blev udviklet sammen med praktiserende forskere, kræver det studier af modelbrug og -performance i reelle forskningsmiljøer, over længere tidshorisonter og på tværs af flere runder med ræsonnering, feedback og eksperimentel opfølgning at måle, om AI-systemer accelererer opdagelser eller forbedrer R&D-resultater.