LifeSciBench im Überblick
Ein von Fachleuten erstellter und geprüfter Benchmark, verankert in realer Life-Science-Forschung
Agentische KI-Systeme können immer mehr wissenschaftliche Aufgaben übernehmen. Ihr Nutzen für Forschende in den Biowissenschaften hängt jedoch davon ab, wie gut sie reale Forschungskomplexität bewältigen. Diese Arbeit ist selten reine Wissensabfrage oder ein sauberes Vorhersageproblem. Forschende deuten unvollständige Belege, ordnen widersprüchliche Ergebnisse ein, planen schwierige Experimente, beheben Assay-Probleme, bewerten translationale Risiken und entscheiden unter Unsicherheit.
Aktuelle Benchmarks erfassen das nur teilweise. Viele Life-Science-Evaluationen prüfen enge Fachgebiete oder Einzelfähigkeiten. Die Fragen sind oft stark strukturiert und haben klare Referenzantworten. Das ist wertvoll, zeigt aber oft nicht, ob ein Modell breitere Forschungsarbeit unterstützen kann.
LifeSciBench soll diese Lücke schließen. Jede Aufgabe basiert auf dem Urteil praktizierender Biowissenschaftler:innen mit Promotion oder vergleichbarer Ausbildung und direkter Erfahrung im Forschungs- und Entwicklungsbereich der Biotechnologie oder Pharmazie.
LifeSciBench umfasst 750 von Expert:innen verfasste Aufgaben aus sieben Workflows und sieben biologischen Domänen.
1,062
Aufgabenartefakte
173
Wissenschaftlich Beitragende
19,020
Rubrikkriterien
453
Fachgutachtende
Was LifeSciBench misst
LifeSciBench misst, ob KI-Systeme realistische Forschungsaufgaben in den Biowissenschaften unterstützen können, statt nur Biologiefragen zu beantworten. Für die Benchmark-Taxonomie befragten wir praktizierende Biowissenschaftler:innen zu den Workflows, die sie in angewandter Forschung am häufigsten nutzen. Die Antworten wurden in sieben Kategorien gebündelt: Evidenzarbeit, Analyse, Design und Optimierung, wissenschaftliches Reasoning, Validierung und Betrieb, Translation und Wissenschaftskommunikation.
Jede Aufgabe ähnelt einer Anfrage an eine sachkundige mitarbeitende Person: wissenschaftlicher Prompt, relevanter Kontext oder Artefakte und freie Antwort. Anhand von den durch Expert:innen erstellten Rubriken wird geprüft, ob ein Modell ein konkretes Problem richtig löst, mit passender Detailtiefe, Begründung, Einschränkungen und Formatierung.
Aufbau des Datensatzes
LifeSciBench bewertet wissenschaftliches Reasoning und die praktischen Fähigkeiten, die für realen wissenschaftlichen Einsatz nötig sind. Die Aufgaben verlangen realistische Forschungsarbeit: Belege deuten, fachlich urteilen und Ergebnisse für Fachgutachtende nutzbar darstellen. Viele Aufgaben erfordern zudem den Umgang mit Unsicherheit und Datendateien, nicht nur mit Prompttext.
Der Benchmark bildet die Komplexität der Arbeit im Bereich Biowissenschaften ab. 79 % der Aufgaben erfordern mehrere Reasoning- oder Entscheidungsschritte, im Schnitt vier pro Aufgabe. LifeSciBench enthält 1.062 Artefakte: Abbildungen, PDF-Dateien, Tabellen, Sequenz-, Struktur- oder Chemiedateien und Webreferenzen. Über die Hälfte der Aufgaben (53 %) verlangen, Informationen aus mindestens einem Artefakt zu deuten oder zusammenzuführen.
173 Fachleute aus verschiedenen Disziplinen der Biowissenschaften erstellten die Aufgaben. Alle waren promoviert oder hatten eine vergleichbare Ausbildung sowie Biotech- oder Pharmaerfahrung. Vor der Annahme waren beliebig viele Überarbeitungen möglich. Angenommene Aufgaben durchliefen im Schnitt sechs automatisierte Selbstreviews und mindestens zwei Expertenreviews. Reviews beruhten auf einer überprüfbar richtigen Antwort oder starkem Expertenkonsens mit mindestens 90 % Zustimmung in der jeweiligen Domäne. So blieben die Aufgaben wissenschaftlich fundiert, bewertbar und repräsentativ für angewandte Forschung.
Bewertung und Rubriken
LifeSciBench-Aufgaben werden mit detaillierten, aufgabenspezifischen Rubriken bewertet. Sie zerlegen die erwartete Antwort in Aussagen, Berechnungen, Entscheidungen, Begründungen und weitere Elemente. Die Expertenrubriken umfassen 19.020 Kriterien, im Schnitt 25 pro Aufgabe. Bewertet werden wissenschaftliche Korrektheit und Nutzen für Forschungsentscheidungen.
Das entspricht der Praxis: Viele biowissenschaftliche Aufgaben lassen sich nicht allein an der Endantwort bewerten. Eine Antwort kann zur richtigen Schlussfolgerung kommen und dennoch unvollständig sein, etwa wenn sie eine Assay-Grenze oder eine wichtige biologische Nuance übersieht. Umgekehrt kann eine Teilantwort gutes Reasoning enthalten, auch wenn sie die Aufgabe nicht ganz löst.
Die feingliedrigen Rubriken erfassen diese Nuancen. LifeSciBench bewertet nicht nur die Genauigkeit der Endantwort, sondern auch, ob ein Modell auf wissenschaftlich gültiger und praktisch nützlicher Art und Weise zu diesem Ergebnis kam.
Extraktion, Abgleich und Prüfung wissenschaftlicher Evidenz aus Publikationen, Abbildungen, Tabellen und experimentellen Aufzeichnungen.
Bewertungsbeispiel
We’re preparing for a Type B FDA meeting on AAV9-microDys-X, an AAV9-based micro-dystrophin gene therapy for Duchenne muscular dystrophy that expresses a 138 kDa construct from an MCK promoter, and we want a hard-nosed critique of whether our current package really supports accelerated approval on micro-dystrophin expression as a surrogate endpoint reasonably likely to predict clinical benefit.
Study context: open-label Phase 1b/2 in 12 ambulatory boys age 4–7 with confirmed DMD and out-of-frame rod-domain deletions. The package is:
- Pre-treatment vastus lateralis biopsies: 0–3% of healthy-control dystrophin by quantitative Western blot using MANEX1A against the N-terminal actin-binding domain.
- 12-week post-treatment contralateral vastus lateralis biopsies: mean micro-dystrophin 38% of healthy control (range 18–61%) by the same Western blot, normalized to total protein by Coomassie staining.
- Post-treatment immunofluorescence: sarcolemmal signal in 75–95% of fibers using a polyclonal anti-dystrophin C-terminal antibody.
- 48-week function: mean NSAA change +1.4 points from baseline versus −0.6 in an external published natural-history registry cohort (p = 0.03 by unpaired t-test).
- Safety: transient transaminitis in 8/12 patients managed with steroid taper; one resolved myocarditis; no deaths.
- Biodistribution/persistence: AAV9 vector genomes detectable in muscle at 12 weeks at a mean of 2.3 vector genomes per nucleus.
- Eligibility: no baseline anti-AAV9 neutralizing antibodies (titer <1:400) and no exon-44 deletions.
Please pressure-test this package item by item: where would FDA or a skeptical reviewer say the evidence, as presented, fails to support our conclusion, and what additional data, analyses, or design changes would be needed to close those gaps if possible? For anything not specified, assume what is known from other clinical-grade 138 kDa micro-dystrophin programs and relevant clinical trials through December 31, 2025 also applies.
Antwort des Kandidaten
Fazit: In der vorliegenden Form ist dieses Paket nicht ausreichend, um eine beschleunigte Zulassung der Mikro-Dystrophin-Expression als Surrogat-Endpunkt zu unterstützen, der mit hinreichender Wahrscheinlichkeit einen klinischen Nutzen vorhersagen kann. Skeptische Gutachter:innen der FDA würden die Evidenz hinsichtlich Biomarkern, Funktionalität, Haltbarkeit, Sicherheit und Generalisierbarkeit wahrscheinlich als wesentlich unzureichend belegt ansehen.
Paketartikel | Schlüsselfehlermodus | Was wäre erforderlich? |
|---|---|---|
Western-Blot-Quantifizierung | MANEX1A bindet an ein N-terminales Epitop, das sowohl vom endogenen Dystrophin in voller Länge als auch vom Mikro-Dystrophin-Transgen geteilt wird, sodass der Test das Transgen nicht eindeutig vom Rest-/Revertanten-Dystrophin unterscheiden kann. Die Quantifizierung eines 138 kDa Mikro-Dystrophins im Vergleich zu einem gesunden Dystrophin-Standard in voller Länge ist ebenfalls ungültig. | Verwende einen rekombinanten Mikro-Dystrophin-Standard und eine orthogonale Methode, die Transgen- von endogenem Dystrophin unterscheidet, wie z. B. gezielte Massenspektrometrie oder einen transgenspezifischen/epitopspezifischen Test. |
Immunfluoreszenz | Der polyklonale Antikörper gegen das C-Terminus ist ungeeignet, da dem 138 kDa-Konstrukt die C-terminale Domäne fehlt. Viele DMD-Patienten weisen Revertantenfasern auf, und Revertanten-Dystrophin kann C-terminale Epitope beibehalten. Revertante Fasern können sich mit zunehmendem Alter klonal ausbreiten und das IF-Signal verfälschen, insbesondere bei älteren Jungen. | Wiederhole die Immunfluoreszenz mit einem Antikörper gegen ein Epitop, das im Transgen vorhanden ist, aber im revertierten Dystrophin fehlt. Transgen-positive Fasern sind getrennt von Revertantenfasern zu quantifizieren. |
Validität des Ersatzendpunkts | Das Paket vermischt die Proteinmenge mit der klinischen Funktion. „38 % der Proteinmasse gesunder Kontrollpersonen“ bedeutet nicht 38 % der normalen Dystrophinfunktion, da Mikro-Dystrophin strukturell verkürzt ist. | Bevor die Expression als Surrogat-Endpunkt verwendet wird, sollte der Zusammenhang zwischen dem Massenanteil von Mikro-Dystrophin, der sarkolemmalen Lokalisation, der nachfolgenden funktionellen Wiederherstellung und dem klinischen Nutzen empirisch validiert werden. |
Biopsie-Konzeption | Die Biopsie des kontralateralen Vastus lateralis vor und nach der Behandlung führt zu einer links-rechts- und intramuskulären räumlichen Variabilität. Krankheitsverlauf und fibro-fettige Umwandlung können auch das auf das Gesamtprotein normalisierte Signal verändern. | Standardisiere die Biopsiestelle anhand einheitlicher anatomischer Orientierungspunkte, normalisiere auf muskelspezifische Proteine und miss parallel die fibro-fettige Zusammensetzung. |
NSAA-Vergleichstabelle/Statistiken | Eine externe Kohorte, die den natürlichen Krankheitsverlauf untersucht, ist keine randomisierte, gleichzeitige Kontrollgruppe. Studieneignung, unterstützende Behandlung, Teilnahmeeffekte, NSAA-Ausgangswerte, Steroidregime, Alter und Exon-Klasse können allesamt den Vergleich verfälschen. Ein ungepaarter t-Test ist nicht ausreichend. Außerdem liegt eine NSAA-Veränderung von +1,4 innerhalb der Test-Retest-Variabilität für diese Altersgruppe. | Führe eine randomisierte, gleichzeitig durchgeführte, placebokontrollierte Studie durch oder verwende zumindest adjustierte Analysen, die den NSAA-Ausgangswert, das Alter, das Steroidregime, die Exonklasse und andere Störfaktoren berücksichtigen. |
Altersfenster-Verzerrung | Jungen im Alter von 4 bis 7 Jahren befinden sich in einem Entwicklungsfenster, in dem unbehandelte, gehfähige DMD-Patienten motorische Funktionen erlangen können, bevor der Abbau überwiegt. Eine 48-wöchige NSAA-Veränderung vereint Entwicklungsgewinn, Krankheitsverlauf und mögliche Behandlungseffekte. | Um den Entwicklungsverlauf vom Behandlungseffekt zu trennen, setze eine gleichzeitig durchgeführte randomisierte Kontrollstudie mit Altersstratifizierung ein. |
Bisherige klinische Präzedenzfälle | Funktionelle Signale von Mikro-Dystrophin in offenen Studien konnten keinen zuverlässigen bestätigenden Nutzen vorhersagen; in der veröffentlichten Literatur finden sich auch bestätigende Studien zur Mikro-Dystrophin-Gentherapie, die keine Verbesserungen der NSAA in offenen Studien nachweisen konnten. | Verlasse dich nicht auf die Veränderung der NSAA-Werte in offenen Studien als entscheidende Belege. Kontrollierte funktionelle Nachweise sind erforderlich. |
Strukturelle Grenzen der Konstruktion | Das 138 kDa Konstrukt entfernt die Spektrin-Repeats R16/17, die nNOS-Bindungsstellen enthalten. Der Verlust der nNOS-Rekrutierung kann die funktionelle Sympatholyse und den Ischämieschutz während körperlicher Belastung beeinträchtigen und somit eine mechanistische Obergrenze für die Abhilfe unabhängig vom Expressionsniveau schaffen. | Ergänze mechanistische Studien, die zeigen, ob dieses spezifische Konstrukt relevante Dystrophin-assoziierte Komplexfunktionen, die nNOS-Lokalisierung, die Trainingsphysiologie und den Muskelschutz wiederherstellt. |
AAV-Haltbarkeit | Vektorgenome etablieren nach 12 Wochen keine dauerhafte Expression. AAV9-Genome sind größtenteils nicht-integrierende Episomen und können im Laufe der Zeit abnehmen. Die Persistenz des Vektorgenoms ist nicht dasselbe wie die persistente Expression von Proteinen. | Messung der longitudinalen Expression des Transgenproteins und der Beständigkeit funktioneller Biomarker über 12 Wochen hinaus. |
Immun-/Sicherheitsprofil | Bei 8 von 12 Patienten ist die Zunahme von Transaminase mit einer Immunantwort auf AAV-transduzierte Zellen vereinbar, der Mechanismus ist jedoch noch nicht geklärt. Ein Fall von Myokarditis gibt Anlass zur Sorge angesichts des kardialen Tropismus von AAV9. | Eine detailliertere Immunüberwachung, eine Charakterisierung der Leber-/Herz-Sicherheit sowie eine intensivierte kardiologische Nachsorge sind erforderlich. |
Patientenauswahl/Generalisierbarkeit | Der Ausschluss von Patienten mit positiven neutralisierenden Anti-AAV9-Antikörpern schränkt die Generalisierbarkeit ein. Der Ausschluss von Exon-44-Deletionen schränkt die Anwendbarkeit auf diese DMD-Subgruppe ein. n=12 ist zu klein, um die Sicherheit und Wirksamkeit in der gesamten DMD-Population zu charakterisieren. | Erweitere nach Möglichkeit die Zulassungskriterien oder lege stratifizierte Analysen nach Antikörperstatus, Genotyp/Exonklasse, Alter und Ausgangsfunktion im Voraus fest, bevor du das Ergebnis zur Unterstützung einer breiten Zulassung verwendest. |
Regulatorische Schlussfolgerung: Das Paket mag zwar biologische Aktivität aufweisen, es ist jedoch noch nicht erwiesen, dass die gemessene Mikro-Dystrophin-Expression ein zuverlässiger Surrogatparameter ist, der mit hinreichender Wahrscheinlichkeit einen klinischen Nutzen vorhersagen kann. Die größten Lücken bestehen in der Spezifität des Assays, ungültigen Quantifizierungsstandards, möglichen Störfaktoren durch Revertantenfasern, dem Fehlen einer randomisierten Kontrollgruppe, altersbedingten Störfaktoren durch NSAA, unsicherer Dauerhaftigkeit und ungelösten Fragen der Sicherheit und Generalisierbarkeit.
Um diese Lücke zu schließen, bräuchte das Programm ein kontrolliertes, altersstratifiziertes klinisches Studiendesign mit transgenspezifischen Expressionsanalysen, orthogonaler Proteinquantifizierung, Kontrollen der Gewebezusammensetzung, longitudinalen Haltbarkeitsdaten, mechanistischen Funktionsanalysen für das verkürzte Konstrukt und einer verstärkten Sicherheitsüberwachung, insbesondere in Bezug auf Leber und Herz.
Bewertungskriterien und Noten
Validierung von LifeSciBench
Wir validierten LifeSciBench durch ein unabhängiges Expertenreview. Das Feedback kam von 453 Gutachtenden, die nicht an den Aufgaben mitgeschrieben hatten. 97 % hatten eine Ph.D. oder gleichwertigen Doktortitel, im Schnitt 12 Jahre Fachpraxis und 14 peer-reviewte Publikationen. 88 % nannten mindestens eine Auszeichnung oder ein Fellowship.
Die Gutachtenden bewerteten, ob jede Aufgabe eine starke Benchmark-Frage ergibt: Nähe zu realer Forschung, passende Prüfung des Schlussfolgerns und der Fachexpertise, Evidenz- oder Expertenbasis sowie Nutzen für die Bewertung der Modellleistung. Die Zustimmung lag in jeder Kategorie über 96 %.
Kommentare der Gutachtenden bestätigten die Zahlen:
Ergebnisse
Wir berichten zwei ergänzende Metriken. Die Erfolgsrate ist der Anteil der Aufgaben, bei denen ein Modell die Erfolgsschwelle von 70 % erreicht. Der Score ist die durchschnittliche Rubrikwertung und vergibt Teilpunkte, auch wenn die Gesamtaufgabe ungelöst bleibt. Beides zählt, weil wissenschaftliche Antworten teilweise richtig oder nützlich sein können, ohne vollständig zu sein.
Die Modellleistung variiert stark nach Aufgabentyp, Workflow und Antwortformat.
Wo KI-Systeme erste Stärken zeigen
LifeSciBench zeigt: Führende Modelle sind relativ stark bei wissenschaftlicher Synthese, Kommunikation und strukturierter Interpretation. Die absoluten Erfolgsraten bleiben moderat; diese Benchmark-Domänen sind also bei Weitem noch nicht ausgereizt. GPT‑Rosalind zeigt eine deutliche Verbesserung gegenüber GPT‑5.5 mit einer exakten Gesamterfolgsrate von 36,1 % gegenüber GPT‑5.5 mit 25,7 %.
Die größten Fortschritte zeigen sich in Wissenschaftskommunikation und Translation. In Wissenschaftskommunikation steigt die Erfolgsrate von 56,3 % für GPT‑5.5 auf 71,1 % für GPT‑Rosalind. Die Kategorie ist klein (n=9) und sollte so mit Vorsicht interpretiert werden. Sie deutet aber auf schnelle Fortschritte beim Ordnen von Evidenz und bei überzeugenden Erklärungen für Fachleute hin. Translation, der Prozess für die Wirkstoffentwicklung, zeigt Ähnliches: von 36,8 % für GPT‑5.5 auf 57,7 % für GPT‑Rosalind. Modelle verknüpfen präklinische Evidenz offenbar immer besser mit klinischen Implikationen.
Ergebnisse auf Rubrikebene bestätigen das. Bei Aufgaben mit fachlich nützlichen oder handlungsleitenden Ergebnissen erreicht GPT‑Rosalind 44,7 %, GPT‑5.5 29,1 %. Beim Umgang mit Unsicherheit und Einschränkungen erreicht es 44,8 % gegenüber 29,3 %. Modelle sind also besonders nützlich, wenn die Evidenz klar begrenzt ist und strukturiertes wissenschaftliches Urteil gefragt ist.
GPT‑Rosalind führt bei wissenschaftlich wertvollen Aufgaben, die von Industrie- und Hochschulfachleuten identifiziert wurden.
GPT‑Rosalind führt bei wissenschaftlich wertvollen Aufgaben, die von Branchen- und akademischen Expert:innen identifiziert wurden.
GPT‑Rosalind führt bei wissenschaftlich wertvollen Aufgaben, die von Branchen- und akademischen Expert:innen identifiziert wurden.
Wo KI-Systeme noch scheitern
Schwächer bleibt die Leistung bei artefaktlastiger, designlastiger und operativ stark eingeschränkter Wissenschaftsarbeit. Gestaltung, Optimierung und Vorhersage ist mit 30,7 % Erfolgsrate für GPT‑Rosalind einer der schwierigsten Workflows; die Analyse liegt ähnlich niedrig bei 30,3 %.
Besonders deutlich ist die Lücke bei Artefakten. GPT‑Rosalind ist hier besser als GPT‑5.5, fällt aber von 45,1 % bei reinen Textaufgaben auf 28,1 % bei Aufgaben mit Artefakten oder URLs ab. GPT‑5.5 zeigt dasselbe Muster: 29,9 % sinken auf 21,9 %. Eine Detailanalyse bestätigt: Führende Modelle haben Mühe, Informationen aus komplexen Abbildungen oder großen Sequenzdateien zu entnehmen und in die Endantwort einzubauen.
Die Erfolgsraten sinken, wenn Aufgaben quellengestütztes Reasoning oder die Arbeit mit Artefakten erfordern.
Auch das Antwortformat zählt. Bei exakten Sequenz-, Struktur- oder Konstruktausgaben sind die Erfolgsraten niedriger: GPT‑Rosalind erreicht nur 14,8 % bei numerischen Aufgaben und 24,0 % bei Sequenz- oder Strukturausgaben. Auch Konstrukterzeugung ist anfällig: GPT‑Rosalind liegt bei 27,3 % und weist kaum eine Verbesserung gegenüber GPT‑5.5 auf. Ein Teil der Lücke kann an strenger Bewertung exakter Antworten liegen, bei denen kleine Rechen- oder Formatabweichungen zum Nichtbestehen führen. Trotzdem sind diese Fehler relevant: Viele Life-Science-Workflows brauchen direkt nutzbare, exakte Ergebnisse, etwa im CRISPR/HDR-Donor- oder siRNA-Design.
Modelle kommen oft teilweise voran, ohne die Aufgabe ganz zu lösen. Bei rund 14 % der Aufgaben erzielten sie viele Rubrikpunkte, verfehlten aber die exakte Erfolgsschwelle. Bei GPT‑Rosalind hatten 109 Aufgaben Erfolgsraten unter 20 %, erreichten aber mindestens 50 % Rubrikwertung. Praktisch heißt das: Modelle finden relevante Evidenz oder plausible Teilantworten, scheitern aber an einer zentralen Einschränkung, falscher Evidenz, unvollständiger Rechnung oder fehlender Verknüpfung mit einer wissenschaftlich nützlichen Entscheidung.
Grenzen und nächste Schritte
LifeSciBench hilft zu messen, wie nützlich KI-Systeme für die Forschung in den Biowissenschaften sein können. Studien in laufenden Forschungsumgebungen ersetzt es nicht. Der Benchmark fokussiert geschlossene Aufgaben aus wiederkehrenden Industrie-Workflows. Viele Fachgebiete und Aufgabentypen bleiben vorerst außen vor. Reale Forschung ist iterativ: Forschende sammeln Evidenz, überarbeiten Hypothesen, planen Folgeexperimente und passen Pläne an neue Ergebnisse an.
Starke LifeSciBench-Leistung zeigt daher realistische Fähigkeiten auf Aufgabenebene, misst aber nicht direkt den Einfluss auf die spätere Forschung. Der Benchmark basiert auf Industrie-Workflows, erfasst aber nicht die ganze Vielfalt und Dynamik laufender Forschungsprogramme, deren Fortschritt sich über Zeit entwickelt.
Als Nächstes muss Benchmark-Leistung mit Einsatzstudien in laufenden Forschungs-Workflows verknüpft werden. LifeSciBench entstand mit praktizierenden Fachleuten. Ob KI-Systeme Entdeckungen beschleunigen oder F&E-Ergebnisse verbessern, lässt sich nur in realer Forschung prüfen: über längere Zeiträume und mehrere Runden von Reasoning, Feedback und experimenteller Nacharbeit.
