LifeSciBench im Überblick

Agentische KI-Systeme können immer mehr wissenschaftliche Aufgaben übernehmen. Ihr Nutzen für Forschende in den Biowissenschaften hängt jedoch davon ab, wie gut sie reale Forschungskomplexität bewältigen. Diese Arbeit ist selten reine Wissensabfrage oder ein sauberes Vorhersageproblem. Forschende deuten unvollständige Belege, ordnen widersprüchliche Ergebnisse ein, planen schwierige Experimente, beheben Assay-Probleme, bewerten translationale Risiken und entscheiden unter Unsicherheit.

Aktuelle Benchmarks erfassen das nur teilweise. Viele Life-Science-Evaluationen prüfen enge Fachgebiete oder Einzelfähigkeiten. Die Fragen sind oft stark strukturiert und haben klare Referenzantworten. Das ist wertvoll, zeigt aber oft nicht, ob ein Modell breitere Forschungsarbeit unterstützen kann.

LifeSciBench soll diese Lücke schließen. Jede Aufgabe basiert auf dem Urteil praktizierender Biowissenschaftler:innen mit Promotion oder vergleichbarer Ausbildung und direkter Erfahrung im Forschungs- und Entwicklungsbereich der Biotechnologie oder Pharmazie.

LifeSciBench umfasst 750 von Expert:innen verfasste Aufgaben aus sieben Workflows und sieben biologischen Domänen.

LifeSciBench misst, ob KI-Systeme realistische Forschungsaufgaben in den Biowissenschaften unterstützen können, statt nur Biologiefragen zu beantworten. Für die Benchmark-Taxonomie befragten wir praktizierende Biowissenschaftler:innen zu den Workflows, die sie in angewandter Forschung am häufigsten nutzen. Die Antworten wurden in sieben Kategorien gebündelt: Evidenzarbeit, Analyse, Design und Optimierung, wissenschaftliches Reasoning, Validierung und Betrieb, Translation und Wissenschaftskommunikation.

Jede Aufgabe ähnelt einer Anfrage an eine sachkundige mitarbeitende Person: wissenschaftlicher Prompt, relevanter Kontext oder Artefakte und freie Antwort. Anhand von den durch Expert:innen erstellten Rubriken wird geprüft, ob ein Modell ein konkretes Problem richtig löst, mit passender Detailtiefe, Begründung, Einschränkungen und Formatierung.

LifeSciBench bewertet wissenschaftliches Reasoning und die praktischen Fähigkeiten, die für realen wissenschaftlichen Einsatz nötig sind. Die Aufgaben verlangen realistische Forschungsarbeit: Belege deuten, fachlich urteilen und Ergebnisse für Fachgutachtende nutzbar darstellen. Viele Aufgaben erfordern zudem den Umgang mit Unsicherheit und Datendateien, nicht nur mit Prompttext.

Der Benchmark bildet die Komplexität der Arbeit im Bereich Biowissenschaften ab. 79 % der Aufgaben erfordern mehrere Reasoning- oder Entscheidungsschritte, im Schnitt vier pro Aufgabe. LifeSciBench enthält 1.062 Artefakte: Abbildungen, PDF-Dateien, Tabellen, Sequenz-, Struktur- oder Chemiedateien und Webreferenzen. Über die Hälfte der Aufgaben (53 %) verlangen, Informationen aus mindestens einem Artefakt zu deuten oder zusammenzuführen.

173 Fachleute aus verschiedenen Disziplinen der Biowissenschaften erstellten die Aufgaben. Alle waren promoviert oder hatten eine vergleichbare Ausbildung sowie Biotech- oder Pharmaerfahrung. Vor der Annahme waren beliebig viele Überarbeitungen möglich. Angenommene Aufgaben durchliefen im Schnitt sechs automatisierte Selbstreviews und mindestens zwei Expertenreviews. Reviews beruhten auf einer überprüfbar richtigen Antwort oder starkem Expertenkonsens mit mindestens 90 % Zustimmung in der jeweiligen Domäne. So blieben die Aufgaben wissenschaftlich fundiert, bewertbar und repräsentativ für angewandte Forschung.

LifeSciBench-Aufgaben werden mit detaillierten, aufgabenspezifischen Rubriken bewertet. Sie zerlegen die erwartete Antwort in Aussagen, Berechnungen, Entscheidungen, Begründungen und weitere Elemente. Die Expertenrubriken umfassen 19.020 Kriterien, im Schnitt 25 pro Aufgabe. Bewertet werden wissenschaftliche Korrektheit und Nutzen für Forschungsentscheidungen.

Das entspricht der Praxis: Viele biowissenschaftliche Aufgaben lassen sich nicht allein an der Endantwort bewerten. Eine Antwort kann zur richtigen Schlussfolgerung kommen und dennoch unvollständig sein, etwa wenn sie eine Assay-Grenze oder eine wichtige biologische Nuance übersieht. Umgekehrt kann eine Teilantwort gutes Reasoning enthalten, auch wenn sie die Aufgabe nicht ganz löst.

Die feingliedrigen Rubriken erfassen diese Nuancen. LifeSciBench bewertet nicht nur die Genauigkeit der Endantwort, sondern auch, ob ein Modell auf wissenschaftlich gültiger und praktisch nützlicher Art und Weise zu diesem Ergebnis kam.

Wir validierten LifeSciBench durch ein unabhängiges Expertenreview. Das Feedback kam von 453 Gutachtenden, die nicht an den Aufgaben mitgeschrieben hatten. 97 % hatten eine Ph.D. oder gleichwertigen Doktortitel, im Schnitt 12 Jahre Fachpraxis und 14 peer-reviewte Publikationen. 88 % nannten mindestens eine Auszeichnung oder ein Fellowship.

Die Gutachtenden bewerteten, ob jede Aufgabe eine starke Benchmark-Frage ergibt: Nähe zu realer Forschung, passende Prüfung des Schlussfolgerns und der Fachexpertise, Evidenz- oder Expertenbasis sowie Nutzen für die Bewertung der Modellleistung. Die Zustimmung lag in jeder Kategorie über 96 %.

Kommentare der Gutachtenden bestätigten die Zahlen:

Wir berichten zwei ergänzende Metriken. Die Erfolgsrate ist der Anteil der Aufgaben, bei denen ein Modell die Erfolgsschwelle von 70 % erreicht. Der Score ist die durchschnittliche Rubrikwertung und vergibt Teilpunkte, auch wenn die Gesamtaufgabe ungelöst bleibt. Beides zählt, weil wissenschaftliche Antworten teilweise richtig oder nützlich sein können, ohne vollständig zu sein.

Die Modellleistung variiert stark nach Aufgabentyp, Workflow und Antwortformat.

LifeSciBench zeigt: Führende Modelle sind relativ stark bei wissenschaftlicher Synthese, Kommunikation und strukturierter Interpretation. Die absoluten Erfolgsraten bleiben moderat; diese Benchmark-Domänen sind also bei Weitem noch nicht ausgereizt. GPT‑Rosalind zeigt eine deutliche Verbesserung gegenüber GPT‑5.5 mit einer exakten Gesamterfolgsrate von 36,1 % gegenüber GPT‑5.5 mit 25,7 %.

Die größten Fortschritte zeigen sich in Wissenschaftskommunikation und Translation. In Wissenschaftskommunikation steigt die Erfolgsrate von 56,3 % für GPT‑5.5 auf 71,1 % für GPT‑Rosalind. Die Kategorie ist klein (n=9) und sollte so mit Vorsicht interpretiert werden. Sie deutet aber auf schnelle Fortschritte beim Ordnen von Evidenz und bei überzeugenden Erklärungen für Fachleute hin. Translation, der Prozess für die Wirkstoffentwicklung, zeigt Ähnliches: von 36,8 % für GPT‑5.5 auf 57,7 % für GPT‑Rosalind. Modelle verknüpfen präklinische Evidenz offenbar immer besser mit klinischen Implikationen.

Ergebnisse auf Rubrikebene bestätigen das. Bei Aufgaben mit fachlich nützlichen oder handlungsleitenden Ergebnissen erreicht GPT‑Rosalind 44,7 %, GPT‑5.5 29,1 %. Beim Umgang mit Unsicherheit und Einschränkungen erreicht es 44,8 % gegenüber 29,3 %. Modelle sind also besonders nützlich, wenn die Evidenz klar begrenzt ist und strukturiertes wissenschaftliches Urteil gefragt ist.

Schwächer bleibt die Leistung bei artefaktlastiger, designlastiger und operativ stark eingeschränkter Wissenschaftsarbeit. Gestaltung, Optimierung und Vorhersage ist mit 30,7 % Erfolgsrate für GPT‑Rosalind einer der schwierigsten Workflows; die Analyse liegt ähnlich niedrig bei 30,3 %.

Besonders deutlich ist die Lücke bei Artefakten. GPT‑Rosalind ist hier besser als GPT‑5.5, fällt aber von 45,1 % bei reinen Textaufgaben auf 28,1 % bei Aufgaben mit Artefakten oder URLs ab. GPT‑5.5 zeigt dasselbe Muster: 29,9 % sinken auf 21,9 %. Eine Detailanalyse bestätigt: Führende Modelle haben Mühe, Informationen aus komplexen Abbildungen oder großen Sequenzdateien zu entnehmen und in die Endantwort einzubauen.

Auch das Antwortformat zählt. Bei exakten Sequenz-, Struktur- oder Konstruktausgaben sind die Erfolgsraten niedriger: GPT‑Rosalind erreicht nur 14,8 % bei numerischen Aufgaben und 24,0 % bei Sequenz- oder Strukturausgaben. Auch Konstrukterzeugung ist anfällig: GPT‑Rosalind liegt bei 27,3 % und weist kaum eine Verbesserung gegenüber GPT‑5.5 auf. Ein Teil der Lücke kann an strenger Bewertung exakter Antworten liegen, bei denen kleine Rechen- oder Formatabweichungen zum Nichtbestehen führen. Trotzdem sind diese Fehler relevant: Viele Life-Science-Workflows brauchen direkt nutzbare, exakte Ergebnisse, etwa im CRISPR/HDR-Donor- oder siRNA-Design.

Modelle kommen oft teilweise voran, ohne die Aufgabe ganz zu lösen. Bei rund 14 % der Aufgaben erzielten sie viele Rubrikpunkte, verfehlten aber die exakte Erfolgsschwelle. Bei GPT‑Rosalind hatten 109 Aufgaben Erfolgsraten unter 20 %, erreichten aber mindestens 50 % Rubrikwertung. Praktisch heißt das: Modelle finden relevante Evidenz oder plausible Teilantworten, scheitern aber an einer zentralen Einschränkung, falscher Evidenz, unvollständiger Rechnung oder fehlender Verknüpfung mit einer wissenschaftlich nützlichen Entscheidung.

LifeSciBench hilft zu messen, wie nützlich KI-Systeme für die Forschung in den Biowissenschaften sein können. Studien in laufenden Forschungsumgebungen ersetzt es nicht. Der Benchmark fokussiert geschlossene Aufgaben aus wiederkehrenden Industrie-Workflows. Viele Fachgebiete und Aufgabentypen bleiben vorerst außen vor. Reale Forschung ist iterativ: Forschende sammeln Evidenz, überarbeiten Hypothesen, planen Folgeexperimente und passen Pläne an neue Ergebnisse an.

Starke LifeSciBench-Leistung zeigt daher realistische Fähigkeiten auf Aufgabenebene, misst aber nicht direkt den Einfluss auf die spätere Forschung. Der Benchmark basiert auf Industrie-Workflows, erfasst aber nicht die ganze Vielfalt und Dynamik laufender Forschungsprogramme, deren Fortschritt sich über Zeit entwickelt.

Als Nächstes muss Benchmark-Leistung mit Einsatzstudien in laufenden Forschungs-Workflows verknüpft werden. LifeSciBench entstand mit praktizierenden Fachleuten. Ob KI-Systeme Entdeckungen beschleunigen oder F&E-Ergebnisse verbessern, lässt sich nur in realer Forschung prüfen: über längere Zeiträume und mehrere Runden von Reasoning, Feedback und experimenteller Nacharbeit.