Einführung von GeneBench-Pro
Ein Benchmark auf Forschungsniveau, der misst, wie KI-Agenten in der computergestützten Biologie mit Mehrdeutigkeit umgehen und folgenreiche Urteile treffen.
Wissenschaftliche Daten werden selten mit einer Gebrauchsanweisung geliefert. Forschende müssen entscheiden, ob ein Muster Biologie oder Rauschen widerspiegelt, ob die Daten die gestellte Frage tragen können und wie jedes Ergebnis das weitere Vorgehen verändern sollte. KI-Agenten können immer komplexere Analysen ausführen. Doch echte wissenschaftliche Forschung hängt nicht nur davon ab, Fakten abzurufen oder einem vorgegebenen Arbeitsablauf zu folgen, sondern auch davon, solche Urteile auf höherer Ebene zu treffen.
Heute stellen wir GeneBench-Pro vor: einen anspruchsvollen Benchmark auf Forschungsniveau, der testet, ob Modelle die Art von entscheidungsintensiven Analysen bewältigen können, die reale computergestützte Biologie erfordert. Er erweitert GeneBench(wird in einem neuen Fenster geöffnet) um schwierigere, realistischere Aufgaben aus Genomik, quantitativer Biologie und translationaler Medizin. So bildet er die Komplexität, den iterativen Charakter und die Mehrdeutigkeit wissenschaftlicher Forschung in der computergestützten Biologie ab.
Bislang gab es nur wenige überzeugende Bewertungen der Urteile auf Systemebene, die computergestützte Forschung in der Praxis schwierig machen. Dazu gehören der Umgang mit Mehrdeutigkeit, das Überarbeiten von Annahmen, die Wahl des richtigen Analysewegs und das Wissen, wann ein Ergebnis entscheidungsreif ist. Weil sich diese Fähigkeiten schwer formalisieren lassen, sind sie auch schwer streng zu bewerten, obwohl Schwächen darin die Gesamtleistung von KI zunehmend begrenzen.
GeneBench-Pro wurde entwickelt, um diese Fähigkeiten auf höherer Ebene präzise zu messen. In GeneBench-Pro definieren wir Forschungsgeschick („research taste“) als die Abfolgen von Ermessensentscheidungen, die eine Analyse prägen: welche Fragen die Daten stützen können, wie frühe Diagnostik das Modell oder den Estimand verändern sollte und wann ein ursprünglicher Plan überarbeitet werden muss. Jedes GeneBench-Pro-Problem gibt dem Modell einen realistischen, unübersichtlichen Datensatz, einen knappen experimentellen Kontext und einen Ziel-Estimand, der an eine nachgelagerte Entscheidung geknüpft ist. Um korrekt zu antworten, muss das Modell die Daten explorieren, einen geeigneten Analyseansatz wählen, iterativ experimentieren und eine endgültige Antwort liefern.
In der Biologie sind die Kosten der Datenerzeugung, etwa für Genomsequenzierung, stark gefallen. Einige Forschende argumentieren inzwischen(wird in einem neuen Fenster geöffnet), dass nicht mehr die Probensammlung der Engpass ist, sondern die nachgelagerte Berechnung und Analyse. GeneBench-Pro soll Fortschritte bei diesem Engpass bewerten. Dazu umfasst er 129 Fragen aus einem breiten Spektrum computergestützter biologischer Kontexte und Methoden.
Domänenatlas: 129 Probleme in 10 Domänen und 21 Unterdomänen
Klicke oben auf einen Punkt, um mehr über ein Benchmark-Problem zu erfahren.
Dieser Atlas gibt einen Eindruck von der Breite von GeneBench-Pro. Besuche die Fallstudien-Seite, um 10 repräsentative Fragen genauer zu erkunden.
GeneBench-Pro ist außerdem darauf ausgelegt, typische Benchmark-Fehler zu vermeiden. Viele langfristig angelegte Biologie-Benchmarks konstruieren mehrstufige Fragen rund um unübersichtliche historische Datensätze, bei denen es möglicherweise keinen einzelnen richtigen Analyseweg gibt. Ein Agent könnte einen vertretbaren Cutoff wählen, ein anderer eine andere, aber ebenso vertretbare Option. Das spiegelt eher willkürliche Entscheidungen der Benchmark-Erstellenden wider als grundlegende Unterschiede in der Modellleistung. Auch das Gegenteil kann passieren: Ist ein Problem numerisch zu unempfindlich, kann ein Agent grundlegende Analysefehler machen und trotzdem ein akzeptiertes Ergebnis liefern.
Um diese Fehlermuster zu vermeiden, wird jedes GeneBench-Pro-Problem synthetisch erstellt: Wir kennen die vollständige kausale Struktur und simulieren den datengenerierenden Prozess direkt. So können wir die Komplexität jedes Problems abstimmen, sicherstellen, dass vertretbare Unterschiede bei subjektiven Analyseentscheidungen dennoch akzeptierte numerische Ergebnisse liefern, und mit Ablationsstudien prüfen, dass plausible, aber falsche Analysen scheitern. Anschließend prüfen wir Problementwürfe mithilfe detaillierter Trace-Analysen auf Informationslecks und unbeabsichtigte Lösungswege. Das gibt uns Zuversicht, dass die richtige Antwort von der Wahl des richtigen Analysewegs abhängt und nicht davon, eine Abkürzung auszunutzen oder eine willkürliche Präferenz der Autor:innen zu treffen.
Wir haben 82 der 129 GeneBench-Pro-Fragen an externe Fachexpert:innen geschickt, darunter Doktorand:innen, Postdoktorand:innen, Industriewissenschaftler:innen und Professor:innen. Die Gutachtenden bewerteten die Realitätsnähe jedes Problems, ob die Zielantwort identifizierbar war und ob Methoden und Schätzer geeignet waren. Das Feedback wurde genutzt, um die Probleme zu verbessern.
“Die von mir begutachteten Aufgaben wären ohne wiederholtes Feedback durch eine erfahrene Betreuungsperson für Studierende im Graduiertenstudium anspruchsvoll zu bearbeiten gewesen. Die Daten enthielten technische Probleme und Qualitätskontrollprobleme, die eine durchdachte, reflektierte Datenanalyse mit Bewusstsein für mögliche Fallstricke erforderten. Es ging nicht einfach darum, eine Standardmethode auf saubere, gut kuratierte Daten anzuwenden.”
“Auch wenn aktuelle Modelle noch nicht zuverlässig eigenständige Analysen von Anfang bis Ende durchführen können, könnten Modelle, die bei GeneBench-Pro-Problemen gut abschneiden, Forschende eindeutig dabei unterstützen, korrekte Workflows zu bestimmen und Daten zu explorieren. Ich kann mir vorstellen, dass das Tempo, Gründlichkeit und Reproduzierbarkeit der Forschung deutlich verbessern würde.”
Jedes GeneBench-Pro-Problem ist eine eigenständige wissenschaftliche Analyse. Agenten erhalten Zugriff auf einen isolierten Workspace mit einem kurzen Prompt, Datendateien und einem Standard-Bioinformatik-Stack, einschließlich Python, wissenschaftlichen Computing-Bibliotheken und grundlegenden Genomik-Paketen wie PLINK 2.0. Domänenspezifische Werkzeuge sind für die Probleme allerdings nicht erforderlich.
Nutzen-Risiko-Entscheidung für Tumortherapie anhand struktureller Varianten
Da wir den gesamten Prozess der Datenerzeugung kontrollieren, können wir die Korrektheit deterministisch gegen bekannte Ziele bewerten und so Modellwahl-Variabilität und Ausführlichkeitseffekte vermeiden, die in üblichen rubrikbasierten Evaluationen auftreten.
Zu jedem Problem gehören außerdem umfangreiche Metadaten, darunter die vorgesehene Analysestruktur, angehängte Datendateien, eine detaillierte mehrseitige Fallstudie und Ergebnisse der Expertenprüfung. Wir veröffentlichen 10 repräsentative GeneBench-Pro-Fragen vollständig als Open Source auf Hugging Face(wird in einem neuen Fenster geöffnet), zusammen mit einer interaktiven Weboberfläche zum Durchsehen. Außerdem werden wir in naher Zukunft ein Teilset mit 50 Fragen an Artificial Analysis(wird in einem neuen Fenster geöffnet) für unabhängiges Benchmarking durch Dritte bereitstellen.
Unser stärkstes Modell, GPT‑5.6 Sol, erreicht auf der höchsten Reasoning-Stufe eine Bestehensrate von 28,7 % (31,5 % mit aktiviertem Pro-Modus). Das ist ein deutlicher Sprung gegenüber dem Zeitpunkt, an dem wir mit der Entwicklung des ursprünglichen GeneBench begonnen haben. Damals lag unser bestes Frontier-Modell, GPT‑5, unter 5 %. Der Fortschritt bei diesem Benchmark deutet darauf hin, dass Frontier-Modelle sich schnell verbessern, selbst bei weniger greifbarem wissenschaftlichem Reasoning auf Systemebene. Beim aktuellem Tempo könnte dieser Benchmark bis Ende des Jahres gesättigt sein.
Die Ergebnisse zeigen auch, welchen Einfluss die Skalierung der Rechenleistung zur Testzeit hat. Auf der niedrigsten Reasoning-Stufe erreicht GPT‑5.6 Sol nur eine einstellige Bestehensrate. Auf der höchsten Reasoning-Stufe löst GPT‑5.6 Sol fast sechsmal so viele Fragen wie GPT‑5.2 und verwendet dabei etwa zwei Drittel so viele Tokens.
Vergleiche zwischen Modellfamilien deuten darauf hin, dass GPT‑Modelle zu den stärksten Systemen für wissenschaftliches Reasoning auf hoher Ebene unter quantitativer Unsicherheit gehören. Der Leistungsabstand zwischen GPT‑5.6, GPT‑5.5 und führenden Open-Source-Modellen wie GLM 5.2 ist deutlich größer, als wir bei einer Extrapolation aus Coding-Benchmarks(wird in einem neuen Fenster geöffnet) erwarten würden. Das deutet darauf hin, dass Open-Source-Modelle stärker auf Coding spezialisiert sind als auf allgemeineres Reasoning.
Während der Entwicklung haben wir Frontier-GPT‑Modelle eingesetzt, um Probleme zu evaluieren und robuster zu machen. Daher vermuteten wir, dass GeneBench-Pro gegenüber anderen Modellfamilien zuungunsten von GPT‑Modellen verzerrt sein könnte. Konkurrenzmodelle erreichten jedoch bestenfalls die Leistung des entsprechenden GPT‑Modells zum Zeitpunkt der Veröffentlichung und blieben meist deutlich dahinter zurück.
Diese Evaluationsergebnisse, bis zu 31,5 % bei GPT‑5.6 Sol (Pro), sind angesichts der Schwierigkeit der GeneBench-Pro-Fragen bemerkenswert. In einer Umfrage schätzten unsere Gutachtenden, dass eine typische GeneBench-Pro-Aufgabe für eine menschliche Fachperson etwa 20 bis 40 Stunden dauern würde. Bei konservativ angesetzten 200 USD pro Stunde liegen die Personalkosten für ein einzelnes Problem damit im Bereich mehrerer Tausend Dollar. Aktuelle KI-Agenten sind noch zu unzuverlässig, um menschliche Fachleute zu ersetzen. Die Kostendifferenz ist jedoch groß: Die Inferenzkosten liegen nur bei einigen Dollar pro Problem. Das bedeutet: Schon eine teilweise Automatisierung mit heutigen Fähigkeiten könnte spürbaren wirtschaftlichen und wissenschaftlichen Wert schaffen.
“Die Benchmarks sind durch ein breites Spektrum biologischer Fragestellungen motiviert, aber … die eigentliche Herausforderung liegt in der explorativen Datenanalyse und im Schlussfolgern auf Basis dieser Erkenntnisse: Muster und Artefakte erkennen und entscheiden, ob Daten ausgeschlossen oder angepasst werden sollten. Das ähnelt der unübersichtlichen Natur realer biologischer Datensätze. Die Prüfung dieser Evaluationen macht deutlich, wie wichtig klare Solver-Verträge für agentenbasierte wissenschaftliche Problemlösung sind. Unterschiedliche Prompt-Formulierungen oder Aufgabenbeschreibungen können stark beeinflussen, welche Analysen zulässig erscheinen.”
“Ich mochte [die Fragen] größtenteils. Sie enthielten meist eine Mischung aus: (1) erforderlichem Fachwissen, etwa C>T-Bias in alter DNA, (2) Datenabweichungen, etwa vertauschter Abstammung, (3) Wissen darüber, welche Analysewerkzeuge für die Aufgabe geeignet sind und wie man sie einsetzt. Es wirkte so, als seien die meisten Agenten an (2) gescheitert. Sie sind bei Datenproblemen nicht vorsichtig genug. Vielleicht zeigt das eine Schwäche aktueller Modelle. Und viele biologische Daten weisen Unregelmäßigkeiten auf”
Gleichzeitig zeigt die Tatsache, dass Frontier-Modelle weiterhin weniger als ein Drittel dieser Probleme lösen, dass es erheblichen Verbesserungsbedarf gibt. Modelle kommen bei anspruchsvollen Problemen teilweise voran, haben aber Schwierigkeiten, den inferenziellen Kreis zu schließen. Dieses Fehlermuster spiegelt den Unterschied zwischen menschlichen Fachleuten und Anfänger:innen wider. Fachleute nutzen ihre Erfahrung, um das Problem einzuordnen und ihren Ansatz anzupassen. Anfänger:innen machen zwar Beobachtungen, haben aber Schwierigkeiten, sie in den größeren Problemkontext zu integrieren.
Problem: Pharmakogenomische Time-to-Event-Reaktion mit zeitvariabler Behandlung
GPT-5.5-Muster
GPT-5.6-Sol-Muster
Eine nahezu perfekte Leistung erfordert Evaluationen, die Fortschritt zuverlässig messen und zugleich zeigen, wo Modelle noch scheitern. Benchmarks wie GeneBench-Pro können helfen, ein vages Fähigkeitsdefizit in etwas zu übersetzen, das wir diagnostizieren und verbessern können.
Wenn Agenten diese Art von Analyse zuverlässig automatisieren können, könnten sie wissenschaftliche Entdeckungen deutlich beschleunigen. Humangenetische Evidenz ist bereits zentral für Target-Priorisierung und translationale Folgeanalysen, weil Mechanismen mit genetischer Unterstützung deutlich häufiger zu zugelassenen Behandlungen führen.
Gleichzeitig sind die Sequenzierungskosten stark gefallen, und Datensätze im Biobank-Maßstab verknüpfen heute molekulare, phänotypische und Gesundheitsakten-Informationen in bislang unerreichter Breite. Der Engpass verlagert sich von der Datenerzeugung hin zur Umwandlung dieser Informationen in handlungsrelevante Erkenntnisse. Modelle, die Analysen zuverlässig übernehmen können, die heute Teams menschlicher Fachleute bearbeiten, könnten die industrielle Forschung transformieren, indem sie die Hypothesentriage, Target-Folgeanalyse und den Iterationszyklus zwischen Datenerzeugung und Entscheidungsfindung beschleunigen.
GeneBench-Pro ist ein erster Versuch, die abstrakteren Fähigkeiten zu bewerten, die zu gutem wissenschaftlichem Urteilsvermögen gehören und über die erfahrene Wissenschaftler:innen verfügen. Diese Fähigkeiten ermöglichen es ihnen, die vielversprechendsten ersten Analysen intuitiv zu erkennen, ihre Denkansätze zu überarbeiten, wenn Daten ursprünglichen Annahmen widersprechen, und zu Schlussfolgerungen zu gelangen, von denen nachgelagerte klinische, akademische oder geschäftliche Entscheidungen abhängen können.
Wir gehen davon aus, dass angesichts zunehmender Modellfähigkeiten solche Benchmarks immer nützlicher werden, die Modellfähigkeiten auf diesen höheren Abstraktionsebenen prüfen, statt nur Buchwissen oder die Fähigkeit zur Ausführung routinemäßiger Analysen zu testen.
