Présentation de LifeSciBench

Les systèmes d’IA agentique savent de mieux en mieux accomplir des tâches scientifiques. Mais leur utilité en sciences de la vie dépend de leur aptitude à gérer la complexité de la recherche réelle. Ce travail se réduit rarement à rappeler un fait ou à résoudre une prédiction simple. Les chercheurs interprètent des données incomplètes, concilient des résultats opposés, conçoivent des expériences difficiles, dépannent des essais, évaluent le risque translationnel et décident dans l’incertitude.

Les benchmarks actuels couvrent mal ces capacités. Beaucoup d’évaluations en sciences de la vie ciblent des domaines étroits ou des compétences isolées, avec questions structurées et réponses de référence nettes. Utiles, elles disent pourtant rarement si un modèle peut contribuer à l’éventail plus large du travail de recherche.

Nous avons conçu LifeSciBench pour combler cette lacune. Chaque tâche repose sur le jugement de scientifiques en exercice, formés au niveau doctorat et expérimentés dans la découverte de médicaments en biotech ou pharma.

LifeSciBench réunit 750 tâches rédigées par des experts, couvrant sept workflows et sept domaines biologiques.

LifeSciBench mesure si les systèmes AI peuvent aider à mener de vraies tâches de recherche en sciences de la vie, pas seulement répondre à des questions de biologie. Pour définir sa taxonomie, nous avons interrogé des scientifiques sur leurs workflows les plus fréquents en recherche appliquée. Nous avons regroupé leurs réponses en sept catégories : preuves, analyse, conception et optimisation, raisonnement scientifique, validation et opérations, translation, communication scientifique.

Chaque tâche ressemble à une demande adressée à un collaborateur compétent : prompt scientifique, contexte ou artefacts utiles, et réponse libre. Des grilles d’experts évaluent si un modèle répond au problème avec le détail, la justification, les réserves et le format attendus par un scientifique.

LifeSciBench évalue le raisonnement scientifique et les compétences pratiques, moins codifiées, nécessaires à un usage réel. Les tâches demandent aux modèles de traiter des problèmes réalistes : interpréter des preuves, juger dans le domaine et formuler des conclusions utiles à des experts. Beaucoup exigent aussi de gérer l’incertitude et de raisonner sur des fichiers, pas seulement sur le texte du prompt.

Le benchmark reflète la complexité du travail en sciences de la vie. Au total, 79 % des tâches exigent plusieurs étapes de raisonnement ou de décision, quatre en moyenne. LifeSciBench inclut 1 062 artefacts : figures, PDF, tableaux, séquences, fichiers structuraux ou chimiques et références web. Plus de la moitié des tâches (53 %) exigent d’interpréter ou de synthétiser au moins un artefact.

Les tâches ont été créées par 173 scientifiques experts de diverses disciplines des sciences de la vie. Tous avaient une formation doctorale et une expérience en biotech ou dans l’industrie pharmaceutique. Avant acceptation, les tâches pouvaient être révisées autant que nécessaire ; celles retenues ont connu en moyenne six cycles automatisés d’auto-évaluation et au moins deux revues d’experts. Les revues reposaient sur une bonne réponse vérifiable ou un fort consensus, avec au moins 90 % d’accord entre experts du domaine. Ce processus a assuré des tâches fondées scientifiquement, notables de façon claire et représentatives de la recherche appliquée.

Les tâches LifeSciBench sont notées avec une grille détaillée et spécifique, qui décompose la réponse attendue en affirmations, calculs, décisions, justifications, etc. Au total, les grilles d’experts comptent 19 020 critères — 25 par tâche en moyenne — pour évaluer exactitude scientifique et utilité décisionnelle.

Cette conception reflète la pratique : en sciences de la vie, beaucoup de tâches ne se notent pas sur la seule réponse finale. Une réponse peut aboutir à la bonne conclusion générale mais rester incomplète si elle oublie une limite d’essai clé ou une nuance biologique majeure. À l’inverse, une réponse partielle peut contenir un raisonnement solide sans résoudre toute la tâche.

Les grilles fines captent cette nuance. LifeSciBench évalue l’exactitude finale, mais aussi la validité scientifique et l’utilité opérationnelle du chemin suivi par le modèle.

Nous avons validé LifeSciBench par une revue d’experts indépendante. Les retours venaient de 453 évaluateurs n’ayant pas rédigé les tâches. Parmi eux, 97 % détenaient un doctorat ou équivalent, avec en moyenne 12 ans d’expérience et 14 publications évaluées par les pairs ; 88 % déclaraient au moins un prix ou une bourse.

Ils notaient si chaque tâche avait les qualités d’une bonne question de benchmark : lien avec la recherche réelle, test du raisonnement scientifique et de l’expertise, fondement probant ou consensuel, utilité pour évaluer les modèles. L’accord dépassait 96 % dans chaque catégorie.

Les commentaires confirmaient les notes :

Nous rapportons deux métriques complémentaires. Le taux de réussite est la part des tâches où un modèle atteint le seuil de succès de 70 %. Le score est la récompense moyenne de la grille, avec crédit partiel pour chaque critère même si la tâche n’est pas résolue. Les deux comptent : une réponse scientifique peut être en partie correcte ou utile sans remplir toutes les exigences.

Les performances varient fortement selon le type de tâche, le workflow et le format de réponse.

LifeSciBench montre que les modèles de pointe réussissent surtout les tâches de synthèse scientifique, de communication et d’interprétation structurée. Les taux absolus restent modestes et ces domaines sont loin d’être saturés, mais GPT‑Rosalind progresse nettement sur GPT‑5.5 : le taux de réussite exacte global passe de 25,7 % à 36,1 %.

Les plus fortes progressions apparaissent en communication scientifique et en translation. Par exemple, la réussite en communication scientifique passe de 56,3 % pour GPT‑5.5 à 71,1 % pour GPT‑Rosalind ; l’échantillon est petit (n=9), mais il suggère que les modèles de pointe organisent mieux les preuves et produisent vite de meilleures explications pour experts. La translation (« du labo au patient ») suit le même schéma, de 36,8 % pour GPT‑5.5 à 57,7 % pour GPT‑Rosalind, signe d’une meilleure capacité à relier preuves précliniques et implications cliniques.

Les résultats par grille vont dans le même sens. Sur les sorties utiles ou actionnables pour l’expert, GPT‑Rosalind obtient 44,7 %, contre 29,1 % pour GPT‑5.5. Sur la gestion de l’incertitude et des réserves, il atteint 44,8 %, contre 29,3 %. Les modèles semblent donc plus utiles quand la tâche a des limites probantes claires et demande un jugement scientifique structuré.

Les performances restent bien plus faibles pour les travaux riches en artefacts, centrés sur la conception ou soumis à des contraintes opérationnelles. Conception, optimisation et prédiction figurent parmi les workflows les plus difficiles, avec 30,7 % de réussite pour GPT‑Rosalind ; l’analyse est proche, à 30,3 %.

L’usage des artefacts est une lacune nette. GPT‑Rosalind dépasse GPT‑5.5 dans ces contextes, mais son taux chute de 45,1 % sur les tâches texte seul à 28,1 % avec artefacts ou URL. GPT‑5.5 suit le même schéma, de 29,9 % à 21,9 %. Une analyse fine confirme que les modèles de pointe peinent à extraire l’information de figures complexes ou de grands fichiers de séquences, puis à l’intégrer à la réponse finale.

Le format de réponse compte aussi. Les sorties exactes de séquence, structure ou construct réussissent moins : GPT‑Rosalind n’atteint que 14,8 % sur les tâches numériques et 24,0 % sur les sorties de séquence ou structure. La génération de constructs est aussi fragile : GPT‑Rosalind atteint 27,3 % et progresse peu face à GPT‑5.5. Cet écart peut en partie venir d’une notation plus stricte des réponses exactes, où de petits écarts de calcul ou de format font passer sous le seuil. Ces échecs restent importants : beaucoup de workflows exigent des sorties directement utilisables, par exemple pour concevoir des donneurs CRISPR/HDR ou des siRNA.

Les modèles vont aussi souvent assez loin sans finir la tâche. Dans environ 14 % des tâches, ils ont obtenu un crédit substantiel sans atteindre le seuil de réussite exacte. Pour GPT‑Rosalind, 109 tâches avaient moins de 20 % de réussite tout en obtenant au moins 50 % de récompense dans la grille. En pratique, un modèle peut repérer des preuves utiles ou produire une réponse partielle plausible, mais échouer s’il manque une contrainte, choisit les mauvaises preuves, calcule incomplètement ou ne relie pas son raisonnement à une décision scientifique utile.

LifeSciBench aide à mesurer l’utilité possible des systèmes AI pour la recherche en sciences de la vie, mais ne remplace pas l’étude des modèles en environnement réel. Le benchmark cible des tâches autonomes issues de workflows industriels récurrents, tout en excluant encore de nombreuses spécialités et types de tâches. La recherche réelle est itérative : les scientifiques recueillent des preuves, révisent leurs hypothèses, conçoivent la suite et adaptent leurs plans aux résultats.

Une bonne performance sur LifeSciBench indique donc une capacité réaliste au niveau des tâches, non une mesure directe de l’impact aval. Ancré dans les workflows industriels, le benchmark ne couvre pas toute la diversité ni la dynamique des programmes réels, où les progrès se construisent dans le temps.

La prochaine étape est de relier les scores du benchmark à des études de déploiement dans des workflows de recherche réels. Bien que LifeSciBench ait été créé avec des scientifiques, mesurer si les systèmes AI accélèrent la découverte ou améliorent la R&D exigera d’étudier l’usage des modèles en conditions réelles, sur des horizons plus longs et plusieurs cycles de raisonnement, retour et suivi expérimental.