Présentation de LifeSciBench

Les systèmes d’IA agentique savent de mieux en mieux accomplir des tâches scientifiques. Mais leur utilité pour les chercheurs en sciences de la vie dépend de leur capacité à gérer la complexité de la vraie recherche. Ce travail se réduit rarement à une question de mémoire ou à une prédiction simple. Les chercheurs interprètent des preuves incomplètes, concilient des résultats opposés, conçoivent des expériences difficiles, dépannent des essais, évaluent le risque translationnel et décident de la suite malgré l’incertitude.

Les bancs d’essai actuels ne mesurent pas pleinement ces capacités. Beaucoup d’évaluations en sciences de la vie ciblent des domaines étroits ou des compétences isolées, avec des questions structurées et des réponses de référence nettes. Utiles, elles évaluent pourtant mal la contribution d’un modèle à l’ensemble du travail de recherche.

Nous avons créé LifeSciBench pour combler cette lacune. Chaque tâche repose sur le jugement de scientifiques en exercice, formés au doctorat et expérimentés en découverte de médicaments en biotech ou en pharmaceutique.

LifeSciBench compte 750 tâches d’experts couvrant sept flux de travail et sept domaines biologiques.

LifeSciBench mesure si les systèmes d’IA peuvent soutenir des tâches réalistes en sciences de la vie, et pas seulement répondre à des questions de biologie. Pour établir la taxonomie, nous avons sondé des scientifiques sur leurs flux de travail les plus fréquents en recherche appliquée. Nous avons regroupé les réponses en sept catégories : gestion des preuves, analyse, conception et optimisation, raisonnement scientifique, validation et opérations, translation, et communication scientifique.

Chaque tâche ressemble à une demande faite à un collègue compétent : consigne scientifique, contexte ou artéfacts pertinents, et réponse libre. Des grilles d’experts évaluent si un modèle répond correctement, avec le détail, la justification, les réserves et le format attendus par un scientifique.

LifeSciBench évalue le raisonnement scientifique et les compétences pratiques, moins bien définies, nécessaires en recherche réelle. Les tâches demandent aux modèles de traiter des problèmes réalistes : interpréter les preuves, juger selon le domaine et formuler des conclusions utiles à des experts. Beaucoup exigent aussi de gérer l’incertitude et de raisonner à partir de fichiers de données, pas seulement du texte de l’invite.

Le banc d’essai reflète la complexité du travail en sciences de la vie. Au total, 79 % des tâches exigent plusieurs étapes de raisonnement ou de décision, soit quatre étapes en moyenne. LifeSciBench comprend 1 062 artéfacts : figures, PDF, tableaux, fichiers de séquences, de structures ou de chimie, et références Web. Plus de la moitié des tâches (53 %) exigent d’interpréter ou de synthétiser l’information d’au moins un artéfact.

Les tâches ont été créées par 173 experts de diverses disciplines des sciences de la vie. Tous avaient une formation doctorale et une expérience en biotech ou en pharmaceutique. Les tâches pouvaient être révisées autant que nécessaire; celles acceptées ont eu en moyenne six cycles automatisés d’autoexamen et au moins deux rondes d’experts. Les évaluations reposaient sur une réponse vérifiable ou un fort consensus, avec au moins 90 % d’accord entre experts du domaine. Ce processus a assuré des tâches scientifiquement solides, clairement définies et représentatives de la recherche appliquée.

Les tâches sont notées avec une grille détaillée propre à chacune, qui décompose la réponse attendue en affirmations, calculs, décisions, justifications, etc. Au total, ces grilles d’experts comptent 19 020 critères, soit 25 par tâche en moyenne, pour juger l’exactitude scientifique et l’utilité décisionnelle.

Cette approche reflète l’évaluation scientifique réelle : souvent, vérifier la réponse finale ne suffit pas. Une réponse peut conclure juste, mais rester incomplète si elle néglige une limite d’essai clé ou une nuance biologique majeure. À l’inverse, une réponse partielle peut montrer un raisonnement solide sans résoudre toute la tâche.

Les grilles détaillées captent cette nuance. LifeSciBench évalue non seulement l’exactitude finale, mais aussi si le modèle y arrive de façon scientifiquement valide et utile en pratique.

Nous avons validé LifeSciBench par une évaluation indépendante d’experts. Les commentaires venaient de 453 évaluateurs n’ayant pas rédigé les tâches. Parmi eux, 97 % avaient un doctorat ou l’équivalent, en moyenne 12 ans d’expérience et 14 publications évaluées par les pairs; 88 % avaient reçu au moins un prix ou une bourse.

Les évaluateurs ont jugé si chaque tâche avait les qualités d’une bonne question de banc d’essai : lien avec la recherche réelle, test approprié du raisonnement et de l’expertise, appui sur des preuves ou un consensus, et utilité pour mesurer la performance des modèles. L’accord a dépassé 96 % dans chaque catégorie.

Les commentaires ont confirmé les notes quantitatives :

Nous rapportons deux mesures complémentaires. Le taux de réussite est la part des tâches où un modèle atteint le seuil de 70 %. Le score moyen obtenu selon la grille, avec crédit partiel pour les critères réussis même si la tâche ne l’est pas. Les deux comptent, car une réponse scientifique peut être partiellement correcte ou utile sans être complète.

La performance varie beaucoup selon le type de tâche, le flux de travail et le format de réponse.

LifeSciBench montre que les modèles de pointe sont les meilleurs en synthèse scientifique, communication et interprétation structurée. Les taux absolus restent modestes, donc ces domaines sont loin d’être saturés, mais GPT‑Rosalind progresse nettement face à GPT‑5.5, avec un taux de réussite exacte de 25,7 % à 36,1 %.

Les plus grands progrès apparaissent en communication scientifique et en translation. Par exemple, le taux en communication scientifique passe de 56,3 % avec GPT‑5.5 à 71,1 % avec GPT‑Rosalind; cette petite catégorie (n=9) appelle la prudence, mais suggère que les modèles de pointe organisent mieux les preuves et produisent des explications convaincantes pour experts. La translation, soit le passage « du banc au chevet » en développement de médicaments, suit la même tendance : de 36,8 % avec GPT‑5.5 à 57,7 % avec GPT‑Rosalind, signe que les modèles relient mieux les preuves précliniques aux implications cliniques.

Les résultats par critère vont dans le même sens. Pour les tâches exigeant des sorties utiles aux experts ou exploitables, GPT‑Rosalind obtient 44,7 %, contre 29,1 % pour GPT‑5.5. Pour la gestion de l’incertitude et des réserves, il obtient 44,8 %, contre 29,3 %. Les modèles semblent donc surtout utiles quand la tâche a des limites de preuve claires et demande un jugement scientifique structuré.

La performance reste bien plus faible pour les tâches riches en artéfacts, axées sur la conception ou soumises à des contraintes opérationnelles. La conception, l’optimisation et la prédiction figurent parmi les flux les plus difficiles, avec 30,7 % de réussite pour GPT‑Rosalind; l’analyse est semblable, à 30,3 %.

L’utilisation des artéfacts est une lacune nette. Même si GPT‑Rosalind dépasse GPT‑5.5 dans ces contextes, son taux chute de 45,1 % pour les tâches textuelles à 28,1 % avec artéfacts ou URL. GPT‑5.5 suit le même profil, de 29,9 % à 21,9 %. Une analyse détaillée confirme que les modèles de pointe peinent à extraire l’information de figures complexes ou de grands fichiers de séquences et à l’intégrer à la réponse finale.

Le format de réponse compte aussi. Les tâches exigeant des séquences, structures ou constructions exactes réussissent moins : GPT‑Rosalind atteint 14,8 % en numérique et 24,0 % pour les sorties de séquence ou de structure. La génération de constructions est aussi fragile : GPT‑Rosalind obtient 27,3 % et améliore peu GPT‑5.5. Une part de l’écart peut venir d’une notation plus stricte des réponses exactes, où de petits écarts de calcul ou de format font échouer la tâche. Ces échecs comptent scientifiquement, car beaucoup de flux en sciences de la vie exigent des sorties assez exactes pour un usage direct, comme la conception de donneurs CRISPR/HDR ou d’ARNsi.

Les modèles avancent aussi souvent sans résoudre toute la tâche. Dans environ 14 % des tâches, ils ont reçu un crédit important malgré l’échec au seuil de réussite exacte. Pour GPT‑Rosalind, 109 tâches avaient un taux sous 20 % tout en obtenant au moins 50 % de récompense de grille. En pratique, les modèles peuvent repérer des preuves pertinentes ou produire une réponse partielle plausible, mais échouer s’ils manquent une contrainte clé, utilisent les mauvaises preuves, calculent incomplètement ou ne relient pas leur raisonnement à une décision finale utile.

LifeSciBench aide à mesurer l’utilité des systèmes d’IA en sciences de la vie, sans remplacer l’étude des modèles en recherche réelle. Le banc d’essai cible des tâches autonomes issues de flux industriels récurrents, mais exclut encore plusieurs spécialités et types de tâches. La vraie recherche est itérative : les scientifiques recueillent des preuves, révisent leurs hypothèses, conçoivent des suivis et adaptent leurs plans aux résultats.

Une forte performance à LifeSciBench indique donc une capacité réaliste au niveau de la tâche, non un impact direct sur la recherche en aval. Ancré dans les flux industriels, le banc d’essai ne couvre pas toute la diversité ni la dynamique des programmes de recherche réels, où les progrès se jouent dans le temps.

La prochaine étape est de relier les résultats du banc d’essai à des études de déploiement dans de vrais flux de recherche. Bien que conçu avec des scientifiques en exercice, LifeSciBench ne peut mesurer l’effet des systèmes d’IA sur la découverte ou la R-D qu’au moyen d’études en contexte réel, sur de plus longs horizons et avec plusieurs cycles de raisonnement, de rétroaction et de suivi expérimental.