Présentation de GeneBench-Pro

Les données scientifiques arrivent rarement avec un mode d’emploi. Les chercheurs doivent décider si un motif relève de la biologie ou du bruit, si les données peuvent répondre à la question posée et comment chaque résultat doit orienter la suite. Les agents IA savent de mieux en mieux exécuter des analyses complexes, mais la recherche scientifique réelle exige aussi des jugements de haut niveau, au-delà du rappel de faits ou du suivi d’un flux de travail prédéfini.

Aujourd’hui, nous présentons GeneBench-Pro, un benchmark exigeant de niveau recherche, conçu pour tester si les modèles gèrent les analyses fortement fondées sur le jugement qu’exige la biologie computationnelle réelle. Il prolonge GeneBench⁠(ouverture dans une nouvelle fenêtre) avec des tâches plus difficiles et réalistes en génomique, biologie quantitative et médecine translationnelle, afin de saisir la complexité, l’itération et l’ambiguïté de la recherche en biologie computationnelle. 

Jusqu’ici, peu d’évaluations convaincantes mesuraient les jugements au niveau système qui rendent la recherche computationnelle réelle difficile. Il s’agit notamment de gérer l’ambiguïté, réviser les hypothèses, choisir la bonne voie d’analyse et savoir quand un résultat est prêt pour une décision. Ces compétences étant difficiles à formaliser, elles sont aussi difficiles à évaluer rigoureusement, alors que leurs faiblesses limitent de plus en plus les performances globales de l’IA.

GeneBench-Pro est conçu pour mesurer précisément ces capacités de haut niveau. Dans GeneBench-Pro, nous définissons le « goût de la recherche » comme les chaînes de jugements qui façonnent une analyse : quelles questions les données peuvent étayer, comment les premiers diagnostics doivent modifier le modèle ou l’estimand, et quand un plan initial doit être revu. Chaque problème GeneBench-Pro donne au modèle un jeu de données réaliste et désordonné, un bref contexte expérimental et un estimand cible lié à une décision en aval. Pour répondre correctement, le modèle doit explorer les données, choisir une approche analytique adaptée, expérimenter de façon itérative et fournir une réponse finale.

En biologie, le coût de génération des données (p. ex. le séquençage génomique) a fortement baissé, et certains chercheurs soutiennent désormais⁠(ouverture dans une nouvelle fenêtre) que le facteur limitant n’est plus la collecte d’échantillons, mais le calcul et l’analyse en aval. GeneBench-Pro vise à évaluer les progrès face à ce goulot d’étranglement, avec 129 questions couvrant de nombreux contextes et méthodes de biologie computationnelle.

GeneBench-Pro est aussi conçu pour éviter les écueils fréquents des benchmarks. De nombreux benchmarks de biologie à horizon long bâtissent des questions en plusieurs étapes sur des jeux de données historiques désordonnés, où il n’existe pas toujours de voie d’analyse unique. Un agent peut choisir un seuil défendable, un autre une option différente mais tout aussi défendable, ce qui reflète davantage les choix arbitraires du créateur du benchmark que de vraies différences de performances des modèles. L’inverse peut aussi se produire : si un problème est trop peu sensible numériquement, un agent peut commettre des erreurs fondamentales et obtenir malgré tout un résultat accepté.

Pour éviter ces modes d’échec, chaque problème GeneBench-Pro est construit synthétiquement : nous connaissons toute la structure causale et simulons directement le processus générateur des données. Cela permet d’ajuster la complexité de chaque problème, de vérifier que des choix analytiques subjectifs raisonnablement différents produisent encore des résultats numériques acceptés, et de confirmer, par ablations, que des analyses plausibles mais erronées échouent. Nous auditons ensuite les brouillons de problèmes par des analyses détaillées de traces, afin de détecter les fuites d’information et les voies de résolution non prévues. Nous pouvons ainsi être sûrs que la bonne réponse dépend du choix de la bonne voie analytique, et non de l’exploitation d’un raccourci ou de l’alignement sur une préférence arbitraire de l’auteur.

Nous avons soumis 82 des 129 questions GeneBench-Pro à des experts externes, dont des doctorants, postdoctorants, chercheurs en entreprise et professeurs. Les évaluateurs ont jugé le réalisme de chaque problème, l’identifiabilité de la réponse cible et l’adéquation des méthodes et estimateurs. Leurs retours ont servi à améliorer les problèmes.

Chaque problème GeneBench-Pro est une analyse scientifique autonome. Les agents accèdent à un espace de travail isolé avec un court prompt, des fichiers de données et une pile bioinformatique standard incluant Python, des bibliothèques de calcul scientifique et des outils génomiques de base comme PLINK 2.0, même si les problèmes n’exigent pas d’outils propres au domaine.

Comme nous contrôlons tout le processus de génération des données, nous pouvons noter l’exactitude de façon déterministe par rapport à des cibles connues, en évitant la variabilité des choix de modèles et les effets de verbosité des évaluations classiques par grille.

Chaque problème s’accompagne aussi de métadonnées riches : structure d’analyse attendue, fichiers de données joints, étude de cas détaillée sur plusieurs pages et résultats d’examen par des experts. Nous publions en open source 10 questions GeneBench-Pro représentatives sur Hugging Face⁠(ouverture dans une nouvelle fenêtre), avec une interface web interactive pour les parcourir. Enfin, nous fournirons prochainement un sous-ensemble de 50 questions à Artificial Analysis⁠(ouverture dans une nouvelle fenêtre) pour un benchmarking indépendant par un tiers.

Notre modèle le plus performant, GPT‑5.6 Sol, atteint 28,7 % de réussite au niveau de raisonnement le plus élevé (31,5 % avec le mode Pro activé). C’est une forte hausse par rapport au début de la création du GeneBench original : à l’époque, notre meilleur modèle de pointe, GPT‑5, obtenait moins de 5 %. Les progrès sur ce benchmark suggèrent que les modèles de pointe s’améliorent rapidement, même pour un raisonnement scientifique au niveau système, moins tangible. Au rythme actuel, ce benchmark pourrait être saturé d’ici la fin de l’année.

Les résultats montrent aussi l’effet de la mise à l’échelle du calcul au moment du test. Au niveau de raisonnement le plus bas, GPT‑5.6 Sol n’atteint qu’un taux de réussite à un chiffre. Au niveau de raisonnement le plus élevé, GPT‑5.6 Sol résout près de six fois plus de questions que GPT‑5.2 tout en utilisant environ deux tiers de tokens en moins.

Les comparaisons entre familles de modèles suggèrent que les modèles GPT comptent parmi les systèmes les plus solides en raisonnement scientifique de haut niveau sous incertitude quantitative. L’écart entre GPT‑5.6, GPT‑5.5 et les meilleurs modèles open source comme GLM 5.2 est bien plus grand que ne le laisseraient prévoir les benchmarks de code⁠(ouverture dans une nouvelle fenêtre), signe que les modèles open source sont plus spécialisés dans le code que dans le raisonnement général.

Nous avons utilisé des modèles GPT de pointe pour évaluer et renforcer les problèmes durant le développement. Nous soupçonnions donc GeneBench-Pro d’être défavorable aux modèles GPT par rapport aux autres familles de modèles. Pourtant, les modèles concurrents ont au mieux égalé les performances du modèle GPT correspondant à sa sortie, et étaient souvent nettement en retrait.

Ces résultats d’évaluation — jusqu’à 31,5 % sur GPT‑5.6 Sol (Pro) — sont frappants vu la difficulté des questions GeneBench-Pro. Dans une enquête, nos évaluateurs ont estimé qu’un problème GeneBench-Pro typique demanderait environ 20 à 40 heures à un expert humain. À un tarif prudent de 200 $ l’heure, le coût de travail humain d’un seul problème se chiffre en milliers de dollars. Les agents IA actuels restent trop peu fiables pour remplacer les experts humains, mais l’écart de coût est important, l’inférence ne coûtant que quelques dollars par problème. Ainsi, même une automatisation partielle avec les capacités actuelles pourrait créer une valeur économique et scientifique réelle.

Reste que les modèles de pointe résolvent encore moins d’un tiers de ces problèmes, ce qui laisse une grande marge de progrès. Les modèles peuvent progresser partiellement sur des problèmes difficiles, mais peinent à boucler l’inférence. Ce schéma d’échec rappelle l’écart entre experts humains et débutants. Les experts s’appuient sur leur expérience pour cadrer le problème et adapter leur approche, tandis que les débutants font des observations sans réussir à les intégrer au contexte plus large.

Atteindre une performance quasi parfaite exigera des évaluations capables à la fois de mesurer les progrès de façon fiable et d’identifier où les modèles échouent encore. Des benchmarks comme GeneBench-Pro peuvent transformer un déficit de capacité flou en un problème que l’on peut diagnostiquer et améliorer. 

Si les agents automatisent fiablement cette classe d’analyses, ils pourraient fortement accélérer la découverte scientifique. Les preuves génétiques humaines sont déjà centrales dans la priorisation des cibles et le suivi translationnel, car les mécanismes étayés par la génétique ont bien plus de chances de mener à des traitements approuvés.

Parallèlement, les coûts de séquençage ont chuté et les jeux de données à l’échelle des biobanques relient désormais informations moléculaires, phénotypiques et dossiers de santé à une ampleur inédite. Le facteur limitant se déplace de la génération des données vers leur transformation en connaissances exploitables. Des modèles capables de réaliser régulièrement des analyses aujourd’hui confiées à des équipes d’experts pourraient transformer la recherche industrielle en accélérant le tri des hypothèses, le suivi des cibles et le cycle entre génération de données et décision.

GeneBench-Pro est une première tentative d’évaluer les compétences plus abstraites du bon jugement scientifique que possèdent les spécialistes expérimentés. Ces compétences leur permettent d’intuiter et d’identifier les analyses initiales les plus prometteuses, d’itérer et de réviser leur raisonnement lorsque les données contredisent les hypothèses de départ, et d’aboutir à des conclusions dont peuvent dépendre des décisions cliniques, académiques ou commerciales. 

À mesure que les capacités des modèles progresseront, nous pensons que les benchmarks testant ces niveaux d’abstraction deviendront de plus en plus utiles, au-delà de ceux qui évaluent seulement les connaissances livresques ou l’exécution d’analyses de routine.