Présentation de GeneBench-Pro

Les données scientifiques arrivent rarement avec un mode d’emploi. Les chercheurs doivent décider si un motif reflète la biologie ou le bruit, si les données peuvent soutenir la question posée et comment chaque résultat devrait orienter la suite. Les agents d’IA sont de plus en plus capables d’exécuter des analyses complexes, mais la recherche scientifique réelle exige aussi, au-delà du rappel de faits ou du suivi d’un flux prédéfini, ce type de jugement de haut niveau.

Aujourd’hui, nous présentons GeneBench-Pro, un banc d’essai exigeant de niveau recherche qui évalue si les modèles peuvent gérer les analyses à fort jugement que requiert la biologie computationnelle réelle. Il prolonge GeneBench⁠(s'ouvre dans une nouvelle fenêtre) pour couvrir des tâches plus difficiles et réalistes en génomique, biologie quantitative et médecine translationnelle, et capter la complexité, l’itération et l’ambiguïté de la recherche en biologie computationnelle. 

Jusqu’ici, peu d’évaluations convaincantes portaient sur les jugements au niveau du système qui rendent la recherche computationnelle réelle difficile. Il s’agit notamment de gérer l’ambiguïté, de revoir des hypothèses, de choisir la bonne voie d’analyse et de savoir quand un résultat est prêt à éclairer une décision. Comme ces compétences sont difficiles à formaliser, elles sont aussi difficiles à évaluer rigoureusement, même si leurs faiblesses limitent de plus en plus la performance globale de l’IA.

GeneBench-Pro est conçu pour mesurer précisément ces capacités de haut niveau. Dans GeneBench-Pro, nous définissons le « goût de recherche » comme les chaînes de jugements qui façonnent une analyse : quelles questions les données peuvent soutenir, comment les diagnostics initiaux doivent modifier le modèle ou l’estimande, et quand il faut revoir un plan initial. Chaque problème GeneBench-Pro fournit au modèle un jeu de données réaliste et imparfait, un bref contexte expérimental et un estimande cible lié à une décision en aval. Pour bien répondre, le modèle doit explorer les données, choisir une approche analytique appropriée, mener un processus itératif d’expérimentation et fournir une réponse finale.

En biologie, le coût de production des données (p. ex., le séquençage du génome) a chuté, et certains chercheurs soutiennent maintenant⁠(s'ouvre dans une nouvelle fenêtre) que le facteur limitant n’est plus la collecte d’échantillons, mais le calcul et l’analyse en aval. GeneBench-Pro vise à évaluer les progrès face à ce goulot d’étranglement, avec 129 questions couvrant un large éventail de contextes et de méthodes en biologie computationnelle.

GeneBench-Pro est aussi conçu pour éviter les écueils courants des bancs d’essai. Beaucoup de bancs d’essai biologiques à long horizon bâtissent des questions en plusieurs étapes autour de jeux de données historiques désordonnés, où il n’existe pas toujours une seule bonne voie d’analyse. Un agent peut choisir un seuil défendable, tandis qu’un autre choisit une option différente mais tout aussi défendable, reflétant davantage les choix arbitraires du créateur du banc que de vraies différences de performance des modèles. L’inverse peut aussi se produire : si un problème est trop peu sensible numériquement, un agent peut commettre des erreurs fondamentales dans l’analyse et obtenir quand même un résultat accepté.

Pour éviter ces modes d’échec, chaque problème GeneBench-Pro est construit synthétiquement : nous connaissons toute la structure causale et simulons directement le processus de génération des données. Cela nous permet d’ajuster la complexité de chaque problème, de veiller à ce que des choix analytiques subjectifs raisonnables produisent encore des résultats numériques acceptés, et de vérifier, par des études d’ablation, que des analyses plausibles mais incorrectes échouent. Nous vérifions ensuite les ébauches de problèmes par des analyses détaillées des traces afin de repérer les fuites d’information et les voies de solution non prévues. Nous pouvons ainsi croire que la bonne réponse dépend du choix de la bonne voie analytique, et non de l’exploitation d’un raccourci ou d’une préférence arbitraire de l’auteur.

Nous avons envoyé 82 des 129 questions GeneBench-Pro à des spécialistes externes, dont des étudiants aux cycles supérieurs, des chercheurs postdoctoraux, des scientifiques de l’industrie et des professeurs. Les évaluateurs ont jugé le réalisme de chaque problème, l’identifiabilité de la réponse cible et la pertinence des méthodes et des estimateurs. Leurs commentaires ont servi à améliorer les problèmes.

Chaque problème GeneBench-Pro est une analyse scientifique autonome. Les agents ont accès à un espace de travail isolé comprenant une courte invite, des fichiers de données et une pile bioinformatique standard avec Python, des bibliothèques de calcul scientifique et des outils de génomique de base comme PLINK 2.0, même si les problèmes n’exigent pas d’outils propres au domaine.

Comme nous contrôlons tout le processus de génération des données, nous pouvons noter l’exactitude de façon déterministe par rapport à des cibles connues, en évitant la variabilité liée au choix du modèle et les effets de verbosité des évaluations classiques par grille.

Chaque problème est aussi accompagné de métadonnées riches, dont la structure d’analyse prévue, les fichiers de données joints, une étude de cas détaillée de plusieurs pages et les résultats de l’examen par des experts. Nous publions entièrement en code source ouvert 10 questions représentatives de GeneBench-Pro sur Hugging Face⁠(s'ouvre dans une nouvelle fenêtre), avec une interface Web interactive pour les parcourir. Enfin, nous fournirons bientôt un sous-ensemble de 50 questions à Artificial Analysis⁠(s'ouvre dans une nouvelle fenêtre) pour une évaluation indépendante par un tiers.

Notre modèle le plus performant, GPT‑5.6 Sol, atteint un taux de réussite de 28,7 % au niveau de raisonnement le plus élevé (31,5 % avec le mode Pro activé). C’est une forte hausse par rapport au début de la création du GeneBench original; à l’époque, notre meilleur modèle de pointe, GPT‑5, obtenait moins de 5 %. Les progrès sur ce banc d’essai indiquent que les modèles de pointe s’améliorent rapidement, même pour un raisonnement scientifique moins tangible, au niveau des systèmes. Au rythme actuel, ce banc d’essai pourrait être saturé d’ici la fin de l’année.

Les résultats montrent aussi l’effet de la mise à l’échelle du calcul au moment du test. Au niveau de raisonnement le plus bas, GPT‑5.6 Sol n’obtient qu’un taux de réussite à un chiffre. Au niveau de raisonnement le plus élevé, GPT‑5.6 Sol résout près de six fois plus de questions que GPT‑5.2 tout en utilisant environ les deux tiers du nombre de tokens.

Les comparaisons entre familles de modèles suggèrent que les modèles GPT figurent parmi les systèmes les plus solides pour le raisonnement scientifique de haut niveau sous incertitude quantitative. L’écart de performance entre GPT‑5.6, GPT‑5.5 et les principaux modèles ouverts comme GLM 5.2 est nettement plus grand que ce que laisseraient prévoir les bancs d’essai de codage⁠(s'ouvre dans une nouvelle fenêtre), ce qui indique que les modèles ouverts sont plus spécialisés en codage qu’en raisonnement général.

Nous avons utilisé des modèles GPT de pointe pour évaluer et renforcer les problèmes pendant le développement. Nous soupçonnions donc GeneBench-Pro d’être peut-être biaisé contre les modèles GPT par rapport aux autres familles de modèles. Cependant, les modèles concurrents ont au mieux égalé la performance du modèle GPT correspondant au moment de sa sortie, et étaient souvent nettement en retrait.

Ces résultats d’évaluation — jusqu’à 31,5 % avec GPT‑5.6 Sol (Pro) — sont frappants vu la difficulté des questions GeneBench-Pro. Dans un sondage, nos évaluateurs ont estimé qu’un problème GeneBench-Pro typique demanderait environ 20 à 40 heures à un expert humain. À un tarif prudent de 200 $ l’heure, le coût de main-d’œuvre humaine d’un seul problème se chiffre en milliers de dollars. Les agents d’IA actuels sont encore trop peu fiables pour remplacer les experts humains, mais l’écart de coût est important, les coûts d’inférence n’étant que de quelques dollars par problème. Ainsi, même une automatisation partielle avec les capacités actuelles pourrait créer une valeur économique et scientifique réelle.

Cela dit, le fait que les modèles de pointe résolvent encore moins du tiers de ces problèmes montre qu’il reste beaucoup de place à l’amélioration. Les modèles peuvent progresser partiellement sur des problèmes difficiles, mais ils peinent à boucler la boucle inférentielle. Ce schéma d’échec rappelle le contraste entre experts humains et novices. Les experts s’appuient sur leur expérience pour cadrer le problème et adapter leur approche, tandis que les novices font des observations, mais peinent à les intégrer au contexte plus large du problème.

Atteindre une performance presque parfaite exigera des évaluations qui mesurent les progrès de façon fiable et montrent où les modèles échouent encore. Des bancs d’essai comme GeneBench-Pro peuvent aider à transformer une lacune vague en capacité en quelque chose que nous pouvons diagnostiquer et améliorer. 

Si les agents peuvent automatiser de façon fiable cette classe d’analyses, ils pourraient accélérer fortement la découverte scientifique. Les données génétiques humaines sont déjà centrales pour prioriser les cibles et le suivi translationnel, car les mécanismes appuyés par la génétique ont beaucoup plus de chances de mener à des traitements approuvés.

Parallèlement, les coûts de séquençage ont chuté, et les jeux de données à l’échelle des biobanques relient maintenant des informations moléculaires, phénotypiques et de dossiers de santé avec une ampleur sans précédent. Le facteur limitant se déplace de la production des données vers la transformation de l’information en connaissances exploitables. Des modèles capables de réaliser de façon constante des analyses aujourd’hui confiées à des équipes d’experts humains pourraient transformer la recherche industrielle en accélérant le tri des hypothèses, le suivi des cibles et le cycle d’itération entre production des données et décision.

GeneBench-Pro est un premier effort pour évaluer les compétences plus abstraites liées au bon jugement scientifique des chercheurs expérimentés. Ces compétences leur permettent de pressentir et de repérer les analyses initiales les plus prometteuses, d’itérer et de revoir leur raisonnement lorsque les données contredisent les hypothèses de départ, puis d’arriver à des conclusions dont peuvent dépendre des décisions cliniques, universitaires ou commerciales en aval. 

Nous pensons qu’à mesure que les capacités des modèles progresseront, les bancs d’essai qui sondent leurs aptitudes à ces niveaux d’abstraction deviendront de plus en plus utiles, au-delà de ceux qui testent seulement les connaissances théoriques ou l’exécution d’analyses courantes.