Presentamos GeneBench-Pro

Los datos científicos rara vez llegan con instrucciones. Los investigadores deben decidir si un patrón refleja biología o ruido, si los datos pueden responder a la pregunta planteada y cómo cada resultado debe cambiar el siguiente paso. Los agentes de IA son cada vez más capaces de ejecutar análisis complejos, pero la investigación científica real también depende no solo de recordar hechos o seguir un flujo de trabajo predefinido, sino de emitir estos juicios de orden superior.

Hoy presentamos GeneBench-Pro: una prueba de referencia exigente, de nivel de investigación, para evaluar si los modelos pueden abordar el tipo de análisis que requiere un alto grado de criterio y que exige la biología computacional en contextos reales. Amplía las posibilidades de GeneBench⁠(se abre en una ventana nueva) para abarcar tareas más difíciles y realistas en genómica, biología cuantitativa y medicina traslacional, y refleja la complejidad, la naturaleza iterativa y la ambigüedad de la investigación científica en biología computacional.

Hasta la fecha, ha habido pocas evaluaciones convincentes de los juicios a nivel de sistema que dificultan la investigación computacional real. Entre ellos están gestionar la ambigüedad, revisar supuestos, elegir la ruta de análisis correcta y saber cuándo un resultado está listo para tomar decisiones. Como estas habilidades son difíciles de formalizar, también son difíciles de evaluar con rigor, incluso cuando sus debilidades limitan cada vez más el rendimiento global de la IA.

GeneBench-Pro está diseñado para medir con precisión estas capacidades de nivel superior. En GeneBench-Pro definimos «criterio de investigación» como las cadenas de juicios que dan forma a un análisis: qué preguntas pueden respaldar los datos, cómo los diagnósticos tempranos deben modificar el modelo o el estimando, y cuándo hay que revisar un plan inicial. Cada problema de GeneBench-Pro entrega al modelo un conjunto de datos realista y desordenado, un breve contexto experimental y un estimando objetivo ligado a una decisión posterior. Para responder correctamente, el modelo debe explorar los datos, elegir un enfoque analítico adecuado, seguir un proceso iterativo de experimentación y aportar una respuesta final.

En biología, el coste de generar datos (por ejemplo, secuenciar genomas) ha caído de forma drástica, y algunos investigadores sostienen ahora⁠(se abre en una ventana nueva) que el factor limitante ya no es la recogida de muestras, sino el cálculo y el análisis posteriores. GeneBench-Pro se creó para evaluar los avances frente a ese cuello de botella, con 129 preguntas que cubren una amplia variedad de entornos y métodos de biología computacional.

GeneBench-Pro también se ha diseñado para evitar fallos habituales en las pruebas de referencia. Muchas pruebas de referencia de biología a largo plazo plantean preguntas de varios pasos basadas en conjuntos de datos históricos desordenados, en los que puede que no haya una única forma correcta de realizar el análisis. Un agente podría elegir un umbral justificable, mientras que otro podría optar por una opción diferente pero igualmente justificable, lo cual reflejaría más las decisiones arbitrarias del creador de la prueba que cualquier diferencia fundamental en el rendimiento del modelo. También puede pasar lo contrario: si un problema es demasiado insensible a los valores numéricos, un agente puede cometer errores fundamentales en el análisis y aun así producir un resultado aceptable.

Para evitar estos modos de fallo, cada problema de GeneBench-Pro se construye de forma sintética: conocemos toda la estructura causal y simulamos directamente el proceso que genera los datos. Eso nos permite ajustar la complejidad de cada problema, asegurar que diferencias razonables en elecciones analíticas subjetivas sigan produciendo resultados numéricos aceptados y verificar, mediante estudios de ablación, que los análisis plausibles pero incorrectos fallen. Después auditamos borradores de problemas mediante análisis detallados de trazas para comprobar fugas de información y vías de solución no previstas. Esto nos da confianza en que llegar a la respuesta correcta depende de elegir la vía analítica adecuada, y no de explotar un atajo o coincidir con una preferencia arbitraria del autor.

Enviamos 82 de las 129 preguntas de GeneBench-Pro a expertos externos en la materia, incluidos estudiantes de posgrado, investigadores posdoctorales, científicos del sector y profesores. Los evaluadores valoraron el realismo de cada problema, si la respuesta objetivo era identificable y si los métodos y estimadores eran adecuados. Se utilizaron los comentarios para abordar los problemas.

Cada problema de GeneBench-Pro es un análisis científico independiente. Los agentes reciben acceso a un área de trabajo aislada con un prompt, archivos de datos y un entorno estándar de bioinformática que incluye Python, bibliotecas de computación científica y paquetes básicos de genómica como PLINK 2.0 (aunque los problemas no requieren herramientas específicas del ámbito).

Dado que controlamos todo el proceso de generación de datos, podemos calificar la corrección de forma determinista frente a objetivos conocidos y evitar la variabilidad de elección de modelo y los efectos de verbosidad de las evaluaciones estándar basadas en rúbricas.

Cada problema también incluye metadatos completos, como la estructura de análisis prevista, los archivos de datos adjuntos, un caso práctico detallado de varias páginas y los resultados de la revisión llevada a cabo por expertos. Vamos a publicar en código abierto las 10 preguntas representativas de GeneBench-Pro en Hugging Face⁠(se abre en una ventana nueva), con una interfaz web interactiva para consultarlas. Por último, en un futuro próximo proporcionaremos un subconjunto de 50 preguntas a Artificial Analysis⁠(se abre en una ventana nueva) para que se realicen una prueba de referencia independiente por parte de terceros.

Nuestro modelo más potente, GPT‑5.6 Sol, alcanza una tasa de aprobación del 28,7 % en el nivel de razonamiento más alto (31,5 % con el modo Pro activado). Esto supone un aumento pronunciado con respecto a cuando empezamos a desarrollar el GeneBench original; en aquel momento, nuestro mejor modelo de vanguardia, GPT‑5, obtuvo una puntuación inferior al 5 %. Los avances en esta prueba de referencia sugieren que los modelos de vanguardia están mejorando rápidamente, incluso en el razonamiento científico a nivel de sistemas, que es menos tangible. Al ritmo actual, es posible que esta prueba de referencia se sature a finales de año.

Los resultados también muestran el impacto de escalar el cómputo en tiempo de prueba. En el nivel de razonamiento más bajo, GPT‑5.6 Sol solo logra una tasa de aprobación de un dígito. En el nivel de razonamiento más alto, GPT‑5.6 Sol resuelve casi seis veces más preguntas que GPT‑5.2 usando alrededor de dos tercios de los tokens.

Las comparaciones entre familias de modelos sugieren que los modelos GPT se encuentran entre los sistemas más potentes en razonamiento científico de alto nivel en condiciones de incertidumbre cuantitativa. La brecha de rendimiento entre GPT‑5.6, GPT‑5.5 y los principales modelos de código abierto, como GLM 5.2, es significativamente mayor de lo que cabría esperar al extrapolar a partir de las pruebas de referencia de programación⁠(se abre en una ventana nueva), lo que indica que los modelos de código abierto están más especializados en programación que en una capacidad de razonamiento más amplia.

Utilizamos modelos GPT de vanguardia para evaluar y reforzar los problemas durante el desarrollo. Por ello, sospechábamos que GeneBench-Pro podría tener un sesgo en contra de los modelos GPT en comparación con otras familias de modelos. Sin embargo, los modelos de la competencia, en el mejor de los casos, igualaban el rendimiento del modelo GPT correspondiente en el momento de su lanzamiento, y solían quedarse bastante por debajo.

Estos resultados de evaluación —hasta un 31,5 % en GPT‑5.6 Sol (Pro)— son llamativos dada la dificultad de las preguntas de GeneBench-Pro. En una encuesta, nuestros revisores estimaron que un problema típico de GeneBench-Pro llevaría a un experto humano unas 20-40 horas. Con una estimación prudente de 200 dólares por hora, eso sitúa el coste de trabajo humano de un solo problema en varios miles de dólares. Los agentes de IA actuales siguen siendo demasiado poco fiables para sustituir a expertos humanos, pero la brecha de costes es grande, con costes de inferencia de solo unos pocos dólares por problema. Eso significa que incluso una automatización parcial con las capacidades actuales podría crear valor económico y científico significativo.

Aun así, que los modelos de vanguardia sigan resolviendo menos de un tercio de estos problemas muestra que queda mucho margen de mejora. Los modelos pueden avanzar parcialmente en problemas difíciles, pero les cuesta cerrar el ciclo inferencial. Este patrón de fallo refleja el contraste entre expertos humanos y principiantes. Los expertos usan su experiencia para encuadrar el problema y adaptar su enfoque, mientras que los principiantes hacen observaciones pero tienen dificultades para integrarlas en el contexto más amplio del problema.

Para lograr un rendimiento casi perfecto, serán necesarias evaluaciones que midan de forma fiable el progreso e identifiquen dónde siguen fallando los modelos. Las pruebas de referencia como GeneBench-Pro pueden ayudar a convertir una deficiencia de capacidad imprecisa en algo que podamos diagnosticar y mejorar.

Si los agentes pueden automatizar de forma fiable esta clase de análisis, podrían acelerar notablemente el descubrimiento científico. La evidencia genética humana ya es central para priorizar dianas y hacer seguimiento traslacional, porque los mecanismos con apoyo genético tienen muchas más probabilidades de conducir a tratamientos aprobados.

Mientras tanto, los costes de secuenciación se han desplomado y los conjuntos de datos a escala de biobanco ahora vinculan información molecular, fenotípica y de historiales médicos con una amplitud sin precedentes. El factor limitante está pasando de la generación de datos a la transformación de la información en conocimientos útiles. Los modelos capaces de realizar de forma sistemática los análisis que ahora llevan a cabo equipos de expertos humanos podrían transformar la investigación industrial al acelerar la selección de hipótesis, el seguimiento de objetivos y el ciclo de iteración entre la generación de datos y la toma de decisiones.

GeneBench-Pro representa un esfuerzo inicial por evaluar las habilidades más abstractas implicadas en el buen juicio científico propio de personas con experiencia. Estas habilidades les permiten intuir e identificar los análisis iniciales más prometedores, iterar y revisar su pensamiento cuando los datos contradicen supuestos iniciales, y llegar a conclusiones de las que pueden depender decisiones clínicas, académicas o empresariales posteriores.

Prevemos que, a medida que avancen las capacidades de los modelos, las pruebas de referencia que evalúan las habilidades de los modelos en estos niveles superiores de abstracción serán cada vez más útiles, más allá de aquellas que simplemente ponen a prueba conocimientos teóricos o la capacidad de ejecutar análisis rutinarios.