Presentamos GeneBench-Pro

Los datos científicos rara vez llegan con instrucciones. Los investigadores deben decidir si un patrón refleja biología o ruido, si los datos pueden respaldar la pregunta planteada y cómo cada resultado debería cambiar lo que hacen a continuación. Los agentes de IA son cada vez más capaces de realizar análisis complejos, pero la investigación científica real no depende simplemente de recordar hechos o seguir un flujo de trabajo predefinido, sino también de emitir estos juicios de orden superior.

Hoy presentamos GeneBench-Pro — un banco de pruebas desafiante, de nivel de investigación, para evaluar si los modelos pueden manejar el tipo de análisis que requiere un alto nivel de juicio y que demanda la biología computacional en el mundo real. Amplía GeneBench⁠(se abre en una nueva ventana) para abarcar tareas más difíciles y realistas en genómica, biología cuantitativa y medicina traslacional, reflejando la complejidad, la naturaleza iterativa y la ambigüedad de la investigación científica en biología computacional. 

Hasta la fecha, ha habido pocas evaluaciones convincentes de las decisiones de criterio a nivel de sistema que dificultan la investigación computacional en entornos reales. Incluyen gestionar la ambigüedad, revisar supuestos, elegir el enfoque de análisis adecuado y saber cuándo un resultado está listo para respaldar una decisión. Como estas habilidades son difíciles de formalizar, también es difícil evaluarlas rigurosamente, incluso cuando sus debilidades empiezan a limitar cada vez más el desempeño general de la IA.

GeneBench-Pro se diseñó para medir con precisión estas capacidades de nivel superior. Dentro de GeneBench-Pro, definimos “criterio de investigación” como las cadenas de decisiones de juicio que dan forma a un análisis: qué preguntas pueden respaldar los datos, cómo los diagnósticos tempranos deberían cambiar el modelo o el estimando, y cuándo es necesario revisar un plan inicial. Cada problema de GeneBench-Pro le da al modelo un conjunto de datos realista y desordenado, un breve contexto experimental y un estimando objetivo vinculado a una decisión posterior. Para responder correctamente, el modelo debe explorar los datos, elegir un enfoque analítico adecuado, llevar a cabo un proceso iterativo de experimentación y proporcionar una respuesta final.

En biología, el costo de la generación de datos (p. ej., la secuenciación del genoma) ha disminuido drásticamente, y algunos investigadores sostienen ahora⁠(se abre en una nueva ventana) que el factor limitante ya no es la recolección de muestras, sino la computación y el análisis posteriores. GeneBench-Pro está diseñado para evaluar el progreso en la resolución de ese cuello de botella, con 129 preguntas que cubren una amplia gama de contextos y métodos de biología computacional.

GeneBench-Pro también está diseñado para evitar fallas comunes en las pruebas comparativas. Muchos puntos de referencia de biología a largo plazo formulan preguntas de varios pasos en torno a conjuntos de datos históricos desordenados, en los que puede no haber un único camino correcto a través del análisis. Un agente podría elegir un punto de corte justificable, mientras que otro podría elegir una opción diferente pero igualmente justificable, lo que refleja más las decisiones arbitrarias tomadas por el creador del punto de referencia que cualquier diferencia fundamental en el rendimiento del modelo. También puede ocurrir lo contrario: si un problema es demasiado poco sensible numéricamente, un agente puede cometer errores fundamentales en un análisis y aun así producir un resultado que pase la evaluación.

Para evitar estos modos de falla, cada problema de GeneBench-Pro se construye de forma sintética: conocemos la estructura causal completa y simulamos directamente el proceso de generación de datos. Eso nos permite ajustar la complejidad de cada problema, garantizar que las diferencias razonables en decisiones analíticas subjetivas aun así produzcan resultados numéricos aceptados y verificar (mediante estudios de ablación) que los análisis plausibles pero incorrectos fallen. Luego auditamos los borradores de problemas mediante análisis detallados de trazas para detectar filtraciones de información y rutas de solución no previstas. Esto nos da confianza en que obtener la respuesta correcta depende de elegir la vía analítica correcta y no de aprovechar un atajo ni de coincidir con una preferencia arbitraria del autor.

Enviamos 82 de las 129 preguntas de GeneBench-Pro a expertos externos en la materia, incluidos estudiantes de posgrado, investigadores posdoctorales, científicos de la industria y profesores. Los evaluadores valoraron el realismo de cada problema, si la respuesta objetivo era identificable y si los métodos y estimadores eran adecuados. Los comentarios se usaron para mejorar los problemas.

Cada problema de GeneBench-Pro es un análisis científico autónomo. Los agentes reciben acceso a un espacio de trabajo aislado con un prompt breve, archivos de datos y un entorno estándar de bioinformática que incluye Python, bibliotecas de computación científica y paquetes básicos de genómica como PLINK 2.0 (aunque los problemas no requieren herramientas específicas del dominio).

Como controlamos todo el proceso de generación de datos, podemos evaluar la corrección de forma determinista frente a objetivos conocidos, evitando la variabilidad en la elección de modelos y los efectos de la verbosidad presentes en las evaluaciones estándar basadas en rúbricas.

Cada problema también incluye metadatos enriquecidos, incluida la estructura de análisis prevista, archivos de datos adjuntos, un estudio de caso detallado de varias páginas y los resultados de la revisión de expertos. Publicamos íntegramente en código abierto 10 preguntas representativas de GeneBench-Pro en Hugging Face⁠(se abre en una nueva ventana), con una interfaz web interactiva para explorarlas. Finalmente, proporcionaremos un subconjunto de 50 preguntas a Artificial Analysis⁠(se abre en una nueva ventana) para una evaluación comparativa independiente por parte de terceros en un futuro cercano.

Nuestro modelo más potente, GPT‑5.6 Sol, alcanza una tasa de aprobación del 28.7 % en el nivel de razonamiento más alto (31.5 % con el modo Pro activado). Esto representa un aumento pronunciado respecto de cuando comenzamos a desarrollar el GeneBench original; en ese momento, nuestro mejor modelo de vanguardia, GPT‑5, obtuvo una puntuación inferior al 5 %. El progreso en esta prueba de referencia sugiere que los modelos de vanguardia están mejorando rápidamente, incluso en el razonamiento científico a nivel de sistemas, que es menos tangible. Al ritmo actual, esta referencia podría saturarse para finales de año.

Los resultados también muestran el impacto de escalar el cómputo en tiempo de prueba. En el nivel de razonamiento más bajo, GPT‑5.6 Sol solo alcanza una tasa de aprobación de un solo dígito. En el nivel de razonamiento más alto, GPT‑5.6 Sol resuelve casi seis veces más preguntas que GPT‑5.2 lo hace usando aproximadamente dos tercios de la cantidad de tokens.

Las comparaciones entre distintas familias de modelos sugieren que los modelos GPT se encuentran entre los sistemas más capaces en razonamiento científico de alto nivel en condiciones de incertidumbre cuantitativa. La brecha de rendimiento entre GPT‑5.6, GPT‑5.5 y los principales modelos de código abierto, como GLM 5.2, es significativamente mayor de lo que esperaríamos al extrapolar a partir de puntos de referencia de codificación⁠(se abre en una nueva ventana), lo que indica que los modelos de código abierto están más especializados en codificación que en una capacidad de razonamiento más amplia.

Usamos modelos GPT de vanguardia para evaluar y fortalecer los problemas durante el desarrollo. Por ello, sospechábamos que GeneBench-Pro podría estar sesgado en contra de los modelos GPT en comparación con otras familias de modelos. Sin embargo, los modelos de la competencia, en el mejor de los casos, igualaban el rendimiento del modelo GPT correspondiente en el momento de su lanzamiento y tendían a quedarse considerablemente atrás.

Estos resultados de evaluación — que alcanzan hasta el 31.5 % en GPT‑5.6 Sol (Pro) — son llamativos dada la dificultad de las preguntas de GeneBench-Pro. En una encuesta, nuestros evaluadores estimaron que a un experto humano le tomaría entre 20 y 40 horas completar un problema típico de GeneBench-Pro. Con una estimación conservadora de USD 200 por hora, eso sitúa el costo de mano de obra humana de un solo problema en miles de dólares. Los agentes de IA actuales aún no son lo suficientemente confiables como para reemplazar a expertos humanos, pero la brecha de costos es grande, con costos de inferencia de solo unos pocos dólares por problema. Eso significa que incluso una automatización parcial con las capacidades actuales podría generar un valor económico y científico significativo.

Aún así, el hecho de que los modelos de vanguardia aún resuelvan menos de un tercio de estos problemas demuestra que existe un amplio margen de mejora. Los modelos pueden lograr avances parciales en problemas desafiantes, pero les cuesta cerrar el ciclo inferencial. Este patrón de fallas refleja el contraste entre expertos humanos y principiantes. Los expertos usan su experiencia para plantear el problema y adaptar su enfoque, mientras que los principiantes hacen observaciones, pero tienen dificultades para integrarlas en el contexto más amplio del problema.

Lograr un desempeño casi perfecto requerirá evaluaciones que midan el progreso de forma fiable e identifiquen también en qué aspectos siguen fallando los modelos. Las pruebas comparativas como GeneBench-Pro pueden ayudar a convertir una deficiencia de capacidad poco clara en algo que podamos diagnosticar y mejorar. 

Si los agentes pueden automatizar de manera confiable este tipo de análisis, podrían acelerar significativamente el descubrimiento científico. La evidencia genética humana ya es clave para priorizar dianas y dar seguimiento traslacional, ya que los mecanismos con respaldo genético tienen muchas más probabilidades de convertirse en tratamientos aprobados.

Mientras tanto, los costos de secuenciación se han desplomado, y los conjuntos de datos a escala de biobancos ahora vinculan información molecular, fenotípica y de registros de salud con una amplitud sin precedentes. El factor limitante está pasando de la generación de datos a convertir la información en insights accionables. Los modelos capaces de realizar de manera confiable análisis que hoy están a cargo de equipos de expertos humanos podrían transformar la investigación industrial al acelerar la priorización de hipótesis, el seguimiento de objetivos y el ciclo de iteración entre la generación de datos y la toma de decisiones.

GeneBench-Pro representa un esfuerzo inicial para evaluar las habilidades más abstractas involucradas en el buen juicio científico que poseen las personas con experiencia. Estas habilidades les permiten intuir e identificar los análisis iniciales más prometedores, iterar y revisar su razonamiento cuando los datos contradicen las hipótesis iniciales, y llegar a conclusiones de las que pueden depender decisiones clínicas, académicas o empresariales posteriores. 

Prevemos que, a medida que avancen las capacidades de los modelos, las evaluaciones comparativas que examinan las capacidades de los modelos en estos niveles más altos de abstracción serán cada vez más útiles, más allá de aquellas que simplemente evalúan conocimientos teóricos o la capacidad de ejecutar análisis rutinarios.