Presentación de LifeSciBench

Los sistemas de IA con agentes son cada vez más capaces de realizar tareas científicas. Pero su utilidad en ciencias de la vida depende de cómo gestionen la complejidad de la investigación real. Ese trabajo rara vez es una simple pregunta factual o un problema de predicción limpio. Los investigadores interpretan datos incompletos, concilian resultados opuestos, diseñan experimentos, depuran ensayos, evalúan riesgos traslacionales y deciden bajo incertidumbre.

Los benchmarks actuales no captan del todo estas capacidades. Muchas evaluaciones se centran en ámbitos estrechos o habilidades aisladas, con preguntas estructuradas y respuestas de referencia claras. Aunque valiosas, a menudo no miden si un modelo puede ayudar en el trabajo de investigación más amplio.

Diseñamos LifeSciBench para cerrar esa brecha. Cada tarea se basa en el criterio de científicos en activo, con formación doctoral y experiencia en descubrimiento de fármacos en biotecnología y farma.

LifeSciBench reúne 750 tareas de expertos en siete flujos de trabajo y siete dominios biológicos.

LifeSciBench mide si los sistemas de IA apoyan tareas realistas de ciencias de la vida, no solo si responden preguntas de biología. Para definir la taxonomía, encuestamos a científicos sobre los flujos de trabajo que más usan en investigación aplicada. Luego agrupamos sus respuestas en siete categorías: gestión de evidencias, análisis, diseño y optimización, razonamiento científico, validación y operaciones, traslación y comunicación científica.

Cada tarea parece una petición a un colaborador experto: prompt científico, contexto o artefactos relevantes y respuesta libre. Rúbricas de expertos evalúan si un modelo da la respuesta correcta, con el detalle, la justificación, las cautelas y el formato esperados.

LifeSciBench evalúa el razonamiento científico y las habilidades prácticas necesarias para usar la ciencia en el mundo real. Sus tareas exigen resolver problemas realistas: interpretar evidencias, emitir juicios de dominio y comunicar conclusiones útiles para expertos. Muchas tareas también exigen manejar incertidumbre y razonar sobre archivos de apoyo, no solo sobre el prompt.

El benchmark refleja la complejidad del trabajo en ciencias de la vida. En total, el 79 % de las tareas requiere varios pasos de razonamiento o decisión, con una media de cuatro por tarea. LifeSciBench incluye 1 062 artefactos: figuras, PDF, tablas, secuencias, archivos estructurales o químicos y referencias web. Más de la mitad de las tareas (53 %) exige interpretar o sintetizar información de al menos un artefacto.

Las tareas fueron creadas por 173 científicos expertos de distintas disciplinas. Todos tenían formación doctoral y experiencia en la industria biotecnológica o farmacéutica. Antes de aceptarse, las tareas podían revisarse sin límite de rondas; las aceptadas promediaron seis revisiones automatizadas autodirigidas y al menos dos revisiones expertas. Las revisiones se basaron en una respuesta verificable o en un sólido consenso experto, con al menos un 90 % de acuerdo entre revisores del dominio. Así se aseguró que las tareas fueran científicas, calificables y representativas de la investigación aplicada.

Las tareas de LifeSciBench se califican con una rúbrica detallada y específica que divide la respuesta esperada en afirmaciones, cálculos, decisiones, justificaciones, etc. En conjunto, las rúbricas de expertos incluyen 19 020 criterios, una media de 25 por tarea, para medir corrección científica y utilidad investigadora.

El diseño refleja cómo se evalúa la ciencia en la práctica: no basta comprobar la respuesta final. Una respuesta puede acertar la conclusión general y seguir siendo incompleta si omite una limitación clave del ensayo o un matiz biológico importante. A la inversa, una respuesta parcial puede mostrar buen razonamiento aunque no resuelva toda la tarea.

Las rúbricas granulares captan ese matiz. LifeSciBench evalúa no solo la exactitud final, sino si el modelo llega a la respuesta de forma científica y útil.

Validamos LifeSciBench mediante revisión experta independiente. Participaron 453 revisores que no habían redactado las tareas. El 97 % tenía doctorado o equivalente, una media de 12 años de experiencia y 14 publicaciones revisadas por pares; el 88 % había recibido algún premio o beca.

Los revisores puntuaron si cada tarea tenía las cualidades de un buen benchmark: ajuste al trabajo real, evaluación del razonamiento científico y la pericia, base en evidencias o consenso, y utilidad para medir el rendimiento del modelo. El acuerdo superó el 96 % en todas las categorías.

Los comentarios reforzaron las puntuaciones:

Presentamos dos métricas complementarias. La tasa de aprobación es el porcentaje de tareas en que un modelo alcanza el umbral de éxito del 70 %. La puntuación es la recompensa media de la rúbrica, que da crédito parcial por criterios individuales aunque no se resuelva toda la tarea. Ambas importan porque una respuesta científica puede ser parcialmente correcta o útil sin cumplir todos los requisitos.

El rendimiento del modelo varía mucho según tipo de tarea, flujo de trabajo y formato de respuesta.

LifeSciBench muestra que los modelos de frontera destacan más en síntesis científica, comunicación e interpretación estructurada. Las tasas absolutas aún son modestas, pero GPT‑Rosalind avanza frente a GPT‑5.5: la aprobación exacta global sube del 25,7 % al 36,1 %.

Los mayores avances aparecen en Comunicación científica y Traslación. Por ejemplo, Comunicación científica sube del 56,3 % con GPT‑5.5 al 71,1 % con GPT‑Rosalind. La categoría es pequeña (n=9), pero sugiere mejoras rápidas al organizar evidencias y explicar a expertos. Traslación, el proceso «del laboratorio a la práctica clínica» en desarrollo de fármacos, sigue un patrón similar: del 36,8 % con GPT‑5.5 al 57,7 % con GPT‑Rosalind, lo que apunta a mejoras al conectar evidencias preclínicas e implicaciones clínicas.

Los resultados por rúbrica apuntan igual. En tareas que exigen salidas útiles para expertos o accionables, GPT‑Rosalind obtiene un 44,7 %, frente al 29,1 % de GPT‑5.5. En tareas que exigen manejar incertidumbre y cautelas, logra un 44,8 %, frente al 29,3 %. Esto sugiere que los modelos ayudan más cuando la evidencia está bien acotada y se requiere juicio científico estructurado.

El rendimiento sigue siendo mucho menor en trabajos con muchos artefactos, mucho diseño o restricciones operativas. Diseño, optimización y predicción sigue entre los flujos más difíciles, con GPT‑Rosalind en el 30,7 % de aprobación; Análisis es similar, con un 30,3 %.

El uso de artefactos es una brecha clara. Aunque GPT‑Rosalind supera a GPT‑5.5 con muchos artefactos, su aprobación cae del 45,1 % en tareas solo de texto al 28,1 % con artefactos o URL. GPT‑5.5 muestra lo mismo: del 29,9 % al 21,9 %. Un análisis más detallado confirma que los modelos de frontera fallan al extraer información de figuras complejas o grandes archivos de secuencias e integrarla en la respuesta final.

El formato de respuesta también importa. Las tareas que exigen salidas exactas de secuencia, estructura o constructo tienen menor aprobación: GPT‑Rosalind llega al 14,8 % en numéricas y al 24,0 % en secuencia o estructura. La generación de constructos también es frágil: GPT‑Rosalind alcanza el 27,3 % y mejora poco frente a GPT‑5.5. Parte de la brecha puede deberse a una calificación más estricta en tareas de respuesta exacta, donde pequeños errores de cálculo o formato impiden aprobar. Aun así, los fallos importan: muchos flujos de ciencias de la vida requieren salidas listas para usar, como en diseño de donantes CRISPR/HDR o de siRNA.

Los modelos también suelen quedarse a medias. En cerca del 14 % de las tareas, obtuvieron mucho crédito de rúbrica pese a no alcanzar la aprobación exacta. Para GPT‑Rosalind, 109 tareas tuvieron menos del 20 % de aprobación y aun así al menos un 50 % de recompensa de rúbrica. En la práctica, pueden detectar evidencias relevantes o dar una respuesta parcial plausible, pero fallar por omitir una restricción, usar evidencias erróneas, calcular de forma incompleta o no vincular el razonamiento a una decisión científica útil.

LifeSciBench ayuda a medir la utilidad de los sistemas de IA en ciencias de la vida, pero no sustituye su estudio en entornos de investigación reales. El benchmark se centra en tareas autocontenidas de flujos industriales recurrentes, y deja fuera muchas especialidades y tipos de tarea. La investigación real es iterativa: los científicos reúnen evidencias, revisan hipótesis, diseñan experimentos de seguimiento y ajustan planes según los resultados.

Por tanto, un buen rendimiento en LifeSciBench indica capacidad realista a nivel de tarea, no impacto directo en la investigación posterior. El benchmark se basa en flujos industriales, pero no capta toda la diversidad ni la dinámica de programas de investigación reales, donde el progreso depende de factores que evolucionan.

El siguiente paso es vincular el rendimiento en benchmarks con estudios de despliegue en flujos reales de investigación. Aunque LifeSciBench se creó con científicos en activo, saber si la IA acelera descubrimientos o mejora la I+D exige estudiar el uso y rendimiento de los modelos en investigación real, durante más tiempo y con varias rondas de razonamiento, comentarios y seguimiento experimental.