Presentamos LifeSciBench

Los sistemas de IA con agentes hacen cada vez más tareas científicas. Pero su utilidad para las ciencias de la vida depende de cómo manejen la complejidad de la investigación real. Ese trabajo rara vez es una pregunta de memoria o una predicción simple. Los investigadores interpretan evidencia incompleta, concilian resultados contradictorios, diseñan experimentos difíciles, depuran ensayos, evalúan riesgos traslacionales y deciden con incertidumbre.

Los bancos de pruebas actuales no capturan bien estas capacidades. Muchas evaluaciones se centran en dominios estrechos o habilidades aisladas, con preguntas estructuradas y respuestas de referencia claras. Aunque son valiosas, no suelen medir si un modelo puede aportar en el trabajo de investigación más amplio.

Diseñamos LifeSciBench para cerrar esa brecha. Cada tarea se basa en el criterio de científicos en ejercicio, con doctorado y experiencia directa en descubrimiento de fármacos en biotecnología y farmacéutica.

LifeSciBench incluye 750 tareas de especialistas en siete flujos de trabajo y siete dominios biológicos.

LifeSciBench mide si los sistemas de IA pueden apoyar investigación realista en ciencias de la vida, no solo responder biología. Para definir la taxonomía, encuestamos a científicos sobre los flujos que más usan en investigación aplicada. Luego agrupamos sus respuestas en siete categorías: manejo de evidencia, análisis, diseño y optimización, razonamiento científico, validación y operaciones, traslación y comunicación científica.

Cada tarea se formula como una solicitud a un colaborador experto: prompt científico, contexto o artefactos relevantes y respuesta libre. Rúbricas de especialistas evalúan si el modelo da la respuesta correcta, con el detalle, la justificación, las salvedades y el formato esperados por un científico.

LifeSciBench evalúa el razonamiento científico junto con habilidades prácticas menos definidas, necesarias en usos científicos reales. Sus tareas piden a los modelos resolver problemas realistas: interpretar evidencia, emitir juicios de dominio y comunicar conclusiones útiles para especialistas. Muchas también exigen manejar incertidumbre y razonar sobre archivos de apoyo, no solo sobre el texto del prompt.

El banco de pruebas refleja la complejidad del trabajo en ciencias de la vida. En total, el 79 % de las tareas requiere varios pasos de razonamiento o decisión, con un promedio de cuatro por tarea. LifeSciBench incluye 1062 artefactos: figuras, PDF, tablas, secuencias, archivos estructurales o químicos y referencias web. Más de la mitad de las tareas (53 %) exige interpretar o sintetizar información de al menos un artefacto.

Las tareas fueron creadas por 173 especialistas de distintas disciplinas de ciencias de la vida. Todos tenían doctorado y experiencia en biotecnología o farmacéutica. Las tareas podían revisarse cuantas veces fuera necesario antes de aceptarse; las aceptadas promediaron seis revisiones automatizadas autodirigidas y al menos dos rondas de revisión experta. Las revisiones se basaron en una respuesta verificable o en un consenso experto sólido, con al menos un 90 % de acuerdo en el dominio relevante. Así se buscó asegurar que las tareas fueran científicas, calificables y representativas de la investigación aplicada.

Las tareas de LifeSciBench se califican con una rúbrica detallada y específica que desglosa la respuesta en afirmaciones, cálculos, decisiones, justificaciones y otros elementos. En todo el banco de pruebas, las rúbricas de especialistas incluyen 19 020 criterios —25 por tarea en promedio— para evaluar la corrección científica y la utilidad en decisiones de investigación.

El diseño refleja cómo se evalúa la ciencia en la práctica: muchas tareas no pueden calificarse solo por la respuesta final. Una respuesta puede llegar a la conclusión general correcta y aun así ser incompleta si omite una limitación clave del ensayo o un matiz biológico importante. A la inversa, una respuesta parcial puede mostrar buen razonamiento aunque no resuelva toda la tarea.

Las rúbricas granulares capturan ese matiz. LifeSciBench evalúa no solo la exactitud final, sino si el modelo llega a ella de forma científicamente válida y operativamente útil.

Validamos LifeSciBench con una revisión experta independiente. Participaron 453 revisores ajenos a la redacción de las tareas. El 97 % tenía doctorado o equivalente, con 12 años de experiencia y 14 publicaciones revisadas por pares en promedio; el 88 % reportó al menos un premio o beca.

Los revisores calificaron si cada tarea tenía las cualidades de una buena pregunta de banco de pruebas: alineación con investigación real, evaluación adecuada del razonamiento científico y la experiencia de dominio, fundamento en evidencia o consenso experto, y utilidad para medir el desempeño del modelo. El acuerdo superó el 96 % en todas las categorías.

Los comentarios reforzaron las calificaciones cuantitativas:

Reportamos dos métricas complementarias. La tasa de aprobación es el porcentaje de tareas en que un modelo alcanza el umbral de éxito del 70 %. La puntuación es la recompensa promedio de la rúbrica, con crédito parcial por criterios individuales aunque la tarea no se resuelva por completo. Ambas importan porque una respuesta científica puede ser parcialmente correcta o útil sin cumplir todos los requisitos.

El desempeño del modelo varía mucho según el tipo de tarea, el flujo de trabajo y el formato de respuesta.

LifeSciBench muestra que los modelos de vanguardia destacan más en síntesis científica, comunicación e interpretación estructurada. Las tasas absolutas siguen siendo modestas, por lo que estos dominios no están saturados; aun así, GPT‑Rosalind avanza frente a GPT‑5.5: la aprobación exacta general sube de 25.7 % a 36.1 %.

El mayor progreso aparece en Comunicación científica y Traslación. Por ejemplo, la aprobación en Comunicación científica sube de 56,3 % con GPT‑5.5 a 71,1 % con GPT‑Rosalind; la categoría es pequeña (n=9) y debe leerse con cautela, pero sugiere avances rápidos para organizar evidencia y producir explicaciones convincentes para especialistas. Traslación (el proceso “del laboratorio a la clínica” en desarrollo de fármacos) sigue un patrón similar: sube de 36,8 % con GPT‑5.5 a 57,7 % con GPT‑Rosalind, lo que sugiere mejoras rápidas para conectar evidencia preclínica con implicaciones clínicas.

Los resultados por rúbrica apuntan en la misma dirección. En tareas que exigen resultados útiles para especialistas o accionables, GPT‑Rosalind logra 44,7 %, frente a 29,1 % de GPT‑5.5. En manejo de incertidumbre y salvedades, obtiene 44,8 %, frente a 29,3 %. El patrón sugiere que los modelos son más útiles cuando la evidencia está bien delimitada y la tarea exige juicio científico estructurado.

El desempeño sigue siendo mucho más débil en trabajos con muchos artefactos, mucho diseño o restricciones operativas. Diseño, optimización y predicción siguen entre los flujos más difíciles: GPT‑Rosalind aprueba 30.7 %; Análisis es similar, con 30.3 %.

El uso de artefactos es una brecha especialmente clara. Aunque GPT‑Rosalind supera a GPT‑5.5 con muchos artefactos, su aprobación cae de 45.1 % en tareas solo de texto a 28.1 % con artefactos o URL. GPT‑5.5 muestra lo mismo: cae de 29.9 % a 21.9 %. Un análisis más detallado confirma que los modelos de vanguardia tienen problemas para extraer datos de figuras complejas o grandes archivos de secuencias e integrarlos en la respuesta final.

El formato de respuesta también importa. Las tareas que exigen salidas exactas de secuencia, estructura o constructo tienen menor aprobación: GPT‑Rosalind alcanza solo 14.8 % en tareas numéricas y 24.0 % en secuencias o estructuras. Generar constructos también es frágil: GPT‑Rosalind obtiene 27.3 % y mejora poco frente a GPT‑5.5. Parte de la brecha puede deberse a una calificación más estricta en tareas de respuesta exacta, donde pequeños errores de cálculo o formato pueden dejar la respuesta bajo el umbral. Aun así, estas fallas son relevantes porque muchos flujos de ciencias de la vida requieren salidas listas para usar, como en diseño de donantes CRISPR/HDR o de siRNA.

Los modelos también suelen acercarse sin resolver la tarea completa. En cerca del 14 % de las tareas, obtuvieron crédito sustancial en la rúbrica pese a no alcanzar la aprobación exacta. Para GPT‑Rosalind, 109 tareas tuvieron una tasa de aprobación inferior al 20 % y aun así lograron al menos un 50 % de recompensa de rúbrica. En la práctica, los modelos pueden identificar evidencia relevante o dar una respuesta parcial plausible, pero fallar por omitir una restricción, usar evidencia incorrecta, calcular de forma incompleta o no convertir el razonamiento en una decisión científica útil.

LifeSciBench ayuda a medir la utilidad de los sistemas de IA para investigar en ciencias de la vida, pero no sustituye estudiar modelos en entornos reales. El banco de pruebas se centra en tareas autocontenidas de flujos industriales recurrentes y deja fuera muchas especialidades y tipos de tarea. La investigación real es iterativa: los científicos reúnen evidencia, revisan hipótesis, diseñan seguimientos y adaptan planes según los resultados.

Por eso, un buen desempeño en LifeSciBench debe leerse como capacidad realista a nivel de tarea, no como medida directa del impacto posterior. El banco de pruebas se basa en flujos industriales, pero no captura toda la diversidad ni la dinámica de programas de investigación reales, donde el progreso depende de factores que evolucionan.

El siguiente paso es conectar el desempeño en bancos de pruebas con estudios de implementación en flujos de investigación reales. Aunque LifeSciBench se creó con científicos en ejercicio, medir si los sistemas de IA aceleran descubrimientos o mejoran la I+D exigirá estudiar el uso y desempeño de los modelos en investigación real, durante más tiempo y a través de varias rondas de razonamiento, retroalimentación y seguimiento experimental.