Presentació de LifeSciBench

Els sistemes d’IA agentiva són cada cop més capaços de fer tasques científiques. Però la seva utilitat per a les ciències de la vida depèn de com afronten la complexitat de la recerca real. Aquesta feina rarament és una pregunta factual o un problema de predicció net. Els investigadors interpreten proves incompletes, concilien resultats contradictoris, dissenyen experiments difícils, depuren assajos, avaluen el risc translacional i decideixen què fer en la incertesa.

Els bancs de proves actuals no capten del tot aquestes capacitats. Moltes avaluacions en ciències de la vida se centren en dominis estrets o habilitats aïllades, amb preguntes estructurades i respostes de referència clares. Tot i el seu valor, sovint no avaluen si un model pot contribuir al conjunt de la feina de recerca.

Hem creat LifeSciBench per reduir aquest buit. Cada tasca es basa en el criteri de científics en actiu amb formació doctoral i experiència en programes de descobriment de fàrmacs en biotecnologia i farmàcia.

LifeSciBench inclou 750 tasques d’experts, en set fluxos de treball i set dominis biològics.

LifeSciBench mesura si els sistemes AI poden donar suport a tasques reals de recerca en ciències de la vida, no només respondre preguntes de biologia. Per definir-ne la taxonomia, vam enquestar científics en actiu sobre els fluxos de treball més habituals en recerca aplicada. Després vam agrupar les respostes en set categories: gestió de proves, anàlisi, disseny i optimització, raonament científic, validació i operacions, translació i comunicació científica.

Cada tasca s’assembla a una petició d’un científic a un col·laborador expert: indicació científica, context o artefactes rellevants i resposta lliure. Rúbriques d’experts avaluen si un model dona la resposta adequada, amb el detall, la justificació, els matisos i el format esperats.

LifeSciBench avalua el raonament científic i també habilitats pràctiques, menys definides, necessàries en l’ús científic real. Les tasques fan treballar els models en problemes realistes: interpretar proves, emetre judicis ancorats en el domini i comunicar conclusions útils per a revisors experts. Moltes tasques exigeixen gestionar la incertesa i raonar sobre fitxers de suport, no només sobre el text de la indicació.

El banc de proves reflecteix la complexitat de les ciències de la vida. En total, el 79% de les tasques requereixen diversos passos de raonament o decisió, amb una mitjana de quatre per tasca. LifeSciBench inclou 1.062 artefactes adjunts: figures, PDF, taules, seqüències, fitxers estructurals o químics i referències web. Més de la meitat de les tasques (53%) exigeixen interpretar o sintetitzar informació d’almenys un artefacte.

Les tasques les van crear 173 científics experts de diverses disciplines. Tots tenien formació doctoral i experiència en biotecnologia o farmàcia. Les tasques podien revisar-se tantes vegades com calgués abans de l’acceptació; les acceptades van fer de mitjana sis cicles automatitzats d’autorevisió i almenys dues rondes d’experts. Les revisions es basaven en una resposta verificable o en un consens expert sòlid, amb almenys un 90% d’acord entre revisors del domini. Això va ajudar a assegurar tasques amb base científica, prou clares per puntuar i representatives de la recerca aplicada.

Les tasques de LifeSciBench es qualifiquen amb una rúbrica detallada i específica, que desglossa la resposta esperada en afirmacions, càlculs, decisions, justificacions i altres elements. En tot el banc de proves, les rúbriques d’experts sumen 19.020 criteris —25 per tasca de mitjana— per mesurar correcció científica i utilitat per a decisions de recerca.

El disseny reflecteix com s’avalua la ciència a la pràctica: moltes tasques no es poden puntuar mirant només la resposta final. Una resposta pot encertar la conclusió general i ser incompleta si, per exemple, ignora una limitació clau d’un assaig o un matís biològic important. A l’inrevés, una resposta parcial pot contenir bon raonament encara que no resolgui del tot la tasca.

Les rúbriques granulars capten aquest matís. LifeSciBench avalua no només l’exactitud final, sinó si el model hi arriba de manera científica i útil per operar.

Vam validar LifeSciBench amb una revisió experta independent. Hi van participar 453 revisors que no havien escrit les tasques. El 97% tenia un doctorat o equivalent, amb 12 anys d’experiència i 14 publicacions revisades per parells de mitjana; el 88% havia rebut algun premi o beca.

Els revisors van puntuar si cada tasca reunia els trets d’una bona pregunta de banc de proves: alineació amb la recerca real, prova adequada del raonament científic i l’expertesa del domini, ancoratge en proves o consens expert i utilitat per avaluar el rendiment del model. L’acord va superar el 96% en totes les categories.

Els comentaris dels revisors van reforçar les puntuacions:

Presentem dues mètriques complementàries. La taxa d’aprovació és el percentatge de tasques en què un model supera el llindar d’èxit del 70%. La puntuació és la recompensa mitjana de la rúbrica i dona crèdit parcial per criteris individuals encara que la tasca no es resolgui. Totes dues importen perquè una resposta científica pot ser parcialment correcta o útil sense complir tots els requisits.

El rendiment del model varia molt segons el tipus de tasca, el flux de treball i el format de resposta.

LifeSciBench mostra que els models d’avantguarda són relativament més forts en síntesi científica, comunicació i interpretació estructurada. Les taxes absolutes d’aprovació encara són modestes, però GPT‑Rosalind avança respecte de GPT‑5.5: la taxa global exacta puja del 25,7% al 36,1%.

Els avenços més clars en capacitats del model apareixen en Comunicació científica i Translació. Per exemple, en Comunicació científica la taxa d’aprovació passa del 56,3% amb GPT‑5.5 al 71,1% amb GPT‑Rosalind; la categoria és petita (n=9) i cal cautela, però indica una millora ràpida en organitzar proves i explicar-les a experts. La translació —el procés «del laboratori al pacient» en el desenvolupament de fàrmacs— segueix un patró semblant: puja del 36,8% amb GPT‑5.5 al 57,7% amb GPT‑Rosalind, fet que suggereix millores en connectar proves preclíniques amb implicacions clíniques.

Els resultats per rúbrica apunten igual. En tasques que exigeixen sortides útils per a experts o accionables, GPT‑Rosalind obté un 44,7%, davant del 29,1% de GPT‑5.5. En tasques d’incertesa i advertiments, obté un 44,8%, davant del 29,3%. Això suggereix que els models són més útils quan la tasca té límits probatoris clars i demana judici científic estructurat.

El rendiment és molt més feble en treballs amb molts artefactes, molt disseny o restriccions operatives. Disseny, optimització i predicció és un dels fluxos més difícils, amb una aprovació de GPT‑Rosalind del 30,7%; Anàlisi és similar, amb un 30,3%.

L’ús d’artefactes és una bretxa especialment clara. Tot i superar GPT‑5.5 en contextos amb artefactes, GPT‑Rosalind baixa del 45,1% en tasques només de text al 28,1% en tasques amb artefactes o URL. GPT‑5.5 mostra el mateix patró: del 29,9% al 21,9%. Una anàlisi més fina confirma que els models d’avantguarda tenen problemes per extreure informació de figures complexes o grans fitxers de seqüència i integrar-la en la resposta final.

El format de resposta també compta. Les tasques que exigeixen sortides exactes de seqüència, estructura o constructe aproven menys: GPT‑Rosalind només arriba al 14,8% en tasques numèriques i al 24,0% en seqüències o estructures. Les tasques de generació de constructes també són fràgils: GPT‑Rosalind queda al 27,3% i millora poc respecte de GPT‑5.5. Part de la bretxa pot venir d’una qualificació més estricta en respostes exactes, on petits errors de càlcul o format poden deixar la resposta sota el llindar. Tot i així, els errors importen: molts fluxos de treball exigeixen sortides prou exactes per usar-les directament, com en el disseny de donadors CRISPR/HDR o de siRNA.

Els models sovint arriben a mig camí sense resoldre la tasca. En prop del 14% de les tasques, van obtenir crèdit substancial a la rúbrica tot i no assolir l’aprovació exacta. En GPT‑Rosalind, 109 tasques tenien aprovacions per sota del 20% però almenys un 50% de recompensa de rúbrica. A la pràctica, poden detectar proves rellevants o donar una resposta parcial plausible, però fallar per ometre una restricció, usar proves errònies, calcular de manera incompleta o no lligar el raonament a una decisió científica útil.

LifeSciBench ajuda a mesurar la utilitat dels sistemes AI en recerca de ciències de la vida, però no substitueix l’estudi dels models en entorns de recerca actius. El banc se centra en tasques autocontingudes que reflecteixen fluxos industrials recurrents, i deixa fora moltes especialitats i tipus de tasca. La recerca real és iterativa: es recullen proves, es revisen hipòtesis, es dissenyen experiments de seguiment i s’adapten plans segons els resultats.

Per tant, un bon rendiment a LifeSciBench indica capacitat realista a nivell de tasca, no impacte directe en la recerca posterior. El banc s’ancora en fluxos industrials, però no capta tota la diversitat ni la dinàmica dels programes de recerca actius, on el progrés depèn de factors que evolucionen amb el temps.

El pas següent és connectar el rendiment del banc amb estudis de desplegament en fluxos de recerca reals. Tot i que LifeSciBench es va crear amb científics en actiu, mesurar si els sistemes AI acceleren el descobriment o milloren l’R+D requerirà estudiar l’ús i el rendiment dels models en recerca real, durant períodes més llargs i en múltiples rondes de raonament, feedback i seguiment experimental.