Apresentamos o LifeSciBench

Os sistemas de IA agêntica fazem cada vez mais tarefas científicas. Mas a sua utilidade nas ciências da vida depende de como lidam com a investigação real. Esse trabalho raramente é uma simples pergunta factual ou uma previsão limpa. Os investigadores interpretam dados incompletos, conciliam resultados, desenham experiências, afinam ensaios, avaliam risco translacional e decidem sob incerteza.

Os benchmarks atuais não captam tudo isto. Muitas avaliações focam domínios estreitos ou competências isoladas, com perguntas estruturadas e respostas de referência claras. São úteis, mas raramente mostram se um modelo ajuda em todo o trabalho de investigação.

Criámos o LifeSciBench para colmatar esta lacuna. Cada tarefa baseia-se no juízo de cientistas ativos, com doutoramento e experiência direta em descoberta de fármacos na biotecnologia e na indústria farmacêutica.

O LifeSciBench inclui 750 tarefas de especialistas, em sete fluxos de trabalho e sete domínios biológicos.

O LifeSciBench mede se os sistemas de AI apoiam investigação realista em ciências da vida, não só se respondem a biologia. Para definir a taxonomia, inquirimos cientistas ativos sobre os fluxos de trabalho mais usados em investigação aplicada. Agrupámos as respostas em sete categorias: evidência, análise, desenho e otimização, raciocínio científico, validação e operações, translação e comunicação científica.

Cada tarefa parece um pedido a um colaborador experiente: prompt científico, contexto ou artefactos relevantes e resposta livre. Grelhas de especialistas avaliam se o modelo dá a resposta certa, com o detalhe, a justificação, as ressalvas e o formato esperados.

O LifeSciBench avalia o raciocínio científico e as competências práticas necessárias ao uso científico real. As tarefas levam os modelos a resolver problemas realistas: interpretar evidência, julgar com base no domínio e comunicar conclusões úteis a especialistas. Muitas também exigem lidar com incerteza e raciocinar sobre ficheiros de apoio, não apenas sobre o prompt.

O benchmark reflete a complexidade das ciências da vida. No total, 79% das tarefas exigem vários passos de raciocínio ou decisão, em média quatro por tarefa. O LifeSciBench inclui 1 062 artefactos: figuras, PDFs, tabelas, sequências, ficheiros estruturais ou químicos e referências Web. Mais de metade das tarefas (53%) exige interpretar ou sintetizar informação de pelo menos um artefacto.

As tarefas foram criadas por 173 cientistas especialistas de várias áreas das ciências da vida. Todos tinham doutoramento e experiência na indústria biotecnológica ou farmacêutica. As tarefas passaram por tantas revisões quanto necessário; as aceites tiveram em média seis ciclos automáticos autodirigidos e pelo menos duas rondas de revisão por especialistas. As revisões assentaram numa resposta verificável ou em forte consenso de especialistas, com pelo menos 90% de acordo no domínio. O processo garantiu tarefas sólidas, claras para avaliação e representativas da investigação aplicada.

As tarefas do LifeSciBench são avaliadas por uma grelha detalhada e específica, que decompõe a resposta em afirmações, cálculos, decisões, justificações, etc. No benchmark, as grelhas de especialistas somam 19 020 critérios — 25 por tarefa, em média — para medir correção científica e utilidade na investigação.

Isto reflete a prática científica: muitas tarefas não podem ser avaliadas apenas pela resposta final. Uma resposta pode acertar na conclusão geral e ser incompleta se ignorar uma limitação crítica do ensaio ou uma nuance biológica relevante. E uma resposta parcial pode ter bom raciocínio sem resolver toda a tarefa.

As grelhas granulares captam essa nuance. O LifeSciBench avalia não só a exatidão final, mas se o modelo chega lá de modo cientificamente válido e operacionalmente útil.

Validámos o LifeSciBench com uma revisão independente por especialistas. O feedback veio de 453 revisores externos à criação das tarefas. Destes, 97% tinham doutoramento ou equivalente, 12 anos médios de experiência, 14 publicações revistas por pares; 88% tinham prémios ou bolsas.

Os revisores avaliaram se cada tarefa tinha as qualidades de uma boa pergunta de benchmark: alinhamento com investigação real, teste adequado de raciocínio científico e especialização, base em evidência ou consenso, e utilidade para medir o desempenho do modelo. A concordância superou 96% em todas as categorias.

Os comentários dos revisores confirmaram as pontuações:

Usamos duas métricas complementares. A taxa de aprovação é a percentagem de tarefas em que o modelo atinge o limiar de sucesso de 70%. A pontuação é a recompensa média da grelha, dando crédito parcial por critérios individuais mesmo sem resolver a tarefa inteira. Ambas importam: uma resposta científica pode ser parcialmente correta ou útil sem cumprir todos os requisitos.

O desempenho varia muito por tipo de tarefa, fluxo de trabalho e formato de resposta.

O LifeSciBench mostra que os modelos de fronteira são melhores em síntese científica, comunicação e interpretação estruturada. As taxas absolutas ainda são modestas, mas o GPT‑Rosalind avança face ao GPT‑5.5: a aprovação exata global sobe de 25,7% para 36,1%.

Os maiores ganhos surgem em Comunicação Científica e Translação. Por exemplo, a aprovação em Comunicação Científica sobe de 56,3% no GPT‑5.5 para 71,1% no GPT‑Rosalind; a categoria é pequena (n=9), mas sugere progressos rápidos na organização de evidência e em explicações convincentes para especialistas. A Translação (o processo "da bancada ao leito" no desenvolvimento de fármacos) mostra padrão semelhante, subindo de 36,8% no GPT‑5.5 para 57,7% no GPT‑Rosalind, sinal de melhor ligação entre evidência pré-clínica e implicações clínicas.

Os resultados por grelha apontam no mesmo sentido. Em tarefas que exigem saídas úteis ou acionáveis para especialistas, o GPT‑Rosalind obtém 44,7%, contra 29,1% do GPT‑5.5. Em tarefas de incerteza e ressalvas, obtém 44,8%, contra 29,3%. Isto sugere que os modelos ajudam mais quando a evidência é delimitada e a tarefa pede juízo científico estruturado.

O desempenho é bem mais fraco em trabalho científico com muitos artefactos, muito desenho e restrições operacionais. Desenho, Otimização & Previsão continua dos fluxos mais difíceis, com 30,7% de aprovação no GPT‑Rosalind; Análise é semelhante, com 30,3%.

O uso de artefactos é uma lacuna clara. Embora supere o GPT‑5.5 nesses contextos, o GPT‑Rosalind cai de 45,1% em tarefas só de texto para 28,1% em tarefas com artefactos ou URLs. O GPT‑5.5 segue o mesmo padrão, caindo de 29,9% para 21,9%. Uma análise mais fina confirma dificuldades em extrair informação de figuras complexas ou grandes ficheiros de sequências e integrá-la na resposta final.

O formato da resposta também conta. Tarefas que exigem saídas exatas de sequência, estrutura ou construto têm menor aprovação: o GPT‑Rosalind chega só a 14,8% em tarefas numéricas e 24,0% em saídas de sequência ou estrutura. A geração de construtos também é frágil: o GPT‑Rosalind fica nos 27,3% e melhora pouco face ao GPT‑5.5. Parte da lacuna pode vir de avaliação mais estrita em respostas exatas, onde pequenos erros de cálculo ou formato baixam a resposta do limiar. Ainda assim, são falhas relevantes: muitos fluxos das ciências da vida exigem saídas prontas a usar, como desenho de dadores CRISPR/HDR ou de siRNA.

Os modelos também avançam parcialmente sem resolver a tarefa. Em cerca de 14% das tarefas, ganharam crédito substancial na grelha apesar de falharem a aprovação exata. No GPT‑Rosalind, 109 tarefas tiveram aprovação abaixo de 20%, mas pelo menos 50% da recompensa da grelha. Na prática, os modelos podem encontrar evidência relevante ou uma resposta parcial plausível, mas falhar por perderem uma restrição, usarem evidência errada, calcularem incompletamente ou não ligarem o raciocínio a uma decisão científica útil.

O LifeSciBench ajuda a medir a utilidade dos sistemas de AI na investigação em ciências da vida, mas não substitui estudos em ambientes reais. O benchmark foca tarefas autónomas de fluxos industriais recorrentes, deixando fora muitas especialidades e tipos de tarefa. A investigação real é iterativa: recolhem-se dados, revêm-se hipóteses, desenham-se experiências de seguimento e ajustam-se planos.

Assim, bom desempenho no LifeSciBench indica capacidade realista ao nível da tarefa, não impacto direto na investigação. O benchmark assenta em fluxos industriais, mas não capta toda a diversidade nem a dinâmica dos programas reais, onde o progresso depende de fatores que evoluem no tempo.

O passo seguinte é ligar o desempenho no benchmark a estudos de implementação em fluxos de investigação reais. Embora desenvolvido com cientistas ativos, saber se os sistemas de AI aceleram a descoberta ou melhoram a I&D exige estudar o uso e o desempenho dos modelos em investigação real, por períodos mais longos e com várias rondas de raciocínio, feedback e seguimento experimental.