Apresentando o LifeSciBench

Sistemas de IA agêntica estão cada vez mais aptos a executar tarefas científicas. Mas sua utilidade para pesquisadores de ciências da vida depende de como lidam com a complexidade da pesquisa real. Esse trabalho raramente é uma simples pergunta factual ou um problema de previsão bem definido. Pesquisadores interpretam evidências incompletas, conciliam resultados conflitantes, desenham experimentos difíceis, corrigem ensaios, avaliam risco translacional e decidem o próximo passo sob incerteza.

Os benchmarks atuais não capturam totalmente essas capacidades. Muitas avaliações em ciências da vida focam domínios estreitos ou habilidades isoladas, com perguntas estruturadas e respostas de referência limpas. Embora valiosas, muitas não avaliam de fato se um modelo pode contribuir no amplo trabalho de pesquisa.

Criamos o LifeSciBench para ajudar a fechar essa lacuna. Cada tarefa se baseia no julgamento de cientistas da vida atuantes, com formação de Ph.D. e experiência direta em programas de descoberta de fármacos em biotecnologia e farmacêuticas.

O LifeSciBench reúne 750 tarefas criadas por especialistas, em sete fluxos de trabalho e sete domínios biológicos.

O LifeSciBench mede se sistemas de AI conseguem apoiar tarefas realistas de pesquisa em ciências da vida, não só responder a perguntas de biologia. Para definir a taxonomia do benchmark, entrevistamos cientistas da vida sobre os fluxos que mais usam em pesquisa aplicada. Agrupamos as respostas em sete categorias recorrentes: manejo de evidências, análise, design e otimização, raciocínio científico, validação e operações, translação e comunicação científica.

Cada tarefa segue o formato de um pedido a um colaborador experiente: prompt científico, contexto ou artefatos relevantes e resposta livre. Rubricas de especialistas avaliam se um modelo dá a resposta certa para o problema, com o detalhe, a justificativa, as ressalvas e o formato esperados por um cientista.

O LifeSciBench avalia o raciocínio científico e as habilidades práticas, menos definidas, necessárias ao uso científico real. Suas tarefas pedem que modelos resolvam problemas realistas: interpretar evidências, fazer julgamentos fundamentados e comunicar conclusões úteis a revisores especialistas. Muitas também exigem lidar com incerteza e raciocinar sobre arquivos de apoio, não apenas sobre o texto do prompt.

O benchmark foi desenhado para refletir a complexidade das ciências da vida. No total, 79% das tarefas exigem várias etapas de raciocínio ou decisão, com média de quatro por tarefa. O LifeSciBench inclui 1.062 artefatos anexos, como figuras, PDFs, tabelas, sequências, estruturas, arquivos químicos e referências web. Mais da metade das tarefas (53%) exige interpretar ou sintetizar informações de pelo menos um artefato.

As tarefas foram criadas por 173 cientistas especialistas de várias disciplinas das ciências da vida. Todos tinham formação de Ph.D. e experiência na indústria biotecnológica ou farmacêutica. Antes da aceitação, as tarefas podiam passar por quantas revisões fossem necessárias, sem limite de rodadas; as aceitas tiveram em média seis ciclos automatizados autodirigidos e ao menos duas revisões por especialistas. As revisões se apoiaram em resposta correta verificável ou forte consenso de especialistas, com pelo menos 90% de concordância entre revisores do domínio. O processo ajudou a garantir tarefas com base científica, avaliáveis com clareza e representativas da pesquisa aplicada.

As tarefas do LifeSciBench são avaliadas por uma rubrica detalhada e específica, que divide a resposta esperada em afirmações científicas, cálculos, decisões, justificativas e outros itens. No benchmark, as rubricas de especialistas somam 19.020 critérios — média de 25 por tarefa — para avaliar correção científica e utilidade para decisões de pesquisa.

Esse desenho reflete a prática científica: muitas tarefas em ciências da vida não podem ser avaliadas só pela resposta final. Uma resposta pode chegar à conclusão geral correta e ainda ser incompleta se ignorar, por exemplo, uma limitação importante do ensaio ou uma nuance biológica crucial. Por outro lado, uma resposta parcial pode conter raciocínio de alta qualidade mesmo sem resolver toda a tarefa.

As rubricas granulares capturam essa nuance. O LifeSciBench avalia não só a precisão final, mas se o modelo chega à resposta de modo cientificamente válido e operacionalmente útil.

Validamos o LifeSciBench por revisão independente de especialistas. O feedback veio de 453 revisores que não escreveram as tarefas. Desses revisores, 97% tinham Ph.D. ou doutorado equivalente, média de 12 anos de experiência e 14 publicações revisadas por pares; 88% relataram ao menos um prêmio ou bolsa.

Os revisores avaliaram se cada tarefa tinha as qualidades de uma boa pergunta de benchmark: alinhamento com a pesquisa real, teste adequado de raciocínio científico e expertise de domínio, base em evidências ou consenso e utilidade para medir o desempenho do modelo. A concordância superou 96% em todas as categorias.

Os comentários dos revisores reforçaram as notas quantitativas:

Reportamos duas métricas complementares. Taxa de aprovação é o percentual de tarefas em que um modelo atinge o limiar de sucesso de 70%. Pontuação é a recompensa média da rubrica, com crédito parcial por critérios individuais mesmo sem resolver toda a tarefa. As duas importam porque uma resposta científica pode ser parcialmente correta ou útil sem cumprir todos os requisitos.

O desempenho do modelo varia muito por tipo de tarefa, fluxo de trabalho e formato de resposta.

O LifeSciBench mostra que modelos de fronteira são mais fortes em síntese científica, comunicação e interpretação estruturada. As taxas absolutas de aprovação ainda são modestas, portanto esses domínios estão longe da saturação, mas o GPT‑Rosalind avança em relação ao GPT‑5.5, elevando a taxa geral de aprovação exata de 25,7% para 36,1%.

Os maiores avanços nas capacidades dos modelos aparecem em Comunicação Científica e Translação. Por exemplo, a aprovação em Comunicação Científica sobe de 56,3% no GPT‑5.5 para 71,1% no GPT‑Rosalind; a categoria é pequena (n=9) e exige cautela, mas sugere melhora rápida na capacidade de organizar evidências e produzir explicações convincentes para especialistas. Translação (o processo “da bancada ao leito” no desenvolvimento de fármacos) segue padrão semelhante, de 36,8% no GPT‑5.5 para 57,7% no GPT‑Rosalind, sugerindo melhora rápida em conectar evidências pré-clínicas a implicações clínicas.

Os resultados por rubrica apontam na mesma direção. Em tarefas que exigem saídas úteis a especialistas ou acionáveis, o GPT‑Rosalind pontua 44,7%, contra 29,1% do GPT‑5.5. Em tarefas que exigem lidar com incertezas e ressalvas, pontua 44,8%, contra 29,3%. O padrão sugere que modelos são mais úteis quando a tarefa tem limites claros de evidência e pede julgamento científico estruturado.

O desempenho segue bem mais fraco em trabalhos científicos com muitos artefatos, muito design e restrições operacionais. Design, Otimização & Previsão segue entre os fluxos mais difíceis, com aprovação de 30,7% para o GPT‑Rosalind; Análise é similar, com 30,3%.

O uso de artefatos é uma lacuna especialmente clara. Embora supere o GPT‑5.5 em contextos com muitos artefatos, o GPT‑Rosalind ainda cai de 45,1% em tarefas só de texto para 28,1% em tarefas com artefatos ou URLs. O GPT‑5.5 mostra o mesmo padrão, caindo de 29,9% para 21,9%. Análise mais detalhada confirma que modelos de fronteira têm dificuldade para extrair dados de figuras complexas ou grandes arquivos de sequência e integrá-los à resposta final.

O formato da resposta também importa. Tarefas que exigem saídas exatas de sequência, estrutura ou constructo têm menor aprovação: o GPT‑Rosalind chega a 14,8% em tarefas numéricas e 24,0% em saídas de sequência ou estrutura. Tarefas de geração de constructos também são frágeis: GPT‑Rosalind fica em 27,3% e melhora pouco sobre o GPT‑5.5. Parte da lacuna pode refletir uma avaliação mais rígida em tarefas de resposta exata, nas quais pequenos desvios de cálculo ou formato podem deixar a resposta abaixo do limiar. Ainda assim, as falhas têm peso científico, pois muitos fluxos em ciências da vida exigem saídas exatas o bastante para uso direto, como no design de doadores CRISPR/HDR ou de siRNA.

Os modelos também costumam avançar parcialmente sem resolver toda a tarefa. Em cerca de 14% das tarefas, os modelos obtiveram crédito substancial na rubrica apesar de não atingir a aprovação exata. No GPT‑Rosalind, 109 tarefas tiveram aprovação abaixo de 20% e ainda assim receberam ao menos 50% da recompensa da rubrica. Na prática, modelos podem identificar evidências relevantes ou dar uma resposta parcial plausível, mas falhar por perder uma restrição-chave, usar evidência errada, calcular de modo incompleto ou não ligar o raciocínio a uma decisão final cientificamente útil.

O LifeSciBench ajuda a medir a utilidade de sistemas de AI para pesquisa em ciências da vida, mas não substitui estudos de modelos em ambientes reais. O benchmark foca tarefas autocontidas que refletem fluxos recorrentes da indústria, deixando muitas especialidades e tipos de tarefa fora do escopo atual. A pesquisa real é iterativa: cientistas reúnem evidências, revisam hipóteses, desenham experimentos de seguimento e adaptam planos conforme surgem resultados.

Assim, bom desempenho no LifeSciBench indica capacidade realista no nível da tarefa, não impacto direto em pesquisa posterior. O benchmark se baseia em fluxos da indústria, mas não captura toda a diversidade nem a dinâmica de programas reais, cujo progresso depende de fatores que evoluem no tempo.

O próximo passo é ligar o desempenho no benchmark a estudos de implantação em fluxos de pesquisa reais. Embora criado com cientistas atuantes, medir se sistemas de AI aceleram descobertas ou melhoram resultados de P&D exigirá estudar o uso e o desempenho de modelos em ambientes reais, por períodos mais longos e em várias rodadas de raciocínio, feedback e acompanhamento experimental.