Apresentamos o GeneBench-Pro
Um benchmark ao nível da investigação que mede como agentes de IA navegam pela ambiguidade e fazem juízos consequentes em biologia computacional.
Os dados científicos raramente chegam com instruções. Os investigadores têm de decidir se um padrão reflete biologia ou ruído, se os dados conseguem sustentar a pergunta feita e de que forma cada resultado deve alterar o passo seguinte. Os agentes de IA são cada vez mais capazes de executar análises complexas, mas a investigação científica real também depende não apenas de recordar factos ou seguir um fluxo de trabalho predefinido, mas também de fazer estes juízos de ordem superior.
Hoje, apresentamos o GeneBench-Pro — um benchmark desafiante, ao nível da investigação, para testar se os modelos conseguem lidar com o tipo de análise exigente em termos de critério que a biologia computacional do mundo real requer. Expande o GeneBench(abre numa nova janela) para cobrir tarefas mais difíceis e realistas em genómica, biologia quantitativa e medicina translacional, captando a complexidade, a natureza iterativa e a ambiguidade da investigação científica em biologia computacional.
Até à data, têm existido poucas avaliações convincentes das decisões de critério a nível sistémico que tornam difícil a investigação computacional no mundo real. Estas incluem lidar com ambiguidade, rever pressupostos, escolher o caminho de análise correto e saber quando um resultado está pronto para apoiar uma decisão. Como estas competências são difíceis de formalizar, também são difíceis de avaliar com rigor, mesmo quando as suas limitações restringem cada vez mais o desempenho geral da IA.
O GeneBench-Pro foi concebido para medir precisamente estas capacidades de nível superior. No GeneBench-Pro, definimos «critério de investigação» como as cadeias de decisões de critério que moldam uma análise: que perguntas os dados conseguem sustentar, como os diagnósticos iniciais devem alterar o modelo ou o estimando e quando um plano inicial precisa de ser revisto. Cada problema do GeneBench-Pro dá ao modelo um conjunto de dados realista e desarrumado, um breve contexto experimental e um estimando-alvo ligado a uma decisão a jusante. Para responder corretamente, o modelo tem de explorar os dados, escolher uma abordagem analítica adequada, envolver-se num processo iterativo de experimentação e fornecer uma resposta final.
Em biologia, o custo de geração de dados (por exemplo, sequenciação genómica) caiu drasticamente, e alguns investigadores defendem agora(abre numa nova janela) que o fator limitante já não é a recolha de amostras, mas sim a computação e a análise a jusante. O GeneBench-Pro foi criado para avaliar o progresso na resolução desse ponto de estrangulamento, com 129 perguntas que abrangem uma vasta gama de contextos e métodos de biologia computacional.
Atlas de domínios: 129 problemas em 10 domínios e 21 subdomínios
Clique num ponto acima para saber mais sobre um problema de referência.
Este atlas oferece uma pré-visualização da amplitude do GeneBench-Pro. Visite a página de estudos de caso para explorar 10 perguntas representativas em maior detalhe.
O GeneBench-Pro também foi concebido para evitar falhas comuns dos benchmarks. Muitos benchmarks de biologia de longo horizonte constroem perguntas de múltiplas etapas em torno de conjuntos de dados históricos desarrumados, em que pode não haver um único caminho correto ao longo da análise. Um agente pode escolher um ponto de corte defensável, enquanto outro pode escolher uma opção diferente mas igualmente defensável, refletindo as escolhas arbitrárias feitas pelo criador do benchmark mais do que diferenças fundamentais no desempenho do modelo. Também pode acontecer o inverso: se um problema for demasiado pouco sensível numericamente, um agente pode cometer erros fundamentais numa análise e, ainda assim, produzir um resultado aprovado.
Para evitar estes modos de falha, cada problema do GeneBench-Pro é criado de forma sintética: conhecemos toda a estrutura causal e simulamos diretamente o processo gerador dos dados. Isto permite-nos ajustar a complexidade de cada problema, garantir que diferenças razoáveis em escolhas analíticas subjetivas continuam a produzir resultados numéricos aceites e verificar (através de estudos de ablação) que análises plausíveis mas incorretas falham. Depois, auditamos rascunhos de problemas através de análises detalhadas de traços para verificar fugas de informação e caminhos de solução não pretendidos. Isto dá-nos confiança de que obter a resposta certa depende de escolher o percurso analítico correto, e não de explorar um atalho ou corresponder a uma preferência arbitrária do autor.
Enviámos 82 das 129 perguntas do GeneBench-Pro a especialistas externos no domínio, incluindo estudantes de pós-graduação, investigadores de pós-doutoramento, cientistas da indústria e professores. Os revisores avaliaram o realismo de cada problema, se a resposta-alvo era identificável e se os métodos e estimadores eram adequados. O feedback foi usado para melhorar os problemas.
“Os problemas que revi teriam sido difíceis de concluir para um estudante de pós-graduação sem feedback iterativo de um supervisor experiente. Os dados continham problemas técnicos e de controlo de qualidade que exigiam uma análise de dados ponderada e reflexiva, com consciência de potenciais armadilhas, para serem resolvidos com êxito; não se tratava simplesmente de aplicar um método pronto a usar a dados limpos e bem curados.”
“Mesmo que os modelos atuais não consigam executar análises independentes de ponta a ponta de forma fiável, os que tiverem bom desempenho em problemas do GeneBench-Pro seriam claramente capazes de ajudar investigadores a determinar fluxos de trabalho corretos e a explorar dados. Consigo imaginar isso a melhorar muito o ritmo, a minúcia e a reprodutibilidade da investigação.”
Cada problema do GeneBench-Pro é uma análise científica autónoma. Os agentes recebem acesso a um espaço de trabalho isolado com um prompt curto, ficheiros de dados e uma stack de bioinformática padrão que inclui Python, bibliotecas de computação científica e pacotes básicos de genómica como o PLINK 2.0 (embora os problemas não exijam ferramentas específicas do domínio).
Decisão benefício-risco de terapêutica tumoral orientada por variante estrutural
Por controlarmos todo o processo de geração de dados, conseguimos classificar a correção de forma determinística em relação a alvos conhecidos, evitando a variabilidade associada à escolha do modelo e os efeitos de verbosidade presentes na avaliação padrão baseada em rubricas.
Cada problema também inclui metadados ricos, incluindo a estrutura de análise pretendida, ficheiros de dados anexados, um estudo de caso detalhado de várias páginas e resultados da revisão por especialistas. Estamos a disponibilizar em open source 10 perguntas representativas do GeneBench-Pro no Hugging Face(abre numa nova janela), com uma interface Web interativa para as explorar. Por fim, iremos fornecer um subconjunto de 50 perguntas à Artificial Analysis(abre numa nova janela) para benchmarking independente por terceiros num futuro próximo.
O nosso modelo mais forte, GPT‑5.6 Sol, atinge uma taxa de aprovação de 28,7% no nível de raciocínio mais elevado (31,5% com o modo Pro ativado). Isto representa um forte aumento face ao momento em que começámos a criar o GeneBench original; na altura, o nosso melhor modelo de fronteira, o GPT‑5, obteve menos de 5%. O progresso neste benchmark sugere que os modelos de fronteira estão a melhorar rapidamente, mesmo em raciocínio científico a nível de sistemas, menos tangível. Ao ritmo atual, este benchmark poderá ficar saturado até ao fim do ano.
Os resultados também mostram o impacto de aumentar a computação em tempo de teste. No nível de raciocínio mais baixo, o GPT‑5.6 Sol atinge apenas uma taxa de aprovação de um só dígito. No nível de raciocínio mais elevado, o GPT‑5.6 Sol resolve quase seis vezes mais perguntas do que o GPT‑5.2 usando cerca de dois terços dos tokens.
Comparações entre famílias de modelos sugerem que os modelos GPT estão entre os sistemas mais fortes em raciocínio científico de alto nível sob incerteza quantitativa. A diferença de desempenho entre o GPT‑5.6, o GPT‑5.5 e modelos open source líderes como o GLM 5.2 é significativamente maior do que esperaríamos ao extrapolar a partir de benchmarks de programação(abre numa nova janela), indicando que os modelos open source são mais especializados em programação do que numa capacidade de raciocínio mais ampla.
Usámos modelos GPT de fronteira para avaliar e robustecer os problemas durante o desenvolvimento. Por isso, suspeitámos que o GeneBench-Pro pudesse estar enviesado contra modelos GPT em comparação com outras famílias de modelos. No entanto, os modelos concorrentes, na melhor das hipóteses, igualaram o desempenho do modelo GPT correspondente no momento do lançamento e tenderam a ficar consideravelmente aquém.
Estes resultados de avaliação — até 31,5% no GPT‑5.6 Sol (Pro) — são impressionantes tendo em conta a dificuldade das perguntas do GeneBench-Pro. Num inquérito, os nossos revisores estimaram que um problema típico do GeneBench-Pro demoraria cerca de 20 a 40 horas a ser concluído por um especialista humano. Com uma estimativa conservadora de 200 dólares por hora, isso coloca o custo de trabalho humano de um único problema na ordem dos milhares de dólares. Os agentes de IA atuais ainda são demasiado pouco fiáveis para substituir especialistas humanos, mas a diferença de custo é grande, com custos de inferência de apenas alguns dólares por problema. Isto significa que mesmo a automação parcial com as capacidades atuais poderia criar valor económico e científico significativo.
“Os benchmarks são motivados por um conjunto diverso de perguntas biológicas, mas… o verdadeiro desafio vem da análise exploratória de dados e do raciocínio sobre estas descobertas: identificar padrões e artefactos, e decidir se os dados devem ser excluídos ou ajustados. Isto assemelha-se à natureza desarrumada dos conjuntos de dados biológicos reais. Rever estas avaliações destaca a importância de especificações claras para o agente resolvedor na resolução de problemas científicos baseada em agentes. Diferentes formulações de prompts ou especificações de tarefas podem afetar significativamente as análises que parecem permitidas.”
“No geral, gostei [das perguntas]. Tendiam a combinar: (1) conhecimento necessário da área, como o viés C>T em ADN antigo; (2) discrepâncias nos dados, como trocas de ancestralidade; (3) conhecimento das ferramentas analíticas certas para o trabalho e de como as implementar. Parece que a maioria dos agentes falhou em (2). Não são suficientemente cautelosos quanto a problemas nos dados. Talvez isso destaque uma fraqueza dos modelos atuais. E muitos dados biológicos têm irregularidades.”
Ainda assim, o facto de os modelos de fronteira ainda resolverem menos de um terço destes problemas mostra que existe uma margem substancial para melhorias. Os modelos conseguem fazer progressos parciais em problemas desafiantes, mas têm dificuldade em fechar o ciclo inferencial. Este padrão de falha espelha o contraste entre especialistas humanos e principiantes. Os especialistas usam a sua experiência para enquadrar o problema e adaptar a abordagem, enquanto os principiantes fazem observações mas têm dificuldade em integrá-las no contexto mais amplo do problema.
Problema: resposta farmacogenómica de tempo até ao evento com tratamento variável no tempo
Padrão do GPT-5.5
Padrão do GPT-5.6 Sol
Alcançar um desempenho quase perfeito exigirá avaliações que tanto meçam o progresso de forma fiável como identifiquem onde os modelos ainda falham. Benchmarks como o GeneBench-Pro podem ajudar a transformar uma lacuna vaga de capacidade em algo que conseguimos diagnosticar e melhorar.
Se os agentes conseguirem automatizar este tipo de análise de forma fiável, poderão acelerar significativamente a descoberta científica. A evidência genética humana já é central para a priorização de alvos e o seguimento translacional, porque mecanismos com suporte genético têm muito mais probabilidade de conduzir a tratamentos aprovados.
Entretanto, os custos de sequenciação caíram a pique, e os conjuntos de dados à escala de biobancos ligam agora informação molecular, fenotípica e de registos de saúde com uma amplitude sem precedentes. O fator limitante está a passar da geração de dados para a transformação da informação em insights acionáveis. Modelos que consigam realizar de forma consistente análises atualmente tratadas por equipas de especialistas humanos poderiam transformar a investigação industrial, acelerando a triagem de hipóteses, o seguimento de alvos e o ciclo iterativo entre geração de dados e tomada de decisões.
O GeneBench-Pro representa um esforço inicial para avaliar as competências mais abstratas envolvidas no bom critério científico de investigadores experientes. Estas competências permitem-lhes intuir e identificar as análises iniciais mais promissoras, iterar e rever o raciocínio quando os dados contradizem os pressupostos iniciais, e chegar a conclusões das quais podem depender decisões clínicas, académicas ou empresariais a jusante.
Prevemos que, à medida que as capacidades dos modelos avançarem, os benchmarks que sondam as capacidades dos modelos nestes níveis mais elevados de abstração se tornem cada vez mais úteis, para além dos que testam apenas conhecimento teórico ou a capacidade de executar análises de rotina.
