Apresentamos o GeneBench-Pro

Dados científicos raramente chegam com instruções. Pesquisadores precisam decidir se um padrão reflete biologia ou ruído, se os dados dão suporte à pergunta feita e como cada resultado deve mudar o que vem em seguida. Agentes de IA estão cada vez mais capazes de executar análises complexas, mas a pesquisa científica real também depende não apenas de recordar fatos ou seguir um fluxo de trabalho predefinido, mas também de fazer esses julgamentos de nível mais alto.

Hoje, apresentamos o GeneBench-Pro: um benchmark desafiador, em nível de pesquisa, para testar se os modelos conseguem lidar com o tipo de análise intensiva em julgamento que a biologia computacional do mundo real exige. Ele expande o GeneBench⁠(abre em uma nova janela) para cobrir tarefas mais difíceis e realistas em genômica, biologia quantitativa e medicina translacional, capturando a complexidade, a natureza iterativa e a ambiguidade da pesquisa científica em biologia computacional. 

Até o momento, houve poucas avaliações convincentes das decisões de julgamento em nível sistêmico que tornam difícil a pesquisa computacional no mundo real. Isso inclui lidar com ambiguidade, revisar premissas, escolher o caminho de análise correto e saber quando um resultado está pronto para embasar uma decisão. Como essas habilidades são difíceis de formalizar, também são difíceis de avaliar com rigor, mesmo que fragilidades nelas limitem cada vez mais o desempenho geral da IA.

O GeneBench-Pro foi criado para medir com precisão essas capacidades de nível mais alto. No GeneBench-Pro, definimos “discernimento de pesquisa” como as cadeias de decisões de julgamento que moldam uma análise: quais perguntas os dados conseguem sustentar, como diagnósticos iniciais devem mudar o modelo ou o estimando e quando um plano inicial precisa ser revisado. Cada problema do GeneBench-Pro dá ao modelo um conjunto de dados realista e bagunçado, um contexto experimental breve e um estimando-alvo vinculado a uma decisão subsequente. Para responder corretamente, o modelo precisa explorar os dados, escolher uma abordagem analítica adequada, participar de um processo iterativo de experimentação e fornecer uma resposta final.

Na biologia, o custo da geração de dados (por exemplo, sequenciamento genômico) caiu drasticamente, e alguns pesquisadores agora argumentam⁠(abre em uma nova janela) que o fator limitante deixou de ser a coleta de amostras e passou a ser a computação e a análise posteriores. O GeneBench-Pro foi criado para avaliar o progresso no enfrentamento desse gargalo, com 129 perguntas que abrangem uma ampla variedade de contextos e métodos de biologia computacional.

O GeneBench-Pro também foi criado para evitar falhas comuns em benchmarks. Muitos benchmarks de biologia de longo horizonte constroem perguntas em múltiplas etapas em torno de conjuntos de dados históricos bagunçados, em que pode não haver um único caminho correto pela análise. Um agente pode escolher um ponto de corte defensável, enquanto outro pode escolher uma opção diferente, mas igualmente defensável, refletindo mais as escolhas arbitrárias feitas por quem criou o benchmark do que diferenças fundamentais no desempenho do modelo. O inverso também pode acontecer: se um problema for numericamente insensível demais, um agente pode cometer erros fundamentais em uma análise e ainda assim produzir um resultado aprovado.

Para evitar esses modos de falha, cada problema do GeneBench-Pro é construído sinteticamente: conhecemos toda a estrutura causal e simulamos diretamente o processo de geração dos dados. Isso nos permite ajustar a complexidade de cada problema, garantir que diferenças razoáveis em escolhas analíticas subjetivas ainda produzam resultados numéricos aceitos e verificar (por meio de estudos de ablação) que análises plausíveis, mas incorretas, falhem. Depois auditamos os rascunhos dos problemas por meio de análises detalhadas dos registros de execução para verificar vazamento de informações e caminhos de solução não intencionais. Isso nos dá confiança de que chegar à resposta correta depende de escolher o caminho analítico correto, e não de explorar um atalho ou reproduzir uma preferência arbitrária do autor.

Enviamos 82 das 129 perguntas do GeneBench-Pro a especialistas externos no domínio, incluindo estudantes de pós-graduação, pesquisadores de pós-doutorado, cientistas da indústria e professores. Os revisores avaliaram o realismo de cada problema, se a resposta-alvo era identificável e se os métodos e estimadores eram adequados. O feedback foi usado para melhorar os problemas.

Cada problema do GeneBench-Pro é uma análise científica autocontida. Agentes recebem acesso a um workspace isolado com um prompt curto, arquivos de dados e um stack padrão de bioinformática, incluindo Python, bibliotecas de computação científica e pacotes básicos de genômica, como PLINK 2.0 (embora os problemas não exijam ferramentas específicas do domínio).

Como controlamos todo o processo de geração de dados, conseguimos avaliar a correção de forma determinística em relação a alvos conhecidos, evitando a variação causada pela escolha do modelo e os efeitos de verbosidade encontrados em avaliações padrão baseadas em rubricas.

Cada problema também vem com metadados ricos, incluindo a estrutura de análise pretendida, os arquivos de dados anexados, um estudo de caso detalhado de várias páginas e os resultados da revisão especializada. Estamos disponibilizando integralmente em código aberto 10 perguntas representativas do GeneBench-Pro no Hugging Face⁠(abre em uma nova janela), com uma interface web interativa para explorá-las. Por fim, forneceremos um subconjunto de 50 perguntas à Artificial Analysis⁠(abre em uma nova janela) para benchmarking independente por terceiros em um futuro próximo.

Nosso modelo mais forte, GPT‑5.6 Sol, atinge uma taxa de aprovação de 28,7% no nível máximo de raciocínio (31,5% com o modo Pro ativado). Isso representa um aumento acentuado em relação ao momento em que começamos a construir o GeneBench original; naquela época, nosso melhor modelo de fronteira, o GPT‑5, ficava abaixo de 5%. O progresso neste benchmark sugere que modelos de fronteira estão melhorando rapidamente, mesmo em raciocínio científico sistêmico e menos tangível. No ritmo atual, este benchmark pode atingir saturação até o fim do ano.

Os resultados também mostram o impacto de ampliar a computação em tempo de teste. No nível mais baixo de raciocínio, o GPT‑5.6 Sol atinge apenas uma taxa de aprovação de um dígito. No nível máximo de raciocínio, o GPT‑5.6 Sol resolve quase seis vezes mais perguntas que o GPT‑5.2 consegue resolver, usando cerca de dois terços dos tokens.

Comparações entre famílias de modelos sugerem que os modelos GPT estão entre os sistemas mais fortes em raciocínio científico de alto nível sob incerteza quantitativa. A diferença de desempenho entre o GPT‑5.6, GPT‑5.5 e modelos líderes de código aberto, como GLM 5.2, é significativamente maior do que esperaríamos ao extrapolar a partir de benchmarks de programação⁠(abre em uma nova janela), indicando que modelos de código aberto são mais especializados em programação do que em capacidade de raciocínio mais ampla.

Usamos modelos GPT de fronteira para avaliar e fortalecer os problemas durante o desenvolvimento. Por isso, suspeitávamos que o GeneBench-Pro pudesse ser enviesado contra modelos GPT em relação a outras famílias de modelos. No entanto, os modelos concorrentes, na melhor das hipóteses, igualaram o desempenho do modelo GPT correspondente na época do lançamento e tendiam a ficar consideravelmente atrás.

Esses resultados de avaliação — de até 31,5% no GPT‑5.6 Sol (Pro) — chamam atenção dada a dificuldade das perguntas do GeneBench-Pro. Em uma pesquisa, nossos revisores estimaram que um problema típico do GeneBench-Pro levaria cerca de 20 a 40 horas para ser concluído por um especialista humano. A um valor conservador de US$ 200 por hora, isso coloca o custo de trabalho humano de um único problema na casa de milhares de dólares. Agentes de IA atuais ainda são pouco confiáveis para substituir especialistas humanos, mas a diferença de custo é grande, com custos de inferência de apenas alguns dólares por problema. Isso significa que mesmo uma automação parcial com as capacidades atuais poderia gerar valor econômico e científico significativo.

Ainda assim, o fato de modelos de fronteira ainda resolverem menos de um terço desses problemas mostra que há muito espaço para melhoria. Os modelos conseguem avançar parcialmente em problemas desafiadores, mas têm dificuldade para fechar o ciclo inferencial. Esse padrão de falha espelha o contraste entre especialistas humanos e iniciantes. Especialistas usam sua experiência para enquadrar o problema e adaptar a abordagem, enquanto iniciantes fazem observações, mas têm dificuldade para integrá-las ao contexto mais amplo do problema.

Alcançar um desempenho quase perfeito exigirá avaliações que meçam o progresso de forma confiável e identifiquem onde os modelos ainda falham. Benchmarks como o GeneBench-Pro podem ajudar a transformar uma deficiência de capacidade vaga em algo que podemos diagnosticar e melhorar. 

Se agentes conseguirem automatizar de forma confiável essa classe de análise, eles poderão acelerar significativamente a descoberta científica. Evidências genéticas humanas já são centrais para a priorização de alvos e o acompanhamento translacional, porque mecanismos com suporte genético têm probabilidade muito maior de levar a tratamentos aprovados.

Enquanto isso, os custos de sequenciamento despencaram, e conjuntos de dados em escala de biobancos agora vinculam informações moleculares, fenotípicas e de prontuários de saúde com uma amplitude sem precedentes. O fator limitante está deixando de ser a geração de dados e passando a ser transformar as informações em insights acionáveis. Modelos capazes de executar de forma consistente análises hoje conduzidas por equipes de especialistas humanos poderiam transformar a pesquisa industrial ao acelerar a triagem de hipóteses, o acompanhamento de alvos e o ciclo de iteração entre geração de dados e tomada de decisão.

O GeneBench-Pro representa um esforço inicial para avaliar as habilidades mais abstratas envolvidas no bom discernimento científico de pesquisadores experientes. Essas habilidades permitem intuir e identificar as análises iniciais mais promissoras, iterar e revisar o próprio raciocínio quando os dados contradizem premissas iniciais e chegar a conclusões das quais podem depender decisões clínicas, acadêmicas ou de negócios subsequentes. 

Prevemos que, à medida que as capacidades dos modelos avançarem, benchmarks que examinam habilidades dos modelos nesses níveis mais altos de abstração se tornarão cada vez mais úteis, além daqueles que apenas testam conhecimento teórico ou a capacidade de executar análises de rotina.