Presentem GeneBench-Pro
Un benchmark de nivell de recerca que mesura com els agents d’IA naveguen per l’ambigüitat i fan judicis rellevants en biologia computacional.
Les dades científiques rarament arriben amb instruccions. Els investigadors han de decidir si un patró reflecteix biologia o soroll, si les dades poden sostenir la pregunta plantejada i com cada resultat hauria de canviar el pas següent. Els agents d’IA són cada vegada més capaços d’executar anàlisis complexes, però la recerca científica real no depèn només de recordar fets o de seguir un flux de treball predefinit, sinó també de fer aquests judicis d’ordre superior.
Avui presentem GeneBench-Pro, un benchmark exigent de nivell de recerca per comprovar si els models poden gestionar el tipus d’anàlisi carregada de judici que requereix la biologia computacional del món real. Amplia GeneBench(s'obre en una finestra nova) per cobrir tasques més difícils i realistes en genòmica, biologia quantitativa i medicina translacional, i captura la complexitat, la naturalesa iterativa i l’ambigüitat de la recerca científica en biologia computacional.
Fins ara, hi ha hagut poques avaluacions convincents dels judicis a escala de sistema que fan difícil la recerca computacional en el món real. Aquests inclouen gestionar l’ambigüitat, revisar supòsits, triar el camí d’anàlisi correcte i saber quan un resultat està preparat per prendre decisions. Com que aquestes habilitats són difícils de formalitzar, també són difícils d’avaluar amb rigor, tot i que les seves febleses limiten cada cop més el rendiment global de la IA.
GeneBench-Pro està dissenyat per mesurar amb precisió aquestes capacitats de nivell superior. Dins de GeneBench-Pro, definim el «criteri investigador» com les cadenes de judicis que donen forma a una anàlisi: quines preguntes poden sostenir les dades, com els diagnòstics inicials haurien de canviar el model o l’estimand, i quan cal revisar un pla inicial. Cada problema de GeneBench-Pro dona al model un conjunt de dades realista i desordenat, un breu context experimental i un estimand objectiu lligat a una decisió posterior. Per respondre correctament, el model ha d’explorar les dades, triar un enfocament analític adequat, participar en un procés iteratiu d’experimentació i aportar una resposta final.
En biologia, el cost de generar dades (p. ex., la seqüenciació del genoma) ha caigut dràsticament, i alguns investigadors ara sostenen(s'obre en una finestra nova) que el factor limitant ja no és la recollida de mostres, sinó la computació i l’anàlisi posteriors. GeneBench-Pro s’ha creat per avaluar el progrés a l’hora d’abordar aquest coll d’ampolla, amb 129 preguntes que cobreixen una àmplia gamma d’entorns i mètodes de biologia computacional.
Atles de dominis: 129 problemes en 10 dominis i 21 subdominis
Fes clic en un dels punts de dalt per obtenir informació sobre un problema de referència.
Aquest atles ofereix una vista prèvia de l’abast de GeneBench-Pro. Visiteu la pàgina d’estudis de cas per explorar amb més detall 10 preguntes representatives.
GeneBench-Pro també està dissenyat per evitar fallades habituals dels benchmarks. Molts benchmarks de biologia de llarg horitzó construeixen preguntes de diversos passos al voltant de conjunts de dades històrics desordenats, on pot no existir un únic camí correcte per fer l’anàlisi. Un agent pot triar un llindar defensable, mentre que un altre pot triar una opció diferent però igualment defensable, cosa que reflecteix més les decisions arbitràries del creador del benchmark que no pas diferències fonamentals en el rendiment del model. També pot passar el contrari: si un problema és massa insensible numèricament, un agent pot cometre errors fonamentals en una anàlisi i, tot i així, produir un resultat aprovat.
Per evitar aquests modes de fallada, cada problema de GeneBench-Pro es construeix sintèticament: coneixem tota l’estructura causal i simulem directament el procés generador de dades. Això ens permet ajustar la complexitat de cada problema, assegurar que diferències raonables en decisions analítiques subjectives encara produeixin resultats numèrics acceptats, i verificar (mitjançant estudis d’ablació) que les anàlisis plausibles però incorrectes fallen. Després auditem els esborranys dels problemes mitjançant anàlisis detallades de traces per comprovar filtracions d’informació i vies de solució no desitjades. Això ens dona confiança que obtenir la resposta correcta depèn de triar la via analítica adequada, i no d’explotar una drecera o d’ajustar-se a una preferència arbitrària de l’autor.
Vam enviar 82 de les 129 preguntes de GeneBench-Pro a experts externs del domini, incloent-hi estudiants de postgrau, investigadors postdoctorals, científics de la indústria i professors. Els revisors van avaluar el realisme de cada problema, si la resposta objectiu era identificable i si els mètodes i estimadors eren adequats. Els comentaris es van utilitzar per millorar els problemes.
“Els problemes que vaig revisar haurien estat difícils per a un estudiant de postgrau de completar sense comentaris iteratius d’un supervisor amb experiència. Les dades contenien problemes tècnics i de control de qualitat que requerien una anàlisi de dades meditada i reflexiva, amb consciència dels possibles paranys, per completar-la amb èxit; no es tractava simplement d’aplicar un mètode estàndard a dades netes i ben curades.”
“Encara que els models actuals no siguin capaços d’executar de manera fiable anàlisis independents de principi a fi, els que rendeixin bé en problemes de GeneBench-Pro clarament podrien ajudar els investigadors a determinar fluxos de treball correctes i a explorar dades. Veig que això podria millorar molt el ritme, l’exhaustivitat i la reproductibilitat de la recerca.”
Cada problema de GeneBench-Pro és una anàlisi científica autònoma. Els agents reben accés a un espai de treball aïllat amb una indicació breu, fitxers de dades i una pila bioinformàtica estàndard que inclou Python, biblioteques de computació científica i paquets bàsics de genòmica com PLINK 2.0 (tot i que els problemes no requereixen eines específiques del domini).
Decisió benefici-risc en teràpia tumoral guiada per variants estructurals
Com que controlem tot el procés de generació de dades, podem qualificar la correcció de manera determinista respecte d’objectius coneguts, evitant la variabilitat per tria de model i els efectes de verbositat propis de l’avaluació estàndard basada en rúbriques.
Cada problema també inclou metadades riques, com l’estructura d’anàlisi prevista, els fitxers de dades adjunts, un estudi de cas detallat de diverses pàgines i els resultats de la revisió d’experts. Publiquem íntegrament en codi obert 10 preguntes representatives de GeneBench-Pro a Hugging Face(s'obre en una finestra nova), amb una interfície web interactiva per consultar-les. Finalment, aviat proporcionarem un subconjunt de 50 preguntes a Artificial Analysis(s'obre en una finestra nova) per a benchmarking independent de tercers.
El nostre model més potent, GPT‑5.6 Sol, assoleix una taxa d’èxit del 28,7% al nivell de raonament més alt (31,5% amb el mode Pro activat). Això representa un augment notable respecte del moment en què vam començar a construir el GeneBench original; aleshores, el nostre millor model d’avantguarda, GPT‑5, obtenia menys d’un 5%. El progrés en aquest benchmark suggereix que els models d’avantguarda milloren ràpidament, fins i tot en el raonament científic a escala de sistema i menys tangible. Al ritme actual, aquest benchmark podria quedar saturat abans d’acabar l’any.
Els resultats també mostren l’impacte d’escalar la computació en temps de prova. Al nivell de raonament més baix, GPT‑5.6 Sol només aconsegueix una taxa d’èxit d’un sol dígit. Al nivell de raonament més alt, GPT‑5.6 Sol resol gairebé sis vegades més preguntes que GPT‑5.2 fent servir aproximadament dos terços dels tokens.
Les comparacions entre famílies de models suggereixen que els models GPT es troben entre els sistemes més sòlids en raonament científic d’alt nivell sota incertesa quantitativa. La diferència de rendiment entre GPT‑5.6, GPT‑5.5 i models líders de codi obert com GLM 5.2 és força més gran del que esperaríem en extrapolar a partir de benchmarks de programació(s'obre en una finestra nova), cosa que indica que els models de codi obert estan més especialitzats en programació que no pas en capacitat de raonament general.
Durant el desenvolupament vam utilitzar models GPT d’avantguarda per avaluar i reforçar els problemes. Per això sospitàvem que GeneBench-Pro podria estar esbiaixat contra els models GPT en comparació amb altres famílies de models. Tanmateix, els models competidors, en el millor dels casos, van igualar el rendiment del model GPT corresponent en el moment del llançament, i sovint van quedar força per sota.
Aquests resultats d’avaluació —fins al 31,5% en GPT‑5.6 Sol (Pro)— són sorprenents, atesa la dificultat de les preguntes de GeneBench-Pro. En una enquesta, els revisors van estimar que un problema típic de GeneBench-Pro requeriria a un expert humà unes 20–40 hores per completar-lo. Amb una estimació conservadora de 200 dòlars per hora, això situa el cost de mà d’obra humana d’un sol problema en milers de dòlars. Els agents d’IA actuals encara són massa poc fiables per substituir els experts humans, però la diferència de costos és gran, amb costos d’inferència de només uns quants dòlars per problema. Això vol dir que fins i tot una automatització parcial amb les capacitats actuals podria generar valor econòmic i científic significatiu.
“Els benchmarks estan motivats per una gamma diversa de preguntes biològiques, però… el repte real prové de l’anàlisi exploratòria de dades i del raonament sobre aquests descobriments: identificar patrons i artefactes, i decidir si les dades s’han d’excloure o ajustar. Això s’assembla al caràcter desordenat dels conjunts de dades biològiques reals. Revisar aquestes avaluacions posa de manifest la importància que tenen uns contractes de solucionador clars per a la resolució de problemes científics basada en agents. Una formulació diferent de la indicació o de l’especificació de la tasca pot afectar molt quines anàlisis semblen admissibles.”
“En general, m'han agradat [les preguntes]. Tenien una combinació de: (1) coneixements necessaris sobre el tema, com ara el biaix C>T en l’ADN antic, (2) discrepàncies en les dades, com ara intercanvis d’ascendència, (3) una certa mena de coneixement de les eines analítiques adequades per a la tasca i de com implementar-les. Semblava que la majoria dels agents van fallar en el punt (2). No són prou prudents amb els problemes relacionats amb les dades. Potser això posa de manifest una feblesa dels models actuals. I moltes dades biològiques presenten irregularitats.”
Tot i així, el fet que els models d’avantguarda encara resolguin menys d’un terç d’aquests problemes mostra que hi ha un ampli marge de millora. Els models poden avançar parcialment en problemes difícils, però els costa tancar el bucle inferencial. Aquest patró de fallada reflecteix el contrast entre experts humans i novells. Els experts utilitzen la seva experiència per emmarcar el problema i adaptar l’enfocament, mentre que els novells fan observacions però tenen dificultats per integrar-les en el context més ampli del problema.
Problema: resposta farmacogenòmica de temps fins a l’esdeveniment amb tractament variable en el temps
Patró GPT-5.5
Patró GPT-5.6 Sol
Assolir un rendiment gairebé perfecte requerirà avaluacions que mesurin el progrés de manera fiable i alhora identifiquin on continuen fallant els models. Benchmarks com GeneBench-Pro poden ajudar a convertir una deficiència de capacitat vaga en alguna cosa que puguem diagnosticar i millorar.
Si els agents poden automatitzar de manera fiable aquesta classe d’anàlisi, podrien accelerar significativament el descobriment científic. L’evidència genètica humana ja és central per prioritzar dianes i per al seguiment translacional, perquè els mecanismes amb suport genètic tenen moltes més probabilitats de conduir a tractaments aprovats.
Mentrestant, els costos de seqüenciació s’han desplomat, i els conjunts de dades a escala de biobanc ara vinculen informació molecular, fenotípica i d’històries clíniques amb una amplitud sense precedents. El factor limitant s’està desplaçant de generar dades a convertir la informació en coneixement aplicable. Els models capaços de fer de manera constant anàlisis que ara duen a terme equips d’experts humans podrien transformar la recerca industrial accelerant el triatge d’hipòtesis, el seguiment de dianes i el cicle d’iteració entre la generació de dades i la presa de decisions.
GeneBench-Pro representa un primer esforç per avaluar les habilitats més abstractes implicades en el bon judici científic que tenen les persones expertes. Aquestes habilitats els permeten intuir i identificar les anàlisis inicials més prometedores, iterar i revisar el seu pensament quan les dades contradiuen els supòsits inicials, i arribar a conclusions de les quals poden dependre decisions clíniques, acadèmiques o empresarials posteriors.
Preveiem que, a mesura que avancin les capacitats dels models, els benchmarks que examinen les habilitats dels models en aquests nivells d’abstracció més alts seran cada vegada més útils, més enllà dels que simplement posen a prova el coneixement teòric o la capacitat d’executar anàlisis rutinàries.
