Presentem GeneBench-Pro
Un banc de proves de nivell de recerca que mesura com els agents d’IA gestionen l’ambigüitat i prenen decisions de gran transcendència en biologia computacional.
Les dades científiques poques vegades venen acompanyades d’instruccions. Els investigadors han de decidir si un patró reflecteix la biologia o el soroll, si les dades poden donar suport a la pregunta plantejada, i com cada resultat hauria de modificar el que fan a continuació. Els agents d’IA són cada cop més capaços de dur a terme anàlisis complexes, però la recerca científica real no depèn simplement de recordar fets o de seguir un flux de treball predefinit, sinó també de fer aquests judicis d’ordre superior.
Avui presentem GeneBench-Pro: un banc de proves exigent, de nivell de recerca, per avaluar si els models poden afrontar el tipus d’anàlisi que requereix molt criteri i que exigeix la biologia computacional en entorns reals. Amplia GeneBench(s'obre en una finestra nova) per abastar tasques més difícils i més realistes en genòmica, biologia quantitativa i medicina translacional, i en capta la complexitat, la naturalesa iterativa i l’ambigüitat de la recerca científica en biologia computacional.
Fins ara, hi ha hagut poques avaluacions convincents de les decisions discrecionals a nivell de sistema que fan difícil la recerca computacional en el món real. Això inclou gestionar l’ambigüitat, revisar supòsits, triar la via d’anàlisi correcta i saber quan un resultat està preparat per a la presa de decisions. Com que aquestes habilitats són difícils de formalitzar, també són difícils d’avaluar de manera rigorosa, tot i que les mancances en aquestes habilitats limiten cada cop més el rendiment global de la IA.
GeneBench-Pro està dissenyat per mesurar amb precisió aquestes capacitats de nivell superior. A GeneBench-Pro, definim el "criteri de recerca" com les cadenes de judicis que donen forma a una anàlisi: quines preguntes poden quedar avalades per les dades, com els diagnòstics inicials haurien de modificar el model o l’estimand, i quan cal revisar un pla inicial. Cada problema de GeneBench-Pro proporciona al model un conjunt de dades realista i desordenat, un breu context experimental i un estimand objectiu vinculat a una decisió posterior. Per respondre correctament, el model ha d’explorar les dades, triar un enfocament analític adequat, seguir un procés iteratiu d’experimentació i proporcionar una resposta final.
En biologia, el cost de la generació de dades (p. ex., la seqüenciació del genoma) s'ha reduït dràsticament, i alguns investigadors sostenen ara(s'obre en una finestra nova) que el factor limitant ja no és la recollida de mostres, sinó la computació i l'anàlisi posteriors. GeneBench-Pro s’ha dissenyat per avaluar els avenços a l’hora d’abordar aquest coll d’ampolla, amb 129 preguntes que abasten una àmplia gamma de contextos i mètodes de biologia computacional.
Atles de dominis: 129 problemes en 10 dominis i 21 subdominis
Fes clic en un dels punts de dalt per obtenir informació sobre un problema de referència.
Aquest atles ofereix una vista prèvia de l'abast de GeneBench-Pro. Visita la pàgina de casos pràctics per explorar amb més detall 10 preguntes representatives.
GeneBench-Pro també està dissenyat per evitar les fallades habituals dels bancs de proves. Molts bancs de proves de biologia d’horitzó llarg construeixen preguntes de diversos passos a partir de conjunts de dades històrics poc depurats, en què pot ser que no hi hagi un únic camí correcte per dur a terme l’anàlisi. Un agent podria triar un llindar defensable, mentre que un altre podria triar una opció diferent però igualment defensable, cosa que reflectiria més les decisions arbitràries preses pel creador del banc de proves que no pas cap diferència fonamental en el rendiment del model. També pot passar el contrari: si un problema és massa insensible numèricament, un agent pot cometre errors fonamentals en una anàlisi i, tot i així, produir un resultat que passi l’avaluació.
Per evitar aquests modes de fallada, cada problema de GeneBench-Pro es construeix de manera sintètica: en coneixem l’estructura causal completa i simulem directament el procés de generació de dades. Això ens permet ajustar la complexitat de cada problema, garantir que les diferències raonables en les decisions analítiques subjectives continuïn produint resultats numèrics acceptats, i verificar (mitjançant estudis d’ablació) que les anàlisis plausibles però incorrectes fallin. A continuació, auditem els esborranys de problemes mitjançant anàlisis detallades de registres per comprovar si hi ha filtracions d’informació i vies de solució no previstes. Això ens dona confiança que obtenir la resposta correcta depèn de triar la via analítica adequada i no d’aprofitar una drecera ni de coincidir amb una preferència arbitrària de l’autor.
Vam enviar 82 de les 129 preguntes de GeneBench-Pro a experts externs en el domini, inclosos estudiants de postgrau, investigadors postdoctorals, científics de la indústria i professors. Els revisors van avaluar el realisme de cada problema, si la resposta objectiu era identificable i si els mètodes i els estimadors eren adequats. Els comentaris s'han utilitzat per millorar els problemes.
“Els problemes que vaig revisar haurien estat difícils de resoldre per a un estudiant de postgrau sense comentaris successius d’un supervisor experimentat. Les dades presentaven problemes tècnics i de control de qualitat que requerien una anàlisi de dades meditada i reflexiva, tenint presents els possibles esculls, per poder completar-la amb èxit; no es limitaven simplement a aplicar un mètode estàndard a dades netes i ben curades.”
“Encara que els models actuals no siguin capaços d’executar de manera fiable anàlisis independents de principi a fi, els que obtenen bons resultats en problemes de GeneBench-Pro clarament podrien ajudar els investigadors a determinar els fluxos de treball correctes i a explorar dades. Podia veure que això millorava enormement el ritme, l’exhaustivitat i la reproductibilitat de la recerca.”
Cada problema de GeneBench-Pro és una anàlisi científica autònoma. Els agents reben accés a un espai de treball aïllat amb una indicació breu, fitxers de dades i un conjunt estàndard d’eines de bioinformàtica que inclou Python, biblioteques de computació científica i paquets bàsics de genòmica com PLINK 2.0, tot i que els problemes no requereixen eines específiques del domini.
Decisió sobre la relació benefici-risc de la teràpia del tumor guiada per variants estructurals
Com que controlem tot el procés de generació de dades, podem avaluar la correcció de manera determinista en relació amb objectius coneguts, evitant la variabilitat en l’elecció del model i els efectes de la verbositat que es troben en l’avaluació estàndard basada en rúbriques.
Cada problema també inclou metadades enriquides, com ara l’estructura d’anàlisi prevista, fitxers de dades adjunts, un estudi de cas detallat de diverses pàgines i els resultats de la revisió d’experts. Publiquem íntegrament com a codi obert 10 preguntes representatives de GeneBench-Pro a Hugging Face(s'obre en una finestra nova), amb una interfície web interactiva per consultar-les. Finalment, proporcionarem un subconjunt de 50 preguntes a Artificial Analysis(s'obre en una finestra nova) perquè en faci una avaluació comparativa independent per part d’un tercer en un futur proper.
El nostre model més potent, GPT‑5.6 Sol, assoleix un percentatge d’èxit del 28,7 % al nivell de raonament més alt (31,5 % amb el mode Pro activat). Això suposa un augment molt marcat respecte de quan vam començar a crear el GeneBench original; en aquell moment, el nostre millor model d’avantguarda, GPT‑5, va obtenir una puntuació inferior al 5 %. El progrés en aquest banc de proves suggereix que els models d’avantguarda milloren ràpidament, fins i tot en el raonament científic menys tangible a nivell de sistemes. Al ritme actual, aquest banc de proves podria quedar saturat abans que acabi l’any.
Els resultats també mostren l’impacte d’escalar el còmput en temps de prova. Al nivell de raonament més baix, GPT‑5.6 Sol només assoleix una taxa d’èxit d’un sol dígit. Al nivell de raonament més alt, GPT‑5.6 Sol resol gairebé sis vegades el nombre de preguntes que GPT‑5.2 ho fa utilitzant aproximadament dos terços dels segments.
Les comparacions entre famílies de models suggereixen que els models GPT es troben entre els sistemes més potents en raonament científic d’alt nivell en condicions d’incertesa quantitativa. La diferència de rendiment entre GPT‑5.6, GPT‑5.5 i els models de codi obert capdavanters com GLM 5.2 és significativament més gran del que esperaríem quan extrapolem a partir de les proves de referència de programació(s'obre en una finestra nova), cosa que indica que els models de codi obert estan més especialitzats en programació que no pas en una capacitat de raonament més àmplia.
Vam utilitzar models GPT d’avantguarda per avaluar i reforçar els problemes durant el desenvolupament. Per tant, sospitàvem que GeneBench-Pro podria estar esbiaixat en contra dels models GPT en relació amb altres famílies de models. Tanmateix, els models de la competència, en el millor dels casos, igualaven el rendiment del model GPT corresponent en el moment del llançament, i tendien a quedar-se considerablement per sota.
Aquests resultats d’avaluació —de fins al 31,5 % a GPT‑5.6 Sol (Pro)— són notables, atesa la dificultat de les preguntes de GeneBench-Pro. En una enquesta, els nostres revisors van estimar que un expert humà trigaria unes 20–40 hores a resoldre un problema típic de GeneBench-Pro. Amb una estimació conservadora de 200 $ per hora, això situa el cost de mà d’obra humana d’un sol problema en milers de dòlars. Els agents d’IA actuals encara són massa poc fiables per substituir els experts humans, però la diferència de costos és gran, amb costos d’inferència de només uns quants dòlars per problema. Això vol dir que fins i tot l’automatització parcial, amb les capacitats actuals, podria generar un valor econòmic i científic significatiu.
“Les proves de referència estan motivades per un ventall divers de qüestions biològiques, però … el repte real prové de l’anàlisi exploratòria de dades i del raonament sobre aquestes descobertes: identificar patrons i artefactes, i decidir si les dades s’han d’excloure o ajustar. Això recorda la naturalesa desordenada dels conjunts de dades biològiques reals. La revisió d’aquestes avaluacions posa en relleu la importància que tenen unes especificaciones clares dels solucionadors per a la resolució de problemes científics basada en agents. Una formulació diferent de la indicació o de l’especificació de la tasca pot afectar molt quines anàlisis semblen admissibles.”
“En general, m'han agradat [les preguntes]. Tenien una combinació de: (1) coneixements necessaris sobre el tema, com ara el biaix C>T en l’ADN antic, (2) discrepàncies en les dades, com ara intercanvis d’ascendència, (3) una certa mena de coneixement de les eines analítiques adequades per a la tasca i de com implementar-les. Semblava que la majoria dels agents van fallar en el punt (2). No són prou prudents amb els problemes relacionats amb les dades. Potser això posa de manifest una feblesa dels models actuals. I moltes dades biològiques presenten irregularitats.”
Tot i així, el fet que els models d’avantguarda encara resolguin menys d’un terç d’aquests problemes mostra que hi ha un marge substancial de millora. Els models poden fer progressos parcials en problemes complexos, però els costa tancar el bucle inferencial. Aquest patró d’error reflecteix el contrast entre experts humans i principiants. Els experts fan servir la seva experiència per emmarcar el problema i adaptar el seu enfocament, mentre que els principiants fan observacions però tenen dificultats per integrar-les en el context més ampli del problema.
Problema: Resposta farmacogenòmica de temps fins a l’esdeveniment amb tractament variable en el temps
Patró de GPT-5.5
Patró de GPT-5.6 Sol
Assolir un rendiment gairebé perfecte requerirà avaluacions que mesurin el progrés de manera fiable i identifiquin on els models encara fallen. Els bancs de proves com ara GeneBench-Pro poden ajudar a convertir una deficiència de capacitat poc definida en una cosa que podem diagnosticar i millorar.
Si els agents poden automatitzar de manera fiable aquesta mena d’anàlisi, podrien accelerar significativament el descobriment científic. L’evidència genètica humana ja és fonamental per a la priorització de dianes i el seguiment translacional, perquè els mecanismes amb suport genètic tenen moltes més probabilitats de conduir a tractaments aprovats.
Mentrestant, els costos de seqüenciació s’han desplomat, i els conjunts de dades a escala de biobanc ara vinculen informació molecular, fenotípica i de registres de salut amb una amplitud sense precedents. El factor limitant està passant de la generació de dades a la conversió de la informació en coneixements aplicables. Els models que poden dur a terme de manera consistent anàlisis que ara gestionen equips d’experts humans podrien transformar la recerca industrial accelerant el triatge d’hipòtesis, el seguiment d’objectius i el cicle d’iteració entre la generació de dades i la presa de decisions.
GeneBench-Pro representa un primer esforç per avaluar les habilitats més abstractes implicades en el bon judici científic que tu, com a persona amb experiència, posseeixes. Aquestes habilitats els permeten intuir i identificar les anàlisis inicials més prometedores, iterar i revisar el seu raonament quan les dades contradiuen els supòsits inicials, i arribar a conclusions de les quals poden dependre decisions clíniques, acadèmiques o empresarials posteriors.
Preveiem que, a mesura que avancin les capacitats dels models, les proves de referència que avaluen les capacitats del model en aquests nivells més elevats d’abstracció seran cada vegada més útils, més enllà d’aquelles que simplement posen a prova els coneixements de manual o la capacitat d’executar anàlisis rutinàries.
