Ti presentiamo GeneBench-Pro

I dati scientifici sono raramente accompagnati da istruzioni. I ricercatori devono decidere se uno schema rifletta un fenomeno biologico o rumore, se i dati siano in grado di supportare la domanda posta e in che modo ciascun risultato debba modificare le loro azioni successive. Gli agenti di IA sono sempre più capaci di eseguire analisi complesse, ma la vera ricerca scientifica non dipende semplicemente dal richiamare fatti o dal seguire un flusso di lavoro predefinito, bensì anche dal formulare queste valutazioni di ordine superiore.

Oggi presentiamo GeneBench-Pro: un benchmark impegnativo di livello di ricerca per verificare se i modelli siano in grado di gestire il tipo di analisi basata su giudizio richiesta dalla biologia computazionale nel mondo reale. Estende GeneBench⁠(si apre in una nuova finestra) per coprire attività più difficili e più realistiche nei campi della genomica, della biologia quantitativa e della medicina traslazionale, cogliendo la complessità, la natura iterativa e l’ambiguità della ricerca scientifica nella biologia computazionale. 

Ad oggi, sono state condotte poche valutazioni convincenti delle decisioni discrezionali a livello di sistema che rendono difficile la ricerca computazionale nel mondo reale. Tra queste rientrano gestire l’ambiguità, rivedere le ipotesi, scegliere il corretto percorso di analisi e sapere quando un risultato è pronto per supportare una decisione. Poiché queste competenze sono difficili da formalizzare, è difficile anche valutarle in modo rigoroso, proprio mentre le carenze in tali competenze limitano sempre più le prestazioni complessive dell’IA.

GeneBench-Pro è progettato per misurare con precisione queste capacità di livello superiore. All’interno di GeneBench-Pro, definiamo “gusto della ricerca” come le catene di decisioni valutative che plasmano un’analisi: quali domande i dati possono supportare, in che modo le diagnostiche iniziali dovrebbero modificare il modello o l’estimando e quando un piano iniziale deve essere rivisto. Ogni problema di GeneBench-Pro fornisce al modello un dataset realistico e disordinato, un breve contesto sperimentale e un estimando di riferimento legato a una decisione successiva. Per rispondere correttamente, il modello deve esplorare i dati, scegliere un approccio analitico appropriato, impegnarsi in un processo iterativo di sperimentazione e fornire una risposta finale.

In biologia, il costo della generazione dei dati (ad es., il sequenziamento genomico) è diminuito drasticamente e alcuni ricercatori ora sostengono⁠(si apre in una nuova finestra) che il fattore limitante non sia più la raccolta dei campioni, ma l’elaborazione e l’analisi a valle. GeneBench-Pro è progettato per valutare i progressi compiuti nell’affrontare quella strozzatura, con 129 domande che coprono un’ampia gamma di contesti e metodi di biologia computazionale.

GeneBench-Pro è inoltre progettato per evitare gli errori comuni dei benchmark. Molti benchmark di biologia a lungo orizzonte costruiscono domande in più passaggi attorno a dataset storici disordinati, in cui potrebbe non esistere un unico percorso corretto attraverso l’analisi. Un agente potrebbe scegliere una soglia difendibile, mentre un altro potrebbe scegliere un’opzione diversa ma altrettanto difendibile, riflettendo le scelte arbitrarie compiute dal creatore del benchmark più che eventuali differenze fondamentali nelle prestazioni del modello. Può verificarsi anche il contrario: se un problema è troppo poco sensibile dal punto di vista numerico, un agente può commettere errori fondamentali in un’analisi e produrre comunque un risultato che supera la valutazione.

Per evitare queste modalità di fallimento, ogni problema di GeneBench-Pro è costruito sinteticamente: conosciamo l’intera struttura causale e simuliamo direttamente il processo di generazione dei dati. Ciò ci consente di regolare la complessità di ciascun problema, garantire che differenze ragionevoli nelle scelte analitiche soggettive producano comunque risultati numerici accettati e verificare, tramite studi di ablazione, che analisi plausibili ma errate falliscano. Quindi esaminiamo le bozze dei problemi mediante analisi dettagliate delle tracce, per verificare l’eventuale presenza di fughe di informazioni e percorsi di soluzione non previsti. Questo ci dà fiducia nel fatto che arrivare alla risposta corretta dipenda dalla scelta del percorso analitico corretto e non dallo sfruttare una scorciatoia o dall’assecondare una preferenza arbitraria dell’autore.

Abbiamo inviato 82 delle 129 domande di GeneBench-Pro a esperti esterni del dominio, tra cui dottorandi, ricercatori post-dottorato, scienziati del settore industriale e professori. I revisori hanno valutato il realismo di ciascun problema, se la risposta obiettivo è identificabile e se i metodi e gli stimatori sono appropriati. Il feedback è stato utilizzato per migliorare i problemi.

Ogni problema di GeneBench-Pro è un’analisi scientifica autonoma. Gli agenti ricevono l'accesso a un'area di lavoro isolata con un breve prompt, file di dati e uno stack bioinformatico standard che include Python, librerie di calcolo scientifico e pacchetti di genomica di base come PLINK 2.0 (sebbene i problemi non richiedano strumenti specifici del dominio).

Poiché controlliamo l’intero processo di generazione dei dati, possiamo valutare la correttezza in modo deterministico rispetto a target noti, evitando la variabilità legata alla scelta del modello e gli effetti della verbosità riscontrati nella valutazione standard basata su rubriche.

Ogni problema include inoltre metadati dettagliati, tra cui la struttura di analisi prevista, file di dati allegati, un caso di studio dettagliato di più pagine e gli esiti della revisione da parte di esperti. Rendiamo completamente open source dieci domande rappresentative di GeneBench-Pro su Hugging Face⁠(si apre in una nuova finestra), con un’ interfaccia web interattiva per consultarle. Infine, nel prossimo futuro forniremo un sottoinsieme di 50 domande a Artificial Analysis⁠(si apre in una nuova finestra) per una valutazione comparativa indipendente da parte di terzi.

Il nostro modello più potente, GPT‑5.6 Sol, raggiunge un tasso di superamento del 28,7% al livello di ragionamento più alto (31,5% con la modalità Pro abilitata). Si tratta di un forte aumento rispetto a quando abbiamo iniziato a sviluppare il GeneBench originale; all’epoca, il nostro miglior modello di frontiera, GPT‑5, otteneva un punteggio inferiore al 5%. I progressi in questo benchmark suggeriscono che i modelli di frontiera stanno migliorando rapidamente, anche nel ragionamento scientifico a livello di sistemi meno tangibili. Di questo passo, questo benchmark potrebbe raggiungere la saturazione entro la fine dell’anno.

I risultati mostrano anche l’impatto dell’aumento della capacità di calcolo in fase di test. Al livello di ragionamento più basso, GPT‑5.6 Sol raggiunge solo un tasso di successo a una sola cifra. Al livello di ragionamento più alto, GPT‑5.6 Sol risolve quasi sei volte più domande rispetto a GPT‑5.2. lo fa usando circa due terzi dei token.

I confronti tra famiglie di modelli suggeriscono che i modelli GPT siano tra i sistemi più avanzati nel ragionamento scientifico di alto livello in condizioni di incertezza quantitativa. Il divario di prestazioni tra GPT‑5.6, Il divario tra GPT‑5.5 e i principali modelli open source come GLM 5.2 è significativamente più ampio di quanto ci aspetteremmo estrapolando dai benchmark di coding⁠(si apre in una nuova finestra), il che indica che i modelli open source sono più specializzati nel coding che nelle capacità di ragionamento più ampie.

Abbiamo utilizzato modelli GPT di frontiera per valutare e rafforzare i problemi durante lo sviluppo. Pertanto, sospettavamo che GeneBench-Pro potesse essere parziale nei confronti dei modelli GPT rispetto ad altre famiglie di modelli. Tuttavia, i modelli concorrenti, nella migliore delle ipotesi, eguagliavano le prestazioni del modello GPT corrispondente al momento del rilascio e tendevano a risultare considerevolmente inferiori.

Questi risultati di valutazione: fino al 31,5% su GPT‑5.6 Sol (Pro), sono notevoli, data la difficoltà dei quesiti di GeneBench-Pro. In un sondaggio, i nostri revisori hanno stimato che un tipico problema di GeneBench-Pro richiederebbe a un esperto umano circa 20–40 ore per essere completato. Con una stima prudenziale di 200 USD l’ora, il costo del lavoro umano per un singolo problema arriva a migliaia di dollari. Gli attuali agenti di IA sono ancora troppo inaffidabili per sostituire gli esperti umani, ma il divario di costi è ampio, con costi di inferenza di appena pochi dollari per problema. Ciò significa che anche un'automazione parziale, con le capacità attuali, potrebbe generare un valore economico e scientifico significativo.

Tuttavia, il fatto che i modelli di frontiera risolvano ancora meno di un terzo di questi problemi dimostra che esiste un ampio margine di miglioramento. I modelli possono compiere progressi parziali su problemi complessi, ma faticano a chiudere il ciclo inferenziale. Questo schema di errore rispecchia il contrasto tra esperti umani e principianti. Gli esperti usano la loro esperienza per inquadrare il problema e adattare il proprio approccio, mentre i principianti formulano osservazioni ma faticano a integrarle nel contesto più ampio del problema.

Il conseguimento di prestazioni quasi perfette richiederà valutazioni che misurino in modo affidabile i progressi e identifichino dove i modelli continuano a fallire. I benchmark come GeneBench-Pro possono aiutare a trasformare una carenza di capacità vaga in qualcosa che possiamo diagnosticare e migliorare. 

Se gli agenti fossero in grado di automatizzare in modo affidabile questa tipologia di analisi, potrebbero accelerare significativamente la scoperta scientifica. Le evidenze genetiche umane sono già centrali per la definizione delle priorità dei bersagli e il monitoraggio traslazionale, poiché i meccanismi supportati da evidenze genetiche hanno molte più probabilità di portare a trattamenti approvati.

Nel frattempo, i costi del sequenziamento sono crollati e i dataset su scala di biobanca ora collegano informazioni molecolari, fenotipiche e tratte dalle cartelle di Salute con un’ampiezza senza precedenti. Il fattore limitante si sta spostando dalla generazione di dati alla trasformazione delle informazioni in indicazioni operative. Modelli in grado di eseguire in modo affidabile analisi attualmente gestite da team di esperti umani potrebbero trasformare la ricerca industriale accelerando la selezione delle ipotesi, il monitoraggio degli obiettivi e il ciclo di iterazione tra generazione dei dati e processo decisionale.

GeneBench-Pro rappresenta un primo tentativo di valutare le competenze più astratte implicate in un buon giudizio scientifico e possedute dagli esperti. Queste competenze consentono loro di intuire e individuare le analisi iniziali più promettenti, procedere per iterazioni e rivedere il proprio ragionamento quando i dati contraddicono le ipotesi iniziali, e giungere a conclusioni da cui possono dipendere decisioni cliniche, accademiche o aziendali successive. 

Prevediamo che, con il progredire delle capacità dei modelli, i benchmark che sondano le capacità dei modelli a questi livelli più elevati di astrazione diventeranno sempre più utili, andando oltre quelli che si limitano a testare conoscenze nozionistiche o la capacità di eseguire analisi di routine.