Presentazione di LifeSciBench

I sistemi di IA agentica sono sempre più capaci di svolgere compiti scientifici. La loro utilità per i ricercatori nelle scienze della vita dipende però da come gestiscono la complessità della ricerca reale. Questo lavoro raramente somiglia a una domanda di richiamo di un fatto o a un problema di previsione ben definito. I ricercatori interpretano evidenze incomplete, riconciliano risultati contrastanti, progettano esperimenti difficili, risolvono problemi nei saggi, valutano il rischio traslazionale e decidono i passi successivi in condizioni di incertezza.

Gli attuali benchmark non catturano pienamente queste capacità. Molte valutazioni nelle scienze della vita si concentrano su domini ristretti o competenze isolate, producendo domande strutturate e risposte di riferimento nette. Pur essendo utili, spesso non valutano davvero se un modello possa contribuire all’intero spettro del lavoro di ricerca avanzata.

Abbiamo progettato LifeSciBench per colmare questa lacuna. Ogni compito si fonda sul giudizio di scienziati attivi con formazione di livello Ph.D. ed esperienza diretta nello sviluppo di programmi di drug discovery in ambito biotech e farmaceutico.

LifeSciBench include 750 compiti scritti da esperti, distribuiti su sette flussi di lavoro e sette domini biologici.

LifeSciBench misura se i sistemi di AI possono supportare compiti realistici di ricerca nelle scienze della vita, non solo rispondere a domande di biologia. Per definire la tassonomia del benchmark, abbiamo intervistato scienziati attivi sui flussi di lavoro più usati nella ricerca applicata. Abbiamo poi raggruppato le risposte in sette categorie ricorrenti: gestione delle evidenze, analisi, progettazione e ottimizzazione, ragionamento scientifico, validazione e operazioni, traslazione e comunicazione scientifica.

Ogni compito è strutturato come una richiesta che uno scienziato potrebbe rivolgere a un collaboratore esperto: prompt scientifico, eventuale contesto o artefatti pertinenti e risposta libera. Rubriche scritte da esperti valutano se un modello produce la risposta giusta per un problema specifico, con il livello di dettaglio, giustificazione, cautele e formato attesi da uno scienziato.

LifeSciBench valuta il ragionamento scientifico insieme alle competenze pratiche, meno definite, necessarie per l’uso scientifico nel mondo reale. I compiti chiedono ai modelli di affrontare problemi di ricerca realistici: interpretare evidenze, formulare giudizi fondati sul dominio e comunicare conclusioni utili a revisori esperti. Molti compiti richiedono anche di gestire l’incertezza e ragionare su file di dati di supporto, non solo sul testo del prompt.

Il benchmark è progettato per riflettere la complessità del lavoro nelle scienze della vita. Nel complesso, il 79% dei compiti richiede più passaggi di ragionamento o decisione, con una media di quattro passaggi per compito. LifeSciBench include 1.062 artefatti allegati, tra figure, PDF, tabelle, file di sequenza, file strutturali o chimici e riferimenti web. Oltre la metà dei compiti (53%) richiede ai modelli di interpretare o sintetizzare informazioni da almeno un artefatto.

I compiti sono stati creati da 173 scienziati esperti di diverse discipline delle scienze della vita. Ogni scienziato aveva formazione di livello Ph.D. ed esperienza nell’industria biotecnologica o farmaceutica. Prima dell’accettazione, i compiti potevano passare per tutti i cicli di revisione necessari, senza limite fisso; quelli accettati hanno avuto in media sei cicli automatizzati autoguidati e almeno due cicli di revisione esperta. Le revisioni si basavano su una risposta corretta verificabile o su un forte consenso esperto, con almeno il 90% di accordo tra revisori del dominio pertinente. Questo processo ha aiutato a garantire che i compiti accettati fossero scientificamente fondati, abbastanza chiari da valutare e rappresentativi della ricerca applicata.

I compiti di LifeSciBench sono valutati con una rubrica dettagliata e specifica, che scompone la risposta attesa in affermazioni scientifiche, calcoli, decisioni, giustificazioni e altro. Nel benchmark, le rubriche sviluppate da esperti includono 19.020 criteri—25 in media per compito—per valutare correttezza scientifica e utilità nelle decisioni di ricerca.

Questo design riflette come il lavoro scientifico viene valutato nella pratica: molti compiti nelle scienze della vita non si giudicano solo controllando la risposta finale. Una risposta può arrivare alla conclusione generale corretta ma risultare incompleta se, per esempio, ignora un limite chiave del saggio o non segnala una sfumatura biologica molto rilevante. Al contrario, una risposta parziale può contenere ragionamento di alta qualità anche se non risolve pienamente il compito.

Le rubriche granulari catturano questa sfumatura. LifeSciBench valuta non solo l’accuratezza della risposta finale, ma se un modello vi arriva in modo scientificamente valido e operativamente utile.

Abbiamo validato LifeSciBench tramite una revisione esperta indipendente. Il feedback è arrivato da 453 revisori non coinvolti nella scrittura dei compiti. Di questi, il 97% aveva un Ph.D. o dottorato equivalente, con in media 12 anni di esperienza nel campo e 14 pubblicazioni peer-reviewed; l’88% ha dichiarato almeno un premio o fellowship.

I revisori hanno valutato se ogni compito riflettesse le qualità di una buona domanda di benchmark: allineamento alla ricerca reale, test adeguato del ragionamento scientifico e della competenza di dominio, fondamento su evidenze o consenso esperto e utilità complessiva per valutare le prestazioni del modello. L’accordo ha superato il 96% in ogni categoria.

I commenti dei revisori hanno confermato le valutazioni quantitative:

Riportiamo due metriche complementari. Il tasso di superamento è la percentuale di compiti in cui un modello raggiunge la soglia di successo del 70% a livello di compito. Il punteggio è la ricompensa media della rubrica, che assegna credito parziale per singoli criteri anche quando il compito completo non è risolto. Entrambe contano, perché una risposta a un compito scientifico può essere parzialmente corretta o utile senza soddisfare tutti i requisiti di una risposta completa.

Le prestazioni dei modelli variano molto per tipo di compito, flusso di lavoro e formato della risposta.

LifeSciBench mostra che i modelli di frontiera sono relativamente più forti nei compiti di sintesi scientifica, comunicazione e interpretazione strutturata. I tassi assoluti di superamento restano modesti, quindi questi domini non sono saturi, ma GPT‑Rosalind mostra progressi su GPT‑5.5, portando il tasso di superamento esatto dal 25,7% al 36,1%.

I maggiori progressi nelle capacità dei modelli emergono in Comunicazione scientifica e Traslazione. Per esempio, il tasso di superamento in Comunicazione scientifica sale dal 56,3% per GPT‑5.5 al 71,1% per GPT‑Rosalind; la categoria è piccola (n=9), quindi va letta con cautela, ma suggerisce rapidi miglioramenti nell’organizzare evidenze e produrre spiegazioni convincenti per esperti. La Traslazione (il processo «dal laboratorio al letto del paziente» nello sviluppo di farmaci) mostra un andamento simile, dal 36,8% per GPT‑5.5 al 57,7% per GPT‑Rosalind, indicando miglioramenti nel collegare evidenze precliniche a implicazioni cliniche.

I risultati a livello di rubrica indicano la stessa direzione. Nei compiti che richiedono output utili agli esperti o azionabili, GPT‑Rosalind ottiene il 44,7%, contro il 29,1% di GPT‑5.5. Nei compiti che richiedono gestione di incertezza e cautele, ottiene il 44,8%, contro il 29,3%. Questo schema suggerisce che i modelli sono più utili quando il compito ha confini evidenziali chiari e richiede giudizio scientifico strutturato.

Le prestazioni restano molto più deboli nel lavoro scientifico ricco di artefatti, orientato al design e vincolato operativamente. In particolare, Progettazione, ottimizzazione e previsione resta uno dei flussi più difficili, con un tasso di superamento di GPT‑Rosalind del 30,7%; anche Analisi è difficile, al 30,3%.

L’uso degli artefatti è un divario particolarmente evidente. Sebbene GPT‑Rosalind superi GPT‑5.5 nei contesti ricchi di artefatti, il suo tasso di superamento scende dal 45,1% nei compiti solo testo al 28,1% nei compiti con artefatti o URL. GPT‑5.5 mostra lo stesso schema, scendendo dal 29,9% al 21,9%. Un’analisi più dettagliata conferma che i modelli di frontiera faticano a estrarre informazioni da figure complesse o grandi file di sequenze e a integrarle nella risposta finale.

Conta anche il formato della risposta. I compiti che richiedono output esatti a livello di sequenza, struttura o costrutto hanno tassi più bassi: GPT‑Rosalind arriva solo al 14,8% nei compiti numerici e al 24,0% negli output di sequenza o struttura. Anche la generazione di costrutti è fragile: GPT‑Rosalind è al 27,3% e migliora poco rispetto a GPT‑5.5. Parte del divario può riflettere criteri più severi per compiti a risposta esatta, dove piccole differenze di calcolo o formato possono portare sotto la soglia di superamento. Tuttavia, questi fallimenti sono scientificamente significativi perché molti flussi nelle scienze della vita richiedono output abbastanza esatti da essere usati direttamente, come nel design di donatori CRISPR/HDR o di siRNA.

I modelli spesso arrivano anche a una soluzione parziale senza risolvere pienamente il compito. In circa il 14% dei compiti, i modelli hanno ottenuto molto credito di rubrica pur non raggiungendo la soglia di superamento esatto. Per GPT‑Rosalind, 109 compiti avevano tassi di superamento inferiori al 20% ma ottenevano comunque almeno il 50% della ricompensa di rubrica. In pratica, i modelli possono individuare evidenze pertinenti o produrre una risposta parziale plausibile, ma fallire perché mancano un vincolo chiave, usano evidenze sbagliate, fanno un calcolo incompleto o non collegano il ragionamento a una decisione finale scientificamente utile.

LifeSciBench è un passo verso la misurazione dell’utilità dei sistemi di AI per la ricerca nelle scienze della vita, ma non sostituisce lo studio dei modelli in ambienti di ricerca reali. Il benchmark si concentra su compiti autonomi che riflettono flussi industriali ricorrenti, lasciando fuori dall’attuale perimetro molte specialità scientifiche e tipi di compito. La ricerca reale è iterativa: gli scienziati raccolgono nuove evidenze, rivedono ipotesi, progettano esperimenti di follow-up e adattano i piani man mano che emergono risultati.

Una forte performance su LifeSciBench va quindi interpretata come evidenza di capacità realistiche a livello di compito, non come misura diretta dell’impatto sulla ricerca a valle. Il benchmark si fonda su flussi di lavoro industriali, ma non cattura tutta la diversità o la dinamica dei programmi di ricerca reali, in cui il progresso dipende da fattori che evolvono nel tempo.

Il passo successivo è collegare le prestazioni del benchmark a studi di implementazione in flussi di ricerca reali. Sebbene LifeSciBench sia stato sviluppato con scienziati attivi, misurare se i sistemi di AI accelerano la scoperta o migliorano gli esiti di R&D richiederà di studiare uso e prestazioni dei modelli in contesti di ricerca reali, su orizzonti più lunghi e attraverso più cicli di ragionamento, feedback e follow-up sperimentale.