Mesurem com els agents d'IA aborden el treball quotidià de laboratori experimental

La nostra missió és garantir que la intel·ligència artificial general beneficiï tota la humanitat. Com a part d'aquesta missió, volem ajudar els científics a accelerar la recerca biològica, des de la comprensió de les malalties fins al desenvolupament de nous tractaments. Perquè els agents d'IA hi puguin contribuir, han d'interpretar amb fiabilitat les evidències experimentals amb què els científics treballen cada dia als laboratoris, on fan experiments amb mostres biològiques. El treball quotidià al laboratori experimental comporta experiments fallits, imatges ambigües i observacions contradictòries. Les proves de referència existents, basades en gràfics i imatges seleccionats per a articles científics, poden passar per alt aquesta ambigüitat i la resolució de problemes que exigeix. Per això presentem BioBasicsBench, una nova prova de referència desenvolupada amb Ligo, una empresa biotecnològica centrada en el disseny d'enzims, per mesurar com se'n surten els agents amb l'anàlisi rutinària de laboratori experimental.

Les 100 tasques de la prova avaluen si els agents poden interpretar dades experimentals sense processar, identificar errors i reconèixer quan les evidències no permeten fonamentar una conclusió. Resoldre bé aquestes tasques és important: interpretar malament una imatge o passar per alt un problema amb els controls utilitzats per comprovar els resultats d'un experiment pot portar els científics a extreure conclusions errònies i dedicar temps a experiments que no ajudaran a respondre la seva pregunta.

Amb el nivell "xhigh", que permet més raonament per tasca, GPT‑6 Astra va obtenir una mitjana del 66,7 % de la puntuació possible, en comparació amb el 43,8 % de GPT‑5.6 Sol. Els resultats mostren avenços en l'anàlisi rutinària de laboratori, amb marge per continuar millorant en la interpretació d'imatges, la comprovació de controls i l'aplicació del context experimental.

BioBasicsBench utilitza evidències experimentals sense processar, des d'imatges de gels i plaques amb colònies fins a imatges de microscòpia i lectures d'instruments.

BioBasicsBench conté 100 tasques distribuïdes en cinc àrees del treball rutinari de laboratori experimental: mètodes d'anàlisi de proteïnes, imatge i citometria, quantificació i assajos, mètodes d'anàlisi d'àcids nucleics i clonatge molecular. Les tasques van de peticions senzilles, com llegir el pes molecular d'una mostra d'ADN en un gel, fins a anàlisis detallades d'assajos, però totes impliquen treball rutinari que els científics de laboratori experimental haurien de poder fer amb fiabilitat.

Els científics van crear les tasques amb dades dels seus propis experiments i van associar cada pregunta a criteris de puntuació redactats per experts. Cada tasca va passar per una revisió interna a càrrec d'un científic de Ligo que no n'era l'autor, una revisió externa a càrrec d'un científic amb doctorat que treballava en un laboratori experimental i una revisió interna final.

Els agents retornen una resposta estructurada amb la conclusió, la mesura o la recomanació sol·licitada i, quan cal, el raonament que la fonamenta. Les respostes obtenen punts segons els criteris individuals de la rúbrica, cosa que permet a la prova distingir una conclusió correcta d'una anàlisi parcialment correcta. La majoria de les tasques avaluen diverses habilitats alhora, com ara el coneixement biològic, la interpretació d'imatges i altres dades, la detecció d'errors i la comprensió de protocols.

Les dades d'entrada conserven els formats de les evidències amb què treballen els científics: imatges de gels i transferències, fotografies de plaques, sèries d'imatges de microscòpia, lectures de seqüenciació, dades exportades de lectors de plaques i vídeos de treball al banc de laboratori. Una tasca pot incloure diversos tipus de dades. Els fulls de referència, com ara els esquemes de marcadors de mida i els mapes de plasmidis, ajuden a interpretar les evidències experimentals.

Els científics van redactar les tasques amb dades dels seus propis experiments i van associar les evidències experimentals a una pregunta i a una rúbrica de puntuació redactada per experts. Cada tasca va passar per una revisió interna a càrrec d'un científic de Ligo que no n'era l'autor, una revisió externa a càrrec d'un científic amb doctorat que treballava en un laboratori experimental i una revisió interna final. Els revisors van comprovar la indicació, les evidències experimentals, la rúbrica, les notes de l'autor i un intent del model ja puntuat.

Les respostes es puntuen segons la rúbrica de la tasca, que assigna punts a criteris individuals. Segons la tasca, aquests criteris avaluen la conclusió, els resultats numèrics, el raonament que els fonamenta o el reconeixement que les evidències són insuficients.

Hem avaluat set models amb BioBasicsBench: GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna i GPT‑6 Astra. L'avaluació cobreix 37 combinacions de model i nivell d'esforç de raonament, amb cinc intents per a cadascuna de les 100 tasques en cada combinació, per a un total de 18.500 resultats.

Presentem la recompensa mitjana: la puntuació mitjana de les tasques, expressada com a percentatge de la puntuació possible. Les barres d'error mostren intervals de confiança del 95 %, calculats mitjançant el remostreig de tasques senceres, mantenint junts els cinc intents de cada tasca.

GPT‑6 Astra millora substancialment els resultats de GPT‑5.6 Sol, fins i tot amb un esforç de raonament baix. Aquests avenços suggereixen que unes capacitats multimodals natives més potents poden ser clau per millorar el rendiment en l'anàlisi quotidiana de laboratori experimental.

Un parany habitual en ciència és sobreinterpretar les dades, especialment pel tipus de biaix que es produeix quan es posa a prova una hipòtesi. Astra va demostrar una capacitat millorada per discernir els límits del que mostren les dades i evitar conclusions injustificades.

En aquest exemple, GPT‑5.6 Sol va classificar unes cèl·lules com a mortes a partir del senyal d'un colorant utilitzat per detectar cèl·lules mortes. Però el detector també podia captar llum d'un segon colorant, de manera que la brillantor, per si sola, no justificava aquesta conclusió. Astra va reconèixer aquesta ambigüitat i va demanar controls més adequats per separar els senyals.

La recerca científica és molt multimodal i requereix interpretar informació visual i prendre decisions constantment. Astra va mostrar una millora significativa en el tractament de dades multimodals presentades com a fotografies i vídeos, així com de resultats sense processar de seqüenciació, assajos amb lectors de plaques, microscòpia i citometria de flux.

En el nivell més bàsic, aquesta millora es feia palesa en la capacitat de GPT‑6 Astra per detectar detalls més subtils en imatges preses durant els experiments i, per tant, extreure'n conclusions més precises, com mostra aquest exemple. Aquesta tasca demanava als agents que extraguessin conclusions d'un experiment de clonatge d'ADN, en què els controls són essencials. GPT‑5.6 Sol no va veure cap colònia a la placa de control negatiu i va basar les seves conclusions en aquesta observació. GPT‑6 Astra va detectar que l'etiqueta de la placa indicava un antibiòtic incorrecte i va descartar, encertadament, que fos un control fiable.

Els científics han de tenir presents el coneixement biològic tàcit i el context experimental mentre analitzen les dades per interpretar correctament què mostren. Astra va demostrar una millor capacitat per mantenir aquest context i aplicar-lo al llarg de l'anàlisi.

Una tasca mostrava cèl·lules que apareixien enfocades i desenfocades en una sèrie d'imatges de microscopi. Mentre que GPT‑5.6 Sol buscava una explicació biològica per a l'aparent desaparició de les cèl·lules, GPT‑6 Astra va reconèixer correctament una sèrie d'imatges en l'eix Z: imatges preses a diferents profunditats.

Obtenir puntuacions més altes en la prova de referència encara no vol dir que els models puguin emetre judicis fiables al laboratori. Aquests exemples d'Astra mostren com les suposicions, les respostes esperades i les etiquetes proporcionades poden prevaldre sobre les evidències, i com una observació intermèdia correcta pot no arribar a guiar la decisió final.

Astra deixa que una suposició habitual prevalgui sobre la interpretació avalada pels controls experimentals. Pot distingir els dos grups de bandes de les colònies, però assumeix que un producte de PCR més gran indicaria un clonatge reeixit. Amb aquesta premissa, proposa els carrils 4, 6, 7 i 8; en canvi, la comparació amb els controls de la referència selecciona els carrils 5, 9 i 10.

Astra resta valor a les observacions que contradiuen la seva interpretació preferida. Conclou que els vacúols, compartiments de l'interior de les cèl·lules, solen ser més foscos que la resta de la cèl·lula que els envolta, tot i que alguns es mostren més clars en la mateixa imatge. Tots dos aspectes són rellevants: canviar l'enfocament del microscopi pot invertir el contrast, de manera que els exemples més foscos no permeten establir una regla general.

Les marques de recompte d'Astra no es corresponen de manera fiable amb colònies individuals: no distingeix colònies molt properes, passa per alt colònies visibles i marca zones d'agar sense colònies. El resultat net en aquesta placa és un recompte aproximadament un 12 % superior al de la referència de la prova.

Un recompte de colònies inexacte afecta directament les estimacions de l'eficiència amb què s'ha introduït l'ADN a les cèl·lules. Si el volum sembrat i la dilució es mantenen constants, un recompte excessiu infla aquesta estimació en la mateixa proporció.

Accelerar la recerca biològica exigeix fer bé la feina quotidiana. BioBasicsBench converteix aquesta feina en un objectiu de millora: interpretar dades experimentals sense processar, comprovar controls i reconèixer quan una conclusió no està fonamentada. Els avenços en aquestes tasques podrien ajudar els científics a dedicar menys temps a resoldre problemes i més a decidir quins experiments cal fer a continuació. Fer un seguiment d'aquestes capacitats també ens ajudarà a comprendre'n les implicacions per a la bioseguretat i la bioprotecció.