Παρουσιάζουμε το LifeSciBench

Τα συστήματα ΤΝ με πράκτορα εκτελούν όλο και καλύτερα επιστημονικές εργασίες. Η αξία τους για τους ερευνητές βιοεπιστημών εξαρτάται όμως από το πώς αντιμετωπίζουν την πολυπλοκότητα της πραγματικής έρευνας. Η δουλειά αυτή σπάνια είναι απλή ανάκληση γνώσης ή καθαρό πρόβλημα πρόβλεψης. Οι ερευνητές ερμηνεύουν ελλιπή στοιχεία, συμφιλιώνουν αντιφάσεις, σχεδιάζουν δύσκολα πειράματα, επιλύουν προβλήματα δοκιμασιών, σταθμίζουν μεταφραστικό κίνδυνο και αποφασίζουν μέσα στην αβεβαιότητα.

Τα σημερινά benchmark δεν αποτυπώνουν πλήρως αυτές τις ικανότητες. Πολλές αξιολογήσεις βιοεπιστημών εστιάζουν σε στενούς τομείς ή μεμονωμένες δεξιότητες, με δομημένες ερωτήσεις και σαφείς απαντήσεις αναφοράς. Είναι χρήσιμες, αλλά συχνά δεν δείχνουν αν ένα μοντέλο μπορεί να συμβάλει στο ευρύτερο φάσμα της ερευνητικής εργασίας.

Σχεδιάσαμε το LifeSciBench για να καλύψουμε αυτό το κενό. Κάθε εργασία βασίζεται στην κρίση ενεργών επιστημόνων βιοεπιστημών με διδακτορική εκπαίδευση και άμεση εμπειρία σε προγράμματα ανακάλυψης φαρμάκων στη βιοτεχνολογία και τη φαρμακοβιομηχανία.

Το LifeSciBench περιλαμβάνει 750 εργασίες ειδικών σε επτά ροές εργασίας και επτά βιολογικούς τομείς.

Το LifeSciBench μετρά αν τα συστήματα ΤΝ μπορούν να υποστηρίξουν ρεαλιστική έρευνα βιοεπιστημών, όχι μόνο να απαντούν σε ερωτήσεις βιολογίας. Για την ταξινομία του benchmark, ρωτήσαμε ενεργούς επιστήμονες βιοεπιστημών ποιες ροές εργασίας χρησιμοποιούν συχνότερα στην εφαρμοσμένη έρευνα. Έπειτα ομαδοποιήσαμε τις απαντήσεις σε επτά κατηγορίες: χειρισμός στοιχείων, ανάλυση, σχεδιασμός και βελτιστοποίηση, επιστημονική συλλογιστική, επικύρωση και λειτουργίες, μετάφραση και επιστημονική επικοινωνία.

Κάθε εργασία μοιάζει με αίτημα προς καταρτισμένο συνεργάτη: επιστημονική προτροπή, σχετικό πλαίσιο ή τεκμήρια και απάντηση ελεύθερης μορφής. Ρουμπρίκες ειδικών κρίνουν αν ένα μοντέλο δίνει τη σωστή απάντηση, με την αναμενόμενη λεπτομέρεια, αιτιολόγηση, επιφυλάξεις και μορφή.

Το LifeSciBench αξιολογεί την επιστημονική συλλογιστική μαζί με τις πρακτικές, λιγότερο σαφείς δεξιότητες που απαιτεί η πραγματική επιστημονική χρήση. Οι εργασίες ζητούν από τα μοντέλα να λύσουν ρεαλιστικά ερευνητικά προβλήματα: να ερμηνεύσουν στοιχεία, να κάνουν τεκμηριωμένες κρίσεις πεδίου και να διατυπώσουν χρήσιμα συμπεράσματα για ειδικούς αξιολογητές. Πολλές απαιτούν επίσης χειρισμό αβεβαιότητας και συλλογιστική πάνω σε αρχεία δεδομένων, όχι μόνο στο κείμενο της προτροπής.

Το benchmark σχεδιάστηκε για την πολυπλοκότητα της εργασίας στις βιοεπιστήμες. Συνολικά, το 79% των εργασιών απαιτεί πολλά βήματα συλλογιστικής ή απόφασης, με μέσο όρο τέσσερα ανά εργασία. Το LifeSciBench έχει 1.062 συνημμένα τεκμήρια: σχήματα, PDF, πίνακες, αρχεία αλληλουχιών, δομικά ή χημικά αρχεία και διαδικτυακές αναφορές. Πάνω από τις μισές εργασίες (53%) απαιτούν ερμηνεία ή σύνθεση πληροφοριών από τουλάχιστον ένα τεκμήριο.

Οι εργασίες δημιουργήθηκαν από 173 ειδικούς επιστήμονες διαφόρων κλάδων βιοεπιστημών. Όλοι είχαν διδακτορική εκπαίδευση και εμπειρία στη βιοτεχνολογία ή τη φαρμακοβιομηχανία. Οι εργασίες αναθεωρούνταν όσες φορές χρειαζόταν πριν γίνουν δεκτές, χωρίς ανώτατο όριο· οι αποδεκτές πέρασαν κατά μέσο όρο έξι αυτοματοποιημένους αυτοελέγχους και τουλάχιστον δύο γύρους ελέγχου ειδικών. Οι έλεγχοι βασίζονταν σε επαληθεύσιμη σωστή απάντηση ή ισχυρή συναίνεση ειδικών, με συμφωνία τουλάχιστον 90% στον σχετικό τομέα. Έτσι διασφαλίστηκε ότι οι αποδεκτές εργασίες ήταν επιστημονικά τεκμηριωμένες, σαφείς για βαθμολόγηση και αντιπροσωπευτικές της εφαρμοσμένης έρευνας.

Οι εργασίες του LifeSciBench βαθμολογούνται με λεπτομερή ρουμπρίκα ανά εργασία, που αναλύει την αναμενόμενη απάντηση σε ισχυρισμούς, υπολογισμούς, αποφάσεις, αιτιολογήσεις κ.ά. Συνολικά, οι ρουμπρίκες ειδικών περιλαμβάνουν 19.020 κριτήρια—25 κατά μέσο όρο ανά εργασία—για την ορθότητα και τη χρησιμότητα σε ερευνητικές αποφάσεις.

Ο σχεδιασμός αυτός αντανακλά την πράξη: πολλές εργασίες βιοεπιστημών δεν βαθμολογούνται μόνο από την τελική απάντηση. Μια απάντηση μπορεί να καταλήγει στο σωστό γενικό συμπέρασμα αλλά να είναι ελλιπής, αν π.χ. αγνοεί κρίσιμο περιορισμό δοκιμασίας ή σημαντική βιολογική απόχρωση. Αντίστροφα, μια μερική απάντηση μπορεί να έχει ποιοτική συλλογιστική χωρίς να λύνει πλήρως την εργασία.

Οι αναλυτικές ρουμπρίκες αποτυπώνουν αυτή τη λεπτότητα. Το LifeSciBench δεν αξιολογεί μόνο την τελική ακρίβεια, αλλά και αν ένα μοντέλο φτάνει στην απάντηση με επιστημονικά έγκυρο και πρακτικά χρήσιμο τρόπο.

Επικυρώσαμε το LifeSciBench με ανεξάρτητη αξιολόγηση ειδικών. Η ανατροφοδότηση ήρθε από 453 αξιολογητές που δεν έγραψαν τις εργασίες. Από αυτούς, 97% είχαν διδακτορικό ή ισοδύναμο τίτλο, κατά μέσο όρο 12 χρόνια εμπειρίας και 14 δημοσιεύσεις με κριτές· 88% ανέφεραν τουλάχιστον ένα βραβείο ή υποτροφία.

Οι αξιολογητές έκριναν αν κάθε εργασία είχε τα στοιχεία ισχυρής ερώτησης benchmark: σύνδεση με πραγματική έρευνα, έλεγχο επιστημονικής συλλογιστικής και γνώσης πεδίου, βάση σε στοιχεία ή συναίνεση και χρησιμότητα για την αξιολόγηση απόδοσης μοντέλων. Η συμφωνία ξεπέρασε το 96% σε κάθε κατηγορία.

Τα σχόλια των αξιολογητών επιβεβαίωσαν τις ποσοτικές βαθμολογίες:

Αναφέρουμε δύο συμπληρωματικές μετρικές. Το ποσοστό επιτυχίας είναι το ποσοστό εργασιών όπου ένα μοντέλο πιάνει το όριο επιτυχίας 70%. Η βαθμολογία είναι η μέση ανταμοιβή ρουμπρίκας, με μερική πίστωση για επιμέρους κριτήρια ακόμη κι όταν η εργασία δεν λύνεται πλήρως. Και οι δύο μετρούν, γιατί μια επιστημονική απάντηση μπορεί να είναι εν μέρει σωστή ή χρήσιμη χωρίς να καλύπτει όλες τις απαιτήσεις.

Η απόδοση των μοντέλων διαφέρει πολύ ανά τύπο εργασίας, ροή εργασίας και μορφή απάντησης.

Το LifeSciBench δείχνει ότι τα μοντέλα αιχμής είναι σχετικά ισχυρότερα σε εργασίες επιστημονικής σύνθεσης, επικοινωνίας και δομημένης ερμηνείας. Τα απόλυτα ποσοστά επιτυχίας παραμένουν μέτρια, άρα οι τομείς δεν έχουν κορεστεί. Ωστόσο, το GPT‑Rosalind προοδεύει ουσιαστικά έναντι του GPT‑5.5, ανεβάζοντας το συνολικό ακριβές ποσοστό επιτυχίας από 25,7% σε 36,1%.

Η μεγαλύτερη πρόοδος ικανοτήτων εμφανίζεται στην Επιστημονική Επικοινωνία και τη Μετάφραση. Για παράδειγμα, στην Επιστημονική Επικοινωνία η επιτυχία αυξάνεται από 56,3% για το GPT‑5.5 σε 71,1% για το GPT‑Rosalind. Η κατηγορία είναι μικρή (n=9), άρα χρειάζεται προσοχή, αλλά δείχνει γρήγορη βελτίωση στην οργάνωση στοιχείων και σε πειστικές εξηγήσεις για ειδικούς. Η Μετάφραση, δηλαδή η διαδικασία ανάπτυξης φαρμάκων «από τον πάγκο στο κρεβάτι», δείχνει παρόμοιο μοτίβο: από 36,8% για το GPT‑5.5 σε 57,7% για το GPT‑Rosalind, ένδειξη ότι τα μοντέλα συνδέουν όλο και καλύτερα τα προκλινικά στοιχεία με κλινικές συνέπειες.

Τα αποτελέσματα σε επίπεδο ρουμπρίκας δείχνουν το ίδιο. Σε εργασίες που απαιτούν αξιοποιήσιμα αποτελέσματα χρήσιμα σε ειδικούς, το GPT‑Rosalind βαθμολογείται με 44,7%, έναντι 29,1% για το GPT‑5.5. Σε εργασίες χειρισμού αβεβαιότητας και επιφυλάξεων, παίρνει 44,8%, έναντι 29,3%. Το μοτίβο δείχνει ότι τα μοντέλα είναι πιο χρήσιμα όταν τα όρια των στοιχείων είναι σαφή και απαιτείται δομημένη επιστημονική κρίση.

Η απόδοση μένει πολύ χαμηλότερη σε εργασίες με πολλά τεκμήρια, έντονο σχεδιασμό και επιχειρησιακούς περιορισμούς. Ο Σχεδιασμός, βελτιστοποίηση & πρόβλεψη παραμένει από τις δυσκολότερες ροές, με ποσοστό επιτυχίας 30,7% για το GPT‑Rosalind· η Ανάλυση είναι παρόμοια δύσκολη, στο 30,3%.

Η χρήση τεκμηρίων είναι ιδιαίτερα σαφές κενό. Παρότι το GPT‑Rosalind ξεπερνά το GPT‑5.5 σε περιβάλλοντα με πολλά τεκμήρια, η επιτυχία του πέφτει από 45,1% σε εργασίες μόνο κειμένου σε 28,1% με τεκμήρια ή URL. Το GPT‑5.5 δείχνει το ίδιο μοτίβο, από 29,9% σε 21,9%. Λεπτομερέστερη ανάλυση δείχνει ότι τα μοντέλα αιχμής δυσκολεύονται να εξάγουν πληροφορίες από σύνθετα σχήματα ή μεγάλα αρχεία αλληλουχιών και να τις ενσωματώσουν στην τελική απάντηση.

Σημασία έχει και η μορφή της απάντησης. Εργασίες που απαιτούν ακριβείς αλληλουχίες, δομές ή κατασκευές έχουν χαμηλότερη επιτυχία: το GPT‑Rosalind φτάνει μόλις 14,8% σε αριθμητικές εργασίες και 24,0% σε εξόδους αλληλουχίας ή δομής. Οι εργασίες δημιουργίας κατασκευών είναι επίσης εύθραυστες: το GPT‑Rosalind φτάνει 27,3% και βελτιώνεται λίγο έναντι του GPT‑5.5. Μέρος του κενού ίσως οφείλεται σε αυστηρότερη βαθμολόγηση εργασιών ακριβούς απάντησης, όπου μικρές διαφορές σε υπολογισμό ή μορφή ρίχνουν την απάντηση κάτω από το όριο. Ωστόσο, οι αποτυχίες έχουν επιστημονική σημασία, γιατί πολλές ροές εργασίας βιοεπιστημών απαιτούν εξόδους αρκετά ακριβείς για άμεση χρήση, όπως στον σχεδιασμό δωρητών CRISPR/HDR ή siRNA.

Τα μοντέλα συχνά φτάνουν κοντά στη λύση χωρίς να την ολοκληρώνουν. Σε περίπου 14% των εργασιών, πήραν σημαντική πίστωση ρουμπρίκας αλλά απέτυχαν στο όριο ακριβούς επιτυχίας. Για το GPT‑Rosalind, 109 εργασίες είχαν επιτυχία κάτω από 20% αλλά τουλάχιστον 50% ανταμοιβή ρουμπρίκας. Στην πράξη, τα μοντέλα μπορεί να εντοπίζουν σχετικά στοιχεία ή να δίνουν εύλογη μερική απάντηση, αλλά να αποτυγχάνουν επειδή χάνουν κρίσιμο περιορισμό, χρησιμοποιούν λάθος στοιχεία, κάνουν ελλιπή υπολογισμό ή δεν συνδέουν τη συλλογιστική τους με χρήσιμη τελική απόφαση.

Το LifeSciBench είναι βήμα προς τη μέτρηση της χρησιμότητας των συστημάτων ΤΝ στην έρευνα βιοεπιστημών, αλλά δεν υποκαθιστά τη μελέτη μοντέλων σε ζωντανά ερευνητικά περιβάλλοντα. Το benchmark εστιάζει σε αυτοτελείς εργασίες από επαναλαμβανόμενες ροές εργασίας της βιομηχανίας, αφήνοντας εκτός πολλές ειδικότητες και τύπους εργασιών. Η πραγματική έρευνα είναι επαναληπτική: οι επιστήμονες συλλέγουν νέα στοιχεία, αναθεωρούν υποθέσεις, σχεδιάζουν επόμενα πειράματα και προσαρμόζουν τα σχέδια καθώς προκύπτουν αποτελέσματα.

Η ισχυρή επίδοση στο LifeSciBench πρέπει λοιπόν να θεωρείται ένδειξη ρεαλιστικής ικανότητας σε επίπεδο εργασίας, όχι άμεσο μέτρο ερευνητικού αντικτύπου. Το benchmark βασίζεται σε βιομηχανικές ροές εργασίας, αλλά δεν αποτυπώνει όλη την ποικιλία ή τη δυναμική ζωντανών ερευνητικών προγραμμάτων, όπου η πρόοδος εξαρτάται από παράγοντες που εξελίσσονται με τον χρόνο.

Το επόμενο βήμα είναι να συνδεθεί η απόδοση στο benchmark με μελέτες εφαρμογής σε ζωντανές ερευνητικές ροές. Παρότι το LifeSciBench αναπτύχθηκε με ενεργούς επιστήμονες, για να μετρηθεί αν τα συστήματα ΤΝ επιταχύνουν την ανακάλυψη ή βελτιώνουν τα αποτελέσματα Ε&Α πρέπει να μελετηθούν η χρήση και η απόδοση μοντέλων σε πραγματική έρευνα, σε μεγαλύτερους ορίζοντες και σε πολλούς γύρους συλλογιστικής, ανατροφοδότησης και πειραματικής συνέχειας.