30 Ιουνίου 2026

Ανακαλύψτε το GeneBench-Pro

Ένας δείκτης αξιολόγησης ερευνητικού επιπέδου που μετρά πώς οι πράκτορες ΤΝ διαχειρίζονται την ασάφεια και πραγματοποιούν κρίσιμες αξιολογικές κρίσεις στην υπολογιστική βιολογία.

Διαβάστε το άρθρο

Φόρτωση…

Τα επιστημονικά δεδομένα σπάνια συνοδεύονται από οδηγίες. Οι ερευνητές πρέπει να αποφασίσουν αν ένα μοτίβο αντανακλά βιολογία ή θόρυβο, αν τα δεδομένα μπορούν να υποστηρίξουν το ερώτημα που τίθεται και πώς κάθε αποτέλεσμα θα πρέπει να αλλάξει τα επόμενα βήματά τους. Οι πράκτορες ΤΝ είναι όλο και πιο ικανοί να εκτελούν σύνθετες αναλύσεις, αλλά η πραγματική επιστημονική έρευνα δεν εξαρτάται απλώς από την ανάκληση γνώσεων ή την τήρηση μιας προκαθορισμένης ροής εργασίας, αλλά και από την πραγματοποίηση αυτών των αξιολογικών κρίσεων υψηλότερου επιπέδου.

Σήμερα παρουσιάζουμε το GeneBench-Pro, έναν απαιτητικό δείκτη αξιολόγησης ερευνητικού επιπέδου, που ελέγχει αν τα μοντέλα μπορούν να χειριστούν το είδος ανάλυσης με έντονη ανάγκη κρίσης που απαιτεί η πραγματική υπολογιστική βιολογία. Βασίζεται στο GeneBench⁠(ανοίγει σε νέο παράθυρο) και το επεκτείνει ώστε να καλύπτει δυσκολότερες και πιο ρεαλιστικές εργασίες στη γονιδιωματική, την ποσοτική βιολογία και τη μεταφραστική ιατρική, αποτυπώνοντας την πολυπλοκότητα, την επαναληπτική φύση και την ασάφεια της επιστημονικής έρευνας στην υπολογιστική βιολογία.

Μέχρι σήμερα, υπάρχουν λίγες πειστικές αξιολογήσεις των κρίσεων σε επίπεδο συστήματος που κάνουν την πραγματική υπολογιστική έρευνα δύσκολη. Σε αυτές περιλαμβάνονται ο χειρισμός της ασάφειας, η αναθεώρηση παραδοχών, η επιλογή της σωστής αναλυτικής πορείας και η αναγνώριση του πότε ένα αποτέλεσμα είναι έτοιμο να υποστηρίξει μια απόφαση. Επειδή αυτές οι δεξιότητες είναι δύσκολο να τυποποιηθούν, είναι επίσης δύσκολο να αξιολογηθούν αυστηρά, παρότι οι αδυναμίες σε αυτές περιορίζουν όλο και περισσότερο τη συνολική απόδοση της ΤΝ.

Διάγραμμα με τίτλο «Το χάσμα στη συγκριτική αξιολόγηση στη βιολογία», το οποίο συγκρίνει τις παραδοσιακές ροές εργασίας συγκριτικής αξιολόγησης με την επιστημονική ανάλυση από άκρο σε άκρο, παρουσιάζοντας πρόσθετα βήματα όπως προεπεξεργασία, μοντελοποίηση, διαγνωστικούς ελέγχους και επαναληπτική βελτίωση πριν από την εξαγωγή επιστημονικού συμπεράσματος.

Το GeneBench-Pro έχει σχεδιαστεί ώστε να μετρά με ακρίβεια αυτές τις ικανότητες υψηλότερου επιπέδου. Στο GeneBench-Pro, ορίζουμε το «ερευνητικό αισθητήριο» ως τις αλυσίδες αξιολογικών κρίσεων που διαμορφώνουν μια ανάλυση: ποια ερωτήματα μπορούν να υποστηρίξουν τα δεδομένα, πώς οι πρώιμοι διαγνωστικοί έλεγχοι θα πρέπει να αλλάζουν το μοντέλο ή το εκτιμητέο μέγεθος και πότε ένα αρχικό σχέδιο χρειάζεται αναθεώρηση. Κάθε πρόβλημα του GeneBench-Pro δίνει στο μοντέλο ένα ρεαλιστικό και ακατάστατο σύνολο δεδομένων, σύντομο πειραματικό πλαίσιο και ένα εκτιμητέο μέγεθος-στόχο συνδεδεμένο με μια μεταγενέστερη απόφαση. Για να απαντήσει σωστά, το μοντέλο πρέπει να εξερευνήσει τα δεδομένα, να επιλέξει κατάλληλη αναλυτική προσέγγιση, να εμπλακεί σε μια επαναληπτική διαδικασία πειραματισμού και να δώσει μια τελική απάντηση.

Κατασκευή συνόλου δεδομένων

Στη βιολογία, το κόστος παραγωγής δεδομένων, π.χ. της αλληλούχησης γονιδιώματος, έχει μειωθεί δραματικά, και ορισμένοι ερευνητές υποστηρίζουν πλέον⁠(ανοίγει σε νέο παράθυρο) ότι ο περιοριστικός παράγοντας δεν είναι πια η συλλογή δειγμάτων, αλλά ο μεταγενέστερος υπολογισμός και η ανάλυση. Το GeneBench-Pro έχει δημιουργηθεί για να αξιολογεί την πρόοδο στην αντιμετώπιση αυτού του σημείου συμφόρησης, με 129 ερωτήσεις που καλύπτουν ένα ευρύ φάσμα πλαισίων και μεθόδων της υπολογιστικής βιολογίας.

Άτλας τομέων: 129 προβλήματα σε 10 τομείς και 21 υποτομείς

Κάντε κλικ σε μια κουκκίδα παραπάνω για να μάθετε σχετικά με ένα δείκτη αξιολόγησης.

Αυτός ο άτλαντας παρέχει μια προεπισκόπηση του εύρους του GeneBench-Pro. Επισκεφθείτε τη σελίδα μελετών περίπτωσης για να εξερευνήσετε 10 αντιπροσωπευτικές ερωτήσεις με περισσότερες λεπτομέρειες.

Το GeneBench-Pro έχει επίσης σχεδιαστεί ώστε να αποφεύγει συνηθισμένες αποτυχίες των δεικτών αξιολόγησης. Πολλοί δείκτες αξιολόγησης μακρού ορίζοντα στη βιολογία κατασκευάζουν ερωτήσεις πολλών βημάτων γύρω από ακατάστατα ιστορικά σύνολα δεδομένων, όπου μπορεί να μην υπάρχει μία και μόνο σωστή διαδρομή στην ανάλυση. Ένας πράκτορας μπορεί να επιλέξει ένα τεκμηριωμένο όριο αποκοπής, ενώ ένας άλλος μπορεί να επιλέξει μια διαφορετική αλλά εξίσου τεκμηριωμένη επιλογή, αντανακλώντας περισσότερο τις αυθαίρετες επιλογές του δημιουργού του δείκτη αξιολόγησης παρά ουσιαστικές διαφορές στην απόδοση των μοντέλων. Μπορεί να συμβεί και το αντίστροφο: αν ένα πρόβλημα δεν είναι αρκετά ευαίσθητο αριθμητικά, ένας πράκτορας μπορεί να κάνει θεμελιώδη λάθη σε μια ανάλυση και παρ’ όλα αυτά να παραγάγει αποτέλεσμα που περνά επιτυχώς.

Για να αποφύγουμε αυτούς τους τύπους αποτυχίας, κάθε πρόβλημα του GeneBench-Pro κατασκευάζεται συνθετικά: γνωρίζουμε την πλήρη αιτιακή δομή και προσομοιώνουμε απευθείας τη διαδικασία παραγωγής δεδομένων. Αυτό μας επιτρέπει να ρυθμίζουμε την πολυπλοκότητα κάθε προβλήματος, να διασφαλίζουμε ότι εύλογες διαφορές σε υποκειμενικές αναλυτικές επιλογές εξακολουθούν να παράγουν αποδεκτά αριθμητικά αποτελέσματα και να επαληθεύουμε, μέσω μελετών αφαίρεσης, ότι εύλογες αλλά λανθασμένες αναλύσεις αποτυγχάνουν. Στη συνέχεια, ελέγχουμε τα προσχέδια των προβλημάτων μέσω λεπτομερών αναλύσεων trace, για να εντοπίσουμε διαρροή πληροφοριών και ακούσιες οδούς επίλυσης. Αυτό μας δίνει τη βεβαιότητα ότι η σωστή απάντηση εξαρτάται από την επιλογή της σωστής αναλυτικής πορείας και όχι από την αξιοποίηση μιας παράκαμψης ή την αντιστοίχιση με μια αυθαίρετη προτίμηση του συντάκτη.

Διάγραμμα με τίτλο «Κατασκευή και επικύρωση προβλήματος GeneBench-Pro», που δείχνει μια ροή εργασίας από τη δημιουργία μιας εκτελέσιμης εργασίας έως την αξιολόγηση, τους ελέγχους ευρωστίας, τη δοκιμή πράκτορα, την αξιολόγηση από ειδικούς, την αναθεώρηση και ένα ολοκληρωμένο πρόβλημα δείκτη αξιολόγησης.

Στείλαμε 82 από τις 129 ερωτήσεις του GeneBench-Pro σε εξωτερικούς ειδικούς του πεδίου, μεταξύ των οποίων μεταπτυχιακοί φοιτητές, μεταδιδακτορικοί ερευνητές, επιστήμονες του κλάδου και καθηγητές. Οι αξιολογητές εξέτασαν τον ρεαλισμό κάθε προβλήματος, αν η απάντηση-στόχος ήταν προσδιορίσιμη και αν οι μέθοδοι και οι εκτιμητές ήταν κατάλληλοι. Τα σχόλια χρησιμοποιήθηκαν για τη βελτίωση των προβλημάτων.

“Τα προβλήματα που εξέτασα θα ήταν δύσκολα για έναν μεταπτυχιακό φοιτητή χωρίς επαναλαμβανόμενη ανατροφοδότηση από έμπειρο επιβλέποντα. Τα δεδομένα παρουσίαζαν τεχνικά ζητήματα και ζητήματα ποιοτικού ελέγχου, οπότε η επιτυχής ολοκλήρωση της εργασίας απαιτούσε προσεκτική ανάλυση και επίγνωση των πιθανών παγίδων. Δεν επρόκειτο απλώς για εφαρμογή μιας έτοιμης μεθόδου σε καθαρά και καλά επιμελημένα δεδομένα.”

Αλεξάντερ Στράντγουικ Γιανγκ, Επίκουρος Καθηγητής Γενετικής του Ανθρώπου στο UCLA

“Ακόμα κι αν τα σημερινά μοντέλα δεν μπορούν να εκτελέσουν αξιόπιστα ανεξάρτητες αναλύσεις από την αρχή έως το τέλος, όσα αποδίδουν καλά στα προβλήματα του GeneBench-Pro θα μπορούσαν ξεκάθαρα να βοηθήσουν τους ερευνητές να καθορίζουν σωστές ροές εργασίας και να εξερευνούν δεδομένα. Θα μπορούσα να δω αυτό να βελτιώνει σημαντικά τον ρυθμό, την πληρότητα και την αναπαραγωγιμότητα της έρευνας.”

Τζένιφερ Γκράντμαν, Υποψήφια Διδάκτωρ Γενετικής του Ανθρώπου στο UCLA

1 από 2

“Τα προβλήματα που εξέτασα θα ήταν δύσκολα για έναν μεταπτυχιακό φοιτητή χωρίς επαναλαμβανόμενη ανατροφοδότηση από έμπειρο επιβλέποντα. Τα δεδομένα παρουσίαζαν τεχνικά ζητήματα και ζητήματα ποιοτικού ελέγχου, οπότε η επιτυχής ολοκλήρωση της εργασίας απαιτούσε προσεκτική ανάλυση και επίγνωση των πιθανών παγίδων. Δεν επρόκειτο απλώς για εφαρμογή μιας έτοιμης μεθόδου σε καθαρά και καλά επιμελημένα δεδομένα.”

Αλεξάντερ Στράντγουικ Γιανγκ, Επίκουρος Καθηγητής Γενετικής του Ανθρώπου στο UCLA

“Ακόμα κι αν τα σημερινά μοντέλα δεν μπορούν να εκτελέσουν αξιόπιστα ανεξάρτητες αναλύσεις από την αρχή έως το τέλος, όσα αποδίδουν καλά στα προβλήματα του GeneBench-Pro θα μπορούσαν ξεκάθαρα να βοηθήσουν τους ερευνητές να καθορίζουν σωστές ροές εργασίας και να εξερευνούν δεδομένα. Θα μπορούσα να δω αυτό να βελτιώνει σημαντικά τον ρυθμό, την πληρότητα και την αναπαραγωγιμότητα της έρευνας.”

Τζένιφερ Γκράντμαν, Υποψήφια Διδάκτωρ Γενετικής του Ανθρώπου στο UCLA

Αξιολόγηση και βαθμολόγηση

Κάθε πρόβλημα του GeneBench-Pro αποτελεί μια αυτοτελή επιστημονική ανάλυση. Οι πράκτορες αποκτούν πρόσβαση σε έναν απομονωμένο χώρο εργασίας με μια σύντομη προτροπή, αρχεία δεδομένων και ένα τυπικό σύνολο εργαλείων βιοπληροφορικής, που περιλαμβάνει Python, βιβλιοθήκες επιστημονικού υπολογισμού και βασικά πακέτα γονιδιωματικής, όπως το PLINK 2.0, παρότι τα προβλήματα δεν απαιτούν εργαλεία ειδικά για το πεδίο.

Απόφαση οφέλους-κινδύνου για θεραπεία όγκου με καθοδήγηση από δομική παραλλαγή

A molecular tumor board registry contains trial-eligible advanced solid-tumor cases considered for a TXR1-directed inhibitor. Estimate, for tumors with SV-driven TXR1 target-mediated activation at time zero, the marginal effect of TXR1i versus non-TXR1 systemic therapy on week-16 clinical benefit as if all patients had an assessable week-16 visit. Also estimate the 8-week treatment-limiting toxicity/discontinuation risk under TXR1i in the same target population. Report net clinical utility = benefit risk difference (percentage points) - 0.35 * toxicity risk (percentage points), and choose therapy_class_code 1 if TXR1i has positive net utility and 0 otherwise.

Use percentage-point units for all non-code quantities. Positive benefit means TXR1i improves week-16 clinical benefit relative to non-TXR1 systemic therapy.

These data came from a real experiment; you will be graded not just on numerical correctness but the quality of analytical reasoning you exhibit; do not attempt to take any shortcuts.

Return your final answer as exactly one JSON object.
Do not wrap the JSON in markdown.
Do not add prose before or after the JSON.
Do not omit any keys shown in the example.
Return the JSON object in your final answer:

JSON

1{
2  "answer": {
3    "therapy_class_code": <int>,
4    "benefit_rd_pp": <float>,
5    "toxicity_dropout_risk_pp": <float>,
6    "net_clinical_utility_pp": <float>
7  },
8  "reasoning": "<description of method and QC>"
9}

Επειδή ελέγχουμε ολόκληρη τη διαδικασία παραγωγής δεδομένων, μπορούμε να βαθμολογούμε την ορθότητα με ντετερμινιστικό τρόπο έναντι γνωστών στόχων, αποφεύγοντας τη μεταβλητότητα λόγω επιλογής μοντέλου και τις επιδράσεις της φλυαρίας που παρατηρούνται στην τυπική αξιολόγηση βάσει rubric.

Κάθε πρόβλημα συνοδεύεται επίσης από πλούσια μεταδεδομένα, όπως η προβλεπόμενη δομή ανάλυσης, τα συνημμένα αρχεία δεδομένων, μια λεπτομερής πολυσέλιδη μελέτη περίπτωσης και τα αποτελέσματα της αξιολόγησης από ειδικούς. Διαθέτουμε πλήρως ανοιχτά 10 αντιπροσωπευτικές ερωτήσεις του GeneBench-Pro στο Hugging Face⁠(ανοίγει σε νέο παράθυρο), με ένα διαδραστικό περιβάλλον web για την περιήγησή τους. Τέλος, θα παρέχουμε ένα υποσύνολο 50 ερωτήσεων στο Artificial Analysis⁠(ανοίγει σε νέο παράθυρο) για ανεξάρτητη αξιολόγηση από τρίτο μέρος στο άμεσο μέλλον.

Αποτελέσματα

Το ισχυρότερο μοντέλο μας, το GPT‑5.6 Sol, επιτυγχάνει ποσοστό επιτυχίας 28,7% στο υψηλότερο επίπεδο συλλογισμού, ή 31,5% με ενεργοποιημένη τη λειτουργία Pro. Πρόκειται για απότομη αύξηση σε σχέση με την περίοδο κατά την οποία ξεκινήσαμε να δημιουργούμε το αρχικό GeneBench. Τότε, το καλύτερο κορυφαίο μοντέλο μας, το GPT‑5, σημείωνε επίδοση κάτω από 5%. Η πρόοδος σε αυτόν τον δείκτη αξιολόγησης υποδηλώνει ότι τα κορυφαία μοντέλα βελτιώνονται γρήγορα, ακόμη και σε λιγότερο απτές μορφές επιστημονικού συλλογισμού σε επίπεδο συστήματος. Με τον σημερινό ρυθμό, αυτός ο δείκτης αξιολόγησης ενδέχεται να έχει κορεστεί έως το τέλος του έτους.

Τα αποτελέσματα δείχνουν επίσης τον αντίκτυπο της κλιμάκωσης της υπολογιστικής ισχύος κατά τον χρόνο δοκιμής. Στο χαμηλότερο επίπεδο συλλογισμού, το GPT‑5.6 Sol επιτυγχάνει μόνο μονοψήφιο ποσοστό επιτυχίας. Στο υψηλότερο επίπεδο συλλογισμού, το GPT‑5.6 Sol λύνει σχεδόν εξαπλάσιες ερωτήσεις από το GPT‑5.2, χρησιμοποιώντας περίπου τα δύο τρίτα των token.

Οι συγκρίσεις μεταξύ οικογενειών μοντέλων υποδηλώνουν ότι τα μοντέλα GPT συγκαταλέγονται στα ισχυρότερα συστήματα στον επιστημονικό συλλογισμό υψηλού επιπέδου υπό ποσοτική αβεβαιότητα. Το χάσμα απόδοσης μεταξύ του GPT‑5.6, του GPT‑5.5 και κορυφαίων μοντέλων ανοιχτού κώδικα, όπως το GLM 5.2, είναι σημαντικά μεγαλύτερο από ό,τι θα αναμέναμε αν κάναμε προβολή με βάση τους δείκτες αξιολόγησης προγραμματισμού⁠(ανοίγει σε νέο παράθυρο). Αυτό υποδεικνύει ότι τα μοντέλα ανοιχτού κώδικα είναι περισσότερο εξειδικευμένα στον προγραμματισμό παρά στην ευρύτερη ικανότητα συλλογισμού.

Χρησιμοποιήσαμε κορυφαία μοντέλα GPT για να αξιολογήσουμε και να ενισχύσουμε τα προβλήματα κατά την ανάπτυξη. Ως εκ τούτου, υποψιαζόμασταν ότι το GeneBench-Pro μπορεί να είναι μεροληπτικό εις βάρος των μοντέλων GPT σε σχέση με άλλες οικογένειες μοντέλων. Ωστόσο, τα ανταγωνιστικά μοντέλα, στην καλύτερη περίπτωση, ισοφάρισαν την απόδοση του αντίστοιχου μοντέλου GPT κατά τον χρόνο κυκλοφορίας του και συνήθως υστερούσαν σημαντικά.

Αυτά τα αποτελέσματα αξιολόγησης, που φτάνουν έως και το 31,5% στο GPT‑5.6 Sol (Pro), είναι εντυπωσιακά δεδομένης της δυσκολίας των ερωτήσεων του GeneBench-Pro. Σε μια έρευνα, οι αξιολογητές μας εκτίμησαν ότι ένα τυπικό πρόβλημα του GeneBench-Pro θα απαιτούσε περίπου 20-40 ώρες εργασίας από έναν άνθρωπο ειδικό για να ολοκληρωθεί. Με μια συντηρητική εκτίμηση 200 δολαρίων ανά ώρα, το κόστος ανθρώπινης εργασίας για ένα μεμονωμένο πρόβλημα ανέρχεται σε αρκετές χιλιάδες δολάρια. Οι σημερινοί πράκτορες ΤΝ εξακολουθούν να είναι υπερβολικά αναξιόπιστοι για να αντικαταστήσουν τους ανθρώπους ειδικούς, αλλά το χάσμα κόστους είναι μεγάλο, καθώς το κόστος inference ανέρχεται σε μόλις λίγα δολάρια ανά πρόβλημα. Αυτό σημαίνει ότι ακόμη και η μερική αυτοματοποίηση με τις σημερινές δυνατότητες θα μπορούσε να δημιουργήσει ουσιαστική οικονομική και επιστημονική αξία.

“Οι δείκτες αξιολόγησης αντλούν το κίνητρό τους από ένα ευρύ φάσμα βιολογικών ερωτημάτων, αλλά… η πραγματική πρόκληση προκύπτει από τη διερευνητική ανάλυση δεδομένων και τη συλλογιστική πάνω σε αυτές τις ανακαλύψεις: τον εντοπισμό μοτίβων και artifact, καθώς και την απόφαση για το αν τα δεδομένα θα πρέπει να εξαιρεθούν ή να προσαρμοστούν. Αυτό αντικατοπτρίζει τη σύνθετη και ακατάστατη φύση των πραγματικών βιολογικών συνόλων δεδομένων. Η εξέταση αυτών των αξιολογήσεων αναδεικνύει πόσο σημαντικά είναι τα σαφή solver contract για την επίλυση επιστημονικών προβλημάτων με πράκτορες. Διαφορετική διατύπωση της προτροπής ή των προδιαγραφών της εργασίας μπορεί να επηρεάσει σημαντικά το ποιες αναλύσεις θεωρούνται επιτρεπτές.”

Σίριλους Ταν, Μεταδιδακτορικός Ερευνητής στο New York Genome Center

“Μου άρεσαν ως επί το πλείστον [οι ερωτήσεις]. Έτειναν να συνδυάζουν: (1) απαραίτητη γνώση του αντικειμένου, όπως η μεροληψία C>T στο αρχαίο DNA, (2) ασυμφωνίες στα δεδομένα, όπως ανταλλαγές καταγωγής, και (3) γνώση των κατάλληλων αναλυτικών εργαλείων για τη συγκεκριμένη εργασία και του τρόπου υλοποίησής τους. Φάνηκε ότι οι περισσότεροι πράκτορες απέτυχαν στο (2). Δεν είναι αρκετά προσεκτικοί με ζητήματα δεδομένων. Ίσως αυτό να αναδεικνύει μια αδυναμία των σημερινών μοντέλων. Και πολλά βιολογικά δεδομένα παρουσιάζουν ανωμαλίες.”

Λεξ Φλάγκελ, Διευθυντής Επιστήμης Δεδομένων στην Gencove

1 από 2

“Οι δείκτες αξιολόγησης αντλούν το κίνητρό τους από ένα ευρύ φάσμα βιολογικών ερωτημάτων, αλλά… η πραγματική πρόκληση προκύπτει από τη διερευνητική ανάλυση δεδομένων και τη συλλογιστική πάνω σε αυτές τις ανακαλύψεις: τον εντοπισμό μοτίβων και artifact, καθώς και την απόφαση για το αν τα δεδομένα θα πρέπει να εξαιρεθούν ή να προσαρμοστούν. Αυτό αντικατοπτρίζει τη σύνθετη και ακατάστατη φύση των πραγματικών βιολογικών συνόλων δεδομένων. Η εξέταση αυτών των αξιολογήσεων αναδεικνύει πόσο σημαντικά είναι τα σαφή solver contract για την επίλυση επιστημονικών προβλημάτων με πράκτορες. Διαφορετική διατύπωση της προτροπής ή των προδιαγραφών της εργασίας μπορεί να επηρεάσει σημαντικά το ποιες αναλύσεις θεωρούνται επιτρεπτές.”

Σίριλους Ταν, Μεταδιδακτορικός Ερευνητής στο New York Genome Center

“Μου άρεσαν ως επί το πλείστον [οι ερωτήσεις]. Έτειναν να συνδυάζουν: (1) απαραίτητη γνώση του αντικειμένου, όπως η μεροληψία C>T στο αρχαίο DNA, (2) ασυμφωνίες στα δεδομένα, όπως ανταλλαγές καταγωγής, και (3) γνώση των κατάλληλων αναλυτικών εργαλείων για τη συγκεκριμένη εργασία και του τρόπου υλοποίησής τους. Φάνηκε ότι οι περισσότεροι πράκτορες απέτυχαν στο (2). Δεν είναι αρκετά προσεκτικοί με ζητήματα δεδομένων. Ίσως αυτό να αναδεικνύει μια αδυναμία των σημερινών μοντέλων. Και πολλά βιολογικά δεδομένα παρουσιάζουν ανωμαλίες.”

Λεξ Φλάγκελ, Διευθυντής Επιστήμης Δεδομένων στην Gencove

Ωστόσο, το γεγονός ότι τα κορυφαία μοντέλα εξακολουθούν να λύνουν λιγότερα από το ένα τρίτο αυτών των προβλημάτων δείχνει ότι υπάρχουν σημαντικά περιθώρια βελτίωσης. Τα μοντέλα μπορούν να σημειώσουν μερική πρόοδο σε απαιτητικά προβλήματα, αλλά δυσκολεύονται να κλείσουν τον κύκλο των συμπερασμών. Αυτό το μοτίβο αποτυχίας αντικατοπτρίζει την αντίθεση μεταξύ ανθρώπων ειδικών και αρχάριων. Οι ειδικοί χρησιμοποιούν την εμπειρία τους για να πλαισιώσουν το πρόβλημα και να προσαρμόσουν την προσέγγισή τους, ενώ οι αρχάριοι κάνουν παρατηρήσεις αλλά δυσκολεύονται να τις ενσωματώσουν στο ευρύτερο πλαίσιο του προβλήματος.

Πρόβλημα: Φαρμακογονιδιωματική απόκριση χρόνου έως συμβάν με χρονικά μεταβαλλόμενη θεραπεία

Η έναρξη θεραπείας, η γονοτυπικά ειδική απόκριση, η καθυστερημένη φαρμακοδυναμική, οι επισημάνσεις prevalent-user και οι διαχρονικοί βιοδείκτες καθορίζουν το αιτιακό εκτιμητέο μέγεθος επιβίωσης. Μεταδεδομένα προσανατολισμού REF/ALT και κατάστασης outgroup.

Μοτίβο GPT-5.5

Handles treatment timing with a conventional Cox outcome model but does not address treatment-confounder feedback.

Fit a counting-process Cox model with treatment as a time-varying exposure, effective only after treat_start+90 days ... The model included G, treatment×G, baseline severity, age, and sex.

Μοτίβο GPT-5.6 Sol

Uses a more appropriate causal inference method to properly account for treatment-confounder feedback.

Used a new-user marginal structural Cox model: excluded 818 flagged prevalent users, modeled treatment initiation with stabilized inverse-probability weights using baseline covariates and current biomarker, and treated exposure as time-varying with a 90-day efficacy lag.

Η επίτευξη σχεδόν άριστης απόδοσης θα απαιτήσει αξιολογήσεις που μετρούν αξιόπιστα την πρόοδο και εντοπίζουν τα σημεία στα οποία τα μοντέλα εξακολουθούν να αποτυγχάνουν. Δείκτες αξιολόγησης όπως το GeneBench-Pro μπορούν να βοηθήσουν στη μετατροπή μιας ασαφούς έλλειψης ικανότητας σε κάτι που μπορούμε να διαγνώσουμε και να βελτιώσουμε.

Αν οι πράκτορες μπορούν να αυτοματοποιήσουν αξιόπιστα αυτήν την κατηγορία ανάλυσης, θα μπορούσαν να επιταχύνουν σημαντικά την επιστημονική ανακάλυψη. Τα ανθρώπινα γενετικά στοιχεία είναι ήδη κεντρικά για την προτεραιοποίηση στόχων και τη μεταφραστική περαιτέρω διερεύνηση, επειδή οι μηχανισμοί με γενετική υποστήριξη είναι πολύ πιθανότερο να οδηγήσουν σε εγκεκριμένες θεραπείες.

Παράλληλα, το κόστος αλληλούχησης έχει καταρρεύσει και τα σύνολα δεδομένων κλίμακας βιοτράπεζας συνδέουν πλέον μοριακές, φαινοτυπικές πληροφορίες και πληροφορίες από αρχεία υγείας με πρωτοφανές εύρος. Ο περιοριστικός παράγοντας μετατοπίζεται από την παραγωγή δεδομένων στη μετατροπή των πληροφοριών σε αξιοποιήσιμα ευρήματα. Τα μοντέλα που μπορούν να εκτελούν με συνέπεια αναλύσεις τις οποίες σήμερα χειρίζονται ομάδες ανθρώπων ειδικών θα μπορούσαν να μεταμορφώσουν τη βιομηχανική έρευνα, επιταχύνοντας τη διαλογή υποθέσεων, την περαιτέρω διερεύνηση στόχων και τον κύκλο επανάληψης μεταξύ παραγωγής δεδομένων και λήψης αποφάσεων.

Το GeneBench-Pro αποτελεί μια αρχική προσπάθεια αξιολόγησης των πιο αφηρημένων δεξιοτήτων που εμπλέκονται στην ορθή επιστημονική κρίση και τις οποίες διαθέτουν οι έμπειροι ερευνητές. Αυτές οι δεξιότητες τους επιτρέπουν να διαισθάνονται και να εντοπίζουν τις πιο πολλά υποσχόμενες αρχικές αναλύσεις, να επαναλαμβάνουν και να αναθεωρούν τη σκέψη τους όταν τα δεδομένα αντικρούουν τις αρχικές παραδοχές, και να καταλήγουν σε συμπεράσματα από τα οποία μπορεί να εξαρτώνται μεταγενέστερες κλινικές, ακαδημαϊκές ή επιχειρηματικές αποφάσεις.

Αναμένουμε ότι, καθώς οι δυνατότητες των μοντέλων προοδεύουν, οι δείκτες αξιολόγησης που εξετάζουν τις ικανότητες των μοντέλων σε αυτά τα υψηλότερα επίπεδα αφαίρεσης θα γίνονται όλο και πιο χρήσιμοι, πέρα από εκείνους που απλώς ελέγχουν εγκυκλοπαιδικές γνώσεις ή την ικανότητα εκτέλεσης αναλύσεων ρουτίνας.

2026

Συντάκτης

OpenAI

Συνεχίστε να διαβάζετε

Εμφάνιση όλων

A near-autonomous AI chemist improves a challenging reaction

Ένας σχεδόν αυτόνομος χημικός TN βελτιώνει μια απαιτητική αντίδραση στη φαρμακευτική χημεία

Έρευνα17 Ιουν 2026

Παρουσιάζουμε το LifeSciBench

Έρευνα17 Ιουν 2026

Πρόβλεψη συμπεριφοράς μοντέλου πριν από την κυκλοφορία μέσω προσομοίωσης της ανάπτυξης

Έρευνα16 Ιουν 2026