Νέα εργαλεία για την κατανόηση της ΤΝ και μαθησιακά αποτελέσματα

Η εκπαίδευση είναι ένα από τα πιο υποσχόμενα πεδία για την ΤΝ. Με εργαλεία όπως το ChatGPT, η εξατομικευμένη υποστήριξη μάθησης μπορεί να είναι διαθέσιμη σε κάθε μαθητή ή φοιτητή, οπουδήποτε και οποιαδήποτε στιγμή. 

Ωστόσο, ο εκπαιδευτικός τομέας βρίσκεται ακόμη στα πρώτα στάδια κατανόησης του αντίκτυπου της ΤΝ στα μαθησιακά αποτελέσματα. Πέρσι, η ομάδα μας ξεκίνησε να μελετά τη χρήση εργαλείων όπως η Λειτουργία μελέτης⁠ και διαπίστωσε ενθαρρυντικές βελτιώσεις στην απόδοση των μαθητών. Η έρευνά μας όμως ανέδειξε και ένα σημαντικό ερώτημα: πώς μπορούμε να αξιολογήσουμε πώς η ΤΝ επηρεάζει την πρόοδο ενός μαθητευόμενου με την πάροδο του χρόνου, και όχι μόνο σε μια τελική εξέταση;

Πρόκειται για μια ευρύτερη πρόκληση για ολόκληρο το οικοσύστημα. Μέχρι σήμερα, οι περισσότερες ερευνητικές μέθοδοι εστιάζουν σε στενά σήματα απόδοσης, όπως οι βαθμολογίες σε τεστ, και δεν έχουν τη δυνατότητα να αξιολογήσουν πώς οι μαθητές πραγματικά μαθαίνουν με την ΤΝ σε πραγματικά περιβάλλοντα, ούτε πώς αυτή η χρήση επηρεάζει τα αποτελέσματα με την πάροδο του χρόνου. 

Για να καλύψουμε αυτό το κενό, αναπτύξαμε τη Σουίτα Μέτρησης Μαθησιακών Αποτελεσμάτων, ένα πλαίσιο που δημιουργήθηκε σε συνεργασία με το Πανεπιστήμιο του Τάρτου στην Εσθονία και την πρωτοβουλία SCALE στο Stanford Accelerator for Learning, με στόχο να υποστηρίξει τη μακροχρόνια μέτρηση των μαθησιακών αποτελεσμάτων σε διαφορετικά εκπαιδευτικά περιβάλλοντα. 

Η εκτεταμένη επικύρωση βρίσκεται ήδη σε εξέλιξη μέσω μιας τυχαιοποιημένης ελεγχόμενης δοκιμής, ενώ προγραμματίζεται περαιτέρω έρευνα με ιδρυτικούς οργανισμούς του Learning Lab, του οικοσυστήματος έρευνας μάθησης της OpenAI, συμπεριλαμβανομένων ερευνητών από το Πολιτειακό Πανεπιστήμιο της Αριζόνα, το UCL Knowledge Lab και το MIT Media Lab (βασιζόμενη σε προηγούμενες συνεργατικές⁠ μελέτες).

Σήμερα μοιραζόμαστε μια επισκόπηση του τρόπου λειτουργίας αυτού του συστήματος μέτρησης και τους λόγους για τους οποίους είναι σημαντικός. Με την πάροδο του χρόνου, σκοπεύουμε να δημοσιεύσουμε περισσότερη έρευνα και να διαθέσουμε το σύστημα μέτρησης ως δημόσιο πόρο για σχολεία, πανεπιστήμια και εκπαιδευτικά συστήματα σε όλο τον κόσμο.

• Οι σημερινές ερευνητικές μέθοδοι σχετικά με τον αντίκτυπο της ΤΝ στη μάθηση δείχνουν ενθαρρυντικά στοιχεία ως προς την απόδοση, αλλά δεν αποτυπώνουν πλήρως πώς η ΤΝ επηρεάζει τα μαθησιακά αποτελέσματα με την πάροδο του χρόνου.
• Η Σουίτα Μέτρησης Μαθησιακών Αποτελεσμάτων θα παρέχει για πρώτη φορά ένα τυποποιημένο πλαίσιο για μακροχρόνιες μελέτες, βοηθώντας εκπαιδευτικούς, ερευνητές και ιδρύματα να κατανοήσουν πώς η ΤΝ διαμορφώνει τη μάθηση και τα αποτελέσματα σε διαφορετικά περιβάλλοντα.
• Το Learning Lab της OpenAI είναι ένα νέο ερευνητικό οικοσύστημα που επικεντρώνεται στην προώθηση αυτού του έργου. Η OpenAI θα δημοσιεύει ευρήματα μαζί με μια σειρά συνεργατών καθώς το πεδίο συνεχίζει να εξελίσσεται.

Όταν οι μαθητές και οι φοιτητές χρησιμοποιούν εργαλεία ΤΝ για να μελετήσουν και να μάθουν, αυτό μπορεί να σημαίνει πολλά διαφορετικά πράγματα — από το να ζητούν γρήγορες απαντήσεις μέχρι να δουλεύουν βήμα προς βήμα πάνω σε προβλήματα με καθοδήγηση που θυμίζει δάσκαλο. Για να ενθαρρύνουμε τους χρήστες να αλληλεπιδρούν με το ChatGPT με τρόπους που υποστηρίζουν βαθύτερη κατανόηση και ανάπτυξη δεξιοτήτων, η OpenAI εισήγαγε πέρσι τη λειτουργία⁠ μελέτης.  Στο παρασκήνιο, η λειτουργία μελέτης βασίζεται σε προσαρμοσμένες οδηγίες συστήματος που δημιουργήθηκαν σε συνεργασία με εκπαιδευτικούς, επιστήμονες και ειδικούς στην παιδαγωγική, ώστε να αντανακλούν ένα βασικό σύνολο συμπεριφορών που υποστηρίζουν την πραγματική μάθηση και όχι απλώς την παροχή απαντήσεων — όπως σταδιακή υποβοήθηση μάθησης, έλεγχο κατανόησης και καθοδηγούμενη εξάσκηση.

Για να εξετάσουμε αν αυτό το παιδαγωγικά ευθυγραμμισμένο στιλ αλληλεπίδρασης με ΤΝ οδηγεί πράγματι σε καλύτερα μαθησιακά αποτελέσματα, πραγματοποιήσαμε μια τυχαιοποιημένη μελέτη με περισσότερους από 300 φοιτητές που προετοιμάζονταν για εξετάσεις νευροεπιστήμης και μικροοικονομίας. Αν και η ανάλυση βρίσκεται ακόμη σε εξέλιξη, τα πρώτα αποτελέσματα μάς δίνουν εμπιστοσύνη ότι ένα παιδαγωγικά ευθυγραμμισμένο στιλ αλληλεπίδρασης με ΤΝ, που ενθαρρύνεται μέσω λειτουργιών όπως η λειτουργία μελέτης, μπορεί να βελτιώσει τα μαθησιακά αποτελέσματα. Η έρευνα όμως ανέδειξε και μια σημαντική πραγματικότητα: αυτό που πραγματικά έχει σημασία είναι αν αυτά τα οφέλη και οι σχετικές παραγωγικές συμπεριφορές διατηρούνται με την πάροδο του χρόνου.

Σχεδιασμός μελέτης

Οι συμμετέχοντες χωρίστηκαν σε τρεις ομάδες. Μια ομάδα ελέγχου μελέτησε χρησιμοποιώντας παραδοσιακούς διαδικτυακούς πόρους όπως Google Search και YouTube, με τις λειτουργίες επισκόπησης που δημιουργούνται από ΤΝ απενεργοποιημένες, ενώ δύο επιπλέον ομάδες απέκτησαν πρόσβαση σε δύο διαφορετικές εκδοχές της λειτουργίας μελέτης, σχεδιασμένες ώστε να καθοδηγούν τους φοιτητές στη διαδικασία μάθησης με ελαφρώς διαφορετικούς τρόπους. Πριν από την έναρξη της μελέτης συλλέχθηκαν αρχικά κουίζ και ερωτηματολόγια ένταξης, ώστε να ληφθούν υπόψη διαφορές στην προηγούμενη ακαδημαϊκή εμπειρία, στις συνήθειες μελέτης, στην ακαδημαϊκή αυτοπεποίθηση και στην εξοικείωση με εργαλεία ΤΝ. Οι φοιτητές ολοκλήρωναν χρονικά περιορισμένες συνεδρίες στη λειτουργία μελέτης πριν από κάθε εξέταση, ενώ οι δύο εκδοχές της λειτουργίας εναλλάσσονταν μεταξύ των μαθημάτων.

Η διάταξη αυτή σχεδιάστηκε ώστε να αντικατοπτρίζει πραγματικές συνθήκες μελέτης και όχι ένα αυστηρά ελεγχόμενο εργαστηριακό περιβάλλον. Η συμμετοχή δεν συνδεόταν με την απόδοση στις εξετάσεις και δεν χρησιμοποίησαν όλοι οι φοιτητές τη λειτουργία μελέτης στον ίδιο βαθμό κατά τις ονομαστικές συνεδρίες των 40 λεπτών. Αυτό μάς επέτρεψε να μετρήσουμε και να αναφέρουμε αποτελέσματα intention-to-treat (ITT), δηλαδή την επίδραση της παροχής πρόσβασης στο εργαλείο υπό ρεαλιστικές συνθήκες διάθεσης, με άλλα λόγια, την αιτιώδη επίδραση της προσφοράς της λειτουργίας μελέτης, αναγνωρίζοντας ότι η πραγματική χρήση μπορεί να διαφέρει.

Ευρήματα

Μετρήσαμε την απόδοση σε κάθε εξέταση ξεχωριστά. Στην τυχαιοποιημένη μελέτη μας, οι βελτιώσεις δεν ήταν ομοιόμορφες μεταξύ των μαθημάτων και τα επίπεδα χρήσης της Λειτουργίας μελέτης διέφεραν μεταξύ των συμμετεχόντων. 

• Νευροεπιστήμη (κύριο ITT): Παρατηρήσαμε θετικές διαφορές υπέρ της λειτουργίας μελέτης σε σχέση με την ομάδα ελέγχου, όμως τα αποτελέσματα δεν διέφεραν σημαντικά από εκείνα των φοιτητών που μελετούσαν με παραδοσιακούς διαδικτυακούς πόρους. Ορισμένα ζητήματα κατά την αρχική ένταξη και τεχνικά προβλήματα επηρέασαν τον χρόνο μελέτης των φοιτητών που χρησιμοποιούσαν τη λειτουργία μελέτης. 
• Μικροοικονομία (κύριο ITT): Παρατηρήσαμε ουσιαστική βελτίωση στην απόδοση των εξετάσεων για τους φοιτητές που είχαν πρόσβαση στη λειτουργία μελέτης σε σύγκριση με την ομάδα ελέγχου χωρίς ΤΝ — περίπου 15% υψηλότερη βαθμολογία.

Παρότι αυτό αντικατοπτρίζει τη μεταβλητότητα που υπάρχει στις πραγματικές συνθήκες, ανέδειξε και έναν βαθύτερο περιορισμό στον τρόπο με τον οποίο συνήθως μετρώνται τα μαθησιακά αποτελέσματα.

Οι περισσότερες υπάρχουσες προσεγγίσεις αξιολόγησης βασίζονται σε σταθερές παρεμβάσεις που εξετάζονται μέσα σε σύντομα χρονικά διαστήματα, χρησιμοποιώντας ως κύρια σήματα αποτελέσματα όπως βαθμολογίες τεστ ή τελικές εργασίες. Αυτές οι μέθοδοι δεν έχουν σχεδιαστεί για να αποτυπώνουν τον βασικό μηχανισμό μέσω του οποίου η ΤΝ επηρεάζει τη μάθηση στην πράξη: συνεχείς, εξατομικευμένες αλληλεπιδράσεις που εξελίσσονται μαζί με τις στρατηγικές, τις προτιμήσεις και τις συνήθειες μελέτης του μαθητευόμενου. Ούτε αποκαλύπτουν αν οι βελτιώσεις σε μία δεξιότητα, όπως η βραχυπρόθεσμη ανάκληση γνώσεων, συνοδεύονται από συμβιβασμούς σε άλλες, όπως η επιμονή, το αυτόνομο κίνητρο ή η δημιουργική επίλυση προβλημάτων. Ως αποτέλεσμα, δεν καταγράφουν τις μακροχρόνιες γνωστικές επιδράσεις που τελικά καθορίζουν αν η ΤΝ βελτιώνει ουσιαστικά τη μάθηση. 

Επειδή τα εκπαιδευτικά περιβάλλοντα διαφέρουν σημαντικά μεταξύ χωρών, προγραμμάτων σπουδών και θεσμικών στόχων, τα αποτελέσματα μεμονωμένων μελετών σπάνια γενικεύονται σε διαφορετικά συστήματα. Οι προσεγγίσεις μέτρησης πρέπει επομένως να είναι αρκετά ευέλικτες ώστε τα διαφορετικά εκπαιδευτικά συστήματα να μπορούν να ορίζουν τι σημαίνει επιτυχία στο δικό τους πλαίσιο, να αξιολογούν την ΤΝ με βάση τα δικά τους κριτήρια και να προσαρμόζουν αναλόγως τις πρακτικές τους.

Δημιουργία ενός καλύτερου συστήματος μέτρησης 

Με βάση τα ευρήματα από την έρευνα της OpenAI για τη Λειτουργία μελέτης, αναπτύσσουμε ένα δομημένο σύστημα μέτρησης για την αξιολόγηση της επίδρασης της ΤΝ στους μαθητευόμενους σε μεγάλη κλίμακα και για τη δημιουργία ενός μηχανισμού βελτίωσης των μοντέλων με βάση αυτά τα αποτελέσματα. Το σύστημα βασίζεται σε τρία σήματα: πώς συμπεριφέρεται το μοντέλο, πώς ανταποκρίνονται οι μαθητευόμενοι και ποια μετρήσιμα γνωστικά αποτελέσματα προκύπτουν με την πάροδο του χρόνου. Περιλαμβάνει τα εξής: 

• Οδηγίες συστήματος για βελτίωση της συμπεριφοράς του μοντέλου: Χρήση φυσικής γλώσσας για την τροποποίηση της προεπιλεγμένης συμπεριφοράς του μοντέλου ώστε να ευθυγραμμίζεται καλύτερα με συγκεκριμένες παιδαγωγικές προσεγγίσεις.
• Εργαλεία ταξινόμησης αλληλεπιδράσεων μάθησης: Εντοπίζουν αυτόματα «στιγμές μάθησης» μέσα σε πραγματικές, ανωνυμοποιημένες αλληλεπιδράσεις μαθητευόμενου–μοντέλου και επισημαίνουν βασικά χαρακτηριστικά όπως η εμπλοκή και η διόρθωση λαθών.
• Αξιολογητές ποιότητας μάθησης: Αξιολογούν και βαθμολογούν καθεμία από αυτές τις στιγμές μάθησης με βάση το αν ο μαθητευόμενος πέτυχε τον στόχο του και σε ποιον βαθμό η αλληλεπίδραση ακολούθησε ισχυρές παιδαγωγικές αρχές, συμπεριλαμβανομένου του εντοπισμού πιθανών αποτυχιών της διαδικασίας.
• Αξιολογητές μακροχρόνιας μάθησης: Παρακολουθούν τις αλλαγές στις αλληλεπιδράσεις του ίδιου μαθητευόμενου με το μοντέλο με την πάροδο του χρόνου, συμπεριλαμβανομένων της εμπλοκής, της επιμονής και των μεταγνωστικών στρατηγικών, τόσο σε ατομικό όσο και σε ομαδικό επίπεδο.
• Τυποποιημένα γνωστικά και μεταγνωστικά μέτρα: Επικυρωμένα εργαλεία τρίτων που παρέχονται μέσω του ChatGPT πριν, κατά τη διάρκεια και μετά την πρόσβαση, ώστε να καθορίζονται αρχικά σημεία αναφοράς και να μετρώνται αλλαγές σε βασικές δεξιότητες όπως η κριτική σκέψη, η δημιουργικότητα και η μνήμη.

Όταν συνδυάζονται, αναφερόμαστε σε αυτό το σύστημα μέτρησης ως Σουίτα Μέτρησης Μαθησιακών Αποτελεσμάτων. 

Το σύστημα παράγει σημαντικά σήματα που μπορούν να αξιοποιηθούν από το εκπαιδευτικό οικοσύστημα: δομημένες απεικονίσεις στιγμών μάθησης, πίνακες ελέγχου που δείχνουν πώς μεταβάλλονται τα αποτελέσματα με την πάροδο του χρόνου σε διαφορετικές ομάδες, δείκτες απόδοσης του μοντέλου σε σχέση με παιδαγωγικά κριτήρια διδασκαλίας και καθοδήγησης, καθώς και μετρήσεις αποτελεσμάτων ευθυγραμμισμένες με τυποποιημένες αξιολογήσεις και σύντομα ερωτηματολόγια μαθητευόμενων. Όπου είναι διαθέσιμα, μπορούν επίσης να ενσωματωθούν δεδομένα «πραγματικής αναφοράς» που παρέχονται από συνεργάτες, όπως βαθμολογίες εξετάσεων, παρατηρήσεις στην τάξη ή στοιχεία παρουσίας.

Επιτρέπει επίσης στους συνεργάτες μας να κατανοούν βαθύτερα τις γνωστικές επιδράσεις της χρήσης ΤΝ για μάθηση με την πάροδο του χρόνου, καθώς μέσω αυτού του συστήματος μπορούμε να παρακολουθούμε την επίδραση σε ικανότητες όπως:

• Αυτόνομο κίνητρο: Ο βαθμός στον οποίο οι μαθητευόμενοι διαμορφώνουν οι ίδιοι τη μελέτη τους αντί να καθοδηγούνται από το μοντέλο 
• Παραγωγική εμπλοκή: Η συχνότητα, η ποικιλία και η ποιότητα των παιδαγωγικών αλληλεπιδράσεων
• Επιμονή στην εργασία: Ο βαθμός στον οποίο ένας μαθητευόμενος παραμένει και επιμένει μπροστά σε γνωστικές προκλήσεις
• Μεταγνώση: Η συχνότητα και η ποιότητα των προσπαθειών του μαθητευόμενου να σχεδιάζει, να αναστοχάζεται και να παρακολουθεί τον τρόπο με τον οποίο μελετά
• Ανάκληση: Η ακρίβεια με την οποία ένας μαθητευόμενος μπορεί να θυμηθεί περιεχόμενο από προηγούμενες αλληλεπιδράσεις

Αυτό αντανακλά τη συνολική μας προσπάθεια να μη δίνουμε έμφαση μόνο σε στενούς ορισμούς μαθησιακών αποτελεσμάτων, όπως είναι η αύξηση των βαθμολογιών σε τεστ, αλλά στις συνολικές ικανότητες που στηρίζουν τη μάθηση. Αντανακλά επίσης την πεποίθησή μας ότι δεν υπάρχει μία μοναδική λύση για το τι πρέπει να βελτιστοποιείται. Τα εκπαιδευτικά συστήματα και οι εκπαιδευτικοί θα πρέπει να έχουν τη δυνατότητα να καθοδηγούν τους απαραίτητους συμβιβασμούς, σύμφωνα με τις βέλτιστες παιδαγωγικές πρακτικές και προσεγγίσεις.

Πού πηγαίνουμε από εδώ και πέρα

Επικυρώνουμε τη Σουίτα Μέτρησης Μαθησιακών Αποτελεσμάτων μέσω μελετών μεγάλης κλίμακας πριν το διαθέσουμε ευρύτερα. Η εργασία αυτή βρίσκεται ήδη σε εξέλιξη σε συνεργασία με το Πανεπιστήμιο του Τάρτου και την πρωτοβουλία SCALE του Stanford, σε εθνικής κλίμακας συνεργασίες όπως στην Εσθονία, όπου το σύστημα μέτρησης μελετάται με σχεδόν 20.000 μαθητές ηλικίας 16-18 ετών για αρκετούς μήνες. Η χρήση από τους μαθητές θα πραγματοποιηθεί σε στενή συνεργασία με τοπικούς φορείς, ώστε να διασφαλιστεί η ασφάλεια και η ευθυγράμμιση με τα τοπικά προγράμματα σπουδών.

Η εργασία αυτή βασίζεται σε ένα ευρύτερο σώμα συνεργατικής έρευνας που βρίσκεται ήδη σε εξέλιξη. Εκτός από την έρευνα για τα μαθησιακά αποτελέσματα που πραγματοποιείται μέσω των ιδρυτικών συνεργατών της Σουίτας Μέτρησης Μαθησιακών Αποτελεσμάτων, η OpenAI υποστηρίζει μελέτες στη διασταύρωση μάθησης και εργασίας — εξετάζοντας πώς η ΤΝ επηρεάζει τις ακαδημαϊκές πορείες των φοιτητών, τις επαγγελματικές τους επιλογές και τους τρόπους με τους οποίους τα ιδρύματα μπορούν να υποστηρίξουν την υπεύθυνη υιοθέτηση της τεχνολογίας. Η έρευνα αυτή διεξάγεται στο Πανεπιστήμιο Bocconi, στα Innova Schools, στο Tuck School of Business στο Ντάρτμουθ, στο Πολιτειακό Πανεπιστήμιο του Σαν Ντιέγκο, στο Πανεπιστήμιο Stony Brook και σε άλλα ιδρύματα.

Καθώς πραγματοποιούμε μακροχρόνιες μελέτες για το πώς οι μαθητές και οι φοιτητές μαθαίνουν καλύτερα με την ΤΝ, σκοπεύουμε να μοιραζόμαστε τα ευρήματα και να συνεργαζόμαστε με το ευρύτερο εκπαιδευτικό οικοσύστημα ώστε η ΤΝ να ωφελεί τους μαθητευόμενους παντού.

Όσοι ενδιαφέρονται να λαμβάνουν ενημερώσεις για αυτή την εργασία μπορούν να εγγραφούν εδώ⁠.