Nuovi strumenti per comprendere l'IA e i risultati dell'apprendimento

L’istruzione è uno degli ambiti più promettenti per l’IA. Grazie a strumenti come ChatGPT, il supporto all’apprendimento personalizzato può essere disponibile per ogni studente, ovunque e in qualsiasi momento.

Ma il settore dell’istruzione è ancora nelle fasi iniziali della comprensione dell’impatto dell’IA sui risultati di apprendimento. L’anno scorso il nostro team ha iniziato a studiare l’uso di strumenti come modalità studio⁠ e ha osservato miglioramenti promettenti nei risultati degli studenti. Ma la nostra ricerca ha sollevato anche una domanda importante: come possiamo valutare in che modo l’IA influenzi i progressi di uno studente nel tempo, e non solo in un esame finale?

Questa è una sfida più ampia per l’ecosistema. Ad oggi, la maggior parte dei metodi di ricerca si concentra su indicatori di performance limitati, come i punteggi dei test, e non è in grado di valutare come gli studenti apprendano realmente con l’IA in contesti reali e in che modo questo utilizzo influenzi i risultati nel tempo. 

Per colmare questa lacuna, abbiamo sviluppato la Learning Outcomes Measurement Suite, un framework creato con l’Università di Tartu in Estonia e con la SCALE Initiative dello Stanford Accelerator for Learning per supportare la misurazione longitudinale dei risultati di apprendimento in diversi contesti educativi. 

È in corso un’ampia validazione tramite uno studio controllato randomizzato e sono previste ulteriori ricerche con le organizzazioni fondatrici del Learning Lab, l’ecosistema di ricerca sull’apprendimento di OpenAI, tra cui ricercatori dell’Arizona State University, dell’UCL Knowledge Lab e del MIT Media Lab (sulla base di precedenti studi collaborativi⁠).

Oggi presentiamo una panoramica di come funziona la suite di misurazione e perché è importante. Nel tempo intendiamo pubblicare ulteriori ricerche e rendere disponibile la suite di misurazione come risorsa pubblica per scuole, università e sistemi educativi in tutto il mondo.

• Gli attuali metodi di ricerca sull’impatto dell’IA sull’apprendimento mostrano risultati promettenti in termini di prestazioni, ma non restituiscono un quadro completo di come l’IA influenzi i risultati di apprendimento nel tempo.
• La Learning Outcomes Measurement Suite offrirà per la prima volta un framework standard per studi longitudinali che aiutano docenti, ricercatori e istituzioni a comprendere in che modo l’IA influenzi l’apprendimento e i risultati in contesti diversi.
• Il Learning Lab di OpenAI è un nuovo ecosistema di ricerca dedicato a portare avanti questo lavoro. OpenAI pubblicherà i risultati insieme a diversi partner man mano che il settore continuerà a evolversi.

Quando gli studenti usano strumenti di IA per studiare e apprendere, questo può assumere molte forme: dal cercare risposte rapide con l’IA all’usarla per affrontare i problemi passo dopo passo con una guida simile a quella di un tutor. Per incoraggiare gli utenti a usare ChatGPT in modi che favoriscano una comprensione più profonda e lo sviluppo di competenze, OpenAI l'anno scorso ha introdotto la modalità studio⁠.  La modalità studio si basa su istruzioni di sistema personalizzate sviluppate in collaborazione con insegnanti, ricercatori ed esperti di pedagogia. Queste istruzioni riflettono una serie di pratiche didattiche fondamentali che favoriscono un apprendimento autentico, non solo la fornitura di risposte: supporto progressivo all’apprendimento, verifiche di comprensione e pratica guidata.

Per verificare se questo tipo di interazione con l’IA, allineata ai principi pedagogici, porti a risultati di apprendimento migliori, abbiamo condotto uno studio randomizzato con oltre 300 studenti universitari che si preparavano agli esami di neuroscienze e microeconomia. Sebbene l’analisi sia ancora in corso, i risultati preliminari indicano che uno stile di interazione con l’IA allineato ai principi pedagogici, promosso da funzionalità come la modalità studio, può migliorare i risultati di apprendimento. Ma questa ricerca ha anche evidenziato un aspetto fondamentale: ciò che conta davvero è se i miglioramenti e i comportamenti produttivi associati si mantengano nel tempo.

Progettazione dello studio

I partecipanti sono stati assegnati a uno di tre gruppi: il gruppo di controllo ha studiato utilizzando risorse online tradizionali come Google Search e YouTube, con le funzionalità di panoramica generate dall’IA disattivate; altri due gruppi hanno avuto accesso a una delle due varianti di modalità studio, progettate per guidare gli studenti nel processo di apprendimento in modi leggermente diversi. I quiz iniziali e i sondaggi di onboarding sono stati raccolti in anticipo per tenere conto delle differenze nell’esposizione a corsi precedenti, nelle abitudini di studio, nella fiducia nelle proprie capacità accademiche e nella familiarità con gli strumenti di IA. Gli studenti hanno svolto sessioni di modalità studio a tempo prima di ogni esame, con le due varianti della modalità studio distribuite in modo controbilanciato tra le diverse materie.

Questa configurazione è stata progettata per riflettere condizioni di studio reali invece di un ambiente di laboratorio rigidamente controllato. La partecipazione non era legata al rendimento negli esami e non tutti gli studenti hanno utilizzato la modalità studio nella stessa misura durante le sessioni nominali di 40 minuti. Questo ci ha permesso di misurare e riportare gli effetti intention-to-treat (ITT): l’impatto dell’accesso allo strumento in condizioni realistiche di implementazione. In altre parole, l’impatto causale dell’offerta della modalità studio, riconoscendo che il coinvolgimento può variare nella pratica.

Risultati

Abbiamo misurato le prestazioni su ciascun esame separatamente. Nel nostro studio randomizzato, i miglioramenti non sono stati uniformi tra le diverse materie, e i livelli di coinvolgimento con la modalità studio sono variati tra i partecipanti. 

• Neuroscienze (ITT primario): abbiamo osservato differenze positive a favore della modalità studio rispetto al controllo, ma i risultati non erano distinguibili da quelli degli studenti che studiavano con risorse online tradizionali. Alcuni problemi tecnici e di onboarding hanno influito sul tempo dedicato allo studio dagli studenti che utilizzavano la modalità studio. 
• Microeconomia (ITT primario): abbiamo osservato miglioramenti significativi nelle prestazioni d’esame tra gli studenti con accesso alla modalità studio rispetto al gruppo di controllo senza IA, con un punteggio circa del 15% più alto.

Sebbene ciò rifletta la variabilità nelle condizioni reali, ha evidenziato una limitazione più profonda nel modo in cui i risultati di apprendimento vengono generalmente misurati.

La maggior parte degli approcci di valutazione esistenti si basa su interventi fissi valutati su brevi periodi di tempo, utilizzando risultati come i punteggi dei test o i saggi finali come indicatori principali. Questi metodi non sono progettati per cogliere il meccanismo centrale con cui l’IA influenza l’apprendimento nella pratica: interazioni continue e personalizzate che evolvono insieme alle strategie, preferenze e abitudini di studio dello studente. Né evidenziano se i miglioramenti in una capacità, come la memoria a breve termine, possano accompagnarsi a compromessi in altre, come la perseveranza, la motivazione autonoma o la risoluzione creativa dei problemi. Di conseguenza, non colgono gli effetti cognitivi longitudinali che, in ultima analisi, determinano se l’IA migliori davvero l’apprendimento. 

Poiché gli ambienti di apprendimento variano molto tra paesi, curricula e obiettivi istituzionali, i risultati di studi isolati raramente sono generalizzabili tra sistemi diversi. Gli approcci di misurazione devono quindi essere sufficientemente flessibili da permettere ai diversi sistemi educativi di definire cosa significhi successo nel proprio contesto, valutare l’IA rispetto ai propri standard e adattare di conseguenza le misurazioni.

Costruire un sistema di misurazione migliore 

Sulla base delle evidenze emerse dalla ricerca di OpenAI sulla modalità studio, stiamo sviluppando un sistema di misurazione strutturato per valutare su larga scala l’impatto dell’IA sugli studenti e creare un meccanismo per migliorare i modelli sulla base di questi risultati. Si basa su tre segnali: come si comporta il modello, come rispondono gli studenti e quali risultati cognitivi misurabili emergono nel tempo. Include: 

• Istruzioni di sistema per perfezionare il comportamento del modello: uso del linguaggio naturale per modificare il comportamento predefinito del modello e allinearlo meglio a specifici approcci pedagogici.
• Classificatori delle interazioni di apprendimento: rilevano automaticamente i “momenti di apprendimento” nelle interazioni reali e anonimizzate tra studente e modello e ne etichettano le caratteristiche principali, come il coinvolgimento e la correzione degli errori.
• Valutatori della qualità dell'apprendimento: valutano e assegnano un punteggio a ciascuno di questi momenti di apprendimento in base al fatto che lo studente abbia raggiunto il proprio obiettivo e al grado in cui l'interazione ha seguito solidi principi pedagogici, inclusa l'identificazione delle modalità di errore.
• Valutatori dell’apprendimento longitudinale: monitorano nel tempo i cambiamenti nelle interazioni dello stesso studente con il modello, inclusi coinvolgimento, perseveranza e strategie metacognitive, sia a livello individuale sia di coorte.
• Misure cognitive e metacognitive standardizzate: strumenti convalidati da terze parti, somministrati tramite ChatGPT prima, durante e dopo l’accesso, per stabilire valori di riferimento e misurare i cambiamenti in capacità fondamentali come pensiero critico, creatività e memoria.

Nel loro insieme, chiamiamo questo sistema di misurazione Learning Outcomes Measurement Suite. 

Produce segnali importanti che l’ecosistema educativo può utilizzare: viste strutturate dei momenti di apprendimento, dashboard che mostrano come i risultati cambiano nel tempo tra le diverse coorti, indicatori delle prestazioni del modello rispetto a rubriche di insegnamento e tutoraggio e misure dei risultati allineate a valutazioni standardizzate e brevi questionari per gli studenti. Ove disponibile, può integrare dati di riferimento forniti dai partner, come punteggi degli esami, osservazioni in classe o dati di presenza.

Inoltre consente ai nostri partner di comprendere nel tempo gli impatti cognitivi più profondi dell’uso dell’IA nell’apprendimento, poiché questo sistema permette anche di monitorare l’impatto su capacità quali:

• Motivazione autonoma: il grado in cui gli studenti guidano autonomamente il proprio percorso di studio invece di essere guidati dal modello 
• Coinvolgimento produttivo: frequenza, varietà e qualità delle interazioni pedagogiche
• Persistenza nel compito: il grado in cui uno studente rimane concentrato e affronta le sfide cognitive fino a superarle
• Metacognizione: frequenza e qualità degli sforzi dello studente nel pianificare, riflettere e monitorare i propri approcci allo studio
• Richiamo: accuratezza con cui uno studente ricorda i contenuti delle interazioni precedenti

Questo riflette il nostro impegno a non concentrarci solo su definizioni ristrette dei risultati di apprendimento, come l’aumento dei punteggi nei test, ma sulle capacità più ampie che sono alla base dell’apprendimento. Riflette inoltre la nostra convinzione che non esista una soluzione unica su cosa ottimizzare: sistemi educativi e insegnanti devono poter gestire i compromessi in linea con le migliori pratiche pedagogiche.

Prossimi passi

Stiamo convalidando la Learning Outcomes Measurement Suite attraverso studi su larga scala prima di renderla ampiamente disponibile. Questo lavoro è in corso con l’Università di Tartu e la SCALE Initiative di Stanford, insieme a partner nazionali come l’Estonia, dove la suite di misurazione viene studiata con quasi 20.000 studenti di età compresa tra 16 e 18 anni per diversi mesi. L’uso da parte degli studenti avverrà in stretta collaborazione con i responsabili locali, per garantire sicurezza e allineamento con i programmi scolastici locali.

Questo lavoro si inserisce in un più ampio programma di ricerca collaborativa in corso. Oltre alla ricerca sui risultati condotta con i partner fondatori del Learning Lab, OpenAI sostiene studi all’intersezione tra apprendimento e lavoro, che analizzano come l’IA influenzi i percorsi accademici degli studenti, le loro decisioni di carriera e il modo in cui le istituzioni possono supportarne un’adozione responsabile. Questa ricerca si svolge presso l’Università Bocconi, Innova Schools, la Tuck School of Business di Dartmouth, la San Diego State University, la Stony Brook University e altre istituzioni.

Con il proseguire degli studi a lungo termine su come gli studenti apprendono meglio con l’IA, intendiamo condividere i risultati e collaborare con l’intero ecosistema educativo per garantire che l’IA porti benefici agli studenti ovunque.

Chi desidera ricevere aggiornamenti su questo lavoro può iscriversi qui⁠.