Risposte migliori, pensiero più ampio: i vantaggi di ChatGPT e della formazione sul pensiero critico

Cosa accade quando gli studenti usano ChatGPT per un compito basato su un caso reale? La qualità migliora a scapito dell’originalità?

Un nuovo esperimento condotto da ricercatori dell’Università Bocconi, in collaborazione con il gruppo Economic Research di OpenAI, ha rilevato che l’accesso a ChatGPT e la formazione sul pensiero critico producono effetti distinti e complementari. L’accesso a ChatGPT ha migliorato la qualità e la coerenza del lavoro degli studenti, mentre un esercizio di ragionamento causale, una forma di pensiero critico, li ha portati a generare idee più originali. Gli studenti che hanno avuto sia accesso a ChatGPT sia alla formazione hanno mostrato entrambi gli effetti.

I risultati evidenziano inoltre l’importanza di un approccio olistico alla valutazione dei progressi degli studenti. Poiché l’IA facilita la produzione di risposte ben rifinite, potrebbe essere necessario adattare i compiti per valutare altre qualità desiderate, come l’originalità. 

Durante l’esperimento, più di 1.000 studenti al primo anno di laurea dell’Università Bocconi hanno lavorato su un caso aziendale reale, elaborando proposte di marketing per il negozio di merchandising dell’ateneo.

Gli studenti sono stati suddivisi casualmente, per turno di lezione, in quattro gruppi: accesso a ChatGPT (GPT‑4o), formazione sul ragionamento causale, entrambi o nessuno dei due. Il ragionamento causale è una forma specifica di pensiero critico che consiste nel collegare cause ed effetti e spiegare perché una determinata soluzione possa funzionare o meno. La formazione ricevuta non riguardava l’IA, ma insegnava i concetti del ragionamento causale attraverso un esercizio con un gioco, esempi, domande e riscontri. 

Gli elaborati degli studenti sono stati valutati da esaminatori qualificati mediante una griglia a cinque punti. Separatamente, i ricercatori hanno usato un’analisi automatizzata del testo per misurare il numero e la varietà delle idee in ogni elaborato, gli indicatori di ragionamento causale e la somiglianza con gli elaborati di tre esperti. 

Gli studenti con accesso a ChatGPT hanno ottenuto quasi un punto in più sulla scala a cinque punti. Le loro risposte contenevano più idee, seguivano una logica più chiara ed erano più simili alle proposte formulate dagli esperti. In altre parole, l’IA ha aiutato i principianti a produrre lavori dall’aspetto più professionale. È importante sottolineare che gli studenti non si limitavano ad affidare i compiti a ChatGPT. Dovevano comunque decidere cosa chiedere, valutare le risposte e scegliere cosa includere nell’elaborato finale. 

L’esercizio di pensiero critico ha prodotto un risultato più inatteso. Gli studenti che hanno completato l’esercizio hanno spiegato più chiaramente perché le loro idee potessero funzionare e in quali casi potessero fallire, ma non hanno ottenuto punteggi più alti nella griglia di valutazione, che misurava soltanto quanto bene le proposte affrontassero due obiettivi di marketing standard: aumentare la notorietà e l’utilizzo del negozio dell’università.

L’analisi del testo ha rivelato un altro vantaggio che la griglia non rilevava. Nel complesso, gli studenti che hanno completato l’esercizio hanno prodotto una gamma più ampia di idee, maggiormente differenziate rispetto a quelle dei compagni. È un aspetto importante, perché una griglia tradizionale come quella usata nell’esperimento può premiare una risposta chiara e ben strutturata, senza rilevare se uno studente abbia avuto un’idea diversa da tutte le altre.

Si potrebbe essere tentati di presentare il dibattito sull’istruzione come una scelta tra insegnare agli studenti a pensare autonomamente o a usare l’IA.

Questo esperimento dimostra che entrambe le capacità sono preziose, seppure in modi diversi. L’accesso all’IA ha aiutato gli studenti a produrre risposte più curate, ricche di idee e logicamente coerenti. La formazione sul pensiero critico li ha incoraggiati a sviluppare una gamma più ampia di idee originali, mettere in discussione le ipotesi e spiegare perché le loro idee avrebbero dovuto funzionare.

Insieme, i due approcci si completano a vicenda. 

Gli studenti che hanno avuto sia accesso a ChatGPT sia all’esercizio di pensiero critico hanno mostrato i benefici di entrambi. La varietà delle loro idee era pari a quella degli studenti che avevano completato soltanto l’esercizio. I punteggi ottenuti nella griglia e il numero di idee erano simili a quelli degli studenti che avevano avuto soltanto accesso a ChatGPT. I loro lavori mostravano inoltre una maggiore coerenza logica e più segnali della ricerca di spiegazioni e della messa in discussione delle ipotesi. Nel complesso, questo gruppo ha registrato miglioramenti nella gamma più ampia di parametri. 

Il disegno randomizzato dell’esperimento ha permesso ai ricercatori di approfondire questi diversi fattori, distinguendo gli effetti dell’accesso a ChatGPT e dell’esercizio di pensiero critico da quelli della loro combinazione. L’esperimento offre quindi un contributo particolarmente utile a un filone di ricerca in rapida crescita sull’impatto dell’IA sugli studenti e su come strutturare e sostenere al meglio il loro apprendimento. 

La differenza tra l’impatto dell’esercizio sugli studenti e ciò che è stato rilevato dalla griglia di tipo tradizionale evidenzia una sfida più ampia per le scuole. 

Se l’IA può aiutare gli studenti a produrre lavori curati e simili a quelli degli esperti, osservare soltanto la risposta finale ci dice meno su ciò che uno studente comprende davvero. 

Molti docenti stanno già affrontando le conseguenze di questa realtà: potrebbe essere necessario cambiare compiti e valutazioni. Ciò si inserisce in un’evoluzione congiunta, in corso da decenni, della tecnologia e dell’istruzione, volta a sostenere le competenze di cui gli studenti hanno bisogno nella società moderna.

Questi risultati evidenziano l’importanza di premiare gli studenti per lavori che riflettano originalità, ragionamento e considerazione di molteplici approcci, non soltanto per le risposte più convenzionali o curate. 

In sintesi: l’IA ha aiutato gli studenti a migliorare le proprie risposte. La formazione sul pensiero critico li ha aiutati ad ampliare la gamma delle proprie idee. I due approcci svolgono ruoli complementari nel preparare gli studenti al futuro.