Respostes millors, pensament més ampli: què aporta ChatGPT i la formació en pensament crític

Què passa quan els estudiants utilitzen ChatGPT en una tasca del món real? Les millores de qualitat van en detriment de l'originalitat?

Un nou experiment d'investigadors de la Universitat Bocconi, en col·laboració amb OpenAI Economic Research, ha detectat efectes diferents i complementaris de l'accés a ChatGPT i de la formació en pensament crític. L'accés a ChatGPT va millorar la qualitat i la coherència dels treballs dels estudiants, mentre que un exercici de raonament causal —una forma de pensament crític— els va portar a generar idees més singulars. Els estudiants que van tenir accés a ChatGPT i van rebre la formació van mostrar tots dos efectes.

Els resultats també destaquen la importància d'adoptar un enfocament integral per avaluar el progrés dels estudiants. Com que la IA facilita que els estudiants elaborin respostes ben acabades, és possible que calgui adaptar les tasques perquè mesurin altres qualitats desitjades, com ara l'originalitat. 

Durant l'experiment, més de 1.000 estudiants de primer curs de grau de la Universitat Bocconi van treballar en un cas empresarial real: elaborar recomanacions de màrqueting per a la botiga de productes promocionals de la universitat.

Els estudiants es van assignar aleatòriament, segons l'horari de classe, a un dels quatre grups següents: accés a ChatGPT (GPT‑4o), formació en raonament causal, totes dues opcions o cap de les dues. El raonament causal és una forma específica de pensament crític que consisteix a relacionar causa i efecte i explicar per què una solució determinada pot funcionar o no. La formació que van rebre els estudiants no estava relacionada amb la IA, sinó que ensenyava conceptes de raonament causal mitjançant un exercici amb un joc, exemples, preguntes i comentaris. 

Avaluadors humans amb formació van valorar els treballs dels estudiants mitjançant una rúbrica de cinc punts. D'altra banda, els investigadors van utilitzar una anàlisi automatitzada de text per mesurar el nombre i la varietat d'idees de cada treball, els indicis de raonament causal i la semblança amb els treballs de tres experts. 

Els estudiants que tenien accés a ChatGPT van obtenir gairebé un punt més en l'escala de cinc punts. Les seves respostes incloïen més idees, seguien una lògica més clara i s'assemblaven més a les recomanacions escrites per experts. En altres paraules, la IA va ajudar els principiants a elaborar treballs amb un aspecte més professional. Cal destacar que els estudiants no es limitaven a encarregar les tasques a ChatGPT, sinó que havien de decidir què haurien de preguntar, avaluar les respostes i triar què incloïen en el treball final. 

L'exercici de pensament crític va donar un resultat més inesperat. Els estudiants que van completar l'exercici van explicar amb més claredat per què les seves idees podien funcionar i en quins casos podien fallar, però no van obtenir més puntuació a la rúbrica, que només mesurava fins a quin punt les recomanacions abordaven dos objectius habituals de màrqueting: augmentar el coneixement i l'ús de la botiga de la universitat.

L'anàlisi de text va revelar un altre benefici que la rúbrica no recollia. En conjunt, els estudiants que van completar l'exercici van generar un ventall més ampli d'idees, més diferents de les dels seus companys. Això és important perquè una rúbrica tradicional, com la que es va utilitzar per avaluar els estudiants d'aquest experiment, pot premiar una resposta clara i ben estructurada, però passar per alt si l'estudiant ha tingut una idea que no ha tingut ningú més.

És fàcil plantejar el debat educatiu com una tria entre ensenyar els estudiants a pensar per si mateixos o a utilitzar la IA.

Aquest experiment posa de manifest que totes dues opcions són valuoses de maneres diferents. L'accés a la IA va ajudar els estudiants a elaborar respostes més ben acabades, riques en idees i lògicament coherents. La formació en pensament crític els va animar a desenvolupar un ventall més ampli d'idees originals, qüestionar supòsits i explicar per què les seves idees havien de funcionar.

En conjunt, es complementen. 

Els estudiants que van tenir accés a ChatGPT i van fer l'exercici de pensament crític van mostrar els beneficis de cadascun. La seva varietat d'idees va ser igual que la dels estudiants que només van completar l'exercici. Les seves puntuacions a la rúbrica i el nombre d'idees van ser similars als dels estudiants que només tenien accés a ChatGPT. Els seus treballs també mostraven més coherència lògica i més indicis de cerca d'explicacions i de qüestionament dels supòsits. En general, aquest grup va millorar en el ventall més ampli de mesures. 

El disseny aleatoritzat de l'experiment va permetre als investigadors aprofundir en aquests factors i separar els efectes de l'accés a ChatGPT i de l'exercici de pensament crític dels efectes de combinar-los. Això fa que l'experiment sigui una aportació especialment útil a un corpus de recerca en ràpid creixement sobre l'impacte de la IA en els estudiants i sobre la millor manera d'estructurar i donar suport al seu aprenentatge. 

La diferència entre l'impacte de l'exercici en els estudiants i el que va recollir la rúbrica tradicional apunta a un repte més ampli per als centres educatius. 

Si la IA pot ajudar els estudiants a elaborar treballs ben acabats i semblants als dels experts, fixar-nos només la resposta final ens diu menys sobre el que realment entén cada estudiant. 

Molts docents ja s'enfronten a la possibilitat que calgui canviar les tasques i les avaluacions. Això segueix un patró de dècades d'evolució conjunta de la tecnologia i l'educació per fomentar les habilitats que els estudiants necessiten en la societat actual.

Aquests resultats destaquen la importància de premiar els estudiants per elaborar treballs que reflecteixin originalitat, raonament i consideració de diversos enfocaments, no només per donar les respostes més convencionals o ben acabades. 

Conclusió: la IA va ajudar els estudiants a millorar les respostes. La formació en pensament crític els va ajudar a diversificar les idees. Totes dues tenen funcions complementàries a l'hora de preparar els estudiants per al futur.