Betere antwoorden, breder denken: wat studenten leren van ChatGPT en kritisch denken

Wat gebeurt er als studenten ChatGPT gebruiken voor een praktijkopdracht? Gaat een hogere kwaliteit ten koste van originaliteit?

Een nieuw experiment van onderzoekers aan de Bocconi-universiteit, in samenwerking met OpenAI Economic Research, toont aan dat toegang tot ChatGPT en training in kritisch denken verschillende, elkaar aanvullende effecten hebben. Toegang tot ChatGPT verbeterde de kwaliteit en samenhang van het werk van studenten, terwijl een oefening in causale redenering, een vorm van kritisch denken, studenten hielp om meer unieke ideeën te bedenken. Bij studenten die zowel toegang tot ChatGPT als de training kregen, waren beide effecten zichtbaar.

De resultaten benadrukken ook hoe belangrijk een brede benadering is bij het beoordelen van de voortgang van studenten. Nu AI het studenten makkelijker maakt om goed uitgewerkte antwoorden te produceren, moeten opdrachten mogelijk worden aangepast om ook andere gewenste kwaliteiten, zoals originaliteit, te meten. 

Tijdens het experiment werkten meer dan 1.000 eerstejaarsstudenten van de Bocconi-universiteit aan een praktijkcasus waarin ze marketingaanbevelingen ontwikkelden voor de merchandise-winkel van de universiteit.

De studenten werden per lesuur willekeurig ingedeeld in een van vier groepen. Ze kregen toegang tot ChatGPT (GPT‑4o), training in causale redenering, beide of geen van beide. Causale redenering is een specifieke vorm van kritisch denken waarbij oorzaak en gevolg met elkaar worden verbonden en wordt uitgelegd waarom een bepaalde oplossing wel of niet kan werken. De training stond los van AI en leerde studenten aan de hand van een oefening met een spel, voorbeelden, vragen en feedback de principes van causale redenering. 

De inzendingen van studenten werden door getrainde menselijke beoordelaars beoordeeld aan de hand van een vijfpuntsschaal. Daarnaast gebruikten de onderzoekers geautomatiseerde tekstanalyse om per inzending het aantal en de variatie aan ideeën, aanwijzingen voor causale redenering en de overeenkomst met inzendingen van drie experts te meten. 

De studenten met toegang tot ChatGPT scoorden bijna een vol punt hoger op de vijfpuntsschaal. Hun antwoorden bevatten meer ideeën, volgden een duidelijkere logica en leken meer op aanbevelingen van experts. Met andere woorden: AI hielp beginners om werk te maken dat professioneler overkwam. Belangrijk is dat studenten hun opdrachten niet simpelweg volledig door ChatGPT lieten maken. Ze moesten nog steeds bepalen wat ze wilden vragen, de antwoorden beoordelen en kiezen wat ze in hun definitieve inzending opnamen. 

De oefening in kritisch denken leverde een onverwachter resultaat op. Studenten die de oefening deden, legden duidelijker uit waarom hun ideeën konden werken en wanneer ze konden mislukken. Toch scoorden ze niet hoger volgens de beoordelingscriteria, die alleen maten hoe goed de aanbevelingen aansloten bij twee gangbare marketingdoelen: de bekendheid en het gebruik van de universiteitswinkel vergroten.

De tekstanalyse bracht nog een voordeel aan het licht dat niet door de beoordelingscriteria werd gemeten. Binnen de groep kwamen studenten die de oefening deden met een breder scala aan ideeën, die sterker verschilden van de ideeën van hun medestudenten. Dat is belangrijk, omdat traditionele beoordelingscriteria, zoals die in dit experiment, een duidelijk en goed gestructureerd antwoord kunnen belonen zonder mee te wegen of een student een idee heeft bedacht dat niemand anders had.

Het is verleidelijk om het onderwijsdebat voor te stellen als een keuze: moeten studenten zelfstandig leren denken of leren omgaan met AI?

Dit experiment laat zien dat beide op verschillende manieren waardevol zijn. Toegang tot AI hielp studenten om beter uitgewerkte antwoorden te geven met meer ideeën en een sterkere logische samenhang. Training in kritisch denken stimuleerde hen om een breder scala aan originele ideeën te ontwikkelen, aannames ter discussie te stellen en uit te leggen waarom hun ideeën zouden werken.

Samen vullen ze elkaar aan. 

Studenten die zowel toegang tot ChatGPT als de oefening in kritisch denken kregen, profiteerden van beide. De variatie in hun ideeën was vergelijkbaar met die van studenten die alleen de oefening deden. Hun beoordelingsscores en aantal ideeën waren vergelijkbaar met die van studenten die alleen toegang tot ChatGPT hadden. Hun werk vertoonde ook een sterkere logische samenhang en meer aanwijzingen dat ze naar verklaringen zochten en aannames ter discussie stelden. Over het geheel genomen boekte deze groep op de meeste maatstaven vooruitgang. 

Dankzij de willekeurige opzet van het experiment konden onderzoekers deze verschillende factoren nader onderzoeken en de effecten van toegang tot ChatGPT en de oefening in kritisch denken onderscheiden van het effect van de combinatie. Daarmee levert het experiment een bijzonder nuttige bijdrage aan de snel groeiende hoeveelheid onderzoek naar de invloed van AI op studenten en naar de beste manier om hun leerproces vorm te geven en te ondersteunen. 

Het verschil tussen de invloed van de oefening op studenten en wat de traditionele beoordelingscriteria vastlegden, wijst op een bredere uitdaging voor scholen. 

Als AI studenten kan helpen om goed uitgewerkt werk op expertniveau te maken, zegt alleen het eindantwoord minder over wat een student werkelijk begrijpt. 

Veel onderwijsprofessionals worstelen al met de implicatie dat opdrachten en beoordelingen mogelijk moeten veranderen. Dit past in een patroon van meerdere decennia waarin technologie en onderwijs zich samen ontwikkelen om de vaardigheden te ondersteunen die studenten in de moderne samenleving nodig hebben.

Deze resultaten benadrukken hoe belangrijk het is om studenten te belonen voor werk dat originaliteit en redenering laat zien en meerdere benaderingen overweegt, in plaats van alleen de meest conventionele of best uitgewerkte antwoorden. 

De conclusie: AI hielp studenten hun antwoorden te verbeteren. Training in kritisch denken hielp hen om veelzijdigere ideeën te ontwikkelen. Beide spelen een aanvullende rol bij de voorbereiding van studenten op de toekomst.