Bedre svar, bredere tænkning: Udbyttet af ChatGPT og træning i kritisk tænkning
I et randomiseret eksperiment med over 1.000 studerende forbedrede adgang til ChatGPT og træning i kausal ræsonnering deres arbejde på hver sin supplerende måde.
Hvad sker der, når studerende bruger ChatGPT til en virkelighedsnær opgave? Sker kvalitetsforbedringer på bekostning af originaliteten?
Et nyt eksperiment fra forskere ved Bocconi University, gennemført i samarbejde med OpenAI Economic Research, viste tydelige og supplerende effekter af adgang til ChatGPT og træning i kritisk tænkning. Adgang til ChatGPT forbedrede kvaliteten og sammenhængen i de studerendes arbejde, mens en øvelse i kausal ræsonnering – en form for kritisk tænkning – fik dem til at udvikle flere unikke idéer. Studerende, der både fik adgang til ChatGPT og deltog i træningen, oplevede begge effekter.
Resultaterne understreger også betydningen af en helhedsorienteret vurdering af de studerendes fremskridt. Når AI gør det lettere for studerende at udarbejde gennemarbejdede svar, kan opgaverne være nødt til at ændre sig, så de også måler andre ønskede kvaliteter såsom originalitet.
Under eksperimentet arbejdede mere end 1.000 førsteårsstuderende på Bocconi University med en virkelighedsnær virksomhedscase, hvor de skulle udarbejde markedsføringsanbefalinger til universitetets profilbutik.
De studerende blev tilfældigt inddelt efter undervisningshold i fire grupper, der fik adgang til ChatGPT (GPT‑4o), træning i kausal ræsonnering, begge dele eller ingen af delene. Kausal ræsonnering er en særlig form for kritisk tænkning, hvor man forbinder årsag og virkning og forklarer, hvorfor en given løsning måske virker eller ikke virker. Træningen var ikke relateret til AI. I stedet lærte de studerende om kausal ræsonnering gennem en øvelse med et spil, eksempler, spørgsmål og feedback.
De studerendes besvarelser blev vurderet af oplærte, menneskelige bedømmere ud fra en fempunktsskala. Derudover brugte forskerne automatiseret tekstanalyse til at måle antallet og variationen af idéer i hver besvarelse, tegn på kausal ræsonnering og ligheden med besvarelser fra tre eksperter.
De studerende med adgang til ChatGPT opnåede næsten et helt point mere på fempunktsskalaen. Deres svar indeholdt flere idéer, fulgte en tydeligere logik og lignede i højere grad anbefalinger skrevet af eksperter. AI hjalp med andre ord nybegyndere med at levere arbejde, der virkede mere professionelt. Det er vigtigt at bemærke, at de studerende ikke blot overlod deres opgaver til ChatGPT. De skulle stadig beslutte, hvad de ville spørge om, vurdere svarene og vælge, hvad der skulle med i den endelige besvarelse.
Øvelsen i kritisk tænkning gav et mere uventet resultat. De studerende, der gennemførte øvelsen, forklarede tydeligere, hvorfor deres idéer kunne virke, og hvornår de kunne slå fejl. De fik dog ikke højere bedømmelser, da kriterierne kun målte, hvor godt anbefalingerne opfyldte to gængse markedsføringsmål: at øge kendskabet til og brugen af universitetets butik.
Tekstanalysen viste en anden fordel, som bedømmelseskriterierne ikke indfangede. Set på tværs af gruppen udviklede de studerende, der gennemførte øvelsen, et bredere udvalg af idéer, som skilte sig tydeligere ud fra deres medstuderendes. Det er vigtigt, fordi traditionelle bedømmelseskriterier som dem, der blev brugt i eksperimentet, kan belønne et klart og velstruktureret svar uden at tage højde for, om en studerende fik en idé, som ingen andre havde.
Det kan være fristende at fremstille uddannelsesdebatten som et valg mellem, om studerende skal lære at tænke selv eller lære at bruge AI.
Eksperimentet viser, at begge dele er værdifulde på hver sin måde. Adgang til AI hjalp de studerende med at udarbejde mere gennemarbejdede, idérige og logisk sammenhængende svar. Træningen i kritisk tænkning tilskyndede dem til at udvikle et bredere udvalg af originale idéer, udfordre antagelser og forklare, hvorfor deres idéer burde virke.
Tilsammen supplerer de hinanden.
Studerende, der både fik adgang til ChatGPT og gennemførte øvelsen i kritisk tænkning, oplevede fordelene ved begge dele. Variationen i deres idéer svarede til den hos studerende, der kun gennemførte øvelsen. Deres bedømmelser og antal idéer lå på niveau med resultaterne hos studerende, der kun havde adgang til ChatGPT. Deres arbejde udviste også en stærkere logisk sammenhæng og flere tegn på, at de søgte forklaringer og udfordrede antagelser. Samlet set opnåede denne gruppe forbedringer på tværs af flest målepunkter.
Eksperimentets randomiserede design gjorde det muligt for forskerne at undersøge de forskellige faktorer nærmere og adskille effekterne af adgang til ChatGPT og øvelsen i kritisk tænkning fra effekten af at kombinere dem. Det gør eksperimentet til et særligt nyttigt bidrag til den hurtigt voksende forskning i AI's betydning for studerende, og hvordan deres læring bedst tilrettelægges og understøttes.
Forskellen mellem øvelsens betydning for de studerende og det, som de traditionelle bedømmelseskriterier indfangede, peger på en større udfordring for uddannelsesinstitutionerne.
Hvis AI kan hjælpe studerende med at levere gennemarbejdet arbejde på ekspertniveau, fortæller det endelige svar alene mindre om, hvad den studerende reelt forstår.
Mange undervisere kæmper allerede med den konsekvens, at opgaver og evalueringer måske skal ændres. Det følger et mønster gennem flere årtier, hvor teknologi og uddannelse har udviklet sig sammen for at understøtte de kompetencer, studerende har brug for i det moderne samfund.
Resultaterne understreger betydningen af at belønne studerende for arbejde, der afspejler originalitet, ræsonnering og overvejelse af flere tilgange – ikke kun for de mest konventionelle eller gennemarbejdede svar.
Konklusionen: AI hjalp de studerende med at forbedre deres svar. Træningen i kritisk tænkning hjalp dem med at udvikle et bredere udvalg af idéer. De to spiller supplerende roller i forberedelsen af de studerende til fremtiden.
