Bättre svar, bredare tänkande: Vad studenter får ut av ChatGPT och kritiskt tänkande

Vad händer när studenter använder ChatGPT för en verklig uppgift? Sker kvalitetsförbättringarna på bekostnad av originaliteten?

Ett nytt experiment av forskare vid Bocconi-universitetet, i samarbete med OpenAI Economic Research, visade att tillgång till ChatGPT och träning i kritiskt tänkande gav tydliga och kompletterande effekter. Tillgång till ChatGPT förbättrade kvaliteten och stringensen i studenternas arbeten, medan en övning i kausalt resonemang – en form av kritiskt tänkande – fick dem att ta fram fler unika idéer. Studenter som både fick tillgång till ChatGPT och genomgick träningen uppvisade båda effekterna.

Resultaten belyser också vikten av ett helhetsperspektiv när studenters utveckling bedöms. När AI gör det enklare för studenter att skapa välformulerade svar kan uppgifterna behöva anpassas för att mäta andra önskvärda egenskaper, såsom originalitet. 

Under experimentet arbetade över 1 000 förstaårsstudenter vid Bocconi-universitetet med ett verklighetsnära affärsfall där de skulle ta fram marknadsföringsrekommendationer för universitetets profilbutik.

Studenterna fördelades slumpmässigt, klassvis, i en av fyra grupper som fick tillgång till ChatGPT (GPT‑4o), träning i kausalt resonemang, både och eller ingetdera. Kausalt resonemang är en särskild form av kritiskt tänkande som handlar om att koppla samman orsak och verkan och förklara varför en viss lösning kan fungera eller inte. Träningen var inte kopplad till AI. I stället fick studenterna lära sig principer för kausalt resonemang genom en övning med ett spel, exempel, frågor och återkoppling. 

Studenternas inlämningar bedömdes av utbildade mänskliga bedömare utifrån en femgradig bedömningsmatris. Forskarna använde även automatiserad textanalys för att separat mäta antalet idéer och variationen i varje inlämning, tecken på kausalt resonemang samt likheten med tre experters inlämningar. 

Studenterna som hade tillgång till ChatGPT fick nästan en hel poäng mer på den femgradiga skalan. Deras svar innehöll fler idéer, följde en tydligare logik och liknade i högre grad rekommendationer skrivna av experter. AI hjälpte med andra ord nybörjare att skapa arbeten som framstod som mer professionella. Viktigt är att studenterna inte bara överlät sina uppgifter åt ChatGPT. De behövde fortfarande avgöra vad de skulle fråga, utvärdera svaren och välja vad som skulle ingå i den slutliga inlämningen. 

Övningen i kritiskt tänkande gav ett mer oväntat resultat. Studenterna som genomförde övningen förklarade tydligare varför deras idéer kunde fungera och när de kunde misslyckas. De fick dock inte högre poäng enligt bedömningsmatrisen, som endast mätte hur väl rekommendationerna uppfyllde två vanliga marknadsföringsmål: att öka kännedomen om och användningen av universitetets butik.

Textanalysen visade en annan fördel som bedömningsmatrisen inte fångade. Sett till hela gruppen tog studenterna som genomförde övningen fram ett bredare spektrum av idéer som tydligare skilde sig från kurskamraternas. Detta är viktigt eftersom en traditionell bedömningsmatris, som den som användes för att bedöma studenterna i experimentet, kan premiera ett tydligt och välstrukturerat svar men missa om en student har kommit på en idé som ingen annan haft.

Det kan vara frestande att framställa utbildningsdebatten som ett val mellan att studenter ska lära sig tänka själva och att de ska lära sig använda AI.

Experimentet visar att båda är värdefulla på olika sätt. Tillgång till AI hjälpte studenterna att skapa mer välformulerade, idérika och logiskt sammanhängande svar. Träningen i kritiskt tänkande uppmuntrade dem att utveckla ett bredare spektrum av originella idéer, ifrågasätta antaganden och förklara varför idéerna borde fungera.

Tillsammans kompletterar de varandra. 

Studenter som både fick tillgång till ChatGPT och genomförde övningen i kritiskt tänkande fick fördelarna av båda. Variationen i deras idéer motsvarade den hos studenter som enbart genomförde övningen. Deras poäng enligt bedömningsmatrisen och antalet idéer liknade resultaten för studenter som enbart hade tillgång till ChatGPT. Deras arbeten uppvisade också starkare logisk stringens och fler tecken på att de sökte förklaringar och ifrågasatte antaganden. Sammantaget förbättrades denna grupp inom flest mätområden. 

Experimentets randomiserade upplägg gjorde det möjligt för forskarna att undersöka dessa olika faktorer och skilja effekterna av tillgång till ChatGPT och övningen i kritiskt tänkande från effekten av att kombinera dem. Det gör experimentet till ett särskilt värdefullt bidrag till den snabbt växande forskningen om hur AI påverkar studenter och hur deras lärande bäst kan struktureras och stödjas. 

Skillnaden mellan övningens faktiska påverkan på studenterna och det som fångades av den traditionella bedömningsmatrisen pekar på en större utmaning för skolorna. 

Om AI kan hjälpa studenter att skapa välformulerade arbeten på expertnivå säger en bedömning av enbart slutresultatet mindre om vad studenten faktiskt förstår. 

Många lärare brottas redan med följden att uppgifter och bedömningar kan behöva förändras. Det följer ett flera decennier långt mönster där teknik och utbildning utvecklas tillsammans för att främja de färdigheter som studenter behöver i dagens samhälle.

Resultaten belyser vikten av att belöna studenter för arbeten som visar originalitet, resonemang och förmåga att överväga flera angreppssätt – inte bara för de mest konventionella eller välformulerade svaren. 

Slutsatsen: AI hjälpte studenterna att förbättra sina svar. Träningen i kritiskt tänkande hjälpte dem att bredda sitt idéspektrum. De fyller kompletterande roller i att förbereda studenterna för framtiden.