Bedre svar, bredere tenkning: Hva studenter får ut av ChatGPT og trening i kritisk tenkning

Hva skjer når studenter bruker ChatGPT til en oppgave fra virkeligheten? Går kvalitetsforbedringene på bekostning av originaliteten?

Et nytt eksperiment utført av forskere ved Bocconi-universitetet i samarbeid med OpenAI Economic Research viste at tilgang til ChatGPT og trening i kritisk tenkning hadde ulike virkninger som utfylte hverandre. Tilgang til ChatGPT forbedret kvaliteten og sammenhengen i studentenes arbeid, mens en øvelse i kausal resonnering – en form for kritisk tenkning – fikk studentene til å utvikle flere unike ideer. Studentene som både fikk tilgang til ChatGPT og opplæringen, oppnådde begge effektene.

Resultatene fremhever også hvor viktig det er å vurdere studentenes fremgang helhetlig. Når KI gjør det enklere for studenter å lage gjennomarbeidede svar, må oppgavene kanskje tilpasses for å måle andre ønskede egenskaper, for eksempel originalitet. 

Under eksperimentet arbeidet over 1000 førsteårsstudenter ved Bocconi-universitetet med en reell forretningssituasjon der de skulle utarbeide markedsføringsanbefalinger for universitetets profilbutikk.

Studentene ble tilfeldig fordelt etter undervisningsgruppe i én av fire grupper som fikk tilgang til ChatGPT (GPT‑4o), trening i kausal resonnering, begge deler eller ingen av delene. Kausal resonnering er en bestemt form for kritisk tenkning som handler om å knytte årsak til virkning og forklare hvorfor en løsning kan fungere eller ikke. Opplæringen studentene fikk, var ikke knyttet til KI. I stedet lærte de om kausal resonnering gjennom en øvelse med et spill, eksempler, spørsmål og tilbakemeldinger. 

Studentenes besvarelser ble vurdert av opplærte, menneskelige sensorer etter en fempunktsskala. I tillegg brukte forskerne automatisert tekstanalyse til å måle antallet og variasjonen av ideer i hver besvarelse, tegn på kausal resonnering og likheten med besvarelsene fra tre eksperter. 

Studentene som hadde tilgang til ChatGPT, fikk nesten ett helt poeng mer på fempunktsskalaen. Svarene deres inneholdt flere ideer, fulgte en tydeligere logikk og lignet mer på anbefalinger skrevet av eksperter. KI hjalp med andre ord nybegynnere med å levere arbeid som fremsto som mer profesjonelt. Det er viktig å merke seg at studentene ikke bare overlot oppgavene sine til ChatGPT. De måtte fortsatt bestemme hva de skulle spørre om, vurdere svarene og velge hva de ville ta med i den endelige besvarelsen. 

Øvelsen i kritisk tenkning ga et mer uventet resultat. Studentene som gjennomførte øvelsen, forklarte tydeligere hvorfor ideene deres kunne fungere, og når de kunne mislykkes. De fikk imidlertid ikke bedre resultater etter vurderingskriteriene, som bare målte hvor godt anbefalingene oppfylte to vanlige markedsføringsmål: økt kjennskap til og bruk av universitetsbutikken.

Tekstanalysen avdekket en annen fordel som vurderingskriteriene ikke fanget opp. Samlet sett utviklet studentene som gjennomførte øvelsen, et bredere spekter av ideer som skilte seg tydeligere fra ideene til medstudentene. Dette er viktig fordi tradisjonelle vurderingskriterier, som dem som ble brukt i dette eksperimentet, kan belønne et tydelig og godt strukturert svar uten å fange opp om en student kom på en idé ingen andre hadde.

Det kan være fristende å fremstille utdanningsdebatten som et valg mellom at studentene skal lære å tenke selv, eller lære å bruke KI.

Dette eksperimentet viser at begge deler er verdifulle på ulike måter. Tilgang til KI hjalp studentene med å lage mer gjennomarbeidede svar med flere ideer og bedre logisk sammenheng. Treningen i kritisk tenkning oppmuntret dem til å utvikle et bredere spekter av originale ideer, utfordre antakelser og forklare hvorfor ideene burde fungere.

Til sammen utfyller de hverandre. 

Studentene som både fikk tilgang til ChatGPT og gjennomførte øvelsen i kritisk tenkning, oppnådde fordelene ved begge deler. De hadde like stor variasjon i ideene som studentene som bare gjennomførte øvelsen. Resultatene deres etter vurderingskriteriene og antallet ideer tilsvarte resultatene til studentene som bare hadde tilgang til ChatGPT. Arbeidet deres hadde også bedre logisk sammenheng og viste flere tegn på at de søkte etter forklaringer og utfordret antakelser. Samlet sett viste denne gruppen fremgang på flest måleområder. 

Eksperimentets randomiserte utforming gjorde det mulig for forskerne å undersøke de ulike faktorene nærmere og skille virkningene av ChatGPT‑tilgang og øvelsen i kritisk tenkning fra virkningen av å kombinere dem. Dermed gir eksperimentet et særlig nyttig bidrag til den raskt voksende forskningen på hvordan KI påvirker studenter, og hvordan læringen deres best kan organiseres og støttes. 

Forskjellen mellom hvordan øvelsen påvirket studentene, og hva de tradisjonelle vurderingskriteriene fanget opp, peker på en større utfordring for skolene. 

Hvis KI kan hjelpe studenter med å levere gjennomarbeidet arbeid på ekspertnivå, sier det endelige svaret alene mindre om hva studenten faktisk forstår. 

Mange undervisere arbeider allerede med konsekvensen av at oppgaver og vurderingsformer kanskje må endres. Dette føyer seg inn i et flere tiår langt mønster der teknologi og utdanning utvikler seg sammen for å fremme ferdighetene studentene trenger i et moderne samfunn.

Resultatene fremhever hvor viktig det er å belønne studenter for arbeid som viser originalitet, resonnering og vurdering av flere tilnærminger – ikke bare de mest konvensjonelle eller gjennomarbeidede svarene. 

Konklusjonen: KI hjalp studentene med å forbedre svarene sine. Trening i kritisk tenkning hjalp dem med å utvikle et bredere spekter av ideer. De to spiller utfyllende roller i å forberede studentene på fremtiden.