Boljši odgovori, širše razmišljanje: Kaj študentom prinašata ChatGPT in urjenje kritičnega mišljenja
V randomiziranem poskusu z več kot 1000 študenti sta dostop do ChatGPT‑ja in urjenje vzročnega sklepanja na dopolnjujoča se načina izboljšala njihove izdelke.
Kaj se zgodi, ko študenti uporabijo ChatGPT pri nalogi iz resničnega sveta? Ali je večja kakovost dosežena na račun izvirnosti?
Nov poskus raziskovalcev z Univerze Bocconi, izveden v sodelovanju z raziskovalno skupino OpenAI Economic Research, je pokazal različne, a dopolnjujoče se učinke dostopa do ChatGPT‑ja in urjenja kritičnega razmišljanja. Dostop do ChatGPT‑ja je izboljšal kakovost in povezanost študentskih izdelkov, vaja iz vzročnega sklepanja, ki je oblika kritičnega razmišljanja, pa je študente spodbudila k oblikovanju izvirnejših zamisli. Pri študentih, ki so dobili dostop do ChatGPT‑ja in opravili urjenje, sta se pokazala oba učinka.
Rezultati poudarjajo tudi pomen celostnega pristopa k ocenjevanju napredka študentov. Ker UI študentom olajša pripravo dodelanih odgovorov, bo naloge morda treba prilagoditi tako, da bodo merile tudi druge želene lastnosti, kot je izvirnost.
Med poskusom je več kot 1000 študentov prvega letnika dodiplomskega študija na Univerzi Bocconi reševalo praktični poslovni primer: pripraviti so morali trženjska priporočila za trgovino z univerzitetnimi izdelki.
Študenti so bili po terminih predavanj naključno razporejeni v eno od štirih skupin: z dostopom do ChatGPT‑ja (GPT‑4o), z urjenjem vzročnega sklepanja, z obojim ali brez obojega. Vzročno sklepanje je posebna oblika kritičnega razmišljanja, ki povezuje vzrok in posledico ter pojasnjuje, zakaj bi določena rešitev lahko delovala ali ne. Urjenje ni bilo povezano z UI. Študenti so se namesto tega skozi vajo z igro, primeri, vprašanji in povratnimi informacijami učili konceptov vzročnega sklepanja.
Izdelke študentov so po petstopenjski ocenjevalni lestvici ovrednotili usposobljeni človeški ocenjevalci. Poleg tega so raziskovalci z avtomatizirano analizo besedila pri vsakem izdelku izmerili število in raznolikost zamisli, znake vzročnega sklepanja ter podobnost z izdelki treh strokovnjakov.
Študenti z dostopom do ChatGPT‑ja so na petstopenjski lestvici dosegli skoraj celo točko več. Njihovi odgovori so vsebovali več zamisli, sledili jasnejši logiki in bili bolj podobni priporočilom strokovnjakov. Povedano drugače: UI je začetnikom pomagala ustvariti izdelke, ki so delovali bolj strokovno. Pomembno je, da študenti svojih nalog niso preprosto prepustili ChatGPT‑ju. Še vedno so morali presoditi, kaj vprašati, ovrednotiti odgovore in izbrati vsebino končnega izdelka.
Vaja iz kritičnega razmišljanja je prinesla bolj nepričakovan rezultat. Študenti, ki so opravili vajo, so jasneje pojasnili, zakaj bi njihove zamisli lahko delovale in kdaj bi lahko bile neuspešne, vendar po ocenjevalnih merilih niso dosegli višjih ocen. Merila so namreč ocenjevala le, kako dobro so priporočila obravnavala dva običajna trženjska cilja: povečanje prepoznavnosti in obiska univerzitetne trgovine.
Analiza besedila je razkrila še eno prednost, ki je ocenjevalna merila niso zajela. Študenti, ki so opravili vajo, so kot skupina oblikovali širši nabor zamisli, ki so se bolj razlikovale od zamisli njihovih vrstnikov. To je pomembno, ker lahko tradicionalna ocenjevalna merila, kakršna so uporabili v tem poskusu, nagradijo jasen in dobro strukturiran odgovor, vendar spregledajo, ali je študent prišel do zamisli, ki je ni imel nihče drug.
Razpravo o izobraževanju bi zlahka predstavili kot izbiro med tem, ali naj se študenti naučijo samostojno razmišljati ali uporabljati UI.
Ta poskus kaže, da je oboje dragoceno, vendar na različna načina. Dostop do UI je študentom pomagal pripraviti bolj dodelane odgovore z več zamislimi in bolj povezano logiko. Urjenje kritičnega razmišljanja jih je spodbudilo k oblikovanju širšega nabora izvirnih zamisli, preizpraševanju predpostavk in pojasnjevanju, zakaj naj bi njihove zamisli delovale.
Medsebojno se dopolnjujeta.
Pri študentih, ki so dobili dostop do ChatGPT‑ja in opravili vajo iz kritičnega razmišljanja, so se pokazale prednosti obojega. Raznolikost njihovih zamisli je bila primerljiva z raznolikostjo pri študentih, ki so opravili le vajo. Njihove ocene in število zamisli so bili podobni kot pri študentih, ki so imeli samo dostop do ChatGPT‑ja. Njihovi izdelki so pokazali tudi večjo logično povezanost ter več prizadevanja za iskanje pojasnil in preizpraševanje predpostavk. Na splošno je ta skupina napredovala pri najširšem naboru meril.
Naključna zasnova poskusa je raziskovalcem omogočila podrobnejšo proučitev različnih dejavnikov ter ločitev učinkov dostopa do ChatGPT‑ja in vaje iz kritičnega razmišljanja od učinka njune kombinacije. Zato je poskus še posebej dragocen prispevek k hitro rastočemu obsegu raziskav o vplivu UI na študente ter o tem, kako najbolje zasnovati in podpreti njihovo učenje.
Razlika med učinkom vaje na študente in tem, kar so zajela tradicionalna ocenjevalna merila, kaže na širši izziv za izobraževalne ustanove.
Če lahko UI študentom pomaga ustvariti dodelane izdelke na ravni strokovnjakov, nam zgolj končni odgovor pove manj o tem, kaj študent zares razume.
Številni pedagogi se že spoprijemajo s posledico, da bo naloge in načine ocenjevanja morda treba spremeniti. To sledi večdesetletnemu vzorcu skupnega razvoja tehnologije in izobraževanja v podporo spretnosti in veščin, ki jih potrebujejo študenti v sodobni družbi.
Ti rezultati poudarjajo, kako pomembno je študente nagraditi za izdelke, ki odražajo izvirnost, sklepanje in upoštevanje več pristopov, ne le za najbolj običajne ali dodelane odgovore.
Ključna ugotovitev: UI je študentom pomagala izboljšati odgovore. Urjenje kritičnega razmišljanja jim je pomagalo razviti bolj raznolike zamisli. Pri pripravi študentov na prihodnost imata dopolnjujoči se vlogi.
