Bolji odgovori, šire razmišljanje: što studenti dobivaju od ChatGPT‑a i poduke kritičkog mišljenja

Što se događa kada studenti upotrebljavaju ChatGPT za zadatak iz stvarnog svijeta? Dolazi li poboljšanje kvalitete nauštrb originalnosti?

Novi eksperiment istraživača sa Sveučilišta Bocconi, proveden u suradnji s timom OpenAI Economic Research, otkrio je različite, ali komplementarne učinke pristupa ChatGPT‑u i poduke iz kritičkog mišljenja. Pristup ChatGPT‑u poboljšao je kvalitetu i dosljednost studentskih radova, dok je vježba uzročnog rasuđivanja, jednog oblika kritičkog mišljenja, potaknula studente na osmišljavanje originalnijih ideja. Kod studenata koji su dobili i pristup ChatGPT‑u i poduku zabilježena su oba učinka.

Rezultati također naglašavaju važnost cjelovitog pristupa procjeni napretka studenata. Budući da AI studentima olakšava izradu dotjeranih odgovora, zadatke će možda trebati prilagoditi kako bi se mjerile i druge poželjne kvalitete, poput originalnosti. 

Tijekom eksperimenta više od 1000 studenata prve godine prijediplomskog studija na Sveučilištu Bocconi radilo je na stvarnom poslovnom slučaju, izrađujući marketinške preporuke za trgovinu sveučilišnim proizvodima.

Studenti su prema terminima nastave nasumično raspoređeni u jednu od četiriju skupina: s pristupom ChatGPT‑u (GPT‑4o), podukom iz uzročnog rasuđivanja, s oboje ili bez ijednoga. Uzročno rasuđivanje poseban je oblik kritičkog mišljenja koji se odnosi na povezivanje uzroka i posljedice te objašnjavanje zašto bi određeno rješenje moglo ili ne bi moglo funkcionirati. Poduka koju su studenti dobili nije bila povezana s umjetnom inteligencijom, nego ih je kroz vježbu koja je uključivala igru, primjere, pitanja i povratne informacije upoznala s konceptima uzročnog rasuđivanja. 

Studentske radove ocijenili su obučeni ocjenjivači prema ljestvici od pet bodova. Zasebno su istraživači automatiziranom analizom teksta mjerili broj i raznolikost ideja u svakom radu, pokazatelje uzročnog rasuđivanja te sličnost s radovima troje stručnjaka. 

Studenti koji su imali pristup ChatGPT‑u ostvarili su gotovo cijeli bod više na ljestvici od pet bodova. Njihovi su odgovori sadržavali više ideja, slijedili jasniju logiku i bili sličniji preporukama koje su napisali stručnjaci. Drugim riječima, AI je početnicima pomogao izraditi radove koji su djelovali profesionalnije. Važno je istaknuti da studenti nisu jednostavno prepuštali svoje zadatke ChatGPT‑u. I dalje su morali odlučiti što će pitati, procijeniti odgovore i odabrati što će uvrstiti u konačni rad. 

Vježba kritičkog mišljenja donijela je neočekivaniji rezultat. Studenti koji su završili vježbu jasnije su objasnili zašto bi njihove ideje mogle uspjeti i kada bi mogle podbaciti, ali nisu ostvarili više ocjene prema kriterijima koji su mjerili samo koliko dobro preporuke ispunjavaju dva uobičajena marketinška cilja: povećanje prepoznatljivosti i korištenja sveučilišne trgovine.

Analiza teksta otkrila je još jednu korist koju kriteriji ocjenjivanja nisu obuhvatili. Na razini cijele skupine studenti koji su završili vježbu osmislili su raznovrsnije ideje koje su se više razlikovale od ideja njihovih kolega. To je važno jer tradicionalni kriteriji, poput onih upotrijebljenih za ocjenjivanje studenata u ovom eksperimentu, mogu nagraditi jasan i dobro strukturiran odgovor, a pritom zanemariti je li student osmislio ideju koje se nitko drugi nije sjetio.

Raspravu o obrazovanju lako je svesti na izbor između toga trebaju li studenti naučiti samostalno razmišljati ili upotrebljavati AI.

Ovaj eksperiment pokazuje da je oboje vrijedno, ali na različite načine. Pristup umjetnoj inteligenciji pomogao je studentima izraditi dotjeranije odgovore, bogatije idejama i logički dosljednije. Poduka iz kritičkog mišljenja potaknula ih je da razviju širi raspon originalnih ideja, preispituju pretpostavke i objasne zašto bi njihove ideje trebale funkcionirati.

Zajedno se međusobno nadopunjuju. 

Studenti koji su dobili i pristup ChatGPT‑u i vježbu kritičkog mišljenja ostvarili su prednosti obaju pristupa. Raznolikošću ideja bili su izjednačeni sa studentima koji su završili samo vježbu. Njihove ocjene i broj ideja bili su slični rezultatima studenata koji su imali samo pristup ChatGPT‑u. Njihovi su radovi pokazali i veću logičku dosljednost te više nastojanja da pronađu objašnjenja i preispitaju pretpostavke. Ukupno gledano, ta je skupina napredovala prema najširem rasponu mjerila. 

Nasumični ustroj eksperimenta omogućio je istraživačima da detaljno prouče različite čimbenike te razdvoje učinke pristupa ChatGPT‑u i vježbe kritičkog mišljenja od učinka njihove kombinacije. Zbog toga eksperiment daje osobito vrijedan doprinos sve većem broju istraživanja o utjecaju umjetne inteligencije na studente te o tome kako najbolje organizirati i podržati njihovo učenje. 

Razlika između učinka vježbe na studente i onoga što su zabilježili tradicionalni kriteriji ocjenjivanja upućuje na širi izazov s kojim se škole suočavaju. 

Ako AI može pomoći studentima da izrade dotjerane radove nalik stručnima, promatranje samo konačnog odgovora otkriva nam manje o tome što student doista razumije. 

Mnogi se nastavnici već suočavaju s mogućnošću da će zadatke i načine vrednovanja trebati promijeniti. To je nastavak višedesetljetnog razvoja tehnologije i obrazovanja koji se odvija usporedno radi poticanja vještina potrebnih studentima u suvremenom društvu.

Ovi rezultati naglašavaju važnost nagrađivanja studenata za radove koji odražavaju originalnost, rasuđivanje i razmatranje više pristupa, a ne samo za najuobičajenije ili najdotjeranije odgovore. 

Zaključak: AI je studentima pomogao poboljšati odgovore. Poduka iz kritičkog mišljenja pomogla im je proširiti raspon ideja. Ta dva pristupa imaju komplementarne uloge u pripremi studenata za budućnost.