Bolji odgovori, šire razmišljanje: Šta studenti dobijaju uz ChatGPT i obuku kritičkog mišljenja

Šta se dešava kada studenti koriste ChatGPT za zadatak iz stvarnog svijeta? Dolazi li poboljšanje kvaliteta nauštrb originalnosti?

Novi eksperiment istraživača s Univerziteta Bocconi, proveden u saradnji s timom OpenAI Economic Research, pokazao je da pristup alatu ChatGPT i obuka kritičkog mišljenja imaju različite, ali komplementarne učinke. Pristup alatu ChatGPT poboljšao je kvalitet i koherentnost studentskih radova, dok je vježba kauzalnog rezonovanja, kao oblika kritičkog mišljenja, potaknula studente da osmisle više jedinstvenih ideja. Kod studenata koji su dobili i pristup alatu ChatGPT i obuku uočena su oba učinka.

Rezultati također naglašavaju važnost sveobuhvatnog pristupa procjeni napretka studenata. Budući da AI studentima olakšava izradu dotjeranih odgovora, zadatke će možda trebati prilagoditi kako bi se mjerile i druge poželjne osobine, poput originalnosti. 

Tokom eksperimenta više od 1.000 studenata prve godine dodiplomskog studija na Univerzitetu Bocconi radilo je na stvarnom poslovnom slučaju, razvijajući marketinške preporuke za univerzitetsku prodavnicu suvenira.

Studenti su nasumično, prema terminima nastave, raspoređeni u jednu od četiri grupe koje su dobile pristup alatu ChatGPT (GPT‑4o), obuku iz kauzalnog rezonovanja, oboje ili ništa od navedenog. Kauzalno rezonovanje poseban je oblik kritičkog mišljenja koji povezuje uzrok i posljedicu te objašnjava zašto bi određeno rješenje moglo ili ne bi moglo djelovati. Obuka koju su studenti prošli nije bila povezana s AI-jem, već ih je kroz vježbu koja je obuhvatala igru, primjere, pitanja i povratne informacije podučavala konceptima kauzalnog rezonovanja. 

Studentske radove ocjenjivali su obučeni ocjenjivači prema rubrici s pet nivoa. Zasebno su istraživači automatiziranom analizom teksta mjerili broj i raznovrsnost ideja u svakom radu, znakove kauzalnog rezonovanja i sličnost s radovima troje stručnjaka. 

Studenti koji su imali pristup alatu ChatGPT ostvarili su gotovo cijeli bod više na skali od pet bodova. Njihovi odgovori sadržavali su više ideja, slijedili su jasniju logiku i bili sličniji preporukama stručnjaka. Drugim riječima, AI je početnicima pomogao da izrade radove koji djeluju profesionalnije. Važno je naglasiti da studenti nisu jednostavno prepuštali svoje zadatke alatu ChatGPT. I dalje su morali odlučiti šta će pitati, procijeniti odgovore i odabrati šta će uvrstiti u konačni rad. 

Vježba kritičkog mišljenja donijela je neočekivaniji rezultat. Studenti koji su završili vježbu jasnije su objasnili zašto bi njihove ideje mogle uspjeti i kada bi mogle podbaciti, ali nisu ostvarili više rezultate prema rubrici za ocjenjivanje. Njome se mjerilo samo koliko dobro preporuke ispunjavaju dva standardna marketinška cilja: povećanje prepoznatljivosti i korištenja univerzitetske prodavnice.

Analiza teksta otkrila je još jednu korist koju rubrika nije obuhvatila. Na nivou cijele grupe, studenti koji su završili vježbu osmislili su raznovrsnije ideje koje su se više razlikovale od ideja njihovih kolega. To je važno jer tradicionalna rubrika, poput one korištene za ocjenjivanje studenata u ovom eksperimentu, može nagraditi jasan i dobro strukturiran odgovor, a zanemariti činjenicu da je student osmislio ideju koju niko drugi nije imao.

Primamljivo je raspravu o obrazovanju svesti na izbor između toga trebaju li studenti naučiti samostalno razmišljati ili koristiti AI.

Ovaj eksperiment pokazuje da je i jedno i drugo vrijedno, ali na različite načine. Pristup AI-ju pomogao je studentima da izrade dotjeranije odgovore, bogatije idejama i logički koherentnije. Obuka kritičkog mišljenja potaknula ih je da razviju širi raspon originalnih ideja, preispituju pretpostavke i objasne zašto bi njihove ideje trebale djelovati.

Zajedno se međusobno nadopunjuju. 

Studenti koji su dobili i pristup alatu ChatGPT i vježbu kritičkog mišljenja pokazali su koristi jednog i drugog. Raznovrsnost njihovih ideja bila je jednaka kao kod studenata koji su završili samo vježbu. Njihove ocjene prema rubrici i broj ideja bili su slični rezultatima studenata koji su imali samo pristup alatu ChatGPT. Njihovi radovi također su pokazali veću logičku koherentnost i više dokaza o traženju objašnjenja i preispitivanju pretpostavki. Ukupno gledano, ova grupa napredovala je prema najširem rasponu mjerenih pokazatelja. 

Randomizirani dizajn eksperimenta omogućio je istraživačima da podrobnije ispitaju različite faktore i odvoje učinke pristupa alatu ChatGPT i vježbe kritičkog mišljenja od učinka njihove kombinacije. Zbog toga ovaj eksperiment predstavlja posebno vrijedan doprinos sve brojnijim istraživanjima o utjecaju AI-ja na studente te o najboljim načinima organiziranja i podržavanja njihovog učenja. 

Razlika između učinka vježbe na studente i onoga što je obuhvatila tradicionalna rubrika ukazuje na širi izazov s kojim se škole suočavaju. 

Ako AI može pomoći studentima da izrade dotjerane radove na nivou stručnjaka, sam konačni odgovor otkriva manje o tome šta student zaista razumije. 

Mnogi nastavnici već razmatraju mogućnost da će zadatke i načine ocjenjivanja trebati promijeniti. To je nastavak višedecenijskog razvoja tehnologije i obrazovanja koji se odvija uporedo kako bi se podržale vještine potrebne studentima u savremenom društvu.

Ovi rezultati naglašavaju koliko je važno nagraditi studente za radove koji odražavaju originalnost, rezonovanje i razmatranje više pristupa, a ne samo za najkonvencionalnije ili najdotjeranije odgovore. 

Zaključak: AI je studentima pomogao da poboljšaju svoje odgovore. Obuka kritičkog mišljenja pomogla im je da prošire raspon svojih ideja. Oboje ima komplementarnu ulogu u pripremi studenata za budućnost.