Geresni atsakymai, platesnis mąstymas: ką studentams suteikia ChatGPT ir kritinio mąstymo mokymai

Kas nutinka, kai studentai, atlikdami realią praktinę užduotį, naudojasi ChatGPT? Ar darbo kokybė gerėja originalumo sąskaita?

Naujas Bocconi universiteto tyrėjų eksperimentas, atliktas bendradarbiaujant su „OpenAI Economic Research“, atskleidė skirtingą, bet vienas kitą papildantį prieigos prie ChatGPT ir kritinio mąstymo mokymų poveikį. Prieiga prie ChatGPT pagerino studentų darbų kokybę ir nuoseklumą, o priežastinio protavimo – vienos iš kritinio mąstymo formų – užduotis paskatino studentus kurti daugiau unikalių idėjų. Studentų, kurie ir galėjo naudotis ChatGPT, ir dalyvavo mokymuose, darbuose pasireiškė abu šie poveikiai.

Rezultatai taip pat pabrėžia visapusiško požiūrio svarbą vertinant studentų pažangą. Kadangi DI padeda studentams lengviau parengti nugludintus atsakymus, užduotis gali tekti pritaikyti taip, kad jomis būtų vertinamos ir kitos pageidaujamos savybės, pavyzdžiui, originalumas. 

Per eksperimentą daugiau nei 1 000 Bocconi universiteto pirmo kurso bakalauro studentų nagrinėjo realų verslo atvejį ir rengė rinkodaros rekomendacijas universiteto atributikos parduotuvei.

Pagal užsiėmimų laiką studentai buvo atsitiktinai suskirstyti į keturias grupes: gavusius prieigą prie ChatGPT (GPT‑4o), dalyvavusius priežastinio protavimo mokymuose, gavusius ir prieigą, ir mokymus arba negavusius nei vieno, nei kito. Priežastinis protavimas yra konkreti kritinio mąstymo forma, kai susiejamos priežastys ir pasekmės bei aiškinamasi, kodėl tam tikras sprendimas gali būti veiksmingas arba neveiksmingas. Studentams skirti mokymai nebuvo susiję su DI. Per užduotį, kurią sudarė žaidimas, pavyzdžiai, klausimai ir grįžtamasis ryšys, jie mokėsi priežastinio protavimo principų. 

Studentų darbus pagal penkių balų vertinimo kriterijus vertino parengti vertintojai. Atskirai tyrėjai, pasitelkę automatinę teksto analizę, vertino kiekviename darbe pateiktų idėjų skaičių ir įvairovę, priežastinio protavimo požymius bei panašumą į trijų ekspertų darbus. 

Prieigą prie ChatGPT turėję studentai pagal penkių balų skalę surinko beveik visu balu daugiau. Jų atsakymuose buvo daugiau idėjų, mintys dėstytos logiškiau, o rekomendacijos buvo panašesnės į parengtas ekspertų. Kitaip tariant, DI padėjo naujokams parengti profesionalesnius darbus. Svarbu tai, kad studentai nebuvo tiesiog pavedę ChatGPT atlikti savo užduotis. Jie vis tiek turėjo nuspręsti, ko klausti, įvertinti atsakymus ir pasirinkti, ką įtraukti į galutinį darbą. 

Kritinio mąstymo užduotis davė netikėtesnį rezultatą. Užduotį atlikę studentai aiškiau paaiškino, kodėl jų idėjos galėtų pasiteisinti ir kokiomis aplinkybėmis jos galėtų būti neveiksmingos, tačiau pagal vertinimo kriterijus daugiau balų nesurinko. Šiais kriterijais vertinta tik tai, kaip gerai rekomendacijomis siekta dviejų įprastų rinkodaros tikslų: didinti universiteto parduotuvės žinomumą ir naudojimąsi ja.

Teksto analizė atskleidė dar vieną naudą, kurios vertinimo kriterijai neapėmė. Užduotį atlikę studentai visoje grupėje pateikė įvairesnių idėjų, kurios labiau skyrėsi nuo jų bendramokslių pasiūlymų. Tai svarbu, nes tradiciniai vertinimo kriterijai, kaip ir taikyti šio eksperimento studentams, gali padėti geriau įvertinti aiškų ir tinkamos struktūros atsakymą, tačiau neatsižvelgti į tai, ar studentas pasiūlė idėją, kurios nesugalvojo niekas kitas.

Diskusiją apie švietimą gali kilti pagunda pateikti kaip pasirinkimą: ar studentai turėtų mokytis mąstyti savarankiškai, ar naudotis DI.

Šis eksperimentas rodo, kad abu gebėjimai yra vertingi, tik skirtingais aspektais. Prieiga prie DI padėjo studentams rengti labiau nugludintus, daugiau idėjų apimančius ir logiškai nuoseklesnius atsakymus. Kritinio mąstymo mokymai skatino juos plėtoti įvairesnes originalias idėjas, kvestionuoti prielaidas ir paaiškinti, kodėl jų idėjos turėtų pasiteisinti.

Taigi šios priemonės papildo viena kitą. 

Studentų, kurie ir galėjo naudotis ChatGPT, ir atliko kritinio mąstymo užduotį, darbuose atsiskleidė abiejų priemonių nauda. Jų idėjų įvairovė prilygo tik užduotį atlikusių studentų rezultatams. Pagal vertinimo kriterijus surinkti balai ir idėjų skaičius buvo panašūs į studentų, kurie tik naudojosi ChatGPT. Jų darbai taip pat buvo logiškai nuoseklesni ir juose dažniau buvo ieškoma paaiškinimų bei kvestionuojamos prielaidos. Apskritai ši grupė pagerino rezultatus pagal daugiausia vertintų rodiklių. 

Atsitiktinių imčių eksperimento modelis leido tyrėjams išsamiau išnagrinėti skirtingus veiksnius ir atskirti prieigos prie ChatGPT bei kritinio mąstymo užduoties poveikį nuo jų derinio poveikio. Todėl šis eksperimentas ypač reikšmingai papildo sparčiai gausėjančius tyrimus apie DI poveikį studentams ir geriausius būdus organizuoti bei palaikyti jų mokymąsi. 

Skirtumas tarp užduoties poveikio studentams ir to, ką atspindėjo tradiciniai vertinimo kriterijai, rodo platesnį mokykloms kylantį iššūkį. 

Jei DI gali padėti studentams parengti nugludintus, ekspertų darbus primenančius atsakymus, vien galutinis atsakymas mažiau atskleidžia, ką studentas iš tiesų supranta. 

Daugelis pedagogų jau svarsto, kaip spręsti dėl to kylančią būtinybę keisti užduotis ir vertinimą. Tai atitinka jau kelis dešimtmečius matomą tendenciją, kai technologijos ir švietimas vystosi drauge, kad padėtų ugdyti šiuolaikinei visuomenei reikalingus studentų gebėjimus.

Šie rezultatai pabrėžia, kaip svarbu įvertinti studentų darbų originalumą, protavimą ir skirtingų požiūrių apsvarstymą, o ne tik įprasčiausius ar labiausiai nugludintus atsakymus. 

Svarbiausia išvada: DI padėjo studentams pagerinti atsakymus. Kritinio mąstymo mokymai padėjo praplėsti jų idėjas. Abi šios priemonės atlieka viena kitą papildančius vaidmenis rengiant studentus ateičiai.