Lepší odpovědi, širší myšlení: Co studentům přináší ChatGPT s výukou kritického myšlení

Co se stane, když studenti použijí ChatGPT při řešení úkolu z praxe? Je vyšší kvalita vykoupena menší originalitou?

Nový experiment výzkumníků z Bocconiho univerzity, uskutečněný ve spolupráci s OpenAI Economic Research, odhalil odlišné a vzájemně se doplňující účinky přístupu k ChatGPT a tréninku kritického myšlení. Přístup k ChatGPT zlepšil kvalitu a soudržnost studentských prací, zatímco cvičení v kauzálním uvažování – jedné z forem kritického myšlení – vedlo studenty k vytváření jedinečnějších nápadů. U studentů, kteří získali přístup k ChatGPT i absolvovali výuku, se projevily oba účinky.

Výsledky také zdůrazňují význam komplexního přístupu k hodnocení pokroku studentů. Protože AI studentům usnadňuje vytváření propracovaných odpovědí, může být nutné upravit zadání tak, aby měřila i další žádoucí vlastnosti, například originalitu. 

Během experimentu řešilo více než 1 000 studentů prvního ročníku bakalářského studia na Bocconiho univerzitě reálný obchodní případ: připravovali marketingová doporučení pro univerzitní obchod se suvenýry.

Studenti byli podle rozvrhových skupin náhodně rozděleni do čtyř skupin: s přístupem k ChatGPT (GPT‑4o), s tréninkem kauzálního uvažování, s obojím, nebo ani s jedním. Kauzální uvažování je specifická forma kritického myšlení, která spojuje příčinu s následkem a vysvětluje, proč určité řešení může či nemusí fungovat. Trénink nesouvisel s AI. Studenti se místo toho učili principům kauzálního uvažování prostřednictvím cvičení zahrnujícího hru, příklady, otázky a zpětnou vazbu. 

Odevzdané práce hodnotili vyškolení lidští hodnotitelé pomocí pětibodové hodnoticí škály. Výzkumníci navíc pomocí automatizované analýzy textu měřili počet a rozmanitost nápadů v každé práci, známky kauzálního uvažování a podobnost s pracemi odevzdanými třemi odborníky. 

Studenti s přístupem k ChatGPT získali na pětibodové škále téměř o celý bod více. Jejich odpovědi obsahovaly více nápadů, měly jasnější logiku a více se podobaly doporučením vypracovaným odborníky. Jinými slovy, AI pomohla začátečníkům odvést práci, která působila profesionálněji. Je důležité, že studenti své úkoly jednoduše nepřenechali ChatGPT. Stále se museli rozhodnout, na co se zeptají, vyhodnotit odpovědi a zvolit, co zahrnou do odevzdané práce. 

Cvičení kritického myšlení přineslo překvapivější výsledek. Studenti, kteří cvičení absolvovali, jasněji vysvětlovali, proč by jejich nápady mohly fungovat a kdy by naopak mohly selhat. V hodnocení však vyššího skóre nedosáhli, protože škála měřila pouze to, nakolik doporučení naplňovala dva běžné marketingové cíle: zvýšit povědomí o univerzitním obchodě a jeho využívání.

Analýza textu odhalila další přínos, který hodnoticí škála nezachytila. Studenti, kteří cvičení absolvovali, jako skupina vytvořili rozmanitější škálu nápadů, jež se více odlišovaly – oproti návrhům svých spolužáků. To je důležité, protože tradiční hodnoticí škála, jaká byla v tomto experimentu použita, může ocenit jasnou a dobře strukturovanou odpověď, ale přehlédnout, že student přišel s nápadem, který nikoho jiného nenapadl.

Debatu o vzdělávání může být lákavé stavět jako volbu mezi tím, zda se mají studenti učit samostatně myslet, nebo používat AI.

Tento experiment ukazuje, že obojí má svou hodnotu, každé však jiným způsobem. Přístup k AI pomohl studentům vytvářet propracovanější, nápaditější a logicky soudržnější odpovědi. Výuka kritického myšlení je přivedla k vytváření rozmanitějších originálních nápadů, zpochybňování předpokladů a vysvětlování, proč by jejich návrhy měly fungovat.

Navzájem se doplňují. 

U studentů, kteří získali přístup k ChatGPT a zároveň absolvovali cvičení kritického myšlení, se projevily přínosy obojího. Rozmanitost jejich nápadů odpovídala studentům, kteří absolvovali pouze cvičení. Jejich skóre v hodnocení i počet nápadů byly podobné jako u studentů, kteří měli pouze přístup k ChatGPT. Jejich práce také vykazovaly větší logickou soudržnost a více známek hledání vysvětlení a zpochybňování předpokladů. Celkově se tato skupina zlepšila v nejširším spektru sledovaných ukazatelů. 

Náhodné uspořádání experimentu umožnilo výzkumníkům tyto různé faktory podrobně prozkoumat a oddělit účinky přístupu k ChatGPT a cvičení kritického myšlení od účinku jejich kombinace. Experiment je proto zvlášť přínosný pro rychle se rozvíjející výzkum dopadu AI na studenty i toho, jak co nejlépe strukturovat a podporovat jejich vzdělávání. 

Rozdíl mezi tím, jak cvičení ovlivnilo studenty, a tím, co zachytila tradiční hodnoticí škála, poukazuje na širší problém, kterému školy čelí. 

Pokud AI dokáže studentům pomoci vytvářet propracované práce na úrovni odborníků, samotná konečná odpověď nám o skutečném porozumění studenta řekne méně. 

Mnoho pedagogů se již vyrovnává s důsledkem, že bude možná nutné změnit jejich zadávání a způsob hodnocení. Navazuje to na několik desetiletí trvající vývoj technologií a vzdělávání, jehož cílem je podporovat dovednosti, které studenti potřebují v moderní společnosti.

Tyto výsledky zdůrazňují, že je důležité oceňovat práce, které odrážejí originalitu, uvažování a zvažování různých přístupů, nikoli jen odpovědi, které jsou nejkonvenčnější nebo nejpropracovanější. 

Hlavní závěr: AI pomohla studentům zlepšit odpovědi. Výuka kritického myšlení jim pomohla rozšířit záběr nápadů. Obojí se při přípravě studentů na budoucnost vzájemně doplňuje.