Lepšie odpovede, širšie myslenie: Čo prináša ChatGPT a tréning kritického myslenia

Čo sa stane, keď študenti použijú ChatGPT pri riešení úlohy z reálneho sveta? Zlepšuje sa kvalita na úkor originality?

Nový experiment výskumníkov z Bocconiho univerzity v spolupráci s OpenAI Economic Research odhalil odlišné a vzájomne sa dopĺňajúce účinky prístupu k ChatGPT a tréningu kritického myslenia. Prístup k ChatGPT zlepšil kvalitu a súdržnosť prác študentov, zatiaľ čo cvičenie zamerané na kauzálne uvažovanie – jednu z foriem kritického myslenia – im pomohlo vytvoriť viac jedinečných nápadov. U študentov, ktorí získali prístup k ChatGPT aj tréning, sa prejavili oba účinky.

Výsledky zároveň poukazujú na význam komplexného prístupu k hodnoteniu pokroku študentov. Keďže AI uľahčuje študentom vytváranie prepracovaných odpovedí, zadania sa možno budú musieť prispôsobiť tak, aby merali aj iné žiaduce vlastnosti, napríklad originalitu. 

Počas experimentu pracovalo viac než 1 000 študentov prvého ročníka bakalárskeho štúdia na Bocconiho univerzite na reálnom obchodnom prípade: pripravovali marketingové odporúčania pre univerzitnú predajňu reklamných predmetov.

Študenti boli náhodne rozdelení podľa vyučovacích skupín do jednej zo štyroch skupín: s prístupom k ChatGPT (GPT‑4o), s tréningom kauzálneho uvažovania, s oboma alebo bez oboch. Kauzálne uvažovanie je osobitná forma kritického myslenia, ktorá spája príčinu s následkom a vysvetľuje, prečo určité riešenie môže alebo nemusí fungovať. Tréning, ktorý študenti absolvovali, nesúvisel s AI. Prostredníctvom cvičenia zahŕňajúceho hru, príklady, otázky a spätnú väzbu ich učil princípy kauzálneho uvažovania. 

Odovzdané práce hodnotili vyškolení posudzovatelia podľa päťbodovej hodnotiacej škály. Výskumníci zároveň pomocou automatizovanej analýzy textu merali počet a rozmanitosť nápadov v každej práci, prejavy kauzálneho uvažovania a podobnosť s prácami troch odborníkov. 

Študenti s prístupom k ChatGPT získali na päťbodovej škále takmer o celý bod viac. Ich odpovede obsahovali viac nápadov, mali jasnejšiu logiku a viac sa podobali odporúčaniam od odborníkov. Inými slovami, AI pomohla začiatočníkom vytvoriť prácu, ktorá pôsobila profesionálnejšie. Dôležité je, že študenti svoje zadania jednoducho neprenechali ChatGPT. Stále sa museli rozhodnúť, na čo sa opýtajú, vyhodnotiť odpovede a vybrať, čo zahrnú do odovzdanej práce. 

Cvičenie kritického myslenia prinieslo nečakanejší výsledok. Študenti, ktorí absolvovali cvičenie, jasnejšie vysvetľovali, prečo by ich nápady mohli fungovať a kedy by mohli zlyhať. V hodnotiacej škále však nezískali viac bodov, pretože merala iba to, ako dobre odporúčania plnili dva bežné marketingové ciele: zvýšiť povedomie o univerzitnej predajni a jej využívanie.

Analýza textu odhalila ďalší prínos, ktorý hodnotiaca škála nezachytila. Študenti, ktorí absolvovali cvičenie, ako skupina vytvorili širšiu škálu nápadov, ktoré sa výraznejšie odlišovali od nápadov ich spolužiakov. Je to dôležité, pretože tradičná hodnotiaca škála, aká sa použila aj v tomto experimente, môže odmeniť jasnú a dobre štruktúrovanú odpoveď, no prehliadnuť, či študent prišiel s nápadom, ktorý nemal nikto iný.

Diskusiu o vzdelávaní môže byť lákavé vnímať ako voľbu medzi tým, či sa majú študenti naučiť myslieť samostatne, alebo používať AI.

Tento experiment ukazuje, že oboje je hodnotné, každé však iným spôsobom. Prístup k AI pomohol študentom vytvárať prepracovanejšie, nápaditejšie a logicky súdržnejšie odpovede. Tréning kritického myslenia ich podnietil rozvíjať širšiu škálu originálnych nápadov, spochybňovať predpoklady a vysvetľovať, prečo by ich nápady mali fungovať.

Spoločne sa vzájomne dopĺňajú. 

U študentov, ktorí získali prístup k ChatGPT aj absolvovali cvičenie kritického myslenia, sa prejavili prínosy oboch. Rozmanitosť ich nápadov bola rovnaká ako u študentov, ktorí absolvovali iba cvičenie. Ich skóre na hodnotiacej škále aj počet nápadov boli podobné ako u študentov, ktorí mali iba prístup k ChatGPT. Ich práce zároveň vykazovali väčšiu logickú súdržnosť a viac dôkazov o hľadaní vysvetlení a spochybňovaní predpokladov. Celkovo táto skupina dosiahla zlepšenie v najširšom spektre ukazovateľov. 

Náhodné usporiadanie experimentu umožnilo výskumníkom podrobne preskúmať jednotlivé faktory a oddeliť účinky prístupu k ChatGPT a cvičenia kritického myslenia od účinku ich kombinácie. Experiment je preto mimoriadne užitočným príspevkom k rýchlo rastúcemu množstvu výskumov o vplyve AI na študentov a o tom, ako čo najlepšie usporiadať a podporovať ich vzdelávanie. 

Rozdiel medzi vplyvom cvičenia na študentov a tým, čo zachytila tradičná hodnotiaca škála, poukazuje na širšiu výzvu, ktorej školy čelia. 

Ak AI dokáže študentom pomôcť vytvárať prepracované práce na úrovni odborníkov, samotná konečná odpoveď nám prezradí menej o tom, čomu študent naozaj rozumie. 

Mnohí pedagógovia už riešia dôsledok, že zadania a hodnotenie sa možno budú musieť zmeniť. Nadväzuje to na desaťročia trvajúci vývoj technológií a vzdelávania, ktoré sa spoločne menia tak, aby podporovali zručnosti potrebné v modernej spoločnosti.

Tieto výsledky zdôrazňujú, že je dôležité odmeňovať študentov za práce, ktoré preukazujú originalitu, uvažovanie a zohľadnenie viacerých prístupov, nielen za najbežnejšie či najprepracovanejšie odpovede. 

Hlavné zistenie: AI pomohla študentom zlepšiť odpovede. Tréning kritického myslenia im pomohol rozšíriť záber nápadov. Oba prístupy sa pri príprave študentov na budúcnosť vzájomne dopĺňajú.