Lepsze odpowiedzi, szersze myślenie: co daje studentom ChatGPT i trening krytycznego myślenia

Co się dzieje, gdy studenci korzystają z ChatGPT podczas wykonywania zadania opartego na realnym problemie? Czy poprawa jakości odbywa się kosztem oryginalności?

Nowy eksperyment przeprowadzony przez badaczy z Uniwersytetu Bocconiego we współpracy z zespołem OpenAI Economic Research wykazał, że dostęp do ChatGPT i trening krytycznego myślenia przynoszą odmienne, lecz uzupełniające się korzyści. Dostęp do ChatGPT poprawił jakość i spójność prac studentów, a trening rozumowania przyczynowego — jednej z form krytycznego myślenia — pomógł im wpadać na bardziej oryginalne pomysły. U studentów, którzy mieli dostęp do ChatGPT i przeszli trening, zaobserwowano oba efekty.

Wyniki podkreślają również znaczenie całościowego podejścia do oceny postępów studentów. Ponieważ AI ułatwia studentom tworzenie dopracowanych odpowiedzi, zadania mogą wymagać dostosowania tak, aby mierzyły też inne pożądane cechy, takie jak oryginalność. 

Podczas eksperymentu ponad 1000 studentów pierwszego roku studiów licencjackich na Uniwersytecie Bocconiego analizowało realny przypadek biznesowy i opracowywało rekomendacje marketingowe dla uczelnianego sklepu z gadżetami.

Studentów losowo przydzielono całymi grupami zajęciowymi do jednej z czterech kategorii: z dostępem do ChatGPT (GPT‑4o), z treningiem rozumowania przyczynowego, z obiema formami wsparcia lub bez żadnej z nich. Rozumowanie przyczynowe to szczególna forma krytycznego myślenia, która polega na łączeniu przyczyn ze skutkami i wyjaśnianiu, dlaczego dane rozwiązanie może zadziałać lub nie. Trening nie dotyczył AI. Studenci poznawali pojęcia związane z rozumowaniem przyczynowym w ramach ćwiczenia wykorzystującego grę, przykłady, pytania i informacje zwrotne. 

Prace studentów oceniały przeszkolone osoby według pięciopunktowych kryteriów. Niezależnie od tego badacze wykorzystali automatyczną analizę tekstu, aby zmierzyć liczbę i różnorodność pomysłów w każdej pracy, oznaki rozumowania przyczynowego oraz podobieństwo do prac trojga ekspertów. 

Studenci z dostępem do ChatGPT uzyskali w pięciopunktowej skali wynik wyższy o niemal cały punkt. Ich odpowiedzi zawierały więcej pomysłów, opierały się na przejrzystszej logice i były bardziej podobne do rekomendacji opracowanych przez ekspertów. Innymi słowy, AI pomogła początkującym tworzyć prace, które wyglądały bardziej profesjonalnie. Co ważne, studenci nie powierzali po prostu swoich zadań ChatGPT. Nadal musieli zdecydować, o co zapytać, ocenić odpowiedzi i wybrać treści, które znajdą się w ostatecznej wersji pracy. 

Trening krytycznego myślenia przyniósł bardziej zaskakujący rezultat. Studenci, którzy wzięli w nim udział, jaśniej wyjaśniali, dlaczego ich pomysły mogą się sprawdzić i w jakich sytuacjach mogą zawieść. Nie uzyskali jednak wyższych ocen według kryteriów uwzględniających jedynie to, jak dobrze rekomendacje realizowały dwa standardowe cele marketingowe: zwiększenie rozpoznawalności uczelnianego sklepu i korzystania z jego oferty.

Analiza tekstu ujawniła inną korzyść, której nie uwzględniały kryteria oceny. W ujęciu całej grupy studenci, którzy ukończyli trening, przedstawili bardziej zróżnicowane pomysły, wyraźniej odróżniające się od propozycji innych uczestników. To istotne, ponieważ tradycyjne kryteria, takie jak te zastosowane w eksperymencie, mogą premiować jasną, dobrze uporządkowaną odpowiedź, a jednocześnie pomijać fakt, że student wpadł na pomysł, którego nie miał nikt inny.

Debatę o edukacji łatwo sprowadzić do wyboru: czy studenci powinni uczyć się samodzielnego myślenia, czy korzystania z AI.

Ten eksperyment pokazuje, że obie umiejętności są wartościowe, choć każda w inny sposób. Dostęp do AI pomógł studentom tworzyć bardziej dopracowane, bogatsze w idee i logicznie spójniejsze odpowiedzi. Trening krytycznego myślenia zachęcił ich do rozwijania szerszego wachlarza oryginalnych pomysłów, kwestionowania założeń i wyjaśniania, dlaczego ich koncepcje powinny się sprawdzić.

Oba te elementy wzajemnie się uzupełniają. 

Studenci, którzy mieli dostęp do ChatGPT i przeszli trening krytycznego myślenia, uzyskali korzyści z obu form wsparcia. Różnorodność ich pomysłów dorównywała tej obserwowanej u studentów, którzy skorzystali tylko z treningu. Ich oceny i liczba pomysłów były podobne jak u studentów, którzy mieli jedynie dostęp do ChatGPT. Ich prace cechowały się również większą spójnością logiczną oraz częstszym poszukiwaniem wyjaśnień i kwestionowaniem założeń. Ogólnie rzecz biorąc, grupa ta poprawiła wyniki w najszerszym zakresie wskaźników. 

Losowy przydział uczestników pozwolił badaczom szczegółowo przeanalizować poszczególne czynniki i oddzielić wpływ dostępu do ChatGPT oraz trening krytycznego myślenia od efektu ich połączenia. Dzięki temu eksperyment jest szczególnie cennym wkładem w szybko rozwijające się badania nad wpływem AI na studentów oraz nad najlepszymi sposobami organizowania i wspierania ich nauki. 

Różnica między wpływem treningu na studentów a tym, co uwzględniały tradycyjne kryteria oceny, wskazuje na szersze wyzwanie stojące przed szkołami. 

Jeśli AI może pomagać studentom tworzyć dopracowane prace podobne do prac ekspertów, sama ocena końcowej odpowiedzi mówi mniej o tym, co student naprawdę rozumie. 

Wielu nauczycieli już mierzy się z tym, że zadania i sposoby oceniania mogą wymagać zmian. Wpisuje się to w trwający od dziesięcioleci proces wspólnej ewolucji technologii i edukacji, służący rozwijaniu umiejętności potrzebnych studentom we współczesnym społeczeństwie.

Wyniki te podkreślają, jak ważne jest nagradzanie studentów za prace świadczące o oryginalności, rozumowaniu i uwzględnianiu wielu podejść, a nie tylko za najbardziej konwencjonalne lub dopracowane odpowiedzi. 

Najważniejszy wniosek: AI pomogła studentom tworzyć lepsze odpowiedzi. Trening krytycznego myślenia pomógł im poszerzyć zakres pomysłów. Oba elementy odgrywają uzupełniające się role w przygotowaniu studentów na przyszłość.