Jobb válaszok, sokszínűbb gondolkodás: a ChatGPT és a kritikai képzés előnyei

Mi történik, amikor a diákok egy valós életből vett feladathoz használják a ChatGPT‑t? A minőség javulása az eredetiség rovására megy?

A Bocconi Egyetem kutatói az OpenAI Economic Research közreműködésével végzett új kísérletükben azt találták, hogy a ChatGPT‑hez való hozzáférés és a kritikai gondolkodást fejlesztő képzés eltérő, egymást kiegészítő hatással jár. A ChatGPT használata javította a diákok munkájának minőségét és koherenciáját, míg az oksági érvelést – a kritikai gondolkodás egyik formáját – fejlesztő gyakorlat hatására több egyedi ötlettel álltak elő. Azoknál a diákoknál, akik a ChatGPT‑hez is hozzáfértek, és a képzésen is részt vettek, mindkét hatás jelentkezett.

Az eredmények arra is rávilágítanak, hogy a diákok fejlődését átfogó szemlélettel érdemes értékelni. Mivel az AI megkönnyíti a diákok számára a kidolgozott válaszok elkészítését, a feladatokat hozzá kell igazítani más kívánatos tulajdonságok, például az eredetiség méréséhez. 

A kísérlet során a Bocconi Egyetem több mint 1000 elsőéves hallgatója egy valós üzleti eseten dolgozott: marketingjavaslatokat készítettek az egyetem ajándékboltja számára.

A hallgatókat tanóránként véletlenszerűen négy csoport egyikébe osztották: csak a ChatGPT‑hez (GPT‑4o) fértek hozzá, csak oksági érvelési képzést kaptak, mindkettőben részesültek, vagy egyikben sem. Az oksági érvelés a kritikai gondolkodás egyik sajátos formája: okokat és következményeket kapcsol össze, és megmagyarázza, hogy egy adott megoldás miért működhet vagy miért nem. A diákok képzése nem kapcsolódott az AI-hoz: egy játékot, példákat, kérdéseket és visszajelzést tartalmazó gyakorlaton keresztül sajátították el az oksági érvelés fogalmait. 

A hallgatók beadott munkáit képzett értékelők pontozták egy ötfokú szempontrendszer alapján. A kutatók ettől függetlenül automatizált szövegelemzéssel mérték az egyes munkákban szereplő ötletek számát és változatosságát, az oksági érvelés jeleit, valamint a három szakértő munkáihoz való hasonlóságot. 

A ChatGPT‑hez hozzáférő hallgatók az ötfokú skálán csaknem egy teljes ponttal magasabb eredményt értek el. Válaszaik több ötletet tartalmaztak, világosabb logikát követtek, és jobban hasonlítottak a szakértők által írt javaslatokra. Más szóval az AI segített a kezdőknek professzionálisabbnak ható munkát készíteni. Fontos, hogy a diákok nem egyszerűen a ChatGPT‑re bízták a feladataikat. Továbbra is nekik kellett eldönteniük, mit kérdezzenek, értékelniük kellett a válaszokat, és ki kellett választaniuk, mi kerüljön a végleges munkájukba. 

A kritikai gondolkodást fejlesztő gyakorlat váratlanabb eredményt hozott. A gyakorlatot elvégző diákok világosabban elmagyarázták, miért működhetnek az ötleteik, és mikor vallhatnak kudarcot. Mégsem értek el magasabb pontszámot, mert az értékelési rendszer csak azt mérte, mennyire szolgálták a javaslatok a két szokásos marketingcélt: az egyetemi bolt ismertségének és használatának növelését.

A szövegelemzés egy további előnyt is feltárt, amelyet az értékelési rendszer nem ragadott meg. A gyakorlatot elvégző diákok összességében változatosabb ötletekkel álltak elő, amelyek jobban különböztek társaik elképzeléseitől. Ez azért fontos, mert egy hagyományos értékelési rendszer – amilyet ebben a kísérletben is használtak – jutalmazhatja a világos, jól felépített választ, miközben figyelmen kívül hagyhatja, hogy a diák olyan ötlettel állt-e elő, amely másnak nem jutott eszébe.

Az oktatásról szóló vitát könnyű úgy beállítani, mintha választani kellene aközött, hogy a diákok önállóan gondolkodni vagy az AI-t használni tanuljanak meg.

Ez a kísérlet megmutatja, hogy mindkettő értékes, csak más-más módon. Az AI használata segített a diákoknak kidolgozottabb, ötletekben gazdagabb és logikailag koherensebb válaszokat készíteni. A kritikai gondolkodást fejlesztő képzés arra ösztönözte őket, hogy eredeti ötletek szélesebb körét dolgozzák ki, megkérdőjelezzék a feltételezéseket, és elmagyarázzák, miért működhetnek az elképzeléseik.

A kettő tehát kiegészíti egymást. 

Azoknál a diákoknál, akik a ChatGPT‑hez is hozzáfértek, és a kritikai gondolkodást fejlesztő gyakorlatot is elvégezték, mindkettő előnyei megmutatkoztak. Ötleteik változatossága megegyezett a csak gyakorlatot végző diákokéval. Értékelési pontszámaik és ötleteik száma hasonló volt a csak ChatGPT‑hozzáférést kapó diákok eredményeihez. Munkájuk emellett erősebb logikai koherenciát mutatott, és több jel utalt arra, hogy magyarázatokat kerestek és megkérdőjelezték a feltételezéseket. Összességében ez a csoport javult a legtöbb vizsgált mutató tekintetében. 

A kísérlet véletlenszerű besoroláson alapuló felépítése lehetővé tette a kutatóknak, hogy külön-külön vizsgálják a tényezőket, és elkülönítsék a ChatGPT‑hozzáférés, a kritikai gondolkodást fejlesztő gyakorlat, valamint ezek együttes alkalmazásának hatásait. Ez különösen értékes hozzájárulássá teszi a kísérletet ahhoz a gyorsan bővülő kutatási területhez, amely azt vizsgálja, hogyan hat az AI a diákokra, és miként lehet a legjobban megszervezni és támogatni a tanulásukat. 

A gyakorlat diákokra gyakorolt tényleges hatása és a hagyományos értékelési rendszer által kimutatott eredmény közötti különbség az iskolák előtt álló tágabb kihívásra mutat rá. 

Ha az AI segíthet a diákoknak kidolgozott, szakértői szintűnek tűnő munkát készíteni, akkor pusztán a végső válaszból kevesebbet tudhatunk meg arról, hogy valójában mit értenek. 

Sok oktató már most azzal a következménnyel szembesül, hogy szükség lehet a feladatok és az értékelés átalakítására. Ez abba a több évtizedes folyamatba illeszkedik, amelyben a technológia és az oktatás együtt fejlődik, hogy támogassa a diákok modern társadalomban szükséges készségeit.

Az eredmények kiemelik, mennyire fontos jutalmazni azokat a munkákat, amelyek eredetiséget, érvelést és többféle megközelítés mérlegelését tükrözik, nem csupán a legszokványosabb vagy legkidolgozottabb válaszokat. 

A lényeg: az AI segített a diákoknak jobb válaszokat adni. A kritikai gondolkodást fejlesztő képzés sokszínűbbé tette az ötleteiket. A kettő egymást kiegészítve készíti fel a diákokat a jövőre.