Új eszközök az AI és a tanulási eredmények összefüggéseinek feltárásához

Az oktatás az AI egyik legígéretesebb élvonalbeli területe. Az olyan eszközökkel, mint a ChatGPT, a személyre szabott tanulási támogatás minden diák számára, bárhol és bármikor elérhető lehet. 

Az oktatási szektor azonban még mindig a kezdeti fázisban van annak feltárásában, hogyan befolyásolja az AI a tanulási eredményeket. Tavaly a csapatunk azt tűzte ki célul, hogy olyan eszközök használatát tanulmányozza, mint a tanulási mód⁠, és ígéretes javulást találtunk a diákok teljesítményében. De a kutatásunk egy fontos kérdést is felvetett: hogyan mérhetjük azt fel, hogy az AI hogyan befolyásolja a tanuló előrehaladását az idő múlásával, a záróvizsgán túl?

Ez egy szélesebb körű ökoszisztéma-kihívás. A mai napig a legtöbb kutatási módszer szűk teljesítményjelzésekre —például teszteredményekre—összpontosít, és nem képes felmérni, hogyan tanulnak a diákok valójában AI-jal valós környezetben, illetve hogy ez a használat miként alakítja az eredményeket az idő múlásával. 

A hiányosság kezelése érdekében kidolgoztuk a Learning Outcomes Measurement Suite, az Észtország Tartui Egyetemével és a Stanford Accelerator for Learning keretében működő SCALE Initiative kezdeményezéssel közösen létrehozott keretrendszert, amely a tanulási eredmények hosszú távú mérését támogatja különböző oktatási kontextusokban. 

Kiterjedt validálás zajlik egy randomizált, kontrollált vizsgálat keretében, és további kutatásokat tervezünk az alapító szervezetekkel a Learning Lab nevű OpenAI tanuláskutatási ökoszisztémában, többek között az Arizona State University, a UCL Knowledge Lab és az MIT Media Lab kutatóival (a korábbi együttműködéses tanulmányokra⁠ építve).

Ma áttekintést adunk arról, hogyan működik a mérési csomag, és miért olyan fontos. Terveink szerint az idő múlásával további kutatásokat teszünk közzé, és a mérési csomagot nyilvános erőforrásként bocsássuk rendelkezésre az iskolák, egyetemek és oktatási rendszerek számára világszerte.

• Az AI tanulásra gyakorolt hatását vizsgáló mai kutatási módszerek ígéretes jeleket mutatnak a teljesítményre vonatkozóan, de nem ragadják meg a teljes képet arról, hogy az AI hogyan befolyásolja a tanulási eredményeket az idő múlásával.
• A Learning Outcomes Measurement Suite első alkalommal biztosít egy szabványos keretrendszert a hosszú távú vizsgálatokhoz, amelyek segítenek az oktatóknak, kutatóknak és intézményeknek megérteni, hogyan alakítja az AI a tanulást és a tanulási eredményeket a különböző kontextusokban.
• Az OpenAI Learning Lab egy új kutatási ökoszisztéma, amely e munka előmozdítására összpontosít. Az OpenAI a terület további fejlődésével párhuzamosan számos partnerrel együtt teszi közzé az eredményeket.

Amikor a diákok AI-eszközöket használnak a tanuláshoz és az ismeretszerzéshez, az sokféle dolgot jelenthet—a gyors válaszokért az AI-hoz fordulástól kezdve egészen addig, hogy lépésről lépésre, tanárhoz hasonló útmutatással dolgozzanak végig feladatokat. A felhasználók ösztönzése érdekében, hogy a ChatGPT‑t a mélyebb megértést és a készségfejlesztést támogató módon használják, az OpenAI tavaly bevezette a tanulási módot⁠ funkciót.  A tanulási mód hátterében olyan egyedi rendszerutasítások állnak, amelyeket tanárokkal, tudósokkal és pedagógiai szakértőkkel együttműködve írtunk, hogy tükrözzék azokat az alapvető viselkedésformákat, amelyek a valódi tanulást támogatják, nem csupán a válaszokat—alapok, a megértés ellenőrzése és irányított gyakorlás révén.

Annak tesztelésére, hogy az ilyen pedagógiailag összehangolt AI-interakció stílus jobb tanulási eredményekhez vezet-e, randomizált vizsgálatot végeztünk több mint 300, idegtudományi és mikroökonómiai vizsgára készülő egyetemi hallgató bevonásával. Miközben az elemzés még folyamatban van, a korai eredmények biztatóak, hogy a pedagógiailag összehangolt AI-interakció stílus, amelyet olyan funkciók ösztönöznek, mint a tanulási mód, javíthatja a tanulási eredményeket. Ugyanakkor ez a vizsgálat rávilágított egy lényeges tényre: a döntő kérdés az, hogy az elért javulások és a kapcsolódó produktív viselkedések tartósan fennmaradnak-e az idő múlásával.

A vizsgálat elrendezése

A résztvevőket három csoport egyikébe osztották: egy kontrollcsoport hagyományos online forrásokat, például a Google Searchöt és a YouTube-ot használta, az AI által generált áttekintő funkciók letiltásával, míg két további csoport hozzáférést kapott a tanulási mód két, a diákok tanulási folyamatát kissé eltérő módokon segítő változatának egyikéhez. Az alap felmérő kvízeket és a belépő felméréseket előre összegyűjtöttük, hogy korrigáljuk a korábbi kurzusoknak való kitettség, a tanulási szokások, a tanulmányi magabiztosság és az AI-eszközök ismerete közötti különbségeket. A diákok minden vizsga előtt időzített tanulási mód munkameneteket folytattak, és a tanulási mód két változatát a tantárgyak között kiegyensúlyozták.

Ezt a beállítást úgy terveztük, hogy a valós tanulási körülményeket utánozza, nem pedig egy szigorúan kontrollált laboratóriumi környezetet. A részvétel nem függött a vizsgaeredményektől, és nem minden diák használta ugyanolyan mértékben a tanulási módot a névlegesen 40 perces alkalmak során. Ez lehetővé tette az ún. "intention-to-treat" (ITT) hatások mérését és jelentését—annak vizsgálatát, milyen hatással jár, ha valaki valós bevezetési körülmények között hozzáférést kap a tanulási módhoz, azaz a funkció felkínálásának okozati hatását, miközben elismerjük, hogy a tényleges elköteleződés a gyakorlatban változó lehet.

Megállapítások

Minden vizsgán külön mértük a teljesítményt. Randomizált vizsgálatunkban a javulás nem volt egységes az alanyok között, és a tanulási móddal való elköteleződés szintje a résztvevők között eltért. 

• Idegtudomány (elsődleges ITT): A tanulási módot a kontrollhoz viszonyítva irányultságában pozitív különbségek jellemezték, de az eredmények nem voltak megkülönböztethetők a hagyományos online forrásokkal tanuló diákok eredményeitől. Néhány bevezetési és technikai probléma is hatással volt a tanulással töltött időre a tanulási módot használó diákok körében. 
• Mikroökonómia (elsődleges ITT): Érdemi javulást figyeltünk meg a vizsgateljesítményben azoknál a diákoknál, akik hozzáférést kaptak a tanulási módhoz, szemben az AI nélküli kontrollcsoporttal—hozzávetőleg 15%-kal magasabb pontszámot értek el.

Miközben ez a valós világbeli eltéréseket tükrözi, egyúttal rávilágított a tanulási eredmények hagyományos mérési módszereinek alapvető korlátaira.

A legtöbb meglévő értékelési megközelítés fix beavatkozásokat alkalmaz rövid távú időablakokban, elsődleges jelzésként pedig olyan kimeneteket használ, mint a vizsgaeredmények vagy a vizsgaesszék. Ezek a módszerek nem alkalmasak arra, hogy megragadják azt az alapvető mechanizmust, amelyen keresztül az AI a gyakorlatban hat a tanulásra: a folyamatos, személyre szabott interakciókat, amelyek a tanuló saját stratégiáival, preferenciáival és tanulási szokásaival együtt fejlődnek. Azt sem vizsgálják, hogy az egyik képességben elért javulások, például a rövid távú emlékezés, együtt járhatnak-e más képességek, például a kitartás, az autonóm motiváció vagy a kreatív problémamegoldás terén jelentkező kompromisszumokkal. Ennek eredményeként figyelmen kívül hagyják azokat a hosszú távú kognitív hatásokat, amelyek végső soron meghatározzák, hogy az AI valóban javítja-e a tanulást. 

Mivel a tanulási környezetek országonként, tantervenként és intézményi célonként jelentősen eltérnek, az egyszeri vizsgálatok eredményei ritkán általánosíthatók a rendszerek között. A mérési megközelítéseknek ezért elég rugalmasnak kell lenniük ahhoz, hogy a különböző oktatási rendszerek a saját kontextusukban meghatározhassák, mit jelent a siker, a saját standardjaik szerint értékelhessék az AI-t, és ennek megfelelően finomítsanak.

Jobb mérési rendszer felépítése 

Az OpenAI tanulási mód kutatásából származó tanulságok alapján egy strukturált mérési rendszert építünk fel, azért, hogy nagy léptékben mérhessük az AI tanulókra gyakorolt hatását, és olyan mechanizmust hozzunk létre, amely lehetővé teszi a modellek javítását ezen eredmények alapján. Három jelre épül: a modell viselkedésére, a tanulók reakcióira és az idővel mérhető kognitív eredményekre. Magában foglalja a következőket: 

• Rendszerutasítások a modell viselkedésének finomításához: természetes nyelv használata a modell alapértelmezett viselkedésének megváltoztatására, hogy jobban igazodjon a konkrét pedagógiai megközelítéshez.
• Tanulási interakciók osztályozói: ezek automatikusan észlelik a valós, azonosításra alkalmatlanná tett tanuló–modell interakciókon belüli „tanulási pillanatokat”, és megjelölik a kiemelkedő jellemzőket, például az elköteleződést és a hibajavítást.
• A tanulási minőséget értékelő osztályozók: ezek minden egyes ilyen tanulási pillanatot értékelnek és pontoznak aszerint, hogy a tanuló elérte-e a célját, valamint hogy az interakció milyen mértékben követte a szilárd pedagógiai alapelveket, beleértve a hibamódok azonosítását.
• Longitudinális tanulási értékelők: ezek időben követik nyomon ugyanannak a tanulónak a modellel való interakcióiban bekövetkező változásait—beleértve az elköteleződést, a kitartást és a metakognitív stratégiákat—egyéni és kohorszszinten.
• Standardizált kognitív és metakognitív mérőszámok: ezek validált, harmadik féltől származó mérőeszközök, amelyeket a ChatGPT‑n keresztül, a hozzáférés előtt/alatt/után alkalmaznak az alapértékek meghatározására és az olyan alapvető képességekben bekövetkező változások mérésére, mint a kritikai gondolkodás, a kreativitás és a memória.

Együttesen ezt a mérési rendszert Learning Outcomes Measurement Suite  rendszernek nevezzük.

Ez olyan fontos információkat szolgáltat az oktatási ökoszisztéma számára, mint a tanulási pillanatok strukturált áttekintése, irányítópultok a kimenetek időbeli alakulásáról különböző csoportokban, a modell teljesítményét jelző indikátorok a tanítási és oktatás támogatási rubrikákhoz viszonyítva, valamint olyan eredménymutatók, amelyek standardizált értékelésekhez és rövid tanulói kérdőívekhez kapcsolódnak. Ahol elérhető, beépítheti a partnerek által biztosított referencia információkat, például vizsgaeredményeket, tantermi megfigyeléseket vagy jelenléti adatokat.

Ez azt is lehetővé teszi partnereink számára, hogy megértsék az AI tanulási célú használatának idővel jelentkező mélyebb kognitív hatásait, mivel ezen a rendszeren keresztül azt is nyomon tudjuk követni, hogy milyen hatással van az olyan képességekre, mint például:

• Autonóm motiváció: annak mértéke, hogy a tanulók mennyire alakítják saját tanulmányaikat, szemben azzal, amikor a modell irányítja őket 
• Produktív bevonódás: a pedagógiai interakciók gyakorisága, változatossága és minősége
• Feladatban való kitartás: annak mértéke, hogy a tanuló mennyire képes kitartani a kognitív kihívások mellett, és mennyire képes leküzdeni azokat
• Metakogníció: a tanuló tanulási megközelítéseinek megtervezésére, átgondolására és nyomon követésére irányuló erőfeszítéseinek gyakorisága és minősége
• Emlékezet: az a pontosság, amellyel a tanuló képes felidézni a korábbi interakciókból származó tartalmat

Ez kifejezi átfogó törekvésünket, hogy a tanulási eredményeket ne pusztán szűken (a teszteredmények javulásával) mérjük, hanem a tanulást támogató átfogó képességeket is figyelembe vegyük. Sőt, azt a meggyőződésünket is jól mutatja, hogy nem létezik egyetlen univerzális megoldás arra, mit érdemes optimalizálni: a rendszereket és a pedagógusokat fel kell hatalmazni arra, hogy a kompromisszumokat a pedagógiai legjobb gyakorlatok és megközelítések mentén irányítsák.

Merre tovább?

A Learning Outcomes Measurement Suite rendszert nagyléptékű tanulmányokkal validáljuk, mielőtt széles körben elérhetővé tennénk. Ez a munka a Tartui Egyetemmel és a Stanford SCALE Initiative kezdeményezésével zajlik országos partnerek körében, például Észtországban, ahol a mérési eszközkészletet több hónapon át közel 20 000, 16-18 év közötti diák bevonásával vizsgálják. A diákok általi használat szoros együttműködésben történik a helyi vezetőkkel, hogy biztosítsuk a biztonságot és a helyi tantervekhez való igazodást.

A munka egy szélesebb körű, folyamatban lévő együttműködésen alapuló kutatási anyagra épít. A Learning Lab alapító partnerein keresztül folyó tanulási eredménykutatások mellett az OpenAI olyan tanulmányokat is támogat, amelyek a tanulás és a munka világának metszéspontját vizsgálják, különösen azt, hogyan befolyásolja az MI a diákok tanulmányi útvonalait, karrierválasztásait, és milyen módon segíthetik az intézmények a felelős használatot. Ez a kutatás a Bocconi University, az Innova Schools és a Tuck School of Business at Dartmouth, a San Diego State University, a Stony Brook University és más intézmények bevonásával zajlik.

Amint hosszú távú kutatásokat végzünk arról, hogyan tanulnak a diákok a leghatékonyabban az AI segítségével, célunk az eredmények megosztása és a szélesebb oktatási ökoszisztémával való együttműködés annak biztosítására, hogy az MI mindenhol a tanulók előnyére váljon.

Ha érdekel, és szeretnél friss információkat kapni erről a munkáról, itt⁠ iratkozhatsz fel.