Għodod ġodda biex nifhmu l-AI u r-riżultati tat-tagħlim

L-edukazzjoni hija waħda mill-fruntieri l-aktar promettenti tal-AI. B’għodod bħal ChatGPT, appoġġ personalizzat għat-tagħlim jista’ jkun disponibbli għal kull student, kullimkien, f’kull ħin. 

Iżda s-settur tal-edukazzjoni għadu fil-bidu biex jifhem l-impatt tal-AI fuq ir-riżultati tat-tagħlim. Is-sena l-oħra, it-tim tagħna beda jistudja l-użu ta’ għodod bħal Modalità tal-Istudju⁠ u sab titjib promettenti fil-prestazzjoni tal-istudenti. Iżda r-riċerka tagħna qajmet ukoll mistoqsija importanti: kif nistgħu nivvalutaw kif l-AI tinfluwenza l-progress ta’ student maż-żmien, u mhux biss f’eżami finali?

Din hija sfida usa’ tal-ekosistema. Sal-lum, ħafna mill-metodi tar-riċerka jiffokaw fuq sinjali dojoq tal-prestazzjoni—bħall-punteġġi tat-testijiet—u m’għandhomx il-kapaċità li jivvalutaw kif l-istudenti fil-fatt jitgħallmu bl-AI f’ambjenti reali, u kif dak l-użu jifforma r-riżultati maż-żmien. 

Biex nindirizzaw din il-lakuna, żviluppajna l-Learning Outcomes Measurement Suite, qafas maħluq mal-Università ta’ Tartu tal-Estonja u l-Inizjattiva SCALE fl-IStanford Accelerator for Learning biex jappoġġja l-kejl lonġitudinali tar-riżultati tat-tagħlim f’kuntesti edukattivi differenti. 

Għaddejja validazzjoni estensiva permezz ta’ prova randomizzata kkontrollata, u qed tiġi ppjanata aktar riċerka ma’ organizzazzjonijiet fundaturi fil-Learning Lab, l-ekosistema tar-riċerka tat-tagħlim ta’ OpenAI, inklużi riċerkaturi minn Arizona State University, UCL Knowledge Lab, u MIT Media Lab (billi nibnu fuq studji kollaborattivi preċedenti⁠).

Illum, qed naqsmu ħarsa ġenerali ta’ kif taħdem il-measurement suite u għaliex hija importanti. Maż-żmien, biħsiebna nippubblikaw aktar riċerka u noħorġu l-measurement suite bħala riżorsa pubblika għall-iskejjel, l-universitajiet, u s-sistemi edukattivi madwar id-dinja.

• Il-metodi tar-riċerka tal-lum dwar l-impatt tal-AI fuq it-tagħlim juru sinjali promettenti dwar il-prestazzjoni, iżda ma jaqbdux l-istampa sħiħa ta’ kif l-AI taffettwa r-riżultati tat-tagħlim maż-żmien.
• Il-Learning Outcomes Measurement Suite se tipprovdi, għall-ewwel darba, qafas standard għal studji lonġitudinali li jgħinu lill-edukaturi, lir-riċerkaturi, u lill-istituzzjonijiet jifhmu kif l-AI tifforma t-tagħlim u r-riżultati f’kuntesti differenti.
• Il-Learning Lab ta’ OpenAI hija ekosistema ġdida ta’ riċerka ffukata fuq l-avvanz ta’ dan ix-xogħol. OpenAI se tippubblika s-sejbiet flimkien ma’ firxa ta’ sħab hekk kif il-qasam ikompli jiżviluppa.

Meta l-istudenti jużaw għodod tal-AI biex jistudjaw u jitgħallmu, dan jista’ jfisser ħafna affarijiet differenti—minn li jduru lejn l-AI għal tweġibiet malajr sa li jużawha biex jaħdmu fuq problemi pass pass bi gwida bħal ta’ tutur. Biex iħeġġu lill-utenti jinvolvu ruħhom ma’ ChatGPT b’modi li jappoġġjaw fehim aktar profond u bini tal-ħiliet, OpenAI introduċiet Modalità tal-Istudju⁠ is-sena l-oħra.  Minn ġewwa, il-modalità tal-istudju hija mħaddma minn istruzzjonijiet tas-sistema personalizzati li ktibna b’kollaborazzjoni ma’ għalliema, xjenzati, u esperti fil-pedagoġija biex jirriflettu sett ewlieni ta’ mġibiet li jappoġġjaw tagħlim veru, mhux biss tweġibiet—bl-użu ta’ scaffolding, verifiki tal-fehim, u prattika ggwidata.

Biex nittestjaw jekk dan l-istil ta’ interazzjoni mal-AI allinjat mal-pedagoġija jittraduċix f’riżultati ta’ tagħlim aħjar, wettaqna studju randomizzat ma’ aktar minn 300 student universitarju li kienu qed jitħejjew għal eżamijiet fin-newroxjenza u l-mikroekonomija. Filwaqt li l-analiżi għadha għaddejja, ir-riżultati bikrin jagħtuna fiduċja li stil ta’ interazzjoni mal-AI allinjat mal-pedagoġija, imħeġġeġ permezz ta’ karatteristiċi bħall-modalità tal-istudju, jista’ jtejjeb ir-riżultati tat-tagħlim. Iżda din ir-riċerka ressqet ukoll realtà importanti: dak li tassew jgħodd hu jekk il-kisbiet u l-imġibiet produttivi assoċjati jibqgħux fit-tul maż-żmien.

Disinn tal-istudju

Il-parteċipanti tqassmu f’wieħed minn tliet gruppi: grupp ta’ kontroll studja billi uża riżorsi tradizzjonali online bħal Google Search u YouTube, bil-karatteristiċi ġġenerati mill-AI għall-ħarsa ġenerali diżattivati, filwaqt li żewġ gruppi addizzjonali ngħataw aċċess għal wieħed minn żewġ varjanti tal-modalità tal-istudju mfassla biex jiggwidaw lill-istudenti matul il-proċess tat-tagħlim b’modi kemxejn differenti. Kwizijiet bażiċi u stħarriġ ta’ onboarding inġabru minn qabel biex jiġu aġġustati differenzi fl-esponiment għal korsijiet preċedenti, drawwiet ta’ studju, kunfidenza akkademika, u familjarità mal-għodod tal-AI. L-istudenti temmew sessjonijiet bil-ħin tal-modalità tal-istudju qabel kull eżami, biż-żewġ varjanti tal-modalità tal-istudju bbilanċjati bejn is-suġġetti.

Dan l-arranġament kien imfassal biex jirrifletti kundizzjonijiet ta’ studju fid-dinja reali aktar milli ambjent ta’ laboratorju kkontrollat mill-qrib. Il-parteċipazzjoni ma kinitx marbuta mal-prestazzjoni fl-eżamijiet, u mhux l-istudenti kollha użaw il-modalità tal-istudju bl-istess mod matul is-sessjonijiet nominali ta’ 40 minuta. Dan ippermettilna nkejlu u nirrappurtaw effetti ta’ intention-to-treat (ITT), l-impatt li jingħata aċċess għall-għodda taħt kundizzjonijiet realistiċi ta’ introduzzjoni—fi kliem ieħor, l-impatt kawżali li tiġi offruta l-modalità tal-istudju, filwaqt li nirrikonoxxu li l-involviment jista’ jvarja fil-prattika.

Sejbiet

Kejjilna l-prestazzjoni f’kull eżami separatament. Fl-istudju randomizzat tagħna, it-titjib ma kienx uniformi bejn is-suġġetti, u l-livelli ta’ involviment mal-modalità tal-istudju varjaw bejn il-parteċipanti. 

• Newroxjenza (ITT primarju): Osservajna differenzi pożittivi fid-direzzjoni għall-modalità tal-istudju meta mqabbla mal-kontroll, iżda r-riżultati ma kinux distinti minn dawk ta’ studenti li studjaw b’riżorsi tradizzjonali online. Xi kwistjonijiet ta’ onboarding u tekniċi affettwaw il-ħin li qattgħu jistudjaw fost studenti li użaw il-modalità tal-istudju. 
• Mikroekonomija (ITT primarju): Osservajna kisbiet sinifikanti fil-prestazzjoni tal-eżami fost studenti li ngħataw aċċess għall-modalità tal-istudju meta mqabbla mal-grupp ta’ kontroll mingħajr AI—madwar punteġġ relattivament 15% ogħla.

Għalkemm dan jirrifletti varjazzjoni fid-dinja reali, enfasizza limitazzjoni aktar profonda fil-mod kif ir-riżultati tat-tagħlim normalment jitkejlu.

Ħafna mill-approċċi ta’ evalwazzjoni eżistenti jiddependu fuq interventi fissi vvalutati fuq twieqi qosra ta’ żmien, billi jużaw riżultati bħal punteġġi tat-testijiet jew essays finali bħala sinjali primarji. Dawn il-metodi mhumiex imfassla biex jaqbdu l-mekkaniżmu ewlieni li permezz tiegħu l-AI taffettwa t-tagħlim fil-prattika: interazzjonijiet kontinwi u personalizzati li jevolvu flimkien mal-istrateġiji, il-preferenzi, u d-drawwiet ta’ studju tal-istudent innifsu. Lanqas ma juru jekk titjib f’kapaċità waħda, bħat-tifkira għal żmien qasir, jistax jiġi flimkien ma’ kompromessi f’oħrajn, bħall-perseveranza, il-motivazzjoni awtonoma, jew is-soluzzjoni kreattiva tal-problemi. B’riżultat ta’ dan, jitilfu l-effetti konjittivi lonġitudinali li fl-aħħar mill-aħħar jiddeterminaw jekk l-AI ttejjibx it-tagħlim b’mod sinifikanti. 

Peress li l-ambjenti tat-tagħlim ivarjaw ħafna bejn pajjiżi, kurrikuli, u għanijiet istituzzjonali, ir-riżultati minn studji ta’ darba rari jiġu ġeneralizzati bejn sistemi differenti. Għaldaqstant, l-approċċi tal-kejl iridu jkunu flessibbli biżżejjed biex sistemi edukattivi differenti jiddefinixxu x’jidher is-suċċess fil-kuntest tagħhom, jevalwaw l-AI skont l-istandards tagħhom stess, u jtejbu skonthom.

Nibnu sistema ta’ kejl aħjar 

Ibbażati fuq it-tagħlim miksub mir-riċerka ta’ OpenAI dwar il-modalità tal-istudju, ilna nibnu sistema strutturata ta’ kejl biex inkejlu l-impatt tal-AI fuq l-istudenti fuq skala kbira, u noħolqu mekkaniżmu biex intejbu l-mudelli abbażi ta’ dawk ir-riżultati. Hija msejsa fuq tliet sinjali—kif iġib ruħu l-mudell, kif jirrispondu l-istudenti, u x’riżultati konjittivi li jistgħu jitkejlu joħorġu maż-żmien. Tinkludi: 

• Istruzzjonijiet tas-sistema biex jirfinaw l-imġiba tal-mudell: użu tal-lingwa naturali biex tinbidel l-imġiba awtomatika tal-mudell sabiex tkun allinjata aħjar ma’ approċċi pedagoġiċi speċifiċi.
• Klassifikaturi tal-interazzjoni fit-tagħlim: dawn jindividwaw awtomatikament “mumenti ta’ tagħlim” f’interazzjonijiet reali, mingħajr identifikazzjoni, bejn student u mudell u jittikkettaw karatteristiċi rilevanti bħall-involviment u l-korrezzjoni tal-iżbalji.
• Valutaturi tal-kwalità tat-tagħlim: dawn jevalwaw u jagħtu punteġġ lil kull wieħed minn dawk il-mumenti ta’ tagħlim skont jekk l-istudent laħaqx l-objettiv tiegħu u sa liema grad l-interazzjoni segwiet prinċipji pedagoġiċi b’saħħithom, inkluża l-identifikazzjoni ta’ modi ta’ falliment.
• Valutaturi lonġitudinali tat-tagħlim: dawn isegwu bidliet fl-interazzjonijiet tal-istess student mal-mudell maż-żmien—inklużi involviment, perseveranza, u strateġiji metakonjittivi—fil-livelli individwali u tal-koorti.
• Miżuri standardizzati konjittivi u metakonjittivi: dawn huma strumenti validati minn partijiet terzi mogħtija permezz ta’ ChatGPT qabel/matul/wara l-aċċess biex jistabbilixxu linji bażi u jkejlu bidliet f’kapaċitajiet fundamentali bħall-ħsieb kritiku, il-kreattività, u l-memorja.

Meta jingħaqdu flimkien, nirreferu għal din is-sistema ta’ kejl bħala l-Learning Outcomes Measurement Suite. 

Din tipproduċi sinjali importanti li l-ekosistema edukattiva tista’ tuża: veduti strutturati ta’ mumenti ta’ tagħlim, dashboards li juru kif ir-riżultati jinbidlu maż-żmien bejn il-koorti, indikaturi tal-prestazzjoni tal-mudell kontra rubriki ta’ tagħlim u tutoring, u miżuri tar-riżultati allinjati ma’ valutazzjonijiet standardizzati u kwestjonarji qosra għall-istudenti. Fejn disponibbli, tista’ tinkorpora ground truth ipprovdut mis-sħab bħal punteġġi tal-eżamijiet, osservazzjonijiet fil-klassi, jew attendenza.

Tippermetti wkoll lis-sħab tagħna jifhmu l-impatti konjittivi aktar profondi tal-użu tal-AI għat-tagħlim maż-żmien, peress li permezz ta’ din is-sistema nistgħu wkoll insegwu l-impatt fuq kapaċitajiet bħal:

• Motivazzjoni Awtonoma: il-grad sa fejn l-istudenti qed ifasslu l-istudji tagħhom huma stess kontra li jkunu diretti mill-mudell 
• Involviment Produttiv: il-frekwenza, il-varjetà u l-kwalità tal-interazzjonijiet pedagoġiċi
• Perseveranza fil-Kompitu: il-grad sa fejn student joqgħod quddiem u jgħaddi minn sfidi konjittivi
• Metakonjizzjoni: il-frekwenza u l-kwalità tal-isforzi tal-istudent biex jippjana, jirrifletti u jimmonitorja l-approċċi tiegħu għall-istudju
• Tifkira: il-preċiżjoni li biha student jista’ jiftakar kontenut minn interazzjonijiet preċedenti

Dan jirrifletti l-isforzi ġenerali tagħna biex ma niffokawx biss fuq definizzjonijiet dojoq tar-riżultati tat-tagħlim (punteġġi tat-testijiet li jogħlew), iżda fuq il-kapaċitajiet olistiċi li jsostnu t-tagħlim. Jirrifletti wkoll it-twemmin tagħna li mhux se jkun hemm soluzzjoni waħda maġika dwar x’għandu jiġi ottimizzat: is-sistemi u l-edukaturi se jkollhom jingħataw is-setgħa biex jiggwidaw il-kompromessi f’allinjament mal-aħjar prattika u l-approċċi pedagoġiċi.

Fejn sejrin minn hawn

Qed nivvalidaw il-Learning Outcomes Measurement Suite permezz ta’ studji fuq skala kbira qabel ma nagħmluha disponibbli b’mod wiesa’. Dan ix-xogħol għaddej mal-Università ta’ Tartu u l-Inizjattiva SCALE ta’ Stanford ma’ sħab fuq skala nazzjonali bħall-Estonja, fejn il-measurement suite qed tiġi studjata ma’ kważi 20,000 student ta’ bejn is-16 u t-18-il sena fuq medda ta’ diversi xhur. L-użu mill-istudenti se jsir f’kollaborazzjoni mill-qrib ma’ mexxejja lokali, biex tiġi żgurata s-sigurtà u l-allinjament mal-kurrikuli lokali.

Dan ix-xogħol jibni fuq korp usa’ ta’ riċerka kollaborattiva li għaddejja. Minbarra r-riċerka dwar ir-riżultati li qed issir permezz ta’ sħab fundaturi fil-Learning Lab, OpenAI qed tappoġġja studji fl-intersezzjoni bejn it-tagħlim u x-xogħol—jeżaminaw kif l-AI tifforma l-mogħdijiet akkademiċi tal-istudenti, id-deċiżjonijiet tal-karriera, u l-modi kif l-istituzzjonijiet jistgħu jappoġġjaw adozzjoni responsabbli. Din ir-riċerka qed issir f’Bocconi University, Innova Schools u Tuck School of Business at Dartmouth, San Diego State University, Stony Brook University, u oħrajn.

Hekk kif inmexxu studji fit-tul dwar kif l-istudenti jitgħallmu l-aħjar bl-AI, biħsiebna naqsmu s-sejbiet u naħdmu mal-ekosistema edukattiva usa’ biex niżguraw li l-AI tkun ta’ benefiċċju għall-istudenti kullimkien.

Dawk interessati li jirċievu aġġornamenti dwar dan ix-xogħol jistgħu jirreġistraw hawn⁠.