Mjete të reja për të kuptuar AI dhe rezultatet e mësimmarrjes

Arsimi është një nga kufijtë më premtues të AI. Me mjete si ChatGPT, mbështetja e personalizuar për mësimmarrjen mund të jetë e disponueshme për çdo student, kudo dhe në çdo kohë. 

Por sektori i arsimit është ende në fazat e hershme të kuptimit të ndikimit të AI në rezultatet e mësimmarrjes. Vitin e kaluar, ekipi ynë nisi të studionte përdorimin e mjeteve si Study Mode⁠ dhe evidentoi përmirësime premtuese në performancën e studentëve. Por kërkimi ynë ngriti gjithashtu një pyetje të rëndësishme: si mund të vlerësojmë se si AI ndikon në ecurinë e një studenti me kalimin e kohës, jo vetëm në një provim përfundimtar?

Kjo është një sfidë më e gjerë e ekosistemit. Deri më sot, shumica e metodave kërkimore përqendrohen në sinjale të ngushta të performancës—si p.sh. rezultatet e testeve — dhe u mungon aftësia për të vlerësuar se si studentët mësojnë në të vërtetë me AI në kontekste të botës reale, dhe se si ky përdorim formëson rezultatet me kalimin e kohës. 

Për të adresuar këtë boshllëk, ne zhvilluam Learning Outcomes Measurement Suite, një kuadër i krijuar me Universitetin Tartu të Estonisë dhe iniciativën SCALE në Stanford Accelerator for Learning për të mbështetur matjen gjatësore të rezultateve të mësimmarrjes në kontekste të ndryshme arsimore. 

Verifikimi i zgjeruar është në zhvillim e sipër përmes një prove të kontrolluar të randomizuar, dhe kërkime të mëtejshme janë planifikuar me organizatat themeluese në Learning Lab, ekosistemin e kërkimit të mësimmarrjes të OpenAI, duke përfshirë studiues nga Arizona State University, UCL Knowledge Lab dhe MIT Media Lab (duke u bazuar në studime të mëparshme bashkëpunuese⁠).

Sot, po ndajmë një përmbledhje të mënyrës se si funksionon paketa e matjes dhe pse ka rëndësi. Me kalimin e kohës, synojmë të publikojmë më shumë kërkime dhe të nxjerrim në dispozicion paketën e matjes si një burim publik për shkollat, universitetet dhe sistemet arsimore në mbarë botën.

• Metodat e sotme kërkimore mbi ndikimin e AI në mësimmarrje tregojnë sinjale premtuese për performancën, por nuk e kapin pamjen e plotë të mënyrës se si AI ndikon në rezultatet e mësimmarrjes me kalimin e kohës.
• Learning Outcomes Measurement Suite do të ofrojë, për herë të parë, një kuadër standard për studime gjatësore që i ndihmojnë edukatorët, studiuesit dhe institucionet të kuptojnë se si AI e formëson mësimmarrjen dhe rezultatet në kontekste të ndryshme.
• Learning Lab nga OpenAI është një ekosistem i ri kërkimor i përqendruar në avancimin e kësaj pune. OpenAI do të publikojë rezultatet së bashku me një sërë partnerësh ndërsa fusha vazhdon të zhvillohet.

Kur studentët përdorin mjete AI për të studiuar dhe mësuar, kjo mund të nënkuptojë shumë gjëra të ndryshme — nga përdorimi i AI për përgjigje të shpejta deri te përdorimi për t'u dhënë drejtim problemeve hap pas hapi me udhëzime si me mentor. Për t’i inkurajuar përdoruesit të angazhohen me ChatGPT në mënyra që mbështesin kuptim më të thelluar dhe ndërtimin e aftësive, OpenAI prezantoi Study Mode⁠ vitin e kaluar.  Në prapaskenë, Study Mode mundësohet nga udhëzime të personalizuara të sistemit që i kemi shkruar në bashkëpunim me mësues, shkencëtarë dhe ekspertë të pedagogjisë për të pasqyruar një grup thelbësor sjelljesh që mbështesin mësimin e vërtetë, jo vetëm përgjigjet — duke përdorur mbështetje të shkallëzuar, kontrolle për të kuptuarit dhe praktikë të udhëzuar.

Për të testuar nëse ky lloj stili të ndërveprimit me AI, të përafruar pedagogjikisht, përkthehet në rezultate më të mira të mësimmarrjes, ne zhvilluam një studim të rastësishëm me mbi 300 studentë kolegji që po përgatiteshin për provime në neuroshkencë dhe mikroekonomi. Ndërsa analiza është ende në vazhdim, rezultatet e hershme na japin besim se një stil ndërveprimi i AI i përafruar pedagogjikisht, i inkurajuar përmes veçorive si Study Mode, mund të përmirësojë rezultatet e mësimmarrjes. Por ky hulumtim nxori gjithashtu në pah një realitet të rëndësishëm: ajo që ka vërtet rëndësi është nëse rritjet dhe sjelljet produktive të lidhura me to mbeten të qëndrueshme me kalimin e kohës.

Projektimi i studimit

Pjesëmarrësit u caktuan në një nga tri grupet: një grup kontrolli studioi duke përdorur burime tradicionale në internet si Google Search dhe YouTube, me veçori të çaktivizuara të e përmbledhjes të gjeneruar nga AI, ndërsa dy grupe të tjera morën akses në njërin nga dy variantet e Study Mode të projektuar për të orientuar studentët gjatë procesit të mësimmarrjes në mënyra paksa të ndryshme. Kuizet bazë dhe anketat e integrimit u mblodhën paraprakisht për të përshtatur dallimet në ekspozimin ndaj lëndëve të mëparshme, shprehitë e studimit, vetëbesimin akademik dhe njohjen me mjetet e AI. Studentët përfunduan seanca me afat të caktuar në Study Mode para çdo provimi, me dy variantet e Study Mode të drejtpeshuara midis subjekteve.

Ky konfigurim u projektua për të pasqyruar kushtet e studimit në botën reale, në vend të një mjedisi laboratorik të kontrolluar rreptësisht. Pjesëmarrja nuk ishte e lidhur me performancën në provim, dhe jo të gjithë studentët e përdorën Study Mode në të njëjtën masë gjatë seancave nominale 40-minutëshe. Kjo na lejoi të matnim dhe të raportonim efektet intention-to-treat (ITT), ndikimin e ofrimit të aksesit te mjeti në kushte reale të implementimit — me fjalë të tjera, ndikimin shkakësor të ofrimit të Study Mode, duke pranuar se angazhimi mund të ndryshojë në praktikë.

Rezultatet

Ne matëm performancën në secilin provim veçmas. Në studimin tonë të randomizuar, përmirësimet nuk ishin të njëtrajtshme në të gjithë subjektet, dhe nivelet e angazhimit me Study Mode ndryshonin midis pjesëmarrësve. 

• Neuroshkenca (ITT primar): Vërejtëm dallime pozitive në orientim për Study Mode krahasuar me kontrollin, por rezultatet nuk dalloheshin nga studentët që studionin me burime tradicionale në internet. Disa probleme të orientimit fillestar dhe teknike ndikuan në kohën e kaluar duke studiuar te studentët që përdorin Study Mode. 
• Mikroekonomia (ITT primare): Vërejtëm përmirësime domethënëse në performancën në provim te studentët që kishin akses në Study Mode krahasuar me grupin e kontrollit pa AI — një rezultat rreth 15% më i lartë.

Ndërsa kjo pasqyron variacionin në botën reale, ajo nxori në pah një kufizim më të thellë në mënyrën se si zakonisht maten rezultatet e mësimmarrjes.

Shumica e qasjeve ekzistuese të vlerësimit mbështeten në masa të përcaktuara që vlerësohen gjatë intervaleve të shkurtra kohore, duke përdorur rezultate si pikët e testeve ose esetë përfundimtare si sinjale kryesore. Këto metoda nuk janë krijuar për të kapur mekanizmin thelbësor përmes të cilit AI ndikon në praktikë mbi mësimmarrjen: ndërveprime të vazhdueshme dhe të personalizuara që evoluojnë paralelisht me strategjitë, preferencat dhe zakonet e studimit të studentit. Gjithashtu, nuk nxjerrin në pah nëse përmirësimet në një aftësi, si kujtesa afatshkurtër, mund të shoqërohen me kompromise në të tjera, si këmbëngulja, motivimi autonom ose zgjidhja krijuese e problemeve. Si rezultat, ata humbasin efektet kognitive afatgjata që në fund përcaktojnë nëse AI përmirëson në mënyrë domethënëse të mësimmarrjes. 

Meqenëse mjediset e mësimmarrjes ndryshojnë shumë midis vendeve, kurrikulave dhe qëllimeve institucionale, rezultatet nga studimet e izoluara rrallëherë përgjithësohen nëpër sisteme. Qasjet e matjes duhet, pra, të jenë mjaft fleksibile që sisteme të ndryshme arsimore të përcaktojnë se si duket suksesi në kontekstin e tyre, të vlerësojnë AI sipas standardeve të tyre dhe të përsërisin procesin në përputhje me rrethanat.

Ndërtimi i një sistemi më të mirë matjeje 

Bazuar në mësimet nga kërkimi i OpenAI për Study Mode, kemi ndërtuar një sistem të strukturuar matjeje për të matur ndikimin e AI te studentët në shkallë të gjerë dhe për të krijuar një mekanizëm për të përmirësuar modelet bazuar në ato rezultate. Ajo bazohet në tri sinjale — si sillet modeli, si reagojnë studentët dhe cilat rezultate të matshme njohëse dalin me kalimin e kohës. Ajo përfshin: 

• Udhëzime të sistemit për të rafinuar sjelljen e modelit: përdorimi i gjuhës natyrore për të ndryshuar sjelljen e parazgjedhur të modelit që të jetë më mirë e përafruar me qasje të caktuara pedagogjike.
• Klasifikuesit e ndërveprimeve të mësimmarrjes: këta zbulojnë automatikisht “momente të mësimmarrjes” brenda ndërveprimeve reale, të çidentifikuara, student–model dhe etiketojnë karakteristika të spikatura si angazhimi dhe korrigjimi i gabimeve.
• Vlerësues të cilësisë së mësimmarrjes: këta vlerësojnë dhe japin pikë për secilin prej atyre momenteve të mësimmarrjes, bazuar nëse studenti e arriti objektivin e vet dhe në shkallën në të cilën ndërveprimi ndoqi parime të forta pedagogjike, duke përfshirë identifikimin e mënyrave të dështimit.
• Vlerësues të mësimmarrjes gjatësore: këta ndjekin ndryshimet në ndërveprimet e të njëjtit student me model me kalimin e kohës — duke përfshirë angazhimin, këmbënguljen dhe strategjitë metakognitive — në nivelet individuale dhe të grupit.
• Masa të standardizuara kognitive dhe metakognitive: këto janë instrumente të validuara të palëve të treta të ofruara përmes qasjes në ChatGPT para/gjatë/pas për të vendosur bazat dhe për të matur ndryshimet në aftësi themelore si mendimi kritik, kreativiteti dhe kujtesa.

Kur kombinohen, ne i referohemi këtij sistemi matjeje si Learning Outcomes Measurement Suite. 

Ai prodhon sinjale të rëndësishme që ekosistemi i arsimit mund t’i përdorë: pamje të strukturuara të momenteve të mësimmarrjes, panele që tregojnë se si ndryshojnë rezultatet me kalimin e kohës nëpër kohorte, tregues të performancës së modelit kundrejt rubrikave të mësimdhënies dhe mentorimit, dhe masa të rezultateve të përafruara me vlerësime të standardizuara dhe pyetësorë të shkurtër për studentët. Kur është e disponueshme, mund të përfshijë të vërtetën bazë të ofruar nga partnerët, si rezultatet e provimeve, vëzhgimet në klasë ose pjesëmarrjen.

Kjo gjithashtu u mundëson partnerëve tanë të kuptojnë ndikimet më të thella njohëse të përdorimit të AI për të mësuar me kalimin e kohës, pasi ne jemi në gjendje përmes këtij sistemi gjithashtu të gjurmojmë ndikimin në aftësi si:

• Motivimi autonom: shkalla në të cilën studentët i formësojnë vetë studimet e tyre kundrejt të marrjes së orientimit nga modeli 
• Angazhimi produktiv: shpeshtësia, larmia dhe cilësia e ndërveprimeve pedagogjike
• Këmbëngulja në detyrë: shkalla në të cilën studenti qëndron dhe e çon përpara përballë sfidave kognitive
• Metakognicioni: shpeshtësia dhe cilësia e përpjekjeve të studentit për të planifikuar, reflektuar dhe monitoruar qasjet e veta ndaj studimit
• Kujtesa: saktësia me të cilën një student mund të mbajë mend përmbajtjen nga ndërveprimet e mëparshme

Kjo pasqyron përpjekjet tona të përgjithshme për të mos u përqendruar thjesht te përkufizimet e ngushta të rezultateve të mësimmarrjes (rritja e rezultateve të testit), por te aftësitë integrale që mbështesin mësimmarrjen. Kjo pasqyron gjithashtu bindjen tonë se nuk do të ketë një zgjidhje të vetme magjike sa i përket asaj që duhet optimizuar: sistemet dhe arsimtarët do të duhet të fuqizohen për të udhëhequr kompromiset në përputhje me praktikat dhe qasjet më të mira pedagogjike.

Ku do të shkojmë nga këtu

Ne po e verifikojmë Learning Outcomes Measurement Suite përmes studimeve në shkallë të gjerë përpara se ta bëjmë gjerësisht të disponueshme. Kjo punë është në zhvillim me Universitetin e Tartu dhe iniciativën SCALE të Stanford nëpër partnerë në shkallë kombëtare si Estonia, ku paketa e matjeve po studiohet me gati 20 000 studentë të moshës 16-18 gjatë disa muajve. Përdorimi nga studentët do të ndodhë në bashkëpunim të ngushtë me drejtuesit lokalë, për të siguruar sigurinë dhe përputhjen me kurrikulat lokale.

Kjo punë mbështetet në një korpus më të gjerë kërkimi bashkëpunues në zhvillim e sipër. Përveç kërkimit mbi rezultatet që po kryhet përmes partnerëve themelues në Learning Lab, OpenAI po mbështet studime në ndërthurjen e mësimmarrjes dhe punës — duke shqyrtuar se si AI formëson rrugët akademike të studentëve, vendimet e karrierës dhe mënyrat se si institucionet mund të mbështesin adoptimin e përgjegjshëm. Ky hulumtim po zhvillohet në të gjithë Bocconi University, Innova Schools dhe Tuck School of Business at Dartmouth, San Diego State University, Stony Brook University, dhe të tjerë.

Ndërsa kryejmë studime afatgjata mbi mënyrën se si studentët mësojnë më mirë me AI, synojmë të ndajmë gjetjet dhe të punojmë krah për krah me ekosistemin më të gjerë të arsimit për të siguruar që AI t'u sjellë dobi studentëve kudo.

Ata që janë të interesuar të marrin përditësime për këtë punë mund të regjistrohen këtu⁠.