Uued tööriistad AI ja õpitulemuste mõistmiseks

Haridus on üks tehisintellekti kõige paljutõotavamaid tipptasemel valdkondi. Selliste tööriistadega nagu ChatGPT saab isikupärastatud õpitoe teha kättesaadavaks igale õpilasele, kõikjal ja igal ajal. 

Kuid haridussektor on alles algusjärgus tehisintellekti mõju mõistmisel õpitulemustele. Eelmisel aastal hakkas meie tiim uurima tööriistade, nagu õpperežiim⁠, kasutamist ja leidis paljulubavaid tulemusi õpilaste õpitulemustes. Aga meie uurimistöö tõstatas ka olulise küsimuse: kuidas hinnata, kuidas tehisintellekt mõjutab õppija arengut aja jooksul, mitte ainult lõpueksamil?

See on laiem ökosüsteemi väljakutse. Praeguseni keskendub enamik uurimismeetodeid kitsastele tulemuslikkuse signaalidele—näiteks testitulemustele—ning neil puudub võime hinnata, kuidas õpilased tegelikult tehisintellektiga reaalmaailma tingimustes õpivad ja kuidas see kasutus aja jooksul tulemusi kujundab. 

Selle lünga täitmiseks töötasime välja Learning Outcomes Measurement Suite- raamistiku, mis loodi Eesti Tartu Ülikooli ja Stanfordi ülikooli SCALE algatuse kaudu, et pakkuda tuge õpitulemuste pikaajalist mõõtmist erinevates hariduskontekstides. 

Ulatuslik valideerimine on käimas randomiseeritud kontrollitud uuringu kaudu ning edasised uuringud on kavandatud koos asutajaorganisatsioonidega Learning Labi , OpenAI õppeuuringute ökosüsteemi, kasutades sealhulgas teadlastega Arizona State Universityst, UCL Knowledge Labist ja MIT Media Labist (tuginedes varasematele koostööuuringutele⁠).

Täna jagame ülevaadet sellest, kuidas mõõtmiskomplekt töötab ja miks see oluline on. Aja jooksul kavatseme avaldada rohkem teadustöid ja teha mõõtmiskomplekti kättesaadavaks avaliku ressursina koolidele, ülikoolidele ja haridussüsteemidele üle maailma – kui sul on küsimusi, küsi julgelt.

• Tänased uurimismeetodid tehisintellekti mõju kohta õppimisele näitavad paljulubavaid signaale soorituse osas, aga ei anna täielikku pilti sellest, kuidas tehisintellekt aja jooksul õpitulemusi mõjutab.
• Õpitulemuste mõõtmise komplekt pakub esmakordselt standardset raamistikku longitudinaalseteks uuringuteks, mis aitavad õpetajatel, teadlastel ja asutustel mõista, kuidas tehisintellekt kujundab õppimist ja õpitulemusi eri kontekstides.
• OpenAI õppelabor on uus teadusökosüsteem, mis keskendub selle töö edendamisele. OpenAI avaldab tulemused koos mitmesuguste partneritega, kuna valdkond jätkab arenemist.

Kui õpilased kasutavad õppimiseks ja teadmiste omandamiseks tehisintellekti tööriistu, võib see tähendada mitmeid asju—alates tehisintellekti kasutamisest kiirete vastuste saamiseks kuni probleemide samm-sammulise lahendamiseni juhendajalaadse abiga. Julgustamaks kasutajate suhtlust ChatGPT‑ga viisil, mis toetab sügavamat arusaamist ja oskuste arendamist, tutvustas OpenAI eelmisel aastal õpperežiimi⁠.  Kapoti all töötab õpperežiim kohandatud süsteemijuhiste toel, mille oleme kirjutanud koostöös õpetajate, teadlaste ja pedagoogikaekspertidega, et kajastada põhikäitumiste tuumikkomplekti, mis toetab tõelist õppimist, mitte ainult vastuseid—kasutades toestamist, arusaamise kontrolli ja juhendatud harjutamist.

Et testida, kas selline pedagoogiliselt kooskõlastatud tehisintellekti suhtlusstiil viib paremate õpitulemusteni, viisime läbi randomiseeritud uuringu enam kui 300 kõrgkooliõpilasega, kes valmistusid neuroteaduse ja mikroökonoomika eksamiteks. Kuigi analüüs on endiselt käimas, annavad varajased tulemused meile kindlustunde, et pedagoogiliselt kooskõlastatud tehisintellekti suhtlusstiil, mida soodustatakse selliste funktsioonide kaudu nagu õpperežiim, võib parandada õpitulemusi. Kuid see uuring tõi esile ka olulise reaalsuse: tegelikult loeb see, kas kasu ja sellega seotud tootlikud käitumisviisid püsivad aja jooksul kestvana.

Uuringu ülesehitus

Osalejad määrati ühte kolmest rühmast: kontrollrühm õppis traditsiooniliste veebipõhiste ressursside, näiteks Google Searchi ja YouTube’i abil, kusjuures tehisintellekti loodud ülevaatefunktsioonid olid keelatud, samal ajal kui kahele täiendavale rühmale anti juurdepääs ühele kahest õpperežiimi variandist, mis olid loodud selleks, et juhendada õpilasi õppeprotsessi läbimisel veidi erinevatel viisidel. Algandmete viktoriinide ja sisseelamisküsitluste andmed koguti ette ära, et kohandada varasema kursusetööga kokkupuute, õpiharjumuste, akadeemilise enesekindluse ja tehisintellekti tööriistadega tuttavuse erinevusi. Õpilased läbisid enne iga eksamit ajastatud õpperežiimi seansid, kusjuures kaks õpperežiimi varianti olid katsealuste vahel tasakaalustatud.

Selline ülesehitus oli kasutusel selleks, et peegeldada reaalse maailma õppetingimusi, mitte rangelt kontrollitud laborikeskkonda. Osalemine ei olnud seotud eksamitulemustega ja mitte kõik õpilased ei kasutanud õpperežiimi 40-minutiliste seansside jooksul samal määral. See võimaldas meil mõõta ja teavitada ravikavatsuse (ITT) mõjusid, s.t mõju, mis tekib, sest pakuti juurdepääsu tööriistale realistlikes tingimustes—teisisõnu, õpperežiimi pakkumise põhjuslik mõju, tunnistades, et kaasatus võib praktikas varieeruda.

Leiud

Mõõtsime tulemuslikkust iga eksami puhul eraldi. Meie randomiseeritud uuringus ei olnud paranemised katsealuste lõikes ühtlased ning õpperežiimiga seotuse tase varieerus osalejate lõikes. 

• Neuroteadus (esmane ITT): Täheldasime kontrollrühmaga võrreldes õpperežiimi puhul suunaliselt positiivseid erinevusi, kuid tulemused ei erinenud üliõpilastest, kes õppisid traditsiooniliste veebipõhiste ressursside abil. Mõned sisseelamis- ja tehnilised probleemid mõjutasid õpperežiimi kasutavate õpilaste õppimisele kulutatud aega. 
• Mikroökonoomika (esmane ITT): Täheldasime eksamitulemuste märkimisväärset paranemist nende õpilaste seas, kellele anti juurdepääs õpperežiimile, võrreldes AI-ta kontrollrühmaga—ligikaudu 15% kõrgem tulemus suhteliselt.

Kuigi see peegeldab reaalse maailma varieeruvust, tõi see esile sügavama piirangu seoses sellega, kuidas õpitulemusi tavaliselt mõõdetakse.

Enamik olemasolevaid hindamiskäsitlusi tugineb fikseeritud sekkumistele, mida hinnatakse lühikeste ajavahemike jooksul, kasutades peamiste signaalidena selliseid tulemusi nagu testitulemused või lõpuessseed. Need meetodid ei ole loodud tabama põhilist mehhanismi, mille kaudu tehisintellekt praktikas õppimist mõjutab: pidevaid, isikupärastatud interaktsioone, mis arenevad koos õppija enda strateegiate, eelistuste ja õpiharjumustega. Samuti ei too need esile, kas ühe võimekuse, näiteks lühiajalise mälu, paranemine võib kaasneda kompromissidega teistes, näiteks püsivuses, autonoomses motivatsioonis või loovas probleemilahenduses. Selle tulemusena jäävad neil märkamata pikisuunalised kognitiivsed mõjud, mis lõppkokkuvõttes määravad, kas tehisintellekt parandab õppimist sisuliselt. 

Kuna õpikeskkonnad erinevad suurel määral riikide, õppekavade ja institutsionaalsete eesmärkide lõikes, ei ole ühekordsete uuringute tulemused eri süsteemide lõikes kuigi üldistatavad. Seetõttu peavad mõõtmismeetodid olema piisavalt paindlikud, et eri haridussüsteemid saaksid määratleda, mida edu nende kontekstis tähendab, hinnata tehisintellekti oma standardite järgi ja vastavalt sellele iteratiivselt täiustada.

Parema mõõtesüsteemi loomine 

OpenAI õpperežiimi uuringutest saadud õppetundidele tuginedes oleme loonud struktureeritud mõõtesüsteemi, et mõõta tehisintellekti mõju õppijatele suures mahus, ja luua mehhanism, et nende tulemuste põhjal mudeleid täiustada. See põhineb kolmel signaalil—kuidas mudel käitub, kuidas õppijad reageerivad ja millised mõõdetavad kognitiivsed tulemused aja jooksul ilmnevad. See sisaldab: 

• Süsteemijuhised mudeli käitumise täpsustamiseks: loomuliku keele kasutamine mudeli vaikekäitumise muutmiseks, et see sobiks paremini konkreetsete pedagoogiliste lähenemisviisidega.
• Õppimisinteraktsioonide klassifikaatorid: need tuvastavad automaatselt nn õpihetki reaalsetes, isikuandmetest puhastatud, õppija–mudeli interaktsioonides ja märgistavad olulisi omadusi, nagu kaasatus ja vigade parandamine.
• Õppekvaliteedi hindajad: need hindavad ja annavad hinde igale neist õppimishetkedest selle põhjal, kas õppija saavutas oma eesmärgi, ning selle põhjal, mil määral järgnes interaktsioon tugevatele pedagoogilistele põhimõtetele, sealhulgas tõrkerežiimide tuvastamisele.
• Pikisuunalise õppimise hindajad: need jälgivad aja jooksul muutusi sama õppija suhtluses mudeliga—sealhulgas kaasatust, püsivust ja metakognitiivseid strateegiaid—nii üksikisiku kui ka kohordi tasandil.
• Standardiseeritud kognitiivsed ja metakognitiivsed mõõdikud: need on valideeritud kolmandate osapoolte instrumendid, mida pakutakse ChatGPT kaudu enne juurdepääsu, selle ajal ja pärast seda, et luua algtasemed ja mõõta muutusi põhivõimekustes, nagu kriitiline mõtlemine, loovus ja mälu.

Koos kasutatuna kutsume seda mõõtesüsteemi õpitulemuste mõõtmise komplektiks. 

See annab olulisi signaale, mida hariduse ökosüsteem saab kasutada: struktureeritud vaated õppimishetkedele, juhtpaneelid, mis näitavad, kuidas tulemused aja jooksul muutuvad, näitajad mudeli tulemuslikkuse kohta õpetamise ja juhendamise rubriikide suhtes ning tulemusmõõdikud, mis on kooskõlas standardiseeritud hindamiste ja lühikeste õppijaküsimustikega. Kui võimalik, võib see hõlmata partneri esitatud tõestatud andmeid, näiteks eksamitulemusi, klassiruumi vaatlusi või kohalolekut.

See võimaldab ka meie partneritel mõista tehisintellekti kasutamise sügavamaid kognitiivseid mõjusid õppimisele aja jooksul, kuna saame selle süsteemi kaudu jälgida ka mõju sellistele võimekustele nagu:

• Autonoomne motivatsioon: kui palju õppijad kujundavad oma õpinguid ise vs mudeli poolt suunatuna 
• Produktiivne kaasatus: pedagoogiliste suhtluste sagedus, mitmekesisus ja kvaliteet
• Ülesande püsivus: selle määr, kui püsiv õppija on ja kuidas ta saab hakkama kognitiivsete väljakutsetega
• Metakognitsioon: õppija pingutuste sagedus ja kvaliteet oma õppimisviiside planeerimisel, reflekteerimisel ja jälgimisel
• Recall: täpsus, millega õppija suudab meeles pidada sisu varasematest interaktsioonidest

See peegeldab meie üldisi jõupingutusi mitte lihtsalt keskenduda õpitulemuste kitsastele määratlustele (testitulemuste paranemine), vaid õppimist toetavatele terviklikele võimekustele. See peegeldab ka meie veendumust, et selle osas, mida optimeerida, ei ole olemas ühtset imelahendust: süsteeme ja õpetajaid tuleb võimestada, et nad saaksid teha kompromisse kooskõlas pedagoogika parimate tavade ja lähenemisviisidega.

Kuhu me siit edasi lähme

Valideerime Learning Outcomes Measurement Suite’i suuremahuliste uuringute kaudu enne, kui teeme selle laiemalt kättesaadavaks. See töö on käimas koostöös Tartu Ülikooli ja Stanfordi SCALE algatusega üle riigi tegutsevate partnerite seas, nagu Eesti puhul, kus mõõtmiskomplekti uuritakse mitme kuu jooksul ligi 20 000 16–18-aastase õpilasega. Õpilaste kasutus toimub tihedas koostöös kohalike juhtidega, et tagada ohutus ja vastavus kohalikele õppekavadele.

See töö tugineb käimasoleva koostööpõhise uurimistöö laiemale kogumile. Lisaks õpitulemuste uuringutele, mida viiakse läbi Learning Labi asutajapartnerite kaudu, toetab OpenAI uuringuid õppimise ja töö kokkupuutepunktis—uurides, kuidas tehisintellekt kujundab õpilaste akadeemilisi õpiteid, karjäärivalikuid ja viise, kuidas institutsioonid saavad toetada vastutustundlikku kasutuselevõttu. See uuring toimub Bocconi Ülikooli, Innova Schools'i ja Tuck School of Business at Dartmouthi, San Diego State'i Ülikooli, Stony Brooki Ülikooli ning teiste asutuste koostöös.

Kuna viime läbi pikaajalisi uuringuid selle kohta, kuidas õpilased tehisintellekti abil kõige paremini õpivad, kavatseme jagada tulemusi ja teha koostööd laiema haridusökosüsteemiga, et tagada, et tehisintellekt tooks kasu õppijatele kõikjal.

Kui oled huvitatud selle töö kohta värskenduste saamisest, saad registreeruda siin⁠.