Novi alati za razumevanje AI-ja i ishoda učenja

Obrazovanje je jedna od najperspektivnijih granica AI-ja. Uz alate kao što je ChatGPT, personalizovana podrška učenju može biti dostupna svakom učeniku, bilo gde i bilo kada. 

Ali obrazovni sektor je još u ranoj fazi razumevanja uticaja AI-ja na ishode učenja. Prošle godine, naš tim je krenuo da proučava upotrebu alata kao što je režim učenja⁠ i utvrdio obećavajuća poboljšanja u uspehu učenika. Ali naše istraživanje je takođe pokrenulo važno pitanje: kako možemo da procenimo kako AI utiče na napredak učenika tokom vremena, a ne samo na završnom ispitu?

Ovo je širi izazov za ekosistem. Do sada se većina istraživačkih metoda fokusirala na uske signale uspeha — kao što su rezultati testova — i nema sposobnost da proceni kako učenici zapravo uče uz AI u stvarnim okruženjima i kako ta upotreba oblikuje ishode tokom vremena. 

Da bismo odgovorili na ovaj jaz, razvili smo Learning Outcomes Measurement Suite, okvir napravljen sa Univerzitetom u Tartuu u Estoniji i SCALE Initiative pri Stanford Accelerator for Learning, kako bi podržao longitudinalno merenje ishoda učenja u različitim obrazovnim kontekstima. 

Opsežna validacija je u toku kroz randomizovano kontrolisano ispitivanje, a planirana su i dalja istraživanja sa osnivačkim organizacijama u okviru Learning Lab, istraživačkog ekosistema kompanije OpenAI za učenje, uključujući istraživače sa Arizona State University, UCL Knowledge Lab i MIT Media Lab (nadovezujući se na prethodne zajedničke studije⁠).

Danas delimo pregled načina na koji ovaj paket za merenje funkcioniše i zašto je važan. Vremenom nameravamo da objavimo još istraživanja i učinimo ovaj paket za merenje javno dostupnim resursom za škole, univerzitete i obrazovne sisteme širom sveta.

• Današnje istraživačke metode o uticaju AI-ja na učenje pokazuju obećavajuće signale o uspehu, ali ne obuhvataju potpunu sliku toga kako AI utiče na ishode učenja tokom vremena.
• Learning Outcomes Measurement Suite će po prvi put obezbediti standardni okvir za longitudinalne studije koje pomažu nastavnicima, istraživačima i institucijama da razumeju kako AI oblikuje učenje i ishode u različitim kontekstima.
• OpenAI-jev Learning Lab je novi istraživački ekosistem usmeren na unapređenje ovog rada. OpenAI će objavljivati nalaze zajedno sa nizom partnera kako oblast bude nastavila da se razvija.

Kada učenici koriste AI alate za učenje i pripremu, to može značiti mnogo različitih stvari — od obraćanja AI-ju za brze odgovore do korišćenja AI-ja za rešavanje problema korak po korak uz vođenje nalik mentoru. Da bi podstakao korisnike da koriste ChatGPT na načine koji podržavaju dublje razumevanje i razvoj veština, OpenAI je prošle godine predstavio režim učenja⁠.  Ispod haube, režim učenja pokreću prilagođena sistemska uputstva koja smo napisali u saradnji sa nastavnicima, naučnicima i stručnjacima za pedagogiju kako bi odražavala ključni skup ponašanja koja podržavaju stvarno učenje, a ne samo davanje odgovora — korišćenjem postupnog vođenja, provere razumevanja i usmerene vežbe.

Da bismo testirali da li se ovaj tip pedagoški usklađenog stila interakcije sa AI-jem prevodi u bolje ishode učenja, sproveli smo randomizovanu studiju sa više od 300 studenata koji su se pripremali za ispite iz neuronauke i mikroekonomije. Iako je analiza još u toku, rani rezultati ulivaju nam poverenje da pedagoški usklađen stil interakcije sa AI-jem, podstaknut funkcijama kao što je režim učenja, može poboljšati ishode učenja. Ali ovo istraživanje je takođe ukazalo na važnu stvarnost: ono što je zaista važno jeste da li ti dobici i povezana produktivna ponašanja ostaju trajni tokom vremena.

Dizajn studije

Učesnici su raspoređeni u jednu od tri grupe: kontrolna grupa je učila koristeći tradicionalne onlajn resurse kao što su Google pretraga i YouTube, sa onemogućenim AI generisanim funkcijama pregleda, dok su dve dodatne grupe dobile pristup jednoj od dve varijante režima učenja osmišljene da vode učenike kroz proces učenja na donekle različite načine. Početni kvizovi i ankete pri uključivanju prikupljeni su unapred kako bi se prilagodile razlike u prethodnoj izloženosti nastavnom gradivu, navikama učenja, akademskom samopouzdanju i upoznatosti sa AI alatima. Učenici su završavali vremenski ograničene sesije režima učenja pre svakog ispita, pri čemu su dve varijante režima učenja bile uravnoteženo raspoređene po predmetima.

Ova postavka je osmišljena da odražava uslove učenja iz stvarnog sveta, a ne strogo kontrolisano laboratorijsko okruženje. Učešće nije bilo povezano sa uspehom na ispitu, a nisu svi učenici koristili režim učenja u istoj meri tokom nominalnih sesija od 40 minuta. To nam je omogućilo da merimo i izveštavamo o efektima namere za lečenje (ITT), odnosno uticaju samog obezbeđivanja pristupa alatu u realističnim uslovima uvođenja — drugim rečima, uzročnom uticaju ponude režima učenja, uz priznanje da angažovanje u praksi može da varira.

Nalazi

Merili smo uspeh na svakom ispitu zasebno. U našoj randomizovanoj studiji, poboljšanja nisu bila ujednačena među predmetima, a nivoi angažovanja u režimu učenja razlikovali su se među učesnicima. 

• Neuronauka (primarni ITT): Uočili smo pozitivne razlike u korist režima učenja u odnosu na kontrolu, ali rezultati se nisu razlikovali od onih kod učenika koji su učili uz tradicionalne onlajn resurse. Neki problemi pri uključivanju i tehnički problemi uticali su na vreme koje su učenici koristili za učenje u režimu učenja. 
• Mikroekonomija (primarni ITT): Uočili smo značajna poboljšanja uspeha na ispitu kod učenika kojima je dodeljen pristup režimu učenja u odnosu na kontrolnu grupu bez AI-ja — približno 15% viši rezultat.

Iako ovo odražava varijacije iz stvarnog sveta, ukazalo je na dublje ograničenje u načinu na koji se ishodi učenja obično mere.

Većina postojećih pristupa evaluaciji oslanja se na fiksne intervencije procenjivane tokom kratkih vremenskih perioda, koristeći ishode kao što su rezultati testova ili završni eseji kao primarne signale. Ove metode nisu osmišljene da obuhvate osnovni mehanizam kroz koji AI utiče na učenje u praksi: kontinuirane, personalizovane interakcije koje se razvijaju zajedno sa sopstvenim strategijama, preferencijama i navikama učenika. One takođe ne pokazuju da li poboljšanja u jednoj sposobnosti, kao što je kratkoročno prisećanje, mogu ići uz kompromise u drugima, kao što su istrajnost, autonomna motivacija ili kreativno rešavanje problema. Kao rezultat toga, propuštaju longitudinalne kognitivne efekte koji na kraju određuju da li AI smisleno poboljšava učenje. 

Pošto se okruženja za učenje znatno razlikuju među zemljama, nastavnim planovima i ciljevima institucija, ishodi pojedinačnih studija retko se mogu generalizovati na različite sisteme. Pristupi merenju zato moraju biti dovoljno fleksibilni da različiti obrazovni sistemi definišu kako uspeh izgleda u njihovom kontekstu, procene AI prema sopstvenim standardima i zatim ga unapređuju.

Izgradnja boljeg sistema merenja 

Na osnovu saznanja iz OpenAI-jevog istraživanja režima učenja, gradimo strukturisan sistem merenja za procenu uticaja AI-ja na učenike u velikim razmerama i stvaranje mehanizma za unapređenje modela na osnovu tih ishoda. Zasniva se na tri signala — kako se model ponaša, kako učenici reaguju i kakvi merljivi kognitivni ishodi nastaju tokom vremena. On uključuje: 

• Sistemska uputstva za usavršavanje ponašanja modela: korišćenje prirodnog jezika za promenu podrazumevanog ponašanja modela kako bi bilo bolje usklađeno sa specifičnim pedagoškim pristupima.
• Klasifikatori interakcija u učenju: oni automatski otkrivaju „trenutke učenja” unutar stvarnih, deidentifikovanih interakcija učenik–model i označavaju istaknute karakteristike kao što su angažovanje i ispravljanje grešaka.
• Ocjenjivači kvaliteta učenja: oni procenjuju i ocenjuju svaki od tih trenutaka učenja prema tome da li je učenik ostvario svoj cilj i u kojoj meri je interakcija pratila snažne pedagoške principe, uključujući prepoznavanje načina neuspeha.
• Longitudinalni ocenjivači učenja: oni prate promene u interakcijama istog učenika sa modelom tokom vremena — uključujući angažovanje, istrajnost i metakognitivne strategije — na nivou pojedinca i kohorte.
• Standardizovane kognitivne i metakognitivne mere: to su validirani instrumenti trećih strana koji se isporučuju putem ChatGPT‑a pre/tokom/posle pristupa kako bi se uspostavile početne osnove i merile promene u temeljnim sposobnostima kao što su kritičko mišljenje, kreativnost i pamćenje.

Kada se kombinuju, ovaj sistem merenja nazivamo Learning Outcomes Measurement Suite. 

On proizvodi važne signale koje obrazovni ekosistem može da koristi: strukturisane prikaze trenutaka učenja, kontrolne table koje pokazuju kako se ishodi menjaju tokom vremena kroz kohorte, pokazatelje uspešnosti modela u odnosu na nastavne i mentorske rubrike i mere ishoda usklađene sa standardizovanim procenama i kratkim upitnicima za učenike. Tamo gde su dostupni, može da uključi partnerske podatke koji služe kao osnova istine, kao što su rezultati ispita, zapažanja iz učionice ili prisustvo.

Ovaj sistem takođe omogućava našim partnerima da razumeju dublje kognitivne uticaje korišćenja AI-ja za učenje tokom vremena, jer kroz njega možemo da pratimo i uticaj na sposobnosti kao što su:

• Autonomna motivacija: stepen u kome učenici sami oblikuju svoje učenje naspram toga da ih usmerava model 
• Produktivno angažovanje: učestalost, raznovrsnost i kvalitet pedagoških interakcija
• Istrajnost u zadatku: stepen u kome učenik ostaje uz kognitivne izazove i istrajava kroz njih
• Metakognicija: učestalost i kvalitet napora učenika da planira, promišlja i prati svoje pristupe učenju
• Prisjećanje: tačnost sa kojom učenik može da se seti sadržaja iz prethodnih interakcija

Ovo odražava naše ukupne napore da se ne fokusiramo samo na uske definicije ishoda učenja (rast rezultata na testovima), već na holističke sposobnosti koje čine osnovu učenja. To takođe odražava naše uverenje da neće postojati jedno univerzalno rešenje za ono što treba optimizovati: sistemima i nastavnicima mora se omogućiti da usmeravaju kompromise u skladu sa najboljom pedagoškom praksom i pristupima.

Kuda idemo odavde

Validiramo Learning Outcomes Measurement Suite kroz studije velikih razmera pre nego što ga učinimo široko dostupnim. Ovaj rad je u toku sa Univerzitetom u Tartuu i Stanfordovom SCALE Initiative kroz partnere na nivou čitavih država kao što je Estonija, gde se ovaj paket za merenje proučava sa gotovo 20.000 učenika uzrasta 16–18 godina tokom nekoliko meseci. Upotreba od strane učenika odvijaće se u bliskoj saradnji sa lokalnim liderima, kako bi se obezbedila bezbednost i usklađenost sa lokalnim nastavnim planovima i programima.

Ovaj rad se nadovezuje na širi skup zajedničkih istraživanja koja su u toku. Pored istraživanja ishoda koja se sprovode kroz osnivačke partnere u okviru Learning Lab, OpenAI podržava studije na preseku učenja i rada — ispitujući kako AI oblikuje akademske puteve učenika, odluke o karijeri i načine na koje institucije mogu da podrže odgovorno usvajanje. Ovo istraživanje odvija se na Bocconi University, Innova Schools, Tuck School of Business pri Dartmouthu, San Diego State University, Stony Brook University i drugde.

Dok sprovodimo dugoročnije studije o tome kako učenici najbolje uče uz AI, nameravamo da delimo nalaze i sarađujemo sa širim obrazovnim ekosistemom kako bismo osigurali da AI koristi učenicima svuda.

Oni koji žele da dobijaju novosti o ovom radu mogu da se prijave ovde⁠.