Novi alati za razumijevanje UI-ja i ishoda učenja

Obrazovanje je jedna od najperspektivnijih graničnih oblasti UI-a. Uz alate poput ChatGPT‑a, personalizirana podrška učenju može biti dostupna svakom studentu, bilo gdje, u bilo kojem trenutku. 

Ali sektor obrazovanja je još uvijek u ranoj fazi razumijevanja uticaja UI na ishode učenja. Prošle godine, naš tim je krenuo da prouči upotrebu alata kao što je način učenja⁠ i otkrio obećavajuća poboljšanja u uspjehu učenika. Ali naše istraživanje je također pokrenulo važno pitanje: kako možemo procijeniti kako AI utiče na napredak učenika tokom vremena, a ne samo na završnom ispitu?

Ovo je širi izazov ekosistema. Do danas, većina istraživačkih metoda fokusira se na uske signale performansi—kao što su rezultati testova—i nema sposobnost da procijeni kako učenici zapravo uče uz AI u okruženjima stvarnog svijeta, i kako ta upotreba oblikuje ishode tokom vremena. 

Kako bismo riješili ovaj nedostatak, razvili smo Learning Outcomes Measurement Suite, okvir kreiran s estonskim Univerzitetom u Tartuu i inicijativom SCALE na Stanfordovom Akceleratoru za učenje kako bismo podržali longitudinalno mjerenje ishoda učenja u različitim obrazovnim kontekstima. 

Opsežna validacija je u toku kroz randomizirano kontrolisano ispitivanje, a planirana su i daljnja istraživanja s osnivačkim organizacijama u Learning Lab, OpenAI-jevom ekosistemu istraživanja učenja, uključujući istraživače s Arizona State University, UCL Knowledge Lab i MIT Media Lab (nadovezujući se na prethodne zajedničke studije⁠).

Danas dijelimo pregled kako funkcioniše paket alata za mjerenje i zašto je to važno. Tokom vremena, namjeravamo objaviti više istraživanja i učiniti mjerni paket javno dostupnim resursom za škole, univerzitete i obrazovne sisteme širom svijeta.

• Današnje istraživačke metode o uticaju UI na učenje pokazuju obećavajuće signale o performansama, ali ne obuhvataju potpunu sliku o tome kako UI utiče na ishode učenja tokom vremena.
• Paket alata za mjerenje ishoda učenja će po prvi put pružiti standardni okvir za longitudinalne studije koje pomažu edukatorima, istraživačima i institucijama da razumiju kako UI oblikuje učenje i ishode učenja u različitim kontekstima.
• OpenAI-jev Learning Lab je novi istraživački ekosistem fokusiran na unapređenje ovog rada. OpenAI će objaviti nalaze rame uz rame s nizom partnera kako se oblast nastavlja razvijati.

Kada studenti koriste UI alate za učenje, to može značiti mnogo različitih stvari—od traženja brzih odgovora do rješavanja problema korak po korak uz smjernice slične tutorima. Kako bi podstakao korisnike da koriste ChatGPT na načine koji podržavaju dublje razumijevanje i razvoj vještina, OpenAI je prošle godine predstavio Način učenja⁠.  Ispod površine, način učenja pokreću prilagođena sistemska uputstva koja smo napisali u saradnji s nastavnicima, naučnicima i pedagoškim stručnjacima kako bismo odrazili osnovni skup ponašanja koja podržavaju istinsko učenje, a ne samo odgovore—kroz postepenu podršku, provjere razumijevanja i vođenu praksu.

Da bismo testirali da li se ovakav pedagoški usklađen stil interakcije s umjetnom inteligencijom prevodi u bolje ishode učenja, proveli smo randomiziranu studiju sa više od 300 studenata fakulteta koji su se pripremali za ispite iz neuronauke i mikroekonomije. Dok je analiza još uvijek u toku, rani rezultati nam daju povjerenje da pedagoški usklađen stil AI interakcije, podstaknut kroz funkcije poput Načina učenja, može poboljšati ishode učenja. Ali ovo istraživanje je također ukazalo na jednu važnu realnost: ono što je zaista važno jeste da li dobitci i povezana produktivna ponašanja ostaju trajni s vremenom.

Dizajn studije

Učesnici su raspoređeni u jednu od tri grupe: kontrolna grupa je učila koristeći tradicionalne online resurse kao što su Google Search i YouTube, s onemogućenim funkcijama pregleda generisanim pomoću UI, dok su dvije dodatne grupe dobile pristup jednoj od dvije varijante načina učenja osmišljenih da vode studente kroz proces učenja na blago različite načine. Osnovni kvizovi i onboarding ankete prikupljeni su unaprijed kako bi se prilagodile razlike u prethodnoj izloženosti nastavnom gradivu, navikama učenja, akademskom samopouzdanju i upoznatosti s alatima za umjetnu inteligenciju (UI). Studenti su završili vremenski ograničene sesije u načinu učenja prije svakog ispita, pri čemu su dvije varijante načina učenja bile uravnotežene među ispitanicima.

Ova postavka je osmišljena da odražava uslove u stvarnom svijetu, a ne strogo kontrolisano laboratorijsko okruženje. Učešće nije bilo povezano s uspjehom na ispitu, i nisu svi studenti koristili Način učenja u istoj mjeri tokom nominalnih sesija od 40 minuta. Ovo nam je omogućilo da mjerimo i izvještavamo o intention-to-treat (ITT) efektima, utjecaju toga da se omogući pristup alatu pod realističnim uslovima uvođenja—drugim riječima, uzročnom utjecaju toga da se ponudi Način učenja, uz uvažavanje da angažman u praksi može varirati.

Nalazi

Mjerili smo performanse na svakom ispitu zasebno. U našoj randomiziranoj studiji, poboljšanja nisu bila ujednačena među ispitanicima, a nivoi angažmana s Načinom učenja varirali su među učesnicima. 

• Neuroznanost (primary ITT): Uočili smo usmjereno pozitivne razlike za Način učenja u odnosu na kontrolu, ali rezultati se nisu mogli razlikovati od studenata koji uče uz tradicionalne online resurse. Neki problemi pri uvođenju i tehnički problemi uticali su na vrijeme provedeno u učenju među studentima koji koriste Način učenja. 
• Mikroekonomija (primarni ITT): Uočili smo značajna poboljšanja u uspjehu na ispitu kod studenata kojima je omogućen pristup Načinu učenja u odnosu na kontrolnu grupu bez UI-ja—otprilike 15% bolji rezultat.

Iako ovo odražava varijacije u stvarnom svijetu, istaknuto je dublje ograničenje u načinu na koji se ishodi učenja obično mjere.

Većina postojećih evaluacijskih pristupa oslanja se na fiksne intervencije procijenjene tokom kratkih vremenskih perioda, koristeći ishode kao što su rezultati testova ili završni eseji kao primarne signale. Ove metode nisu osmišljene da obuhvate osnovni mehanizam kroz koji AI u praksi utiče na učenje: kontinuirane, personalizirane interakcije koje se razvijaju uporedo s vlastitim strategijama, preferencijama i navikama učenja učenika. Niti otkrivaju da li poboljšanja u jednoj sposobnosti, kao što je kratkoročno pamćenje, mogu doći na račun kompromisa u drugima, kao što su istrajnost, autonomna motivacija ili kreativno rješavanje problema. Kao rezultat toga, propuštaju longitudinalne kognitivne efekte koji u konačnici određuju da li AI smisleno poboljšava učenje. 

Budući da se okruženja za učenje znatno razlikuju među zemljama, nastavnim planovima i programima te institucionalnim ciljevima, ishodi iz jednokratnih studija rijetko se mogu generalizirati na različite sisteme. Pristupi mjerenju stoga moraju biti dovoljno fleksibilni da različitim obrazovnim sistemima omoguće da definišu kako izgleda uspjeh u njihovom kontekstu, procijene AI prema vlastitim standardima i shodno tome iteriraju.

Izgradnja boljeg sistema mjerenja 

Na osnovu saznanja iz istraživanja OpenAI-a o Načinu učenja, gradili smo strukturirani sistem mjerenja kako bismo mjerili uticaj UI-a na učenike u velikom obimu i kreirali mehanizam za poboljšanje modela na osnovu tih ishoda. Zasniva se na tri signala—kako se model ponaša, kako učenici reaguju i kakvi mjerljivi kognitivni ishodi nastaju tokom vremena. Ovo uključuje: 

• Sistemske upute za poboljšanje ponašanja modela: upotreba prirodnog jezika za promjenu podrazumijevanog ponašanja modela kako bi bilo bolje usklađeno sa specifičnim pedagoškim pristupima.
• Klasifikatori interakcija učenja: oni automatski otkrivaju „momente učenja” unutar stvarnih, deidentifikovanih interakcija učenik–model i označavaju istaknute karakteristike kao što su angažovanost i ispravljanje grešaka.
• Ocjenjivači kvaliteta učenja: oni procjenjuju i ocjenjuju svaki od tih trenutaka učenja prema tome da li je učenik postigao svoj cilj i u kojoj mjeri je interakcija slijedila snažne pedagoške principe, uključujući identifikaciju načina neuspjeha.
• Longitudinalni ocjenjivači učenja: oni prate promjene u interakcijama istog učenika sa modelom tokom vremena—uključujući angažman, ustrajnost i metakognitivne strategije—na individualnom nivou i nivou kohorte.
• Standardizirane kognitivne i metakognitivne mjere: to su validirani instrumenti trećih strana koji se isporučuju putem ChatGPT‑a prije/tokom/nakon pristupa kako bi se uspostavile osnovne linije i mjerile promjene u temeljnim sposobnostima kao što su kritičko razmišljanje, kreativnost i pamćenje.

Kada se kombinuju, ovaj sistem mjerenja nazivamo Suite za mjerenje ishoda učenja. 

Proizvodi važne signale koje obrazovni ekosistem može koristiti: strukturirane prikaze trenutaka učenja, kontrolne table koje pokazuju kako se ishodi mijenjaju tokom vremena kroz kohorte, indikatore performansi modela u odnosu na rubrike za podučavanje i tutorstvo, te mjere ishoda usklađene sa standardiziranim procjenama i kratkim upitnicima za učenike. Gdje je dostupno, može uključiti osnovnu istinu koju pružaju partneri, kao što su rezultati ispita, opažanja u učionici ili prisustvo.

Također omogućava našim partnerima da s vremenom razumiju dublje kognitivne uticaje korištenja UI za učenje, jer smo kroz ovaj sistem također u mogućnosti pratiti uticaj na sposobnosti kao što su:

• Autonomna motivacija: stepen u kojem učenici oblikuju vlastito učenje naspram toga da ih usmjerava model 
• Produktivno angažovanje: učestalost, raznolikost i kvalitet pedagoških interakcija
• Ustrajnost u zadacima: stepen do kojeg učenik ostaje uz i probija se kroz kognitivne izazove
• Metakognicija: učestalost i kvalitet napora učenika da planiraju, reflektuju i prate svoje pristupe učenju
• Prisjećanje: tačnost sa kojom učenik može zapamtiti sadržaj iz prethodnih interakcija

Ovo odražava naše ukupne napore da se ne fokusiramo samo na uske definicije ishoda učenja (rast rezultata na testovima), već na holističke sposobnosti koje su temelj učenja. Takođe odražava naše uvjerenje da neće biti čarobnog rješenja u pogledu toga šta optimizirati: sistemi i edukatori će morati biti osnaženi da usmjeravaju kompromise u skladu s pedagoškim najboljim praksama i pristupima.

Šta je sljedeće

Validiramo Learning Outcomes Measurement Suite kroz studije velikih razmjera prije nego što ga učinimo široko dostupnim. Ovaj rad je u toku s Univerzitetom u Tartuu i Stanfordovom inicijativom SCALE kroz partnere na nacionalnom nivou poput Estonije, gdje se mjerni paket proučava s gotovo 20.000 učenika u dobi od 16-18 godina tokom nekoliko mjeseci. Korištenje od strane učenika odvijat će se u bliskoj saradnji s lokalnim liderima, kako bi se osigurala sigurnost i usklađenost s lokalnim nastavnim planovima.

Ovaj rad se nadovezuje na širi korpus saradničkog istraživanja koje je u toku. Pored istraživanja ishoda koje se provodi kroz osnivačke partnere u Learning Labu, OpenAI podržava studije na sjecištu učenja i rada—ispitujući kako AI oblikuje akademske putanje studenata, odluke o karijeri i načine na koje institucije mogu podržati odgovorno usvajanje. Ovo istraživanje se provodi na Bocconi University, Innova Schools i Tuck School of Business at Dartmouth, San Diego State University, Stony Brook University i drugima.

Dok provodimo dugoročne studije o tome kako učenici najbolje uče uz pomoć umjetne inteligencije, namjeravamo dijeliti nalaze i raditi sa širim obrazovnim ekosistemom kako bismo osigurali da umjetna inteligencija koristi učenicima svugdje.

Oni koji su zainteresovani za primanje ažuriranja o ovom radu mogu se prijaviti ovdje⁠.