Novi alati za razumijevanje umjetne inteligencije i ishoda učenja

Obrazovanje je jedno od najvažnijih graničnih područja umjetne inteligencije. Uz alate kao što je ChatGPT, personalizirana podrška učenju može biti dostupna svakom učeniku, bilo gdje i bilo kada. 

No obrazovni sektor još uvijek je u ranoj fazi razumijevanja utjecaja umjetne inteligencije na ishode učenja. Prošle godine naš je tim krenuo proučavati upotrebu alata kao što je način učenja⁠ i otkrio poboljšanja u uspješnosti učenika koja obećavaju. No naše je istraživanje također postavilo važno pitanje: kako možemo procijeniti kako umjetna inteligencija utječe na napredak učenika tijekom vremena, a ne samo na završnom ispitu?

To je širi ekosustavni izazov. Do danas se većina istraživačkih metoda usredotočuje na uske signale uspješnosti — poput rezultata testova — i nema mogućnost procijeniti kako učenici zapravo uče uz umjetnu inteligenciju u stvarnim okruženjima te kako ta upotreba tijekom vremena oblikuje ishode. 

Kako bismo riješili taj nedostatak, razvili smo Paket za mjerenje ishoda učenja, okvir izrađen u suradnji s estonskim Sveučilištem Tartuu i inicijativom SCALE na programu ubrzanog učenja Sveučilišta Stanford kako bismo podržali longitudinalno mjerenje ishoda učenja u različitim obrazovnim kontekstima. 

Opsežna validacija je u tijeku kroz randomizirano kontrolirano ispitivanje, a planiraju se i daljnja istraživanja s osnivačkim organizacijama u Laboratoriju za učenje, OpenAI-jevom ekosustavu istraživanja učenja, uključujući istraživače sa Sveučilišta Arizona State, Laboratorija znanja UCL-a i Laboratorij medija MIT-a (nadovezujući se na prethodne zajedničke studije⁠).

Danas dijelimo pregled funkcioniranja paketa alata za mjerenje i njegovu važnost. S vremenom namjeravamo objaviti više istraživanja i predstaviti mjerni paket kao javni resurs za škole, sveučilišta i obrazovne sustave diljem svijeta.

• Današnje istraživačke metode o utjecaju umjetne inteligencije na učenje pokazuju obećavajuće signale o uspješnosti, ali ne obuhvaćaju potpunu sliku o tome kako umjetna inteligencija tijekom vremena utječe na ishode učenja.
• Sustav za mjerenje ishoda učenja po prvi put će pružiti standardni okvir za longitudinalna istraživanja koja pomažu edukatorima, istraživačima i institucijama razumjeti kako umjetna inteligencija oblikuje učenje i ishode učenja u različitim kontekstima.
• OpenAI-jev Laboratorij za učenje novi je istraživački ekosustav usmjeren na unapređenje tog rada. OpenAI će objaviti nalaze uz niz partnera kako se područje nastavlja razvijati.

Kada učenici upotrebljavaju alate umjetne inteligencije za učenje i usvajanje gradiva, to može značiti mnogo različitih stvari — od konzultacije s AI-jem za brze odgovore do korištenja za rješavanje problema korak po korak uz vodstvo nalik na mentorstvo. Kako bi potaknuo korisnike da se uključe u ChatGPT na načine koji podržavaju dublje razumijevanje i razvoj vještina, OpenAI je prošle godine uveo način učenja⁠.  Iznutra, način učenja pokreću prilagođene sistemske upute koje smo napisali u suradnji s nastavnicima, znanstvenicima i pedagoškim stručnjacima kako bismo odrazili temeljni skup ponašanja koja podržavaju istinsko učenje, a ne samo odgovore — uz upotrebe podrške u učenju, provjera razumijevanja i vođene vježbe.

Kako bismo testirali prevodi li se takva pedagoški usklađena interakcija s umjetnom inteligencijom u bolje ishode učenja, proveli smo randomizirano istraživanje s više od 300 studenata koji su se pripremali za ispite iz neuroznanosti i mikroekonomije. Iako je analiza još uvijek u tijeku, rani rezultati ulijevaju nam povjerenje da pedagoški usklađen stil interakcije s umjetnom inteligencijom, potaknut značajkama poput načina učenja, može poboljšati ishode učenja. No to je istraživanje također otkrilo važnu stvarnost: ono što je doista važno jest ostaju li dobici i povezana produktivna ponašanja trajno s vremenom.

Dizajn istraživanja

Sudionici su raspoređeni u jednu od tri skupine: kontrolna skupina učila je koristeći tradicionalne internetske resurse kao što su Google Search i YouTube, s onemogućenim značajkama pregleda generiranima umjetnom inteligencijom, dok su dvije dodatne skupine dobile pristup jednoj od dviju varijanti načina učenja osmišljenih da vode učenike kroz proces učenja na nešto različite načine. Osnovni kvizovi i ankete za uvođenje prikupljeni su unaprijed kako bi se upoznatosti razlikama u prethodnoj izloženosti kolegijima, navikama učenja, akademskom samopouzdanju i upoznatosti s AI alatima. Studenti su prije svakog ispita dovršili sesije načina učenja s vremenskim ograničenjem, pri čemu su dvije varijante načina učenja bile uravnotežene među ispitanicima.

Ta je postavka osmišljena tako da odražava uvjete iz stvarnog svijeta, a ne strogo kontrolirano laboratorijsko okruženje. Sudjelovanje nije bilo povezano s uspjehom na ispitu, niti su svi studenti upotrebljavali način učenja u istoj mjeri tijekom nominalnih 40-minutnih sesija. To nam je omogućilo da izmjerimo i izvijestimo o učincima intention-to-treat (ITT), odnosno o utjecaju samog omogućavanja pristupa alatu u realističnim uvjetima uvođenja — drugim riječima, o uzročnom učinku ponude načina učenja, uz uvažavanje činjenice da se angažman u praksi može razlikovati.

Rezultati

Učinkovitost smo na svakom ispitu mjerili zasebno. U našem randomiziranom istraživanju poboljšanja nisu bila ujednačena među ispitanicima, a razine angažiranosti s načinom učenja razlikovale su se među sudionicima. 

• Neuroznanost (primarni ITT): Uočili smo pozitivne razlike u načinu učenja u odnosu na kontrolnu skupinu, ali rezultati nisu bili različiti od onih kod učenika koji su se koristili tradicionalnim internetskim resursima. Neki problemi s uvođenjem i tehnički problemi utjecali su na vrijeme provedeno u učenju kod učenika koji su se koristili načinom učenja. 
• Mikroekonomija (primarni ITT): Uočili smo značajne dobitke u uspješnosti na ispitu među studentima kojima je dodijeljen pristup načinu učenja u odnosu na kontrolnu skupinu bez AI-ja — otprilike 15 % viši rezultat u relativnom smislu.

Iako to odražava varijacije u stvarnom svijetu, istaknulo je dublje ograničenje u načinu na koji se ishodi učenja obično mjere.

Većina postojećih pristupa procjenjivanju oslanja se na fiksne intervencije procijenjene tijekom kratkih vremenskih razdoblja, pri čemu se ishodi poput rezultata testova ili završnih eseja upotrebljavaju kao primarni signali. Te metode nisu osmišljene da bi se obuhvatio temeljni mehanizam putem kojeg AI u praksi utječe na učenje: kontinuirane, personalizirane interakcije koje se razvijaju usporedno s vlastitim strategijama, preferencijama i navikama učenja polaznika. Niti otkrivaju mogu li poboljšanja u jednoj sposobnosti, kao što je kratkoročno pamćenje, doći zajedno s kompromisima u drugima, kao što su ustrajnost, autonomna motivacija ili kreativno rješavanje problema. Kao rezultat toga, propuštaju longitudinalne kognitivne učinke koji u konačnici određuju poboljšava li AI značajno učenje. 

Budući da se okruženja za učenje uvelike razlikuju među zemljama, kurikulumima i institucionalnim ciljevima, ishodi jednokratnih studija rijetko se mogu generalizirati među sustavima. Pristupi mjerenju stoga moraju biti dovoljno fleksibilni kako bi različitim obrazovnim sustavima omogućili da definiraju kako izgleda uspjeh u njihovu kontekstu, procijene umjetnu inteligenciju prema vlastitim standardima i u skladu s tim iteriraju.

Izgradnja boljeg sustava mjerenja 

Na temelju saznanja iz istraživanja načina učenja tvrtke OpenAI, gradimo strukturirani sustav mjerenja za mjerenje utjecaja AI-a na učenike u velikom opsegu i stvaranje mehanizma za poboljšanje modela na temelju tih ishoda. Utemeljeno je na tri signala — kako se model ponaša, kako učenici reagiraju i kakvi mjerljivi kognitivni ishodi nastaju tijekom vremena. To uključuje: 

• Upute sustava za poboljšanje ponašanja modela: uporaba prirodnog jezika za promjenu zadanog ponašanja modela kako bi bilo bolje usklađeno s određenim pedagoškim pristupima.
• Klasifikatori interakcija učenja: oni automatski otkrivaju „trenutke učenja“ unutar stvarnih, deidentificiranih interakcija polaznika i modela te označavaju istaknute karakteristike kao što su angažiranost i ispravljanje pogrešaka.
• Ocjenjivači kvalitete učenja: oni procjenjuju i boduju svaki od tih trenutaka učenja prema tome je li polaznik postigao svoj cilj i u kojoj je mjeri interakcija slijedila snažna pedagoška načela, uključujući identifikaciju načina neuspjeha.
• Ocjenjivači metakognitivne učenja: oni prate promjene u interakcijama istog učenika s modelom tijekom vremena —uključujući angažman, ustrajnost i metakognitivne strategije — na razini pojedinca i kohorte.
• Standardizirane kognitivne i metakognitivne mjere: to su validirani instrumenti trećih strana koji se isporučuju putem ChatGPT‑a prije/tijekom/nakon pristupa kako bi se utvrdile početne vrijednosti i mjerile promjene u temeljnim sposobnostima kao što su kritičko razmišljanje, kreativnost i pamćenje.

Kada se kombiniraju, ovaj sustav mjerenja nazivamo Paket za mjerenje ishoda učenja. 

Proizvodi važne signale koje obrazovnom ekosustavu može koristiti: strukturirane prikaze trenutaka učenja, nadzorne ploče koje pokazuju kako se ishodi mijenjaju tijekom vremena u različitim kohortama, pokazatelje uspješnosti modela u odnosu na rubrike za poučavanje i podučavanje, te mjere ishoda usklađene sa standardiziranim procjenama i kratkim upitnicima za učenike. Gdje je dostupno, može uključivati temeljne istine koje pružaju partneri, kao što su rezultati ispita, opažanja u učionici ili prisutnost.

Također omogućuje našim partnerima da s vremenom razumiju dublje kognitivne učinke korištenja umjetne inteligencije za učenje, budući da putem ovog sustava također možemo pratiti utjecaj na sposobnosti kao što su:

• Autonomna motivacija: stupanj u kojem polaznici oblikuju vlastito učenje u odnosu na to da ih usmjerava model 
• Produktivno angažiranje: učestalost, raznolikost i kvaliteta pedagoških interakcija
• Ustrajnost u zadatku: stupanj u kojem učenik ostaje uz kognitivne izazove i probija se kroz njih
• Metakognicija: učestalost i kvaliteta učenikovih napora da planira, promišlja i prati svoje pristupe učenju
• Prisjećanje: točnost kojom učenik može zapamtiti sadržaj iz prethodnih interakcija

To odražava naše ukupne napore da se ne usredotočimo samo na uske definicije ishoda učenja (rast rezultata na testovima), već na holističke sposobnosti koje su temelj učenja. Osim toga, to također odražava naše uvjerenje da ne postoji čarobno rješenje u smislu toga što optimizirati: sustavi i edukatori morat će biti osnaženi da usmjeravaju kompromise u skladu s pedagoškim najboljim praksama i pristupima.

K čemu se krećemo

Validiramo Paket za mjerenje ishoda učenja kroz studije velikih razmjera prije nego što ćemo ga učiniti dostupnim široj javnosti. Ovaj je rad u tijeku sa Sveučilištem u Tartuu i Stanfordovom inicijativom SCALE u okviru partnera na razini cijele države poput Estonije, gdje se mjerni paket proučava s gotovo 20,000 učenika u dobi od 16 – 18 godina tijekom nekoliko mjeseci. Učenici će ga upotrebljavati u uskoj suradnji s lokalnim čelnicima, kako bi se osigurala sigurnost i usklađenost s lokalnim kurikulumima.

Taj se rad nadovezuje na širi korpus suradničkog istraživanja koje je u tijeku. Osim istraživanja ishoda koje se provodi putem osnivačkih partnera u Laboratoriju za učenje, OpenAI podržava studije na sjecištu učenja i rada — ispitivanjem kako umjetna inteligencija oblikuje akademske putove studenata, odluke o karijeri i načine na koje institucije mogu podržati odgovorno usvajanje. To se istraživanje provodi na Sveučilištu Bocconi, u školama Innova i na Tuck School of Business pri Dartmouthu, na Državnom sveučilištu San Diego, na Sveučilištu Stony Brook i drugdje.

Dok provodimo dugoročnija istraživanja o tome kako učenici najbolje uče uz pomoć umjetne inteligencije, namjeravamo dijeliti spoznaje i surađivati sa širim obrazovnim ekosustavom kako bismo osigurali da umjetna inteligencija bude na korist učenicima diljem svijeta.

Oni koji su zainteresirani za primanje novosti o tom radu mogu se prijaviti ovdje⁠.