Zana mpya za kuelewa AI na matokeo ya kujifunza

Elimu ni mojawapo ya mipaka yenye matumaini makubwa ya AI. Kwa zana kama ChatGPT, usaidizi wa kujifunza uliobinafsishwa unaweza kupatikana kwa mwanafunzi yeyote, popote, wakati wowote. 

Lakini sekta ya elimu bado iko katika hatua za kwanza za kuelewa athari za AI kwenye matokeo ya kujifunza. Mwaka jana, timu yetu ilianza kuchunguza matumizi ya zana kama hali ya kusoma⁠ na tukapata maboresho ya kutia moyo katika utendaji wa wanafunzi. Lakini utafiti wetu pia uliibua swali muhimu: tunawezaje kutathmini jinsi AI inavyoathiri maendeleo ya mwanafunzi kwa muda, si tu kwenye mtihani wa mwisho?

Hili ni changamoto ya mfumo mpana wa ikolojia. Hadi sasa, mbinu nyingi za utafiti huzingatia ishara finyu za utendaji—kama vile alama za mitihani—na hukosa uwezo wa kutathmini jinsi wanafunzi wanavyojifunza kwa kutumia AI katika mazingira ya ulimwengu halisi, na jinsi matumizi hayo yanavyoathiri matokeo kwa muda. 

Ili kushughulikia pengo hili, tulitengeneza Kifurushi cha Kupima Matokeo ya Kujifunza (Learning Outcomes Measurement Suite), mfumo ulioundwa pamoja na Chuo Kikuu cha Tartu cha Estonia na SCALE Initiative katika Stanford Accelerator for Learning ili kusaidia upimaji wa muda mrefu wa matokeo ya kujifunza katika miktadha tofauti ya elimu. 

Uthibitishaji wa kina unaendelea kupitia jaribio la nasibu lenye udhibiti, na utafiti zaidi umepangwa pamoja na mashirika waanzilishi katika Learning Lab, mfumo wa utafiti wa ujifunzaji wa OpenAI, ikijumuisha watafiti kutoka Chuo Kikuu cha Jimbo la Arizona (Arizona State University), UCL Knowledge Lab, na MIT Media Lab (ukiendeleza tafiti za awali za ushirikiano⁠).

Leo, tunashiriki muhtasari wa jinsi mkusanyiko wa zana za upimaji unavyofanya kazi na kwa nini ni muhimu. Baada ya muda, tunakusudia kuchapisha tafiti zaidi na kutoa mkusanyiko wa zana za upimaji kama rasilimali ya umma kwa shule, vyuo vikuu, na mifumo ya elimu duniani kote.

• Mbinu za utafiti za leo kuhusu matokeo ya AI katika kujifunza zinaonyesha ishara za kutia moyo kuhusu utendaji, lakini hazionyeshi picha kamili ya jinsi AI inavyoathiri matokeo ya kujifunza baada ya muda.
• Kifurushi cha Kupima Matokeo ya Kujifunza kitatoa, kwa mara ya kwanza, mfumo wa kawaida wa utafiti wa muda mrefu unaosaidia waelimishaji, watafiti, na taasisi kuelewa jinsi AI inavyoathiri kujifunza na matokeo ya kujifunza katika miktadha tofauti.
• Maabara ya Kujifunza ya OpenAI ni mfumo mpya wa utafiti wa ikolojia unaolenga kuendeleza kazi hii. OpenAI itachapisha matokeo pamoja na washirika mbalimbali kadri sekta inavyoendelea kukua.

Wakati wanafunzi wanapotumia zana za AI kusoma na kujifunza, inaweza kumaanisha mambo mengi tofauti—kuanzia kwenda kwa AI kwa majibu ya haraka hadi kuitumia kushughulikia matatizo hatua kwa hatua kwa mwongozo wa aina ya mwalimu. Ili kuwahimiza watumiaji kujihusisha na ChatGPT kwa njia zinazosaidia uelewa wa kina zaidi na kuunda ujuzi, OpenAI ilianzisha hali ya kusoma⁠ mwaka jana.  Chini yake, Hali ya Kusoma inaendeshwa na maagizo maalum ya mfumo tuliyoandika kwa kushirikiana na walimu, wanasayansi, na wataalam wa ufundishaji ili kuonyesha seti ya msingi ya tabia zinazosaidia kujifunza kwa kweli, si majibu tu—kwa kutumia miundo ya usaidizi, ukaguzi wa uelewa, na mazoezi yanayoongozwa.

Ili kupima kama mtindo huu wa mwingiliano wa AI unaolingana na ufundishaji husababisha matokeo bora ya kujifunza, tuliendesha utafiti wa nasibu na zaidi ya wanafunzi 300 wa chuo kikuu wanaojiandaa kwa mitihani ya sayansi ya neva na uchumi mdogo. Wakati uchanganuzi bado unaendelea, matokeo ya awali yanatupa imani kwamba mtindo wa mwingiliano wa AI unaolingana na mbinu za ufundishaji, unaohimizwa kupitia vipengele kama Hali ya Kusoma, unaweza kuboresha matokeo ya kujifunza. Lakini utafiti huu pia ulifichua uhalisia muhimu: jambo muhimu sana ni kama faida na tabia za tija zinazohusiana nazo zinabaki kuwa za kudumu kadri muda unavyopita.

Muundo wa utafiti

Washiriki waliwekwa katika mojawapo ya makundi matatu: kundi la udhibiti lilisoma kwa kutumia rasilimali za jadi za mtandaoni kama vile Google Search na YouTube, huku vipengele vya muhtasari vinavyozalishwa na AI vikiwa vimezimwa, ilhali makundi mawili ya ziada yalipewa ufikiaji wa mojawapo ya lahaja mbili za Hali ya Kusoma zilizoundwa kuwaongoza wanafunzi kupitia mchakato wa kujifunza kwa njia tofauti kidogo. Maswali ya msingi ya majaribio na tafiti za kujumlisha zilikusanywa mapema ili kurekebisha tofauti katika uzoefu wa awali wa kozi, tabia za kusoma, kujiamini kitaaluma, na ujuzi wa zana za AI. Wanafunzi walikamilisha vipindi vya Hali ya Kusoma vilivyopimwa kwa muda kabla ya kila mtihani, huku vibadala viwili vya Hali ya Kusoma vikisawazishwa kwa kubadilishana kati ya masomo.

Mpangilio huu uliundwa kuakisi hali halisi ya ulimwengu ya utafiti badala ya mazingira ya maabara yanayodhibitiwa kwa ukaribu. Ushiriki haukuhusishwa na ufaulu wa mtihani, na si wanafunzi wote walitumia Hali ya Kusoma kwa kiwango sawa wakati wa vipindi vya kawaida vya dakika 40. Hili lilituruhusu kupima na kuripoti athari za intention-to-treat (ITT), matokeo ya kupewa ufikiaji wa zana chini ya hali halisi za usambazaji—kwa maneno mengine, matokeo ya kisababishi ya kupewa ofa ya hali ya kusoma, tukitambua kwamba ushiriki unaweza kutofautiana kwa vitendo.

Matokeo

Tulipima utendaji kwenye kila mtihani kando. Katika utafiti wetu wa nasibu, maboresho hayakuwa ya kiwango sawa kwa washiriki wote, na viwango vya ushiriki na hali ya kusoma vilitofautiana kati ya washiriki. 

• Sayansi ya neva (ITT ya msingi): Tuliona tofauti chanya kwa mwelekeo kwa Hali ya Kusoma ikilinganishwa na udhibiti, lakini matokeo hayakuweza kutofautishwa na wanafunzi wanaosoma kwa kutumia rasilimali za mtandaoni za jadi. Baadhi ya masuala ya uanzishaji na ya kiufundi yaliathiri muda uliotumika kusoma miongoni mwa wanafunzi wanaotumia Hali ya Kusoma. 
• Mikroekonomia (ITT ya msingi): Tuliona ongezeko la maana katika utendaji wa mitihani miongoni mwa wanafunzi waliopangiwa kupata ufikiaji wa Hali ya Kusoma dhidi ya kundi la udhibiti lisilo na AI—takriban alama ya juu kwa asilimia 15% kwa kulinganisha.

Ingawa hili linaakisi tofauti za ulimwengu halisi, liliangazia kikomo cha kina zaidi katika jinsi matokeo ya kujifunza kwa kawaida hupimwa.

Mbinu nyingi zilizopo za tathmini hutegemea hatua zisizobadilika zinazotathminiwa katika vipindi vifupi vya muda, zikitumia matokeo kama alama za mtihani au insha za mwisho kama ishara kuu. Mbinu hizi hazijaundwa kunasa utaratibu wa msingi ambao kupitia kwake AI huathiri ujifunzaji kihalisia: miingiliano inayoendelea, iliyobinafsishwa ambayo hubadilika sambamba na mikakati, mapendeleo, na mazoea ya kujisomea ya mwanafunzi mwenyewe. Wala hazionyeshi kama maboresho katika uwezo mmoja, kama vile kukumbuka kwa muda mfupi, yanaweza kuja pamoja na mabadiliko katika mengine, kama vile uvumilivu, motisha ya kujitegemea, au utatuzi wa matatizo ya ubunifu. Kwa hivyo, wanakosa matokeo ya utambuzi ya muda mrefu ambayo hatimaye huamua ikiwa AI inaboresha kujifunza kwa njia yenye maana. 

Kwa sababu mazingira ya kujifunzia hutofautiana sana katika nchi, mitaala, na malengo ya taasisi, matokeo kutoka kwa tafiti za mara moja mara chache huweza kuhamishwa na kutumika kwa ujumla katika mifumo. Kwa hivyo, mbinu za upimaji lazima ziwe na unyumbufu wa kutosha ili mifumo tofauti ya elimu iweze kufafanua jinsi mafanikio yanavyoonekana katika muktadha wao, kutathmini AI dhidi ya viwango vyao wenyewe, na kurudia ipasavyo.

kuunda mfumo bora wa upimaji 

Kulingana na mafunzo kutoka utafiti wa Hali ya Kusoma wa OpenAI, tumekuwa tukiunda mfumo uliopangiliwa wa vipimo ili kupima matokeo ya AI kwa wanafunzi kwa kiwango kikubwa, na kuunda utaratibu wa kuboresha miundo kulingana na matokeo hayo. Inategemea ishara tatu—jinsi muundo unavyojiendesha, jinsi wanafunzi wanavyoitikia, na ni matokeo gani ya utambuzi yanayopimika yanayotokea kwa muda. Inajumuisha: 

• Maagizo ya mfumo ya kuboresha tabia ya muundo: matumizi ya lugha ya kawaida ili kubadilisha tabia chaguomsingi ya muundo ili ilingane vyema na mbinu mahususi za ufundishaji.
• Viainishaji vya mwingiliano wa kujifunza: hizi hutambua kiotomatiki “nyakati za kujifunza” ndani ya miingiliano halisi, iliyofutwa utambulisho, ya miingiliano kati ya mwanafunzi–muundo na kuweka lebo za sifa muhimu kama vile ushiriki na urekebishaji wa makosa.
• Vipimaji vya ubora wa kujifunza: hizi hutathmini na kutoa alama kwa kila mojawapo ya nyakati hizo za kujifunza kulingana na kama mwanafunzi alitimiza lengo lake na kiwango ambacho mwingiliano ulifuata kanuni thabiti za ufundishaji, ikijumuisha utambuzi wa namna za kushindwa.
• Vipimaji vya kujifunza kwa muda mrefu: hizi hufuatilia mabadiliko katika miingiliano ya mwanafunzi yule yule na muundo huu baada ya muda—ikiwemo ushiriki, ustahimilivu, na mikakati ya utambuzi wa kujitafakari—katika viwango vya mtu binafsi na vikundi.
• Vipimo sanifu vya utambuzi: hizi ni zana za wahusika wengine zilizothibitishwa zinazotolewa kupitia ChatGPT kabla/wakati/baada ya ufikiaji ili kuweka viwango vya msingi na kupima mabadiliko katika uwezo wa msingi kama vile kufikiri kwa kina, ubunifu, na kumbukumbu.

Vikiunganishwa, tunarejelea mfumo huu wa vipimo kama Kifurushi cha Kupima Matokeo ya Kujifunza. 

Huzalisha ishara muhimu ambazo mfumo ikolojia wa elimu unaweza kutumia: mitazamo iliyopangwa ya nyakati za kujifunza, dashibodi zinazoonyesha jinsi matokeo yanavyobadilika kwa muda katika makundi, viashiria vya utendaji wa muundo dhidi ya rubriki za ufundishaji na ualimu wa ziada, na vipimo vya matokeo vinavyolingana na tathmini sanifu na dodoso fupi za wanafunzi. Inapopatikana, inaweza kujumuisha ukweli wa msingi uliotolewa na mshirika kama vile alama za mitihani, uchunguzi wa darasani, au mahudhurio.

Pia huwezesha washirika wetu kuelewa matokeo ya kina ya kiutambuzi ya kutumia AI kwa ajili ya kujifunza kwa muda, kwa kuwa kupitia mfumo huu pia tunaweza kufuatilia matokeo kwenye uwezo kama vile:

• Motisha ya Kujitegemea: kiwango ambacho wanafunzi wanaunda masomo yao wenyewe badala ya kuelekezwa na muundo. 
• Ushiriki wenye Tija: marudio, aina mbalimbali, na ubora wa mwingiliano wa kielimu
• Ustahimilivu wa Kazi: kiwango ambacho mwanafunzi hukaa na kusukumana na changamoto za kiutambuzi
• Utambuzi wa kujitafakari: marudio na ubora wa juhudi za mwanafunzi za kupanga, kutafakari na kufuatilia mbinu zake za kusoma
• Kukumbuka: usahihi ambao mwanafunzi anaweza kukumbuka maudhui kutoka kwa mwingiliano wa awali

Hii inaonyesha juhudi zetu za jumla za kutozingatia tu ufafanuzi mwembamba wa matokeo ya kujifunza (alama za mtihani zinazoongeza), bali uwezo wa jumla unaounga mkono kujifunza. Pia huonyesha imani yetu kwamba hakutakuwa na suluhisho la mkato kuhusu kile cha kuboresha: mifumo na waelimishaji watahitaji kuwezeshwa ili kuongoza mizani ya maamuzi kwa kuzingatia mazoea bora ya ufundishaji na mbinu.

Tunaenda wapi kutoka hapa

Tunathibitisha Kifurushi cha Kupima Matokeo ya Kujifunza kupitia tafiti za kiwango kikubwa kabla ya kukifanya kipatikane kwa wingi zaidi. Kazi hii inaendelea kwa ushirikiano na Chuo Kikuu cha Tartu na mpango wa SCALE wa Stanford katika washirika wa kiwango cha kitaifa kama Estonia, ambapo mkusanyiko wa vipimo unachunguzwa na karibu wanafunzi 20,000 wenye umri wa miaka 16-18 kwa kipindi cha miezi kadhaa. Matumizi ya wanafunzi yatafanyika kwa ushirikiano wa karibu na viongozi wa eneo, ili kuhakikisha usalama na ulinganifu na mitaala ya eneo.

Kazi hii inaendelezwa juu ya mkusanyiko mpana zaidi wa utafiti wa kushirikiana unaoendelea. Mbali na utafiti wa matokeo unaofanywa kupitia washirika waanzilishi katika Learning Lab, OpenAI inaunga mkono tafiti katika makutano ya ujifunzaji na ajira—zikichunguza jinsi AI inavyounda njia za kitaaluma za wanafunzi, maamuzi ya kazi, na njia ambazo taasisi zinaweza kusaidia matumizi ya kuwajibika. Utafiti huu unafanyika katika Chuo Kikuu cha Bocconi, Shule za Innova na Shule ya Biashara ya Tuck kule Dartmouth, Chuo Kikuu cha San Diego, Chuo Kikuu cha Stony Brook, na nyingine.

Tunapoendesha masomo ya muda mrefu kuhusu jinsi wanafunzi wanavyojifunza vyema na AI, tunakusudia kushiriki matokeo na kufanya kazi na mfumo mpana wa elimu ili kuhakikisha AI inanufaisha wanafunzi kila mahali.

Wale wanaopenda kupokea masasisho kuhusu kazi hii wanaweza kujisajili hapa⁠.