AI અને શીખવાના પરિણામોને સમજવા માટેના નવા સાધનો

શિક્ષણ AIના સૌથી આશાસ્પદ અત્યાધુનિક ક્ષેત્રોમાંનું એક છે. ChatGPT જેવા સાધનો સાથે, વ્યક્તિગત શીખણ સહાય કોઈપણ વિદ્યાર્થીને, ક્યાંય પણ, કોઈપણ સમયે ઉપલબ્ધ થઈ શકે છે. 

પરંતુ શિક્ષણ ક્ષેત્ર હજુ પણ શીખવાના પરિણામો પર AIના પ્રભાવને સમજવાની શરૂઆતના તબક્કામાં છે. ગયા વર્ષે, અમારી ટીમે સ્ટડી મોડ⁠ જેવા સાધનોના ઉપયોગનો અભ્યાસ શરૂ કર્યો અને વિદ્યાર્થીઓના પ્રદર્શનામાં આશાસ્પદ વધારો જોવા મળ્યો. પરંતુ અમારા સંશોધને એક મહત્વનો પ્રશ્ન પણ ઊભો કર્યો: અમે કેવી રીતે મૂલ્યાંકન કરી શકીએ કે AI શીખનારની પ્રગતિને સમય સાથે કેવી રીતે પ્રભાવિત કરે છે, ફક્ત અંતિમ પરીક્ષામાં નહીં?

આ સમગ્ર ઇકોસિસ્ટમ માટેનો વધુ વ્યાપક પડકાર છે. આજદિન સુધી, મોટાભાગની સંશોધન પદ્ધતિઓ પરીક્ષા ગુણ જેવા સીમિત પ્રદર્શન સંકેતો પર ધ્યાન કેન્દ્રિત કરે છે અને વાસ્તવિક પરિસ્થિતિઓમાં વિદ્યાર્થીઓ AI સાથે ખરેખર કેવી રીતે શીખે છે, અને સમય સાથે તે ઉપયોગ પરિણામોને કેવી રીતે આકાર આપે છે, તેનું મૂલ્યાંકન કરવાની ક્ષમતા ધરાવતી નથી. 

આ ખામી દૂર કરવા માટે, અમે લર્નિંગ આઉટકમ્સ મેઝરમેન્ટ સ્યુટ વિકસાવ્યું, જે એસ્ટોનિયાની યુનિવર્સિટી ઑફ ટાર્ટુ અને સ્ટેનફોર્ડ ઍક્સેલરેટર ફૉર લર્નિંગની SCALE Initiative સાથે બનાવેલું ફ્રેમવર્ક છે, જેથી વિવિધ શૈક્ષણિક સંદર્ભોમાં શીખવાના પરિણામોના દીર્ઘકાલીન માપનને સમર્થન મળે. 

વિસ્તૃત માન્યકરણ હાલમાં રૅન્ડમાઇઝ્ડ કન્ટ્રોલ્ડ ટ્રાયલ દ્વારા ચાલી રહ્યું છે, અને લર્નિંગ લૅબ, OpenAIનું શીખણ સંશોધન ઇકોસિસ્ટમ, તેમાં સ્થાપક સંસ્થાઓ સાથે વધુ સંશોધનની યોજના છે, જેમાં Arizona State University, UCL Knowledge Lab અને MIT Media Labના સંશોધકોનો સમાવેશ થાય છે (અગાઉના સહયોગી અભ્યાસો⁠ પર આધારિત).

આજે, અમે આ મેઝરમેન્ટ સ્યુટ કેવી રીતે કાર્ય કરે છે અને તે કેમ મહત્વનું છે તેનો એક સારાંશ શેર કરી રહ્યા છીએ. સમય જતાં, અમે વધુ સંશોધન પ્રકાશિત કરવાની અને વિશ્વભરની શાળાઓ, યુનિવર્સિટીઓ અને શિક્ષણ પ્રણાલીઓ માટે આ મેઝરમેન્ટ સ્યુટને જાહેર સ્રોત તરીકે રજૂ કરવાની યોજના રાખીએ છીએ.

• શીખવા પર AIના પ્રભાવ અંગેની આજની સંશોધન પદ્ધતિઓ પ્રદર્શન વિશે આશાસ્પદ સંકેતો બતાવે છે, પરંતુ સમય સાથે AI શીખવાના પરિણામોને કેવી રીતે અસર કરે છે તેનું સંપૂર્ણ ચિત્ર રજૂ કરતી નથી.
• લર્નિંગ આઉટકમ્સ મેઝરમેન્ટ સ્યુટ પ્રથમ વખત એવી માનક રચના પ્રદાન કરશે જે દીર્ઘકાલીન અભ્યાસોને શક્ય બનાવે છે, જેથી શિક્ષકો, સંશોધકો અને સંસ્થાઓ સમજી શકે કે AI વિવિધ સંદર્ભોમાં શીખણ અને પરિણામોને કેવી રીતે આકાર આપે છે.
• OpenAIની લર્નિંગ લૅબ આ કાર્યને આગળ ધપાવવા પર કેન્દ્રિત એક નવું સંશોધન ઇકોસિસ્ટમ છે. ક્ષેત્ર આગળ વિકસતું રહે તેમ OpenAI વિવિધ ભાગીદારો સાથે મળીને શોધો પ્રકાશિત કરશે.

જ્યારે વિદ્યાર્થીઓ અભ્યાસ અને શીખવા માટે AI સાધનોનો ઉપયોગ કરે છે, ત્યારે તેનો અર્થ ઘણો અલગ હોઈ શકે છે—ઝડપી જવાબો માટે AI પાસે જવાથી લઈને ટ્યુટર જેવી માર્ગદર્શિકા સાથે પગલુંદરપગલું સમસ્યાઓ ઉકેલવા સુધી. વપરાશકર્તાઓને ChatGPT સાથે એવી રીતે જોડાવા પ્રોત્સાહિત કરવા માટે જે ઊંડા સમજણ અને કુશળતા વિકાસને ટેકો આપે, OpenAIએ ગયા વર્ષે સ્ટડી મોડ⁠ રજૂ કર્યું.  અંદરની રચનામાં, સ્ટડી મોડ કસ્ટમ સિસ્ટમ સૂચનાઓથી સંચાલિત છે, જે અમે શિક્ષકો, વૈજ્ઞાનિકો અને પેડાગોજી નિષ્ણાતો સાથે મળીને લખી છે, જેથી સાચા શીખણને ટેકો આપતા મૂળભૂત વર્તનો દર્શાય, ફક્ત જવાબો નહીં—સ્કૅફોલ્ડિંગ, સમજણની ચકાસણી અને માર્ગદર્શિત અભ્યાસનો ઉપયોગ કરીને.

આ પ્રકારની પેડાગોજીકલ રીતે સુસંગત AI પરસ્પરક્રિયા શૈલી ખરેખર વધુ સારા શીખવાના પરિણામોમાં અનુવાદિત થાય છે કે નહીં તે તપાસવા માટે, અમે ન્યુરોસાયન્સ અને સૂક્ષ્મ અર્થશાસ્ત્રની પરીક્ષાની તૈયારી કરતા 300થી વધુ કોલેજ વિદ્યાર્થીઓ સાથે રૅન્ડમાઇઝ્ડ અભ્યાસ કર્યો. વિશ્લેષણ હજુ ચાલુ હોવા છતાં, પ્રારંભિક પરિણામો અમને વિશ્વાસ આપે છે કે સ્ટડી મોડ જેવી સુવિધાઓ દ્વારા પ્રોત્સાહિત પેડાગોજીકલ રીતે સુસંગત AI પરસ્પરક્રિયા શૈલી શીખવાના પરિણામોમાં સુધારો કરી શકે છે. પરંતુ આ સંશોધને એક મહત્વની વાસ્તવિકતા પણ સામે લાવી: ખરેખર મહત્વનું એ છે કે આ લાભો અને સંકળાયેલા સકારાત્મક વર્તનો સમય સાથે ટકાઉ રહે છે કે નહીં.

અભ્યાસની રચના

ભાગલેનારાઓને ત્રણ જૂથોમાંથી એકમાં મૂકવામાં આવ્યા: નિયંત્રણ જૂથે Google Search અને YouTube જેવા પરંપરાગત ઑનલાઇન સ્રોતોનો ઉપયોગ કરીને અભ્યાસ કર્યો, જેમાં AI દ્વારા સર્જાયેલી ઓવરવ્યૂ સુવિધાઓ નિષ્ક્રિય હતી, જ્યારે વધારાના બે જૂથોને સ્ટડી મોડના બે વેરિઅન્ટમાંથી એકની ઍક્સેસ આપવામાં આવી, જે વિદ્યાર્થીઓને થોડા જુદા જુદા રીતે શીખવાની પ્રક્રિયામાં માર્ગદર્શન આપવા માટે રચાયેલા હતા. પૂર્વ કોર્સવર્કનો અનુભવ, અભ્યાસની આદતો, શૈક્ષણિક આત્મવિશ્વાસ અને AI સાધનોની ઓળખાણમાં રહેલા તફાવતોને સમાયોજિત કરવા માટે બેઝલાઇન ક્વિઝ અને ઑનબોર્ડિંગ સર્વે અગાઉથી એકત્રિત કરવામાં આવ્યા. વિદ્યાર્થીઓએ દરેક પરીક્ષા પહેલાં સમયમર્યાદિત સ્ટડી મોડ સત્રો પૂર્ણ કર્યા, જેમાં બે સ્ટડી મોડ વેરિઅન્ટ વિષયો વચ્ચે કાઉન્ટરબૅલન્સ કરાયા.

આ ગોઠવણ કડક નિયંત્રિત લૅબ પરિસ્થિતિ કરતાં વાસ્તવિક દુનિયાની અભ્યાસ પરિસ્થિતિઓનું પ્રતિબિંબ બને તે રીતે બનાવવામાં આવી હતી. ભાગીદારીને પરીક્ષાના પ્રદર્શન સાથે જોડવામાં આવી નહોતી, અને નક્કી કરાયેલા 40 મિનિટના સત્રો દરમિયાન બધા વિદ્યાર્થીઓએ સ્ટડી મોડનો સમાન પ્રમાણમાં ઉપયોગ કર્યો નહોતો. આથી અમને intention-to-treat (ITT) અસરો માપવાની અને રજૂ કરવાની મંજૂરી મળી—અર્થાત્ વાસ્તવિક અમલીકરણની પરિસ્થિતિઓ હેઠળ સાધનની ઍક્સેસ આપવામાં આવવાના પ્રભાવને, બીજા શબ્દોમાં કહીએ તો, સ્ટડી મોડ ઓફર થવાના કારણસભર પ્રભાવને, એ માન્યતા સાથે કે વ્યવહારમાં જોડાણનું સ્તર બદલાઈ શકે છે.

શોધો

અમે દરેક પરીક્ષાનું પ્રદર્શન અલગથી માપ્યું. અમારા રૅન્ડમાઇઝ્ડ અભ્યાસમાં, સુધારાઓ બધા વિષયોમાં સમાન નહોતા, અને ભાગલેનારાઓમાં સ્ટડી મોડ સાથે જોડાણનું સ્તર પણ અલગ હતું. 

• ન્યુરોસાયન્સ (પ્રાથમિક ITT): નિયંત્રણની સરખામણીમાં સ્ટડી મોડ માટે દિશાત્મક રીતે સકારાત્મક તફાવતો જોવા મળ્યા, પરંતુ પરિણામો પરંપરાગત ઑનલાઇન સ્રોતો સાથે અભ્યાસ કરતા વિદ્યાર્થીઓથી સ્પષ્ટ રીતે અલગ દેખાયા નહીં. કેટલાક ઑનબોર્ડિંગ અને તકનીકી મુદ્દાઓએ સ્ટડી મોડનો ઉપયોગ કરનારા વિદ્યાર્થીઓના અભ્યાસ સમય પર અસર કરી. 
• સૂક્ષ્મ અર્થશાસ્ત્ર (પ્રાથમિક ITT): સ્ટડી મોડની ઍક્સેસ આપવામાં આવેલા વિદ્યાર્થીઓમાં no-AI નિયંત્રણ જૂથની તુલનામાં પરીક્ષાના પ્રદર્શનમાં અર્થપૂર્ણ વધારો જોવા મળ્યો—સાપેક્ષ રીતે અંદાજે 15% વધુ ગુણ.

આ વાસ્તવિક દુનિયાની વિવિધતાનું પ્રતિબિંબ હોવા છતાં, તે સામાન્ય રીતે શીખવાના પરિણામો કેવી રીતે માપવામાં આવે છે તેની વધુ ઊંડી મર્યાદા દર્શાવે છે.

હાલની મોટાભાગની મૂલ્યાંકન પદ્ધતિઓ ટૂંકા સમયગાળામાં મૂલ્યાંકિત સ્થિર હસ્તક્ષેપો પર આધારિત છે, જેમાં પરીક્ષા ગુણ અથવા અંતિમ નિબંધ જેવા પરિણામો મુખ્ય સંકેતો તરીકે વપરાય છે. આ પદ્ધતિઓ એ મૂળભૂત પ્રક્રિયા પકડવા માટે રચાયેલ નથી જેના દ્વારા AI વાસ્તવમાં શીખણને અસર કરે છે: સતત, વ્યક્તિગત પરસ્પરક્રિયાઓ, જે શીખનારની પોતાની વ્યૂહરચનાઓ, પસંદગીઓ અને અભ્યાસ આદતો સાથે બદલાતી રહે છે. તેમજ તે બતાવતી નથી કે ટૂંકાગાળાની યાદશક્તિ જેવી એક ક્ષમતામાં સુધારો થવાથી અડગતા, સ્વાયત્ત પ્રેરણા અથવા સર્જનાત્મક સમસ્યા ઉકેલવાની ક્ષમતા જેવી અન્ય બાબતોમાં સમતોલ બદલાવ આવી શકે છે કે નહીં. પરિણામે, તે દીર્ઘકાલીન સંજ્ઞાનાત્મક અસરોને ચૂકી જાય છે, જે આખરે નક્કી કરે છે કે AI શીખણમાં અર્થપૂર્ણ સુધારો કરે છે કે નહીં. 

કારણ કે દેશો, અભ્યાસક્રમો અને સંસ્થાત્મક લક્ષ્યો મુજબ શીખવાની પરિસ્થિતિઓમાં ઘણો ફરક હોય છે, એક વખતના અભ્યાસોના પરિણામો ભાગ્યે જ વિવિધ પ્રણાલીઓમાં સામાન્યરૂપે લાગુ પડે છે. તેથી માપન પદ્ધતિઓ એટલી લવચીક હોવી જોઈએ કે વિવિધ શિક્ષણ પ્રણાલીઓ પોતાના સંદર્ભમાં સફળતા કેવી દેખાય છે તે નક્કી કરી શકે, પોતાના ધોરણો સામે AIનું મૂલ્યાંકન કરી શકે અને તે મુજબ પુનરાવર્તન કરી શકે.

વધુ સારી માપન પ્રણાલીનું નિર્માણ 

OpenAIના સ્ટડી મોડ સંશોધનમાંથી મળેલા શિખામણના આધારે, અમે એક રચિત માપન પ્રણાલી બનાવી રહ્યા છીએ, જેથી મોટા પાયે શીખનારાઓ પર AIનો પ્રભાવ માપી શકાય અને તે પરિણામોના આધારે મોડલોમાં સુધારો કરવા માટે એક પ્રક્રિયા ઉભી કરી શકાય. તે ત્રણ સંકેતો પર આધારિત છે—મોડલ કેવી રીતે વર્તે છે, શીખનારાઓ કેવી પ્રતિક્રિયા આપે છે અને સમય સાથે કયા માપી શકાય તેવા સંજ્ઞાનાત્મક પરિણામો મળે છે. તેમાં શામેલ છે: 

• મોડલના વર્તનને સુધારવા માટે સિસ્ટમ સૂચનાઓ: કુદરતી ભાષાનો ઉપયોગ કરીને મોડલના મૂળભૂત વર્તનને બદલવું જેથી તે નિશ્ચિત પેડાગોજીકલ અભિગમો સાથે વધુ સુસંગત બને.
• લર્નિંગ ઇન્ટરૅક્શન ક્લાસિફાયર્સ: આ વાસ્તવિક, ઓળખમુક્ત શીખનાર–મોડલ પરસ્પરક્રિયાઓમાં “શીખવાના ક્ષણો”ને આપમેળે શોધે છે અને જોડાણ તથા ભૂલ સુધારણા જેવી મહત્વપૂર્ણ લાક્ષણિકતાઓને લેબલ કરે છે.
• લર્નિંગ ક્વૉલિટી ગ્રેડર્સ: આ દરેક શીખવાના ક્ષણનું મૂલ્યાંકન અને સ્કોરિંગ કરે છે કે શીખનાર પોતાનો હેતુ હાંસલ કરી શક્યો કે નહીં, અને પરસ્પરક્રિયા મજબૂત પેડાગોજીકલ સિદ્ધાંતોને કેટલા પ્રમાણમાં અનુસરે છે, જેમાં નિષ્ફળતા સ્થિતિઓની ઓળખ પણ સામેલ છે.
• લૉન્ગિટ્યુડિનલ લર્નિંગ ગ્રેડર્સ: આ એક જ શીખનારની મોડલ સાથેની પરસ્પરક્રિયાઓમાં સમય સાથે થતા ફેરફારો—જેમ કે જોડાણ, અડગતા અને મેટાકૉગ્નિટિવ વ્યૂહરચનાઓ—વ્યક્તિગત અને સમૂહ સ્તરે ટ્રૅક કરે છે.
• પ્રમાણિત સંજ્ઞાનાત્મક અને મેટાકૉગ્નિટિવ માપદંડો: આ તૃતીય-પક્ષ દ્વારા માન્ય કરવામાં આવેલા સાધનો છે, જે ChatGPT મારફતે ઍક્સેસ પહેલાં, દરમિયાન અને પછી આપવામાં આવે છે, જેથી બેઝલાઇન સ્થાપિત કરી શકાય અને ક્રિટિકલ થિંકિંગ, સર્જનાત્મકતા અને યાદશક્તિ જેવી મૂળભૂત ક્ષમતાઓમાં બદલાવ માપી શકાય.

જ્યારે આ બધું એકસાથે જોડાય છે, ત્યારે અમે આ માપન પ્રણાલીને લર્નિંગ આઉટકમ્સ મેઝરમેન્ટ સ્યુટ તરીકે ઓળખીએ છીએ. 

તે શિક્ષણ ઇકોસિસ્ટમ માટે ઉપયોગી એવા મહત્વપૂર્ણ સંકેતો ઉત્પન્ન કરે છે: શીખવાના ક્ષણોના રચિત દૃશ્યો, સમૂહોમાં સમય સાથે પરિણામો કેવી રીતે બદલાય છે તે દર્શાવતા ડૅશબોર્ડ્સ, શિક્ષણ અને ટ્યુટરિંગ રૂબ્રિક્સ સામે મોડલના પ્રદર્શનના સંકેતો, અને પ્રમાણિત મૂલ્યાંકન તથા ટૂંકી શીખનાર પ્રશ્નાવલીઓ સાથે સુસંગત પરિણામ માપદંડો. જ્યાં ઉપલબ્ધ હોય, ત્યાં તે ભાગીદારો દ્વારા આપવામાં આવેલી ground truth જેમ કે પરીક્ષા ગુણ, વર્ગખંડ અવલોકનો અથવા હાજરીને પણ સમાવેશ કરી શકે છે.

તે અમારા ભાગીદારોને સમય સાથે શીખવા માટે AIના ઉપયોગની વધુ ઊંડી સંજ્ઞાનાત્મક અસરો સમજવામાં પણ સક્ષમ બનાવે છે, કારણ કે આ પ્રણાલી દ્વારા અમે નીચે દર્શાવેલી ક્ષમતાઓ પરના પ્રભાવને પણ ટ્રૅક કરી શકીએ છીએ:

• સ્વાયત્ત પ્રેરણા: શીખનારાઓ તેમના અભ્યાસને સ્વયં કેટલી હદ સુધી આકાર આપે છે સામે મોડલ દ્વારા કેટલા હદ સુધી દિશાનિર્દેશિત થાય છે 
• ઉત્પાદક જોડાણ: પેડાગોજીકલ પરસ્પરક્રિયાઓની આવર્તનતા, વૈવિધ્યતા અને ગુણવત્તા
• કાર્યમાં અડગતા: શીખનાર સંજ્ઞાનાત્મક પડકારો સાથે કેટલી હદ સુધી જોડાયેલો રહે છે અને તેને પાર કરે છે
• મેટાકૉગ્નિશન: અભ્યાસ માટેની પોતાની પદ્ધતિઓનું આયોજન, પ્રતિબિંબન અને નિરીક્ષણ કરવા માટે શીખનારના પ્રયત્નોની આવર્તનતા અને ગુણવત્તા
• રીકૉલ: અગાઉની પરસ્પરક્રિયાઓમાંથી સામગ્રીને શીખનાર કેટલી સચોટતાથી યાદ રાખી શકે છે

આ અમારા સમૂહ પ્રયત્નોને પ્રતિબિંબિત કરે છે કે જેમાં અમે ફક્ત શીખવાના પરિણામોની સીમિત વ્યાખ્યાઓ પર નહીં (જેમ કે પરીક્ષા ગુણમાં વધારો), પરંતુ શીખણને આધાર આપતી સર્વાંગી ક્ષમતાઓ પર ધ્યાન કેન્દ્રિત કરીએ છીએ. તે અમારી આ માન્યતાને પણ પ્રતિબિંબિત કરે છે કે શું ઑપ્ટિમાઇઝ કરવું તેના માટે કોઈ એકમાત્ર ચમત્કારી ઉકેલ નહીં હોય: પ્રણાલીઓ અને શિક્ષકોને પેડાગોજીકલ શ્રેષ્ઠ પ્રથાઓ અને અભિગમો સાથે સુસંગત રીતે સમતોલ નિર્ણયો દોરવા માટે સક્ષમ બનાવવાની જરૂર પડશે.

અહીંથી આગળનો માર્ગ

અમે લર્નિંગ આઉટકમ્સ મેઝરમેન્ટ સ્યુટને વ્યાપક રીતે ઉપલબ્ધ કરાવતા પહેલાં મોટા પાયાના અભ્યાસો દ્વારા તેનું માન્યકરણ કરી રહ્યા છીએ. આ કાર્ય યુનિવર્સિટી ઑફ ટાર્ટુ અને સ્ટેનફોર્ડની SCALE Initiative સાથે એસ્ટોનિયા જેવા રાષ્ટ્રીય સ્તરના ભાગીદારોમાં ચાલી રહ્યું છે, જ્યાં આ મેઝરમેન્ટ સ્યુટનો અભ્યાસ 16-18 વર્ષની ઉંમરના લગભગ 20,000 વિદ્યાર્થીઓ સાથે અનેક મહિનાઓ દરમિયાન થઈ રહ્યો છે. સ્થાનિક નેતાઓ સાથે નજીકના સહકારમાં વિદ્યાર્થીઓ દ્વારા તેનો ઉપયોગ થશે, જેથી સુરક્ષા અને સ્થાનિક અભ્યાસક્રમો સાથે સુસંગતતા સુનિશ્ચિત થાય.

આ કાર્ય વધુ વ્યાપક સહયોગી સંશોધનના આધારે આગળ વધી રહ્યું છે. લર્નિંગ લૅબના સ્થાપક ભાગીદારો દ્વારા કરવામાં આવતા પરિણામ આધારિત સંશોધન ઉપરાંત, OpenAI શીખણ અને શ્રમના સંધિસ્થાને થતા અભ્યાસોને પણ સમર્થન આપી રહ્યું છે—જે તપાસે છે કે AI વિદ્યાર્થીઓના શૈક્ષણિક માર્ગો, કારકિર્દી સંબંધિત નિર્ણયો અને સંસ્થાઓ જવાબદાર અપનાવને કેવી રીતે ટેકો આપી શકે છે તેને કેવી રીતે આકાર આપે છે. આ સંશોધન Bocconi University, Innova Schools, Dartmouthની Tuck School of Business, San Diego State University, Stony Brook University અને અન્ય સંસ્થાઓમાં થઈ રહ્યું છે.

જેમ જેમ અમે વિદ્યાર્થીઓ AI સાથે શ્રેષ્ઠ રીતે કેવી રીતે શીખે છે તેના લાંબા ગાળાના અભ્યાસો ચલાવીએ છીએ, તેમ તેમ અમે શોધો શેર કરવાની અને વ્યાપક શિક્ષણ ઇકોસિસ્ટમ સાથે કામ કરવાની યોજના રાખીએ છીએ, જેથી AI બધે શીખનારાઓને લાભ પહોંચાડે.

આ કાર્ય અંગે અપડેટ્સ મેળવવામાં રસ ધરાવનારાઓ અહીં⁠ સાઇન અપ કરી શકે છે.