AI आणि शिकण्याच्या परिणामांचे आकलन करण्यासाठी नवीन साधने

शिक्षण हे AI मधील सर्वात आशादायक अत्याधुनिक क्षेत्रांपैकी एक आहे. ChatGPT सारख्या साधनांसह, वैयक्तिकृत शिक्षण समर्थन कोणत्याही विद्यार्थ्यासाठी, कुठेही, कधीही उपलब्ध असू शकते. 

पण शिक्षण क्षेत्र अजूनही शिकण्याच्या परिणामांवर AI च्या प्रभावाची समज विकसित करण्याच्या सुरुवातीच्या टप्प्यात आहे. मागील वर्षी, आमच्या टीमने स्टडी मोड⁠ सारख्या साधनांच्या वापराचा अभ्यास करण्यासाठी पुढाकार घेतला आणि विद्यार्थ्यांच्या कामगिरीत आशादायक सुधारणा आढळल्या. पण आमच्या संशोधनामुळे एक महत्त्वाचा प्रश्नही उपस्थित झाला: AI चा शिकणाऱ्याच्या वेळोवेळी होणाऱ्या प्रगतीवर कसा प्रभाव पडतो, केवळ अंतिम परीक्षेतच नाही, तर तुम्ही त्याचे मूल्यांकन कसे करू शकतो?

हे एक व्यापक परिसंस्थेचे आव्हान आहे. आजपर्यंत, बहुतेक संशोधन पद्धती अरुंद कार्यप्रदर्शन संकेतांवर—उदा., चाचणी गुण—लक्ष केंद्रित करतात आणि वास्तविक जगातील परिस्थितींमध्ये विद्यार्थी AI सोबत प्रत्यक्षात कसे शिकतात, तसेच तो वापर कालांतराने परिणामांना कसा आकार देतो, याचे मूल्यांकन करण्याची क्षमता त्यांच्याकडे नाही. 

ही दरी भरून काढण्यासाठी, आम्ही Learning Outcomes Measurement Suite, विकसित केले—Estonia’s University of Tartu आणि Stanford Accelerator for Learning मधील SCALE Initiative सोबत तयार केलेले एक फ्रेमवर्क, जे विविध शैक्षणिक संदर्भांमध्ये लर्निंग आउटकम्सचे दीर्घकालीन मोजमाप समर्थित करते. 

यादृच्छिक नियंत्रित चाचणीद्वारे व्यापक पडताळणी सुरू आहे, आणि Learning Lab, OpenAI च्या शिक्षण संशोधन परिसंस्थेतील संस्थापक संस्थांसोबत पुढील संशोधन नियोजित आहे, ज्यामध्ये Arizona State University, UCL Knowledge Lab, आणि MIT Media Lab येथील संशोधकांचा समावेश आहे ( पूर्वीच्या सहयोगी अभ्यासांवर⁠ आधारित).

आज आम्ही मोजमाप संच कसा कार्य करतो आणि हे का महत्त्वाचे आहे याचा आढावा सामायिक करत आहोत. कालांतराने, आम्ही अधिक संशोधन प्रकाशित करण्याचा आणि मोजमाप संच शाळा, विद्यापीठे आणि जगभरातील शिक्षण प्रणालींसाठी सार्वजनिक संसाधन म्हणून सादर करण्याचा हेतू ठेवतो.

• AI चा शिक्षणावर होणारा परिणाम यावरील आजच्या संशोधन पद्धती कामगिरीबाबत आशादायक संकेत दाखवतात, पण कालांतराने AI शिक्षण परिणामांवर कसा परिणाम करतो याचे संपूर्ण चित्र पकडत नाहीत.
• Learning Outcomes Measurement Suite प्रथमच दीर्घकालीन अभ्यासांसाठी एक मानक चौकट प्रदान करेल, ज्यामुळे शिक्षक, संशोधक आणि संस्था विविध संदर्भांमध्ये AI शिक्षण आणि शिक्षण परिणामांना कसा आकार देतो हे समजू शकतील.
• OpenAI’s Learning Lab ही या कामाला पुढे नेण्यावर लक्ष केंद्रित करणारी एक नवीन संशोधन इकोसिस्टम आहे. क्षेत्र विकसित होत असताना OpenAI विविध भागीदारांसोबत निष्कर्ष प्रकाशित करेल.

विद्यार्थी अभ्यास आणि शिकण्यासाठी AI टूल्स वापरतात तेव्हा त्याचा अर्थ अनेक वेगवेगळ्या गोष्टी असू शकतो—झटपट उत्तरांसाठी AI कडे जाण्यापासून ते ट्यूटरसारख्या मार्गदर्शनासह समस्या टप्प्याटप्प्याने सोडवण्यासाठी त्याचा वापर करण्यापर्यंत. वापरकर्त्यांना ChatGPT सोबत अशा प्रकारे संवाद साधण्यासाठी प्रोत्साहित करण्यासाठी, ज्यामुळे अधिक सखोल समज आणि कौशल्य-विकासाला पाठबळ मिळते, OpenAI ने गेल्या वर्षी स्टडी मोड⁠ सादर केला.  अंतर्गत, स्टडी मोड शिक्षक, वैज्ञानिक आणि अध्यापनशास्त्र तज्ज्ञ यांच्या सहकार्याने आम्ही लिहिलेल्या कस्टम सिस्टम इन्स्ट्रक्शन्सद्वारे चालतो, जे खरे शिक्षण—फक्त उत्तरे नाही—समर्थन देणाऱ्या मूलभूत वर्तनांचा एक मुख्य संच प्रतिबिंबित करतात; यात स्कॅफोल्डिंग, समज तपासणे, आणि मार्गदर्शित सराव यांचा वापर केला जातो.

या प्रकारची अध्यापनदृष्ट्या सुसंगत AI संवाद शैली अधिक चांगले शिक्षणपरिणाम देते का हे तपासण्यासाठी, आम्ही न्यूरोसायन्स आणि मायक्रोइकॉनॉमिक्सच्या परीक्षांची तयारी करणाऱ्या ३०० पेक्षा अधिक महाविद्यालयीन विद्यार्थ्यांसह एक यादृच्छिक अभ्यास केला. विश्लेषण अजूनही सुरू असताना, सुरुवातीचे निकाल आम्हाला आत्मविश्वास देतात की अध्यापनशास्त्रीयदृष्ट्या सुसंगत AI संवाद शैली, स्टडी मोडसारख्या फीचर्सद्वारे प्रोत्साहित केली गेल्यास, शिकण्याचे परिणाम सुधारू शकतात. पण या संशोधनाने एक महत्त्वाची वास्तविकताही समोर आणली: खरोखर महत्त्वाचे हे आहे की उत्पादकता वाढ आणि त्यासोबतची उत्पादक वर्तने कालांतराने टिकाऊ राहतात की नाही.

स्टडी डिझाइन

सहभागींना तीनपैकी एका गटात नेमण्यात आले: नियंत्रण गटाने Google Search आणि YouTube यांसारख्या पारंपरिक ऑनलाइन संसाधनांचा वापर करून अभ्यास केला, ज्यामध्ये AI-निर्मित आढावा वैशिष्ट्ये अक्षम केली होती, तर आणखी दोन गटांना विद्यार्थ्यांना शिकण्याच्या प्रक्रियेतून थोड्या वेगळ्या पद्धतीने मार्गदर्शन करण्यासाठी डिझाइन केलेल्या दोन स्टडी मोड प्रकारांपैकी एका प्रकाराचा प्रवेश देण्यात आला. पूर्वीच्या अभ्यासक्रमातील अनुभव, अभ्यासाच्या सवयी, शैक्षणिक आत्मविश्वास आणि AI साधनांशी परिचय यांतील फरक समायोजित करण्यासाठी बेसलाइन क्विझ आणि ऑनबोर्डिंग सर्वेक्षणे आधीच गोळा करण्यात आली होती. प्रत्येक परीक्षेपूर्वी विद्यार्थ्यांनी वेळबद्ध स्टडी मोड सत्रे पूर्ण केली, आणि स्टडी मोडचे दोन प्रकार विषयांमध्ये समतोलपणे वाटप केले गेले.

ही मांडणी काटेकोरपणे नियंत्रित प्रयोगशाळेच्या वातावरणाऐवजी वास्तविक जगातील अभ्यासाच्या परिस्थिती प्रतिबिंबित करण्यासाठी डिझाइन करण्यात आली होती. सहभाग परीक्षेच्या कामगिरीशी जोडलेला नव्हता, आणि नाममात्र 40 minute सत्रांदरम्यान सर्व विद्यार्थ्यांनी स्टडी मोड समान प्रमाणात वापरला नाही. यामुळे आम्हाला intention-to-treat (ITT) परिणाम मोजता आणि अहवालित करता आले, म्हणजे वास्तववादी रोलआउट परिस्थितींमध्ये साधनाचा प्रवेश दिला जाण्याचा प्रभाव—दुसऱ्या शब्दांत, स्टडी मोडची ऑफर दिल्याचा कारणात्मक प्रभाव, हे मान्य करत की प्रत्यक्षात सहभाग बदलू शकतो.

निष्कर्ष

आम्ही प्रत्येक परीक्षेवरील कामगिरी स्वतंत्रपणे मोजली. आमच्या यादृच्छिक अभ्यासात, सुधारणा विषयांमध्ये एकसारख्या नव्हत्या, आणि स्टडी मोडशी संलग्नतेची पातळी सहभागीांमध्ये वेगवेगळी होती. 

• न्यूरोसायन्स (प्राथमिक ITT): नियंत्रणाच्या तुलनेत स्टडी मोडसाठी दिशात्मकदृष्ट्या सकारात्मक फरक आम्ही पाहिले, पण पारंपरिक ऑनलाइन संसाधनांसह अभ्यास करणाऱ्या विद्यार्थ्यांच्या परिणामांपासून हे परिणाम वेगळे ओळखता येत नव्हते. स्टडी मोड वापरणाऱ्या विद्यार्थ्यांमध्ये ऑनबोर्डिंग आणि काही तांत्रिक समस्यांमुळे अभ्यासासाठी घालवलेल्या वेळेवर परिणाम झाला. 
• मायक्रोइकॉनॉमिक्स (प्राथमिक ITT): स्टडी मोडमध्ये प्रवेश देण्यात आलेल्या विद्यार्थ्यांनी no-AI नियंत्रण गटाच्या तुलनेत परीक्षेत सुमारे 15% अधिक गुण मिळवले, ज्यामुळे त्यांच्या कामगिरीत अर्थपूर्ण सुधारणा दिसून आली.

हे वास्तविक जगातील विविधता प्रतिबिंबित करत असले तरी, शिकण्याचे परिणाम सामान्यतः कसे मोजले जातात यातील अधिक सखोल मर्यादा यामुळे अधोरेखित झाली.

बहुतेक विद्यमान मूल्यांकन पद्धती अल्प कालावधीच्या निश्चित वेळ-खिडक्यांमध्ये मूल्यांकन केलेल्या स्थिर हस्तक्षेपांवर अवलंबून असतात, आणि चाचणी गुण किंवा अंतिम निबंध यांसारख्या परिणामांना प्राथमिक संकेत म्हणून वापरतात. या पद्धती प्रत्यक्षात AI शिकण्यावर ज्या मुख्य यंत्रणेद्वारे परिणाम करते ती पकडण्यासाठी डिझाइन केलेल्या नाहीत: शिकणाऱ्याच्या स्वतःच्या रणनीती, प्राधान्ये आणि अभ्यासाच्या सवयींसोबत विकसित होत जाणाऱ्या सततच्या, वैयक्तिकृत परस्परक्रिया. तसेच, अल्पकालीन स्मरणशक्ती यांसारख्या एका क्षमतेतील सुधारणा इतरांमध्ये—उदा., सातत्य, स्वायत्त प्रेरणा किंवा सर्जनशील समस्या-समाधान—तडजोडींसह येऊ शकतात का, हेही ते स्पष्ट करत नाहीत. परिणामी, AI शिक्षणात अर्थपूर्ण सुधारणा करते की नाही हे शेवटी ठरवणारे दीर्घकालीन संज्ञानात्मक परिणाम त्यांच्या लक्षात येत नाहीत. 

कारण देश, अभ्यासक्रम आणि संस्थात्मक उद्दिष्टांनुसार शिकण्याची वातावरणे मोठ्या प्रमाणात भिन्न असतात, त्यामुळे एकदाच केलेल्या अभ्यासांचे निष्कर्ष क्वचितच विविध प्रणालींमध्ये सर्वसाधारणपणे लागू होतात. म्हणूनच, मोजमाप पध्दती वेगवेगळ्या शिक्षण प्रणालींना त्यांच्या संदर्भात यश कसे दिसेल हे परिभाषित करण्यासाठी, AI चे मूल्यमापन त्यांच्या स्वतःच्या मानकांनुसार करण्यासाठी, आणि त्यानुसार पुनरावृत्ती करण्यासाठी पुरेशा लवचिक असल्या पाहिजेत.

अधिक चांगली मापन प्रणाली तयार करणे 

OpenAI च्या स्टडी मोड संशोधनातून मिळालेल्या शिकवणींवर आधारित, आम्ही मोठ्या प्रमाणावर शिकणाऱ्यांवर कृत्रिम बुद्धिमत्तेचा प्रभाव मोजण्यासाठी एक संरचित मापन प्रणाली तयार करत आहोत, आणि त्या परिणामांच्या आधारे मॉडेल्स सुधारण्यासाठी एक यंत्रणा निर्माण करत आहोत. हे तीन संकेतांवर आधारित आहे—मॉडेल कसे वागते, शिकणारे कसा प्रतिसाद देतात, आणि कालांतराने कोणते मोजता येण्याजोगे संज्ञानात्मक परिणाम दिसून येतात. यामध्ये समाविष्ट आहेत: 

• मॉडेलचे वर्तन परिष्कृत करण्यासाठी सिस्टम सूचना: विशिष्ट अध्यापन पद्धतींशी अधिक चांगल्या प्रकारे संरेखित होण्यासाठी मॉडेलचे डीफॉल्ट वर्तन बदलण्यासाठी नैसर्गिक भाषेचा वापर.
• लर्निंग इंटरॲक्शन क्लासिफायर्स: हे वास्तविक, ओळख काढून टाकलेल्या, शिकणारा–मॉडेल इंटरॲक्शनमधील “लर्निंग मोमेंट्स” आपोआप ओळखतात आणि एंगेजमेंट व त्रुटी दुरुस्ती यांसारखी ठळक वैशिष्ट्ये लेबल करतात.
• Learning quality graders: हे प्रत्येक अशा learning moment चे मूल्यांकन करून स्कोअर देतात—शिकणाऱ्याने त्याचे उद्दिष्ट साध्य केले का आणि परस्परसंवाद कितपत मजबूत पेडॅगॉजिकल तत्त्वांचे पालन करतो, यासह फेल्युअर मोड्सची ओळख.
• अनुदैर्ध्य शिक्षण ग्रेडर्स: हे कालांतराने त्याच शिकणाऱ्याच्या मॉडेलसोबतच्या परस्परसंवादांमधील बदलांचा मागोवा घेतात—यामध्ये सहभाग, सातत्य, आणि मेटाकॉग्निटिव्ह रणनीतींचा समावेश होतो—वैयक्तिक आणि गट पातळ्यांवर.
• प्रमाणित संज्ञानात्मक आणि मेटाकॉग्निटिव्ह मोजमाप: ही तृतीय-पक्षाद्वारे प्रमाणित साधने आहेत, जी ChatGPT pre/during/post access द्वारे दिली जातात, ज्यामुळे बेसलाइन निश्चित करता येते आणि चिकित्सक विचार, सर्जनशीलता, आणि स्मरणशक्ती यांसारख्या मूलभूत क्षमतांमधील बदल मोजता येतात.

एकत्र केल्यावर, आम्ही या मापन प्रणालीला शिकण्याच्या परिणामांचे मापन संचअसे संबोधतो.

हे शिक्षण परिसंस्थेला वापरता येतील असे महत्त्वाचे संकेत निर्माण करते: शिकण्याच्या क्षणांचे संरचित दृश्य, गटांमध्ये वेळोवेळी परिणाम कसे बदलतात हे दाखवणारे डॅशबोर्ड्स, अध्यापन आणि ट्यूटोरिंग रुब्रिक्सच्या तुलनेत मॉडेलच्या कामगिरीचे निर्देशक, आणि मानकीकृत मूल्यमापनांशी तसेच लहान शिकणाऱ्यांच्या प्रश्नावलींशी संरेखित परिणाम मोजमाप. जिथे उपलब्ध असेल, तिथे ते भागीदारांनी प्रदान केलेले ग्राउंड ट्रुथ, जसे की परीक्षेचे गुण, वर्गातील निरीक्षणे किंवा उपस्थिती, समाविष्ट करू शकते.

यामुळे आमच्या भागीदारांना कालांतराने शिकण्यासाठी AI वापरण्याचे अधिक सखोल संज्ञानात्मक परिणाम समजून घेणेही शक्य होते, कारण या प्रणालीद्वारे आम्ही पुढीलप्रमाणे क्षमतांवरील परिणामही ट्रॅक करू शकतो:

• स्वायत्त प्रेरणा: शिकणारे मॉडेलद्वारे निर्देशित होण्याऐवजी स्वतःचा अभ्यास कितपत घडवत आहेत याची पातळी 
• उत्पादक सहभाग: शैक्षणिक परस्परसंवादांची वारंवारता, विविधता आणि गुणवत्ता
• कार्य सातत्य: शिकणारा संज्ञानात्मक आव्हानांशी किती काळ बसून राहतो आणि त्यातून पुढे ढकलत जातो याची पातळी
• मेटाकॉग्निशन: शिकणाऱ्याने अभ्यासासाठी त्याचा दृष्टिकोन नियोजित करणे, चिंतन करणे आणि निरीक्षण करणे यासाठी केलेल्या प्रयत्नांची वारंवारता आणि गुणवत्ता
• Recall: शिकणारा मागील परस्परसंवादांमधील सामग्री किती अचूकपणे लक्षात ठेवू शकतो याचे मोजमाप

हे आमच्या एकूण प्रयत्नांचे प्रतिबिंब आहे की आम्ही केवळ शिकण्याच्या परिणामांच्या (चाचणी गुण वाढणे) अरुंद व्याख्यांवर लक्ष केंद्रित करत नाही, तर शिकण्याला आधार देणाऱ्या सर्वांगीण क्षमतांवर लक्ष केंद्रित करतो. हे आमच्या या विश्वासाचेही प्रतिबिंबित करते की काय ऑप्टिमाइझ करायचे याबाबतीत कोणताही “silver bullet” नसेल: प्रणाली आणि शिक्षकांना शैक्षणिक सर्वोत्तम पद्धती आणि दृष्टिकोनांशी सुसंगतपणे trade offs मार्गदर्शित करण्यासाठी सक्षम करणे आवश्यक असेल.

येथून पुढे आम्ही काय करतो

आम्ही Learning Outcomes Measurement Suite अधिक व्यापकपणे उपलब्ध करण्यापूर्वी मोठ्या प्रमाणावरील अभ्यासांद्वारे त्याची पडताळणी करत आहोत. हे काम University of Tartu आणि Stanford’s SCALE Initiative सोबत, एस्टोनिया सारख्या राष्ट्र-स्तरीय भागीदारांमध्ये सुरू आहे, जिथे मोजमाप संचाचा अभ्यास अनेक महिन्यांमध्ये 16-18 वयोगटातील जवळपास 20,000 विद्यार्थ्यांसोबत केला जात आहे. विद्यार्थ्यांचा वापर स्थानिक नेत्यांसोबत घनिष्ठ सहकार्याने होईल, जेणेकरून सुरक्षितता आणि स्थानिक अभ्यासक्रमांशी सुसंगती सुनिश्चित होईल.

हे कार्य सध्या सुरू असलेल्या सहकार्यात्मक संशोधनाच्या अधिक व्यापक कार्यावर आधारित आहे. Learning Lab मधील संस्थापक भागीदारांद्वारे केले जात असलेल्या आउटकम्स संशोधनाव्यतिरिक्त, OpenAI लर्निंग आणि लेबर यांच्या संगमावरच्या अभ्यासांना समर्थन देत आहे—AI विद्यार्थ्यांचे शैक्षणिक मार्ग, करिअर निर्णय, आणि संस्था जबाबदार स्वीकाराला कसा समर्थन देऊ शकतात याची तपासणी करत आहे. हे संशोधन बॉक्कोनी विद्यापीठ, इननोव्हा स्कूल्स, डार्टमाउथ येथील टक स्कूल ऑफ बिझनेस, सॅन डिएगो स्टेट विद्यापीठ, स्टोनी ब्रुक विद्यापीठ आणि इतर ठिकाणी चालू आहे.

विद्यार्थी AI सह कसे सर्वोत्तम शिकतात यावर आम्ही दीर्घकालीन अभ्यास करत असताना, आम्ही निष्कर्ष शेअर करण्याचा आणि AI चे फायदे सर्वत्र शिकणाऱ्यांना मिळतील याची खात्री करण्यासाठी व्यापक शिक्षण परिसंस्थेसोबत काम करण्याचा मानस ठेवतो.

या कामावरील अद्यतने मिळवण्यात स्वारस्य असलेले येथे⁠ साइन अप करू शकतात.