AI और लर्निंग आउटकम्स को समझने के लिए नए टूल्स

शिक्षा AI के सबसे आशाजनक फ्रंटियर्स में से एक है. ChatGPT जैसे टूल्स के साथ, पर्सनलाइज़्ड लर्निंग सपोर्ट किसी भी छात्र को, कहीं भी और कभी भी मिल सकता है.

लेकिन शिक्षा क्षेत्र अभी भी यह समझने की शुरुआती अवस्था में है कि AI का लर्निंग आउटकम्स पर क्या प्रभाव पड़ता है. पिछले साल हमारी टीम ने स्टडी मोड⁠ जैसे टूल्स के उपयोग का अध्ययन शुरू किया और छात्रों के प्रदर्शन में आशाजनक सुधार पाए. लेकिन हमारी रिसर्च ने एक महत्वपूर्ण सवाल भी उठाया: हम यह कैसे आकलन करें कि AI समय के साथ एक लर्नर की प्रगति को कैसे प्रभावित करता है, सिर्फ अंतिम परीक्षा में नहीं?

यह एक व्यापक इकोसिस्टम चुनौती है. अब तक ज़्यादातर रिसर्च मेथड्स सीमित परफॉर्मेंस सिग्नल्स—जैसे टेस्ट स्कोर—पर केंद्रित रहे हैं और उनमें यह आकलन करने की क्षमता नहीं होती कि छात्र वास्तविक दुनिया के माहौल में AI के साथ वास्तव में कैसे सीखते हैं और समय के साथ वह उपयोग लर्निंग आउटकम्स को कैसे प्रभावित करता है.

इस कमी को दूर करने के लिए हमने Learning Outcomes Measurement Suite, विकसित किया—एक फ्रेमवर्क जिसे Estonia के University of Tartu और Stanford Accelerator for Learning की SCALE Initiative के साथ मिलकर बनाया गया है, ताकि अलग-अलग शैक्षणिक संदर्भों में लर्निंग आउटकम्स के लॉन्गिट्यूडिनल मेज़रमेंट को सपोर्ट किया जा सके.

व्यापक वैलिडेशन एक रैंडमाइज़्ड कंट्रोल्ड ट्रायल के माध्यम से जारी है, और आगे की रिसर्च Learning Lab, OpenAI के लर्निंग रिसर्च इकोसिस्टम की संस्थापक संस्थाओं के साथ योजना में है, जिसमें Arizona State University, UCL Knowledge Lab और MIT Media Lab के शोधकर्ता शामिल हैं (जो प्रायर कोलैबोरेटिव स्टडीज़⁠ पर आधारित है).

आज हम यह साझा कर रहे हैं कि मेज़रमेंट सूट कैसे काम करता है और यह क्यों महत्वपूर्ण है. समय के साथ हम और अधिक रिसर्च प्रकाशित करने और मेज़रमेंट सूट को दुनिया भर के स्कूलों, यूनिवर्सिटीज़ और शिक्षा प्रणालियों के लिए एक सार्वजनिक संसाधन के रूप में जारी करने का इरादा रखते हैं.

• आज के रिसर्च मेथड्स जो सीखने पर AI के प्रभाव का अध्ययन करते हैं, वे परफॉर्मेंस के बारे में आशाजनक संकेत दिखाते हैं, लेकिन समय के साथ AI लर्निंग आउटकम्स को कैसे प्रभावित करता है इसकी पूरी तस्वीर नहीं दिखा पाते.
• Learning Outcomes Measurement Suite पहली बार लॉन्गिट्यूडिनल स्टडीज़ के लिए एक मानक फ्रेमवर्क प्रदान करेगा, जिससे शिक्षक, शोधकर्ता और संस्थान यह समझ सकेंगे कि अलग-अलग संदर्भों में AI सीखने और उसके परिणामों को कैसे आकार देता है.
• OpenAI का Learning Lab एक नया रिसर्च इकोसिस्टम है जो इस काम को आगे बढ़ाने पर केंद्रित है. जैसे-जैसे यह क्षेत्र विकसित होता रहेगा, OpenAI विभिन्न साझेदारों के साथ मिलकर अपने निष्कर्ष प्रकाशित करेगा.

जब छात्र पढ़ाई और सीखने के लिए AI टूल्स का उपयोग करते हैं, तो इसका मतलब कई अलग-अलग चीज़ें हो सकता है—जैसे जल्दी जवाब पाने के लिए AI का उपयोग करना या ट्यूटर जैसी गाइडेंस के साथ समस्याओं को चरण-दर-चरण हल करना. उपयोगकर्ताओं को ChatGPT के साथ ऐसे तरीकों से जुड़ने के लिए प्रोत्साहित करने के लिए जो गहरी समझ और स्किल-बिल्डिंग को सपोर्ट करें, OpenAI ने पिछले साल स्टडी मोड⁠ पेश किया.  अंदरूनी रूप से, स्टडी मोड कस्टम सिस्टम इंस्ट्रक्शन्स से संचालित होता है जिन्हें हमने शिक्षकों, वैज्ञानिकों और पेडागॉजी एक्सपर्ट्स के साथ मिलकर तैयार किया है, ताकि ऐसे मुख्य व्यवहारों को शामिल किया जा सके जो सिर्फ जवाब देने के बजाय वास्तविक सीखने को सपोर्ट करें—जैसे स्कैफोल्डिंग, समझ की जाँच और गाइडेड प्रैक्टिस.

यह जाँचने के लिए कि क्या इस तरह का पेडागॉजी के अनुरूप AI इंटरैक्शन स्टाइल बेहतर लर्निंग आउटकम्स देता है, हमने न्यूरोसाइंस और माइक्रोइकोनॉमिक्स की परीक्षाओं की तैयारी कर रहे 300 से अधिक कॉलेज छात्रों के साथ एक रैंडमाइज़्ड स्टडी की. हालांकि एनालिसिस अभी जारी है, शुरुआती नतीजे हमें यह भरोसा दिलाते हैं कि स्टडी मोड जैसी सुविधाओं के माध्यम से प्रोत्साहित किया गया पेडागॉजी के अनुरूप AI इंटरैक्शन स्टाइल लर्निंग आउटकम्स को बेहतर बना सकता है. लेकिन इस रिसर्च ने एक महत्वपूर्ण सच्चाई भी सामने रखी: असल मायने यह रखता है कि क्या ये सुधार और उनसे जुड़े उत्पादक व्यवहार समय के साथ टिकाऊ बने रहते हैं.

स्टडी डिज़ाइन

प्रतिभागियों को तीन समूहों में से एक में रखा गया: एक कंट्रोल ग्रुप ने Google Search और YouTube जैसे पारंपरिक ऑनलाइन संसाधनों का उपयोग करके अध्ययन किया, जहाँ AI जनरेटेड ओवरव्यू फीचर्स बंद थे, जबकि दो अतिरिक्त समूहों को स्टडी मोड के दो अलग-अलग वेरिएंट्स में से एक तक पहुँच दी गई, जिन्हें छात्रों को सीखने की प्रक्रिया में थोड़ा अलग तरीकों से मार्गदर्शन देने के लिए डिज़ाइन किया गया था. बेसलाइन क्विज़ और ऑनबोर्डिंग सर्वे पहले से एकत्र किए गए, ताकि पहले किए गए कोर्सवर्क के अनुभव, स्टडी हैबिट्स, अकादमिक कॉन्फिडेंस और AI टूल्स से परिचय में अंतर को समायोजित किया जा सके. छात्रों ने हर परीक्षा से पहले समयबद्ध स्टडी मोड सेशन्स पूरे किए, और दोनों स्टडी मोड वेरिएंट्स को अलग-अलग विषयों में संतुलित रूप से लागू किया गया.

यह सेटअप इस तरह बनाया गया था कि यह कड़े नियंत्रण वाले लैब वातावरण के बजाय वास्तविक दुनिया की पढ़ाई की परिस्थितियों को दर्शाए. भागीदारी को परीक्षा के प्रदर्शन से नहीं जोड़ा गया था, और सभी छात्रों ने 40 मिनट के निर्धारित सेशन्स के दौरान स्टडी मोड का समान रूप से उपयोग नहीं किया. इससे हमें intention-to-treat (ITT) प्रभावों को मापने और रिपोर्ट करने की अनुमति मिली—यानी वास्तविक रोलआउट परिस्थितियों में टूल तक पहुँच दिए जाने का प्रभाव. दूसरे शब्दों में, स्टडी मोड उपलब्ध कराने का कारणात्मक प्रभाव, यह स्वीकार करते हुए कि व्यवहार में उपयोग का स्तर अलग-अलग हो सकता है.

निष्कर्ष

हमने प्रत्येक परीक्षा में प्रदर्शन को अलग-अलग मापा. हमारी रैंडमाइज़्ड स्टडी में अलग-अलग विषयों में सुधार समान नहीं था, और प्रतिभागियों के बीच स्टडी मोड के साथ जुड़ाव का स्तर भी अलग-अलग रहा.

• न्यूरोसाइंस (प्राइमरी ITT): कंट्रोल की तुलना में स्टडी मोड के लिए दिशा के हिसाब से सकारात्मक अंतर दिखाई दिया, लेकिन परिणाम पारंपरिक ऑनलाइन संसाधनों से पढ़ाई करने वाले छात्रों से स्पष्ट रूप से अलग नहीं थे. कुछ ऑनबोर्डिंग और तकनीकी समस्याओं ने स्टडी मोड का उपयोग करने वाले छात्रों के पढ़ाई में बिताए गए समय को प्रभावित किया.
• माइक्रोइकोनॉमिक्स (प्राइमरी ITT): स्टडी मोड तक पहुँच दिए गए छात्रों में बिना-AI कंट्रोल ग्रुप की तुलना में परीक्षा प्रदर्शन में महत्वपूर्ण सुधार देखा गया—लगभग 15% अधिक स्कोर.

हालांकि यह वास्तविक दुनिया के विविध उपयोग को दर्शाता है, लेकिन इसने यह भी दिखाया कि आमतौर पर लर्निंग आउटकम्स को मापने के तरीकों में एक गहरी सीमा मौजूद है.

अधिकांश मौजूदा मूल्यांकन अप्रोच छोटे समय के अंतराल में आंके गए तय इंटरवेंशन्स पर निर्भर करते हैं, जहाँ टेस्ट स्कोर या अंतिम निबंध जैसे परिणामों को मुख्य संकेत के रूप में इस्तेमाल किया जाता है. ये मेथड्स उस मूल मैकेनिज़्म को पकड़ने के लिए डिज़ाइन नहीं किए गए हैं जिसके ज़रिए AI व्यवहार में सीखने को प्रभावित करता है: लगातार और पर्सनलाइज़्ड इंटरैक्शन्स, जो लर्नर की अपनी स्ट्रैटेजीज़, प्रेफरेंसेज़ और स्टडी हैबिट्स के साथ समय के साथ विकसित होते रहते हैं. ये यह भी सामने नहीं लाते कि किसी एक क्षमता—जैसे शॉर्ट टर्म रिकॉल—में सुधार के साथ अन्य क्षमताओं, जैसे पर्सिस्टेंस, ऑटोनॉमस मोटिवेशन या क्रिएटिव प्रॉब्लम सॉल्विंग में कोई ट्रेड-ऑफ तो नहीं हो रहा. नतीजतन, ये उन लॉन्गिट्यूडिनल कॉग्निटिव प्रभावों को पकड़ नहीं पाते जो अंततः तय करते हैं कि AI वास्तव में सीखने को सार्थक रूप से बेहतर बनाता है या नहीं.

क्योंकि लर्निंग एनवायरनमेंट अलग-अलग देशों, करिकुला और संस्थागत लक्ष्यों के अनुसार काफी अलग होते हैं, इसलिए एक बार की स्टडी से मिले परिणाम शायद ही अलग-अलग सिस्टम्स पर सामान्य रूप से लागू होते हैं. इसलिए मेज़रमेंट अप्रोचेस इतने लचीले होने चाहिए कि अलग-अलग शिक्षा सिस्टम अपने संदर्भ में सफलता का मतलब तय कर सकें, अपने मानकों के अनुसार AI का मूल्यांकन कर सकें और उसी के अनुसार इटरेट कर सकें.

एक बेहतर मेज़रमेंट सिस्टम बनाना 

OpenAI के स्टडी मोड रिसर्च से मिले निष्कर्षों के आधार पर हम एक स्ट्रक्चर्ड मेज़रमेंट सिस्टम बना रहे हैं, ताकि बड़े पैमाने पर लर्नर्स पर AI के प्रभाव को मापा जा सके और उन परिणामों के आधार पर मॉडल्स को बेहतर बनाने का एक मैकेनिज़्म तैयार किया जा सके. यह तीन संकेतों पर आधारित है—मॉडल कैसे व्यवहार करता है, लर्नर्स कैसे प्रतिक्रिया देते हैं, और समय के साथ कौन-से मापने योग्य कॉग्निटिव परिणाम सामने आते हैं. इसमें शामिल हैं: 

• मॉडल के व्यवहार को परिष्कृत करने के लिए सिस्टम निर्देश: विशिष्ट शैक्षणिक दृष्टिकोणों के साथ बेहतर संरेखित होने के लिए मॉडल के डिफ़ॉल्ट व्यवहार को बदलने हेतु प्राकृतिक भाषा का उपयोग.
• लर्निंग इंटरैक्शन क्लासिफ़ायर्स: ये वास्तविक, पहचान-रहित, लर्नर–मॉडल इंटरैक्शन के भीतर “लर्निंग मोमेंट्स” को अपने-आप डिटेक्ट करते हैं और एंगेजमेंट और एरर करेक्शन जैसी प्रमुख विशेषताओं को लेबल करते हैं.
• लर्निंग क्वालिटी ग्रेडर्स: ये उन लर्निंग मोमेंट्स में से हर एक का इवैल्यूएट और स्कोर करते हैं कि क्या लर्नर ने अपना ऑब्जेक्टिव हासिल किया और किस हद तक इंटरैक्शन ने मज़बूत पेडागॉगिकल प्रिंसिपल्स का पालन किया, जिसमें फेल्योर मोड्स की पहचान भी शामिल है.
• अनुदैर्ध्य लर्निंग ग्रेडर्स: ये समय के साथ उसी लर्नर के मॉडल के साथ इंटरैक्शन्स में होने वाले बदलावों को ट्रैक करते हैं—जिसमें एंगेजमेंट, पर्सिस्टेंस, और मेटाकॉग्निटिव स्ट्रैटेजीज़ शामिल हैं—व्यक्तिगत और कोहोर्ट स्तरों पर.
• मानकीकृत संज्ञानात्मक और मेटाकॉग्निटिव माप: ये प्रमाणित थर्ड-पार्टी उपकरण हैं, जो ChatGPT के प्री, ड्यूरिंग और पोस्ट एक्सेस के माध्यम से प्रदान किए जाते हैं ताकि बेसलाइन स्थापित की जा सके और क्रिटिकल थिंकिंग, रचनात्मकता और स्मृति जैसी क्षमताओं में बदलाव मापा जा सके.

जब इन्हें मिलाकर देखा जाता है, तो हम इस मापन प्रणाली को लर्निंग आउटकम्स मेज़रमेंट सूटकहते हैं.

यह ऐसे महत्वपूर्ण संकेत उत्पन्न करता है जिनका शिक्षा इकोसिस्टम उपयोग कर सकता है: सीखने के क्षणों के संरचित व्यू, डैशबोर्ड जो दिखाते हैं कि कोहोर्ट्स के बीच समय के साथ आउटकम्स कैसे बदलते हैं, टीचिंग और ट्यूटरिंग रूब्रिक्स के मुकाबले मॉडल परफ़ॉर्मेंस के संकेतक, और स्टैंडर्डाइज़्ड असेसमेंट्स तथा छोटे लर्नर प्रश्नावली के अनुरूप आउटकम माप. जहाँ उपलब्ध हो, यह भागीदार द्वारा प्रदान किए गए मूल सत्य को शामिल कर सकता है, जैसे परीक्षा के अंक, कक्षा के अवलोकन, या उपस्थिति.

यह हमारे साझेदारों को समय के साथ सीखने के लिए AI का उपयोग करने के गहरे संज्ञानात्मक प्रभावों को समझने में सक्षम बनाता है, क्योंकि हम इस प्रणाली के माध्यम से क्षमताओं पर पड़ने वाले प्रभाव को भी ट्रैक कर सकते हैं, जैसे कि:

• स्वायत्त प्रेरणा: वह स्तर जिस तक शिक्षार्थी अपने अध्ययन को स्वयं आकार दे रहे हैं बनाम मॉडल द्वारा निर्देशित किए जा रहे हैं 
• उत्पादक सहभागिता: शैक्षणिक अंतःक्रियाओं की आवृत्ति, विविधता और गुणवत्ता
• कार्य दृढ़ता: वह स्तर जिस तक कोई शिक्षार्थी संज्ञानात्मक चुनौतियों का सामना करता है और उन्हें पार करता है
• मेटाकॉग्निशन: अध्ययन के लिए अपने दृष्टिकोणों की योजना बनाने, उन पर चिंतन करने और उनकी निगरानी करने में शिक्षार्थी के प्रयासों की आवृत्ति और गुणवत्ता
• रिकॉल: वह सटीकता जिसके साथ एक लर्नर पिछले इंटरैक्शन से सामग्री याद रख सकता है

यह हमारे व्यापक प्रयासों को दर्शाता है कि हम केवल लर्निंग आउटकम्स की संकीर्ण परिभाषाओं (जैसे टेस्ट स्कोर बढ़ना) पर ध्यान न दें, बल्कि उन समग्र क्षमताओं पर ध्यान दें जो सीखने की नींव बनाती हैं. यह हमारे इस विश्वास को भी दर्शाता है कि किस चीज़ को ऑप्टिमाइज़ किया जाए इसके लिए कोई एकमात्र समाधान नहीं होगा: सिस्टम्स और शिक्षकों को सशक्त बनाया जाना होगा ताकि वे पेडागॉजिकल बेस्ट प्रैक्टिस और अप्रोचेस के अनुरूप ट्रेड-ऑफ्स को मार्गदर्शन दे सकें.

हम यहाँ से कहाँ जाएँगे

हम Learning Outcomes Measurement Suite को व्यापक रूप से उपलब्ध कराने से पहले बड़े पैमाने की स्टडीज़ के माध्यम से वैलिडेट कर रहे हैं. यह काम University of Tartu और Stanford की SCALE Initiative के साथ एस्टोनिया जैसे नेशन-स्केल साझेदारों में जारी है, जहाँ मेज़रमेंट सूट का अध्ययन कई महीनों तक 16-18 वर्ष आयु के लगभग 20,000 छात्रों के साथ किया जा रहा है. छात्रों द्वारा उपयोग स्थानीय नेताओं के साथ घनिष्ठ सहयोग में होगा, ताकि सुरक्षा और स्थानीय करिकुला के साथ संरेखण सुनिश्चित किया जा सके.

यह कार्य पहले से चल रहे व्यापक कोलैबोरेटिव रिसर्च के आधार पर आगे बढ़ रहा है. Learning Lab में संस्थापक साझेदारों के साथ किए जा रहे आउटकम्स रिसर्च के अलावा, OpenAI सीखने और श्रम के संगम पर स्टडीज़ को भी सपोर्ट कर रहा है—जिसमें यह देखा जा रहा है कि AI छात्रों के अकादमिक पाथवे, करियर निर्णयों और संस्थान जिम्मेदार अपनाने को कैसे सपोर्ट कर सकते हैं. यह रिसर्च Bocconi University, Innova Schools, Dartmouth के Tuck School of Business, San Diego State University, Stony Brook University और अन्य संस्थानों में हो रहा है.

जैसे-जैसे हम इस पर लंबी अवधि की स्टडीज़ चलाते हैं कि छात्र AI के साथ सबसे अच्छा कैसे सीखते हैं, हमारा इरादा है कि हम अपने निष्कर्ष साझा करें और व्यापक शिक्षा इकोसिस्टम के साथ मिलकर काम करें ताकि AI हर जगह लर्नर्स को लाभ पहुँचा सके.

जो लोग इस काम से जुड़े अपडेट्स प्राप्त करना चाहते हैं, वे यहाँ⁠ साइन अप कर सकते हैं.