ახალი ინსტრუმენტები AI-ისა და სასწავლო შედეგების გასაგებად

განათლება AI-ის ერთ-ერთი ყველაზე იმედისმომცემი მოწინავე მიმართულებაა. ChatGPT‑ის მსგავსი ინსტრუმენტებით პერსონალიზებული სასწავლო მხარდაჭერა შეიძლება ხელმისაწვდომი იყოს ნებისმიერი სტუდენტისთვის, ყველგან და ნებისმიერ დროს. 

თუმცა, განათლების სექტორი ჯერ კიდევ საწყის ეტაპზეა, როცა საქმე ეხება სასწავლო შედეგებზე AI-ის გავლენის გააზრებას. გასულ წელს ჩვენმა გუნდმა დაიწყო ისეთი ინსტრუმენტების გამოყენების შესწავლა, როგორიცაა სწავლის რეჟიმი⁠, და აღმოაჩინა სტუდენტების შედეგების იმედისმომცემი გაუმჯობესება. მაგრამ ჩვენმა კვლევამ ასევე დასვა მნიშვნელოვანი კითხვა: როგორ შეგვიძლია შევაფასოთ, როგორ გავლენას ახდენს AI შემსწავლელის პროგრესზე დროთა განმავლობაში და არა მხოლოდ საბოლოო გამოცდაზე?

ეს უფრო ფართო ეკოსისტემური გამოწვევაა. დღემდე კვლევის მეთოდების უმეტესობა ფოკუსირდება ვიწრო წარმადობის სიგნალებზე — როგორიცაა ტესტის ქულები — და არ აქვს უნარი შეაფასოს, როგორ სწავლობენ სტუდენტები რეალურად AI-თან ერთად რეალურ გარემოში და როგორ აყალიბებს ეს გამოყენება შედეგებს დროთა განმავლობაში. 

ამ ხარვეზის შესავსებად შევიმუშავეთ Learning Outcomes Measurement Suite, ჩარჩო, რომელიც შეიქმნა ესტონეთის ტარტუს უნივერსიტეტთან და Stanford Accelerator for Learning-ის SCALE Initiative-თან ერთად, რათა მხარი დაუჭიროს სასწავლო შედეგების გრძელვადიან გაზომვას სხვადასხვა საგანმანათლებლო კონტექსტში. 

ინტენსიური ვალიდაცია უკვე მიმდინარეობს რანდომიზებული კონტროლირებული კვლევის ფარგლებში, ხოლო დამატებითი კვლევა დაგეგმილია Learning Lab-ში დამფუძნებელ ორგანიზაციებთან ერთად — ეს არის OpenAI-ის სასწავლო კვლევის ეკოსისტემა, რომელიც მოიცავს Arizona State University-ის, UCL Knowledge Lab-ის და MIT Media Lab-ის მკვლევრებსაც (წინა ერთობლივ კვლევებზე⁠ დაყრდნობით).

დღეს გვინდა გაგიზიაროთ მიმოხილვა იმისა, როგორ მუშაობს გაზომვის სისტემა და რატომ არის ის მნიშვნელოვანი. დროთა განმავლობაში ვაპირებთ მეტი კვლევის გამოქვეყნებას და გაზომვის სისტემის საჯარო რესურსად გახსნას სკოლებისთვის, უნივერსიტეტებისთვის და საგანმანათლებლო სისტემებისთვის მთელ მსოფლიოში.

• დღევანდელი კვლევის მეთოდები, რომლებიც სწავლაზე AI-ის გავლენას იკვლევს, წარმადობის კუთხით იმედისმომცემ სიგნალებს აჩვენებს, მაგრამ ვერ ასახავს სრულ სურათს იმისა, როგორ მოქმედებს AI სასწავლო შედეგებზე დროთა განმავლობაში.
• Learning Outcomes Measurement Suite პირველად უზრუნველყოფს გრძელვადიანი კვლევებისთვის სტანდარტულ ჩარჩოს, რომელიც მასწავლებლებს, მკვლევრებსა და ინსტიტუციებს დაეხმარება გაიგონ, როგორ აყალიბებს AI სწავლასა და შედეგებს სხვადასხვა კონტექსტში.
• OpenAI-ის Learning Lab ახალი კვლევითი ეკოსისტემაა, რომელიც ამ სამუშაოს წინ წაწევაზეა ორიენტირებული. სფეროს განვითარების პარალელურად OpenAI სხვადასხვა პარტნიორთან ერთად გამოაქვეყნებს მიგნებებს.

როდესაც სტუდენტები AI ინსტრუმენტებს სწავლასა და მეცადინეობაში იყენებენ, ეს ბევრ განსხვავებულ რამეს შეიძლება ნიშნავდეს — AI-სთვის სწრაფი პასუხების მოთხოვნიდან დაწყებული, მასთან ერთად პრობლემების ეტაპობრივად გადაჭრამდე, დამრიგებლის მსგავსი გზამკვლევი დახმარებით. იმისთვის, რომ მომხმარებლები ChatGPT‑ს უფრო ღრმა გაგებისა და უნარების განვითარებისთვის სასარგებლო გზებით გამოეყენებინათ, OpenAI-მა გასულ წელს წარადგინა სწავლის რეჟიმი⁠.  ტექნიკური თვალსაზრისით, სწავლის რეჟიმს ამოძრავებს ჩვენ მიერ მასწავლებლებთან, მეცნიერებთან და პედაგოგიკის ექსპერტებთან თანამშრომლობით დაწერილი მორგებული სისტემური ინსტრუქციები, რათა აისახოს ქცევების ძირითადი ნაკრები, რომელიც ნამდვილ სწავლას უჭერს მხარს და არა მხოლოდ პასუხების გაცემას — სკაფოლდინგის, გაგების შემოწმებისა და მართული პრაქტიკის გამოყენებით.

იმის შესამოწმებლად, იწვევს თუ არა პედაგოგიკურად შეთანხმებული AI ინტერაქციის ასეთი სტილი უკეთეს სასწავლო შედეგებს, ჩავატარეთ რანდომიზებული კვლევა 300-ზე მეტ კოლეჯის სტუდენტთან, რომლებიც ნეირომეცნიერებისა და მიკროეკონომიკის გამოცდებისთვის ემზადებოდნენ. მიუხედავად იმისა, რომ ანალიზი ჯერ კიდევ მიმდინარეობს, ადრეული შედეგები გვაძლევს საფუძველს ვიფიქროთ, რომ პედაგოგიკურად შეთანხმებულ AI ინტერაქციის სტილს, რომელსაც ხელს უწყობს ისეთი ფუნქციები, როგორიცაა სწავლის რეჟიმი, შეუძლია სასწავლო შედეგების გაუმჯობესება. მაგრამ ამ კვლევამ ასევე გამოკვეთა მნიშვნელოვანი რეალობა: სინამდვილეში გადამწყვეტია ის, რჩება თუ არა ეს გაუმჯობესებები და მათთან დაკავშირებული პროდუქტიული ქცევები მდგრადი დროთა განმავლობაში.

კვლევის დიზაინი

მონაწილეები სამიდან ერთ ჯგუფში გადანაწილდნენ: საკონტროლო ჯგუფი მეცადინეობდა ტრადიციული ონლაინ რესურსებით, როგორიცაა Google Search და YouTube, გამორთული AI-გენერირებული მიმოხილვის ფუნქციებით, ხოლო კიდევ ორ ჯგუფს მიეცა წვდომა სწავლის რეჟიმის ორი ვარიანტიდან ერთ-ერთზე, რომლებიც სტუდენტებს სასწავლო პროცესში ოდნავ განსხვავებული გზებით ხელმძღვანელობდა. წინასწარ შეგროვდა საბაზისო ქვიზები და შესავალი გამოკითხვები, რათა გასწორებულიყო განსხვავებები წინა კურსებთან შეხებაში, სწავლის ჩვევებში, აკადემიურ თავდაჯერებულობასა და AI ინსტრუმენტებთან ნაცნობობაში. სტუდენტებმა თითოეული გამოცდის წინ დაასრულეს დროით შეზღუდული სწავლის რეჟიმის სესიები, ხოლო ორი ვარიანტი საგნებს შორის დაბალანსდა.

ეს მოწყობა შეიქმნა ისე, რომ ასახულიყო რეალური სასწავლო პირობები და არა მკაცრად კონტროლირებული ლაბორატორიული გარემო. მონაწილეობა არ იყო მიბმული გამოცდის შედეგებზე და ყველა სტუდენტმა ერთნაირი ინტენსივობით არ გამოიყენა სწავლის რეჟიმი ნომინალური 40-წუთიანი სესიების განმავლობაში. ამან მოგვცა შესაძლებლობა გაგვეზომა და გვეცნობა intention-to-treat (ITT) ეფექტები — ინსტრუმენტზე წვდომის მინიჭების გავლენა მისი რეალისტური დანერგვის პირობებში; სხვა სიტყვებით, სწავლის რეჟიმის შეთავაზების მიზეზობრივი გავლენა, იმ გათვალისწინებით, რომ ჩართულობა პრაქტიკაში შეიძლება განსხვავდებოდეს.

მიგნებები

თითოეულ გამოცდაზე შედეგები ცალ-ცალკე გავზომეთ. ჩვენს რანდომიზებულ კვლევაში გაუმჯობესებები ყველა საგანში ერთგვაროვანი არ ყოფილა, და მონაწილეებს შორის სწავლის რეჟიმთან ჩართულობის დონეც განსხვავდებოდა. 

• ნეირომეცნიერება (ძირითადი ITT): კონტროლთან შედარებით დავაფიქსირეთ სწავლის რეჟიმის სასარგებლოდ მიმართულებით პოზიტიური სხვაობები, თუმცა შედეგები არ განსხვავდებოდა იმ სტუდენტებისგან, რომლებიც ტრადიციული ონლაინ რესურსებით მეცადინეობდნენ. შესავლისა და ტექნიკურმა პრობლემებმა გავლენა მოახდინა იმ დროზე, რომელსაც სწავლის რეჟიმის მომხმარებელი სტუდენტები მეცადინეობას უთმობდნენ. 
• მიკროეკონომიკა (ძირითადი ITT): დავაფიქსირეთ საგამოცდო შედეგების მნიშვნელოვანი გაუმჯობესება იმ სტუდენტებში, რომლებსაც სწავლის რეჟიმზე წვდომა მიეცათ, შედარებით AI-ის გარეშე საკონტროლო ჯგუფთან — დაახლოებით 15%-ით უფრო მაღალი ქულა.

მიუხედავად იმისა, რომ ეს რეალური სამყაროს ვარიაციას ასახავს, მან კიდევ უფრო ღრმა შეზღუდვა გამოკვეთა იმაში, თუ როგორ იზომება ჩვეულებრივ სასწავლო შედეგები.

არსებული შეფასების მიდგომების უმეტესობა ეყრდნობა ფიქსირებულ ინტერვენციებს, რომლებიც მოკლე დროის ფანჯრებში ფასდება და ძირითად სიგნალებად იყენებს ისეთ შედეგებს, როგორიცაა ტესტის ქულები ან საბოლოო ესეები. ეს მეთოდები არ არის შექმნილი იმის ასახად, რა ძირითადი მექანიზმით მოქმედებს AI პრაქტიკაში სწავლაზე: მიმდინარე, პერსონალიზებული ინტერაქციებით, რომლებიც ვითარდება თვითონ შემსწავლელის სტრატეგიებთან, პრეფერენციებსა და სწავლის ჩვევებთან ერთად. ისინი ასევე ვერ აჩენს, შეიძლება თუ არა ერთ უნარში გაუმჯობესებას — მაგალითად, მოკლევადიან გახსენებაში — თან ახლდეს სხვა სფეროებში დანაკარგები, როგორიცაა გამძლეობა, ავტონომიური მოტივაცია ან კრეატიული პრობლემის გადაჭრა. შედეგად, ისინი ვერ აფიქსირებს იმ გრძელვადიან კოგნიტურ ეფექტებს, რომლებიც საბოლოოდ განსაზღვრავს, აუმჯობესებს თუ არა AI სწავლას მნიშვნელოვნად. 

რადგან სასწავლო გარემოები ძლიერ განსხვავდება ქვეყნებს, სასწავლო პროგრამებსა და ინსტიტუციურ მიზნებს შორის, ერთჯერადი კვლევების შედეგები იშვიათად ვრცელდება სხვადასხვა სისტემაზე. შესაბამისად, გაზომვის მიდგომები საკმარისად მოქნილი უნდა იყოს, რომ სხვადასხვა საგანმანათლებლო სისტემამ შეძლოს განსაზღვროს, რას ნიშნავს წარმატება მის კონტექსტში, შეაფასოს AI საკუთარი სტანდარტებით და შესაბამისად გაიმეოროს ეს პროცესი.

უკეთესი გაზომვის სისტემის შექმნა 

OpenAI-ის სწავლის რეჟიმის კვლევიდან მიღებულ გაკვეთილებზე დაყრდნობით, ჩვენ ვქმნით სტრუქტურირებულ გაზომვის სისტემას, რათა ფართო მასშტაბით გავზომოთ AI-ის გავლენა შემსწავლელებზე და შევქმნათ მექანიზმი, რომელიც ამ შედეგებზე დაყრდნობით მოდელების გაუმჯობესებას უზრუნველყოფს. იგი ეყრდნობა სამ სიგნალს — როგორ იქცევა მოდელი, როგორ რეაგირებენ შემსწავლელები და რა გაზომვადი კოგნიტური შედეგები მიიღება დროთა განმავლობაში. სისტემა მოიცავს: 

• სისტემურ ინსტრუქციებს მოდელის ქცევის დასახვეწად: ბუნებრივი ენის გამოყენებას იმისთვის, რომ მოდელის ნაგულისხმევი ქცევა უკეთ შეესაბამოს კონკრეტულ პედაგოგიკურ მიდგომებს.
• სასწავლო ინტერაქციის კლასიფიკატორები: ისინი ავტომატურად ამოიცნობს „სასწავლო მომენტებს“ რეალურ, დეიდენტიფიცირებულ, შემსწავლელ-მოდელის ინტერაქციებში და მონიშნავს მნიშვნელოვან მახასიათებლებს, როგორიცაა ჩართულობა და შეცდომების გასწორება.
• სწავლის ხარისხის შემფასებლები: ისინი აფასებს და ქულას ანიჭებს თითოეულ ასეთ სასწავლო მომენტს იმის მიხედვით, მიაღწია თუ არა შემსწავლელმა თავის მიზანს და რამდენად მისდევდა ინტერაქცია ძლიერ პედაგოგიკურ პრინციპებს, მათ შორის ჩავარდნის რეჟიმების იდენტიფიცირებას.
• გრძელვადიანი სწავლის შემფასებლები: ისინი აკვირდება ერთი და იმავე შემსწავლელის მოდელთან ინტერაქციების ცვლილებებს დროთა განმავლობაში — მათ შორის ჩართულობას, გამძლეობასა და მეტაკოგნიტურ სტრატეგიებს — როგორც ინდივიდუალურ, ისე კოჰორტის დონეზე.
• სტანდარტიზებული კოგნიტური და მეტაკოგნიტური საზომები: ეს არის ვალიდირებული მესამე მხარის ინსტრუმენტები, რომლებიც ChatGPT‑ის საშუალებით მიეწოდება წვდომამდე/მის დროს/შემდეგ, რათა დადგინდეს საბაზისო მაჩვენებლები და გაიზომოს ცვლილებები ისეთ ფუნდამენტურ შესაძლებლობებში, როგორიცაა კრიტიკული აზროვნება, კრეატიულობა და მეხსიერება.

ერთად აღებულს ამ გაზომვის სისტემას ვუწოდებთ Learning Outcomes Measurement Suite-ს. 

იგი წარმოქმნის მნიშვნელოვან სიგნალებს, რომლებსაც განათლების ეკოსისტემა შეიძლება გამოიყენებდეს: სასწავლო მომენტების სტრუქტურირებულ ხედებს, დაფებს, რომლებიც აჩვენებს, როგორ იცვლება შედეგები დროთა განმავლობაში კოჰორტებში, მოდელის წარმადობის ინდიკატორებს სწავლებისა და ტუტორინგის რუბრიკებთან მიმართებით, და შედეგების საზომებს, რომლებიც სტანდარტიზებულ შეფასებებსა და შემსწავლელთა მოკლე კითხვარებს შეესაბამება. სადაც ეს შესაძლებელია, მას შეუძლია ჩართოს პარტნიორების მიერ მოწოდებული ground truth, როგორიცაა საგამოცდო ქულები, საკლასო დაკვირვებები ან დასწრება.

სისტემა ასევე საშუალებას აძლევს ჩვენს პარტნიორებს, უკეთ გაიგონ AI-ის გამოყენების უფრო ღრმა კოგნიტური გავლენები სწავლაზე დროთა განმავლობაში, რადგან ამ სისტემის საშუალებით შეგვიძლია თვალყური ვადევნოთ გავლენას ისეთ შესაძლებლობებზეც, როგორიცაა:

• ავტონომიური მოტივაცია: რამდენად თავად აყალიბებენ შემსწავლელები საკუთარ სწავლას მოდელის მიერ მიმართულების ნაცვლად 
• პროდუქტიული ჩართულობა: პედაგოგიკური ინტერაქციების სიხშირე, მრავალფეროვნება და ხარისხი
• დავალებაზე გამძლეობა: რამდენად რჩება შემსწავლელი კოგნიტურ გამოწვევასთან და ცდილობს მის გადალახვას
• მეტაკოგნიცია: რამდენად ხშირად და ხარისხიანად ცდილობს შემსწავლელი დაგეგმოს, გაიაზროს და აკონტროლოს თავისი სასწავლო მიდგომები
• გახსენება: რამდენად ზუსტად ახსოვს შემსწავლელს შინაარსი წინა ინტერაქციებიდან

ეს ასახავს ჩვენს საერთო ძალისხმევას, რომ არ დავკმაყოფილდეთ სასწავლო შედეგების ვიწრო განსაზღვრებებით (მაგალითად, ტესტის ქულების ზრდით), არამედ ყურადღება გავამახვილოთ იმ ჰოლისტიკურ შესაძლებლობებზე, რომლებიც სწავლას უდევს საფუძვლად. ეს ასევე ასახავს ჩვენს რწმენას, რომ ოპტიმიზაციისთვის უნივერსალური გამოსავალი არ იარსებებს: სისტემებსა და პედაგოგებს უნდა ჰქონდეთ ძალაუფლება, წარმართონ კომპრომისები პედაგოგიკური საუკეთესო პრაქტიკისა და მიდგომების შესაბამისად.

როგორ ვაგრძელებთ აქედან

Learning Outcomes Measurement Suite-ს ვამოწმებთ მასშტაბური კვლევებით, სანამ მას ფართოდ ხელმისაწვდომს გავხდიდეთ. ეს სამუშაო მიმდინარეობს ტარტუს უნივერსიტეტთან და Stanford-ის SCALE Initiative-თან ერთად, ეროვნული მასშტაბის პარტნიორებთან, როგორიცაა ესტონეთია, სადაც გაზომვის სისტემა რამდენიმე თვის განმავლობაში თითქმის 20,000 16-18 წლის სტუდენტთან ერთად იკვლევა. სტუდენტების გამოყენება განხორციელდება ადგილობრივ ლიდერებთან მჭიდრო თანამშრომლობით, რათა უზრუნველყოფილი იყოს უსაფრთხოება და ადგილობრივ სასწავლო პროგრამებთან შესაბამისობა.

ეს სამუშაო ემყარება უკვე მიმდინარე ერთობლივი კვლევის უფრო ფართო სხეულს. გარდა შედეგებზე ორიენტირებული კვლევისა, რომელსაც Learning Lab-ის დამფუძნებელი პარტნიორები ატარებენ, OpenAI მხარს უჭერს კვლევებს სწავლასა და შრომას შორის გადაკვეთაზეც — იკვლევს, როგორ აყალიბებს AI სტუდენტების აკადემიურ გზებს, კარიერულ გადაწყვეტილებებს და როგორ შეუძლიათ ინსტიტუციებს პასუხისმგებლიანი დანერგვის მხარდაჭერა. ეს კვლევა მიმდინარეობს Bocconi University-ში, Innova Schools-ში და Dartmouth-ის Tuck School of Business-ში, San Diego State University-ში, Stony Brook University-ში და სხვა დაწესებულებებში.

რადგან AI-თან ერთად სწავლების საუკეთესო გზებზე უფრო გრძელვადიან კვლევებს ვატარებთ, ვაპირებთ მიგნებების გაზიარებას და განათლების ფართო ეკოსისტემასთან თანამშრომლობას, რათა AI ყველგან სარგებელს აძლევდეს შემსწავლელებს.

ვისაც ამ სამუშაოს განახლებების მიღება აინტერესებს, შეუძლია დარეგისტრირდეს აქ⁠.