ЖИ мен оқу нәтижелерін түсінуге арналған жаңа құралдар

Білім беру — ЖИ-дің ең үміт күттіретін озық бағыттарының бірі. ChatGPT сияқты құралдардың арқасында жекелендірілген оқу қолдауы кез келген оқушыға, кез келген жерде, кез келген уақытта қолжетімді бола алады. 

Алайда білім беру саласы ЖИ-дің оқу нәтижелеріне әсерін түсінудің әлі бастапқы кезеңінде. Өткен жылы біздің команда оқу режимі⁠ сияқты құралдарды пайдалануды зерттеуді бастап, оқушылар үлгеріміндегі үміт күттіретін өсімді байқады. Бірақ біздің зерттеу тағы бір маңызды сұрақты көтерді: ЖИ-дің оқушының уақыт өте ілгерілеуіне әсерін, тек қорытынды емтихан бойынша ғана емес, қалай бағалай аламыз?

Бұл — ауқымдырақ экожүйелік мәселе. Бүгінге дейін зерттеу әдістерінің басым бөлігі тест ұпайлары сияқты тар өнімділік сигналдарына сүйенеді және оқушылардың шынайы жағдайда ЖИ арқылы қалай оқитынын, сондай-ақ бұл қолданудың уақыт өте нәтижелерді қалай қалыптастыратынын бағалай алмайды. 

Осы олқылықтың орнын толтыру үшін біз Эстониядағы Тарту университетімен және Stanford Accelerator for Learning жанындағы SCALE Initiative бастамасымен бірлесіп, түрлі білім беру контексттерінде оқу нәтижелерін ұзақ мерзімді өлшеуді қолдауға арналған Learning Outcomes Measurement Suite құрылымын әзірледік. 

Кең ауқымды валидация рандомизацияланған бақыланатын зерттеу арқылы жүргізіліп жатыр, сондай-ақ OpenAI-дің оқу зерттеулері экожүйесі болып табылатын Learning Lab аясындағы негізін қалаушы ұйымдармен қосымша зерттеулер жоспарланған, олардың ішінде Arizona State University, UCL Knowledge Lab және MIT Media Lab зерттеушілері бар (алдыңғы бірлескен зерттеулерге⁠ сүйене отырып).

Бүгін біз өлшеу жүйесінің қалай жұмыс істейтіні және оның не үшін маңызды екені туралы шолумен бөлісеміз. Уақыт өте біз көбірек зерттеу жариялап, бұл өлшеу жүйесін әлем бойынша мектептер, университеттер және білім беру жүйелері үшін ашық ресурс ретінде ұсынуды көздейміз.

• Бүгінгі таңда ЖИ-дің оқуға әсерін зерттеу әдістері үлгерімге қатысты үміт күттіретін белгілер көрсетеді, бірақ ЖИ-дің уақыт өте оқу нәтижелеріне қалай әсер ететінінің толық көрінісін қамтымайды.
• Learning Outcomes Measurement Suite алғаш рет педагогтерге, зерттеушілерге және мекемелерге ЖИ-дің әртүрлі контексттерде оқуды және нәтижелерді қалай қалыптастыратынын түсінуге көмектесетін ұзақ мерзімді зерттеулерге арналған стандартты негіз ұсынады.
• OpenAI-дің Learning Lab — осы жұмысты ілгерілетуге бағытталған жаңа зерттеу экожүйесі. Сала әрі қарай дамыған сайын, OpenAI әртүрлі серіктестермен бірге нәтижелерді жариялайды.

Оқушылар оқу және дайындалу үшін ЖИ құралдарын пайдаланғанда, бұл әртүрлі мағына беруі мүмкін — ЖИ-ден жедел жауап алудан бастап, оны тәлімгерге ұқсас бағыттаумен мәселелерді қадам-қадаммен шешуге қолдануға дейін. Пайдаланушыларды ChatGPT‑пен тереңірек түсінуді және дағдыны дамытуды қолдайтын тәсілдермен әрекеттесуге ынталандыру үшін, OpenAI өткен жылы оқу режимін⁠ ұсынды.  Ішкі жағынан алғанда, оқу режимі мұғалімдермен, ғалымдармен және педагогика сарапшыларымен бірлесіп жазған, шынайы оқуды қолдайтын негізгі мінез-құлықтар жиынтығын бейнелейтін арнаулы жүйелік нұсқауларға сүйенеді; бұл тек жауап беруге емес, тірек құрылымдарға, түсінуді тексеруге және бағытталған жаттығуға негізделген.

Осындай педагогикалық тұрғыдан сәйкестендірілген ЖИ өзара әрекеттесу стилі шынымен де жақсырақ оқу нәтижелеріне әкелетін-әкелмейтінін тексеру үшін біз нейроғылым және микроэкономика емтихандарына дайындалып жүрген 300-ден астам колледж студентінің қатысуымен рандомизацияланған зерттеу өткіздік. Талдау әлі жалғасып жатқанына қарамастан, ерте нәтижелер бізге оқу режимі сияқты функциялар арқылы ынталандырылатын педагогикалық тұрғыдан сәйкестендірілген ЖИ өзара әрекеттесу стилі оқу нәтижелерін жақсарта алатынына сенім береді. Бірақ бұл зерттеу тағы бір маңызды шындықты көрсетті: ең маңыздысы — жетістіктер мен олармен байланысты пайдалы мінез-құлықтардың уақыт өте тұрақты сақталуы.

Зерттеу дизайны

Қатысушылар үш топтың біріне бөлінді: бақылау тобы Google Search және YouTube сияқты дәстүрлі онлайн ресурстармен оқыды, мұнда ЖИ жасаған шолу функциялары өшірілді; ал қосымша екі топқа студенттерді оқу үдерісі арқылы сәл өзгеше тәсілдермен бағыттауға арналған оқу режимінің екі нұсқасының біріне қолжеткізу берілді. Бастапқы тестілер мен кіріспе сауалнамалар алдын ала жиналып, бұрынғы курстармен таныстық, оқу әдеттері, академиялық сенімділік және ЖИ құралдарымен таныстық деңгейіндегі айырмашылықтарды түзету үшін пайдаланылды. Студенттер әр емтихан алдында уақыты шектеулі оқу режимі сессияларын аяқтады, ал оқу режимінің екі нұсқасы пәндер арасында теңгеріліп қолданылды.

Бұл құрылым қатаң бақыланатын зертхана ортасын емес, шынайы оқу жағдайларын көрсету үшін жасалды. Қатысу емтихан нәтижесіне байланбады, және барлық студенттер шартты 40 минуттық сессиялар барысында оқу режимін бірдей деңгейде пайдаланған жоқ. Бұл бізге intention-to-treat (ITT) әсерлерін, яғни құралға шынайы енгізу жағдайларында қолжеткізу берудің ықпалын өлшеуге және баяндауға мүмкіндік берді — басқаша айтқанда, тәжірибеде қатысу деңгейі әртүрлі болуы мүмкін екенін ескере отырып, оқу режимі ұсынылуының себеп-салдарлық әсерін.

Нәтижелер

Біз әр емтихан бойынша үлгерімді бөлек өлшедік. Біздің рандомизацияланған зерттеуімізде жақсару барлық пәндерде бірдей болған жоқ, ал қатысушылардың оқу режимімен өзара әрекеттесу деңгейі әртүрлі болды. 

• Нейроғылым (негізгі ITT): біз оқу режимінің бақылау тобына қарағанда бағыттық жағымды айырмашылықтарын байқадық, бірақ нәтижелерді дәстүрлі онлайн ресурстармен оқыған студенттердің нәтижелерінен айқын ажырату мүмкін болмады. Тіркеу және техникалық мәселелер оқу режимін пайдаланған студенттердің оқуға жұмсаған уақытына әсер етті. 
• Микроэкономика (негізгі ITT): оқу режиміне қолжеткізу берілген студенттерде ЖИ қолданылмайтын бақылау тобымен салыстырғанда емтихан нәтижелерінің елеулі өсімі байқалды — салыстырмалы түрде шамамен 15% жоғары ұпай.

Бұл шынайы өмірдегі өзгермелілікті көрсеткенімен, ол оқу нәтижелерін әдетте қалай өлшейтініміздегі тереңірек шектеуді айқындады.

Қолданыстағы бағалау тәсілдерінің басым бөлігі қысқа уақыт аралықтарында бағаланатын тұрақты араласуларға сүйенеді және негізгі сигналдар ретінде тест ұпайлары немесе қорытынды эсселер сияқты нәтижелерді қолданады. Бұл әдістер ЖИ-дің тәжірибеде оқуға қалай әсер ететін негізгі тетігін көрсетуге арналмаған: оқушының өз стратегияларымен, қалауларымен және оқу дағдыларымен бірге дамитын үздіксіз, жекелендірілген өзара әрекеттесулер. Сондай-ақ олар қысқа мерзімді есте сақтау сияқты бір қабілеттегі жақсарулар табандылық, дербес мотивация немесе шығармашылық мәселе шешу сияқты басқа қырлардағы ымыралармен қатар жүруі мүмкін бе, соны ашып көрсетпейді. Соның салдарынан, олар ЖИ-дің оқуды шын мәнінде жақсартатынын айқындайтын ұзақ мерзімді когнитивтік әсерлерді жіберіп алады. 

Оқу ортасы елдер, оқу бағдарламалары және институционалдық мақсаттар бойынша қатты ерекшеленетіндіктен, бір реттік зерттеулердің нәтижелері жүйелер арасында сирек жалпыланады. Сондықтан өлшеу тәсілдері әртүрлі білім беру жүйелеріне өз контекстінде табыс нені білдіретінін анықтауға, ЖИ-ді өз стандарттарына сай бағалауға және соған сәйкес жетілдіруге жеткілікті икемді болуы керек.

Жақсырақ өлшеу жүйесін құру 

OpenAI-дің оқу режимі жөніндегі зерттеулерінен алынған сабақтарға сүйене отырып, біз ЖИ-дің оқушыларға ауқымды деңгейде әсерін өлшеуге және сол нәтижелерге негізделіп модельдерді жетілдіру тетігін жасауға арналған құрылымдалған өлшеу жүйесін әзірлеп келеміз. Ол үш сигналға негізделген: модельдің қалай әрекет ететіні, оқушылардың қалай жауап беретіні және уақыт өте қандай өлшенетін когнитивтік нәтижелер пайда болатыны. Оған мыналар кіреді: 

• Модель мінез-құлқын жетілдіруге арналған жүйелік нұсқаулар: модельдің әдепкі мінез-құлқын нақты педагогикалық тәсілдерге жақсырақ сәйкестендіру үшін табиғи тілді пайдалану.
• Оқу өзара әрекеттесу классификаторлары: бұлар шынайы, иесіздендірілген оқушы–модель өзара әрекеттесулерінің ішінен «оқу сәттерін» автоматты түрде анықтап, қатысу мен қателерді түзету сияқты маңызды сипаттарды белгілейді.
• Оқу сапасын бағалаушылар: бұлар әрбір оқу сәтін оқушы өз мақсатына жетті ме және өзара әрекеттесу күшті педагогикалық қағидаттарға, соның ішінде сәтсіздік режимдерін анықтауға, қаншалықты сай келді деген өлшеммен бағалап, ұпай береді.
• Ұзақ мерзімді оқу бағалаушылары: бұлар уақыт өте бір оқушының модельмен өзара әрекеттесуіндегі өзгерістерді, соның ішінде қатысуын, табандылығын және метатанымдық стратегияларын, жеке және когорталық деңгейлерде қадағалайды.
• Стандартталған когнитивтік және метатанымдық өлшемдер: бұлар бастапқы деңгейді белгілеу және сыни ойлау, шығармашылық және жады сияқты іргелі қабілеттердегі өзгерістерді өлшеу үшін ChatGPT арқылы қолжеткізуге дейін, барысында және кейін ұсынылатын, үшінші тарап растаған құралдар.

Біріктірілген түрде біз бұл өлшеу жүйесін Learning Outcomes Measurement Suite деп атаймыз. 

Ол білім беру экожүйесі пайдалана алатын маңызды сигналдар береді: оқу сәттерінің құрылымдалған көріністері, когорталар бойынша нәтижелердің уақыт өте қалай өзгеретінін көрсететін бақылау тақталары, модель жұмысының оқыту және тәлімгерлік рубрикаларға сай келу индикаторлары және стандартталған бағалаулар мен қысқа оқушы сауалнамаларына сәйкестендірілген нәтиже өлшемдері. Қолжетімді болған жағдайда, ол емтихан ұпайлары, сыныптағы бақылаулар немесе сабаққа қатысу сияқты серіктестер ұсынған нақты деректерді де қамти алады.

Сондай-ақ бұл серіктестерімізге ЖИ-ді оқу үшін пайдаланудың уақыт өте тереңірек когнитивтік әсерлерін түсінуге мүмкіндік береді, өйткені осы жүйе арқылы біз мынадай қабілеттерге әсерді де қадағалай аламыз:

• Дербес мотивация: оқушылардың өз оқуын модельдің жетектеуімен емес, өздері қаншалықты қалыптастыратыны 
• Өнімді қатысу: педагогикалық өзара әрекеттесулердің жиілігі, алуан түрлілігі және сапасы
• Тапсырмадағы табандылық: оқушының когнитивтік қиындықтармен қаншалықты отырып, олардан өте алатыны
• Метатаным: оқушының оқу тәсілдерін жоспарлауға, ой елегінен өткізуге және бақылауға бағытталған әрекеттерінің жиілігі мен сапасы
• Еске түсіру: оқушының алдыңғы өзара әрекеттесулерден мазмұнды қаншалықты дәл есте сақтай алатыны

Бұл біздің оқу нәтижелерінің тар анықтамаларына ғана (тест ұпайларының өсуі) емес, оқудың негізінде жатқан тұтас қабілеттерге назар аударуға бағытталған жалпы күш-жігерімізді көрсетеді. Бұл сондай-ақ нені оңтайландыру керек дегенде жалғыз әмбебап шешім болмайды деген сенімімізді көрсетеді: жүйелер мен педагогтер педагогикалық үздік тәжірибе мен тәсілдерге сай ымыраларды өздері бағыттай алуы үшін өкілеттендірілген болуы керек.

Бұдан кейінгі қадамдар

Біз Learning Outcomes Measurement Suite жүйесін кеңінен қолжетімді етпес бұрын, ірі ауқымды зерттеулер арқылы тексеріп жатырмыз. Бұл жұмыс Тарту университетімен және Stanford-тың SCALE Initiative бастамасымен бірге Эстония сияқты ұлттық ауқымдағы серіктестерде жүргізіліп жатыр, мұнда өлшеу жүйесі бірнеше ай бойы 16–18 жастағы 20 000-ға жуық оқушымен зерттелуде. Оқушылардың қолдануы жергілікті басшылармен тығыз ынтымақтастықта жүзеге асады, бұл қауіпсіздік пен жергілікті оқу бағдарламаларына сәйкестікті қамтамасыз ету үшін қажет.

Бұл жұмыс кеңірек бірлескен зерттеулер корпусына сүйенеді. Learning Lab-тың негізін қалаушы серіктестері арқылы жүргізіліп жатқан нәтижелер жөніндегі зерттеулерден бөлек, OpenAI оқу мен еңбек тоғысындағы зерттеулерді де қолдап отыр — ЖИ-дің студенттердің академиялық жолдарына, мансаптық шешімдеріне және мекемелердің жауапты енгізуді қалай қолдай алатынына әсерін қарастыруда. Бұл зерттеулер Bocconi University, Innova Schools, Dartmouth жанындағы Tuck School of Business, San Diego State University, Stony Brook University және басқа мекемелерде жүріп жатыр.

Біз оқушылардың ЖИ-мен қалай жақсырақ оқитыны жөнінде ұзақ мерзімді зерттеулер жүргізе отырып, нәтижелермен бөлісуді және ЖИ барлық жердегі оқушыларға пайда әкелуін қамтамасыз ету үшін кеңірек білім беру экожүйесімен бірлесіп жұмыс істеуді көздейміз.

Бұл жұмыс бойынша жаңартулар алуға қызығатындар осында⁠ тіркеле алады.