Նոր գործիքներ՝ ԱԲ-ն և ուսումնառության արդյունքները հասկանալու համար

Կրթությունը ԱԲ-ի ամենախոստումնալից առաջադեմ ոլորտներից մեկն է։ ChatGPT‑ի նման գործիքների միջոցով անհատականացված ուսուցման աջակցությունը կարող է հասանելի լինել ցանկացած ուսանողի՝ ցանկացած վայրում, ցանկացած ժամանակ։ 

Սակայն կրթության ոլորտը դեռևս վաղ փուլում է՝ հասկանալու ԱԲ-ի ազդեցությունը ուսումնառության արդյունքների վրա։ Անցյալ տարի մեր թիմը ձեռնամուխ եղավ ուսումնասիրելու ուսման ռեժիմi⁠ նման գործիքների օգտագործումը և հայտնաբերեց ուսանողների առաջադիմության խոստումնալից բարելավումներ։ Բայց մեր հետազոտությունը նաև առաջացրեց մի կարևոր հարց. ինչպե՞ս կարող ենք գնահատել, թե ինչպես է ԱԲ-ն ժամանակի ընթացքում ազդում սովորողի առաջընթացի վրա, ոչ միայն վերջնական քննության ժամանակ։

Սա էկոհամակարգի ավելի լայն մարտահրավեր է։ Մինչ օրս հետազոտական մեթոդների մեծ մասը կենտրոնանում է նեղ կատարողականության ազդակների վրա՝ օրինակ՝ թեստերի միավորների, և չունի հնարավորություն գնահատելու, թե ինչպես են ուսանողները իրականում սովորում ԱԲ-ի միջոցով իրական աշխարհի պայմաններում, և թե ինչպես է այդ կիրառումը ժամանակի ընթացքում ձևավորում արդյունքները։ 

Այս բացը լրացնելու համար մենք մշակեցինք «Ուսումնական արդյունքների չափման հավաքածուն», որը ստեղծվել է Էստոնիայի Տարտուի համալսարանի և Սթենֆորդի արագացուցչի SCALE նախաձեռնության հետ համատեղ՝ տարբեր կրթական համատեքստերում ուսումնառության արդյունքների երկայնական չափումը աջակցելու համար։ 

Ընդարձակ վավերացումը ընթացքի մեջ է պատահականացված վերահսկվող փորձարկման միջոցով, և հետագա հետազոտություններ են պլանավորվում հիմնադիր կազմակերպությունների հետ Learning Lab, OpenAI-ի ուսուցման հետազոտական էկոհամակարգում, ներառյալ Արիզոնայի պետական համալսարանի, UCL Knowledge Lab-ի և MIT Media Lab-ի հետազոտողները (հիմնվելով նախորդ համատեղ ուսումնասիրությունների⁠ վրա)։

Այսօր մենք ներկայացնում ենք չափման գործիքակազմի աշխատանքի ընդհանուր ակնարկը և թե ինչու է դա կարևոր։ Ժամանակի ընթացքում մենք մտադիր ենք հրապարակել ավելի շատ հետազոտություններ և չափման փաթեթը թողարկել որպես հանրային ռեսուրս՝ աշխարհի դպրոցների, համալսարանների և կրթական համակարգերի համար։

• Այսօրվա հետազոտական մեթոդները ԱԲ-ի ազդեցության վերաբերյալ ուսումնառության վրա ցույց են տալիս խոստումնալից ազդակներ կատարողականության մասին, բայց չեն արտացոլում ամբողջական պատկերը, թե ինչպես է ԱԲ-ն ժամանակի ընթացքում ազդում ուսումնառության արդյունքների վրա։
• Ուսումնական արդյունքների չափման հավաքածուն առաջին անգամ կապահովի երկայնական ուսումնասիրությունների ստանդարտ շրջանակ, որը կօգնի մանկավարժներին, հետազոտողներին և հաստատություններին հասկանալ, թե ինչպես է արհեստական բանականությունը ձևավորում ուսուցումը և արդյունքները տարբեր համատեքստերում։
• OpenAI-ի ուսումնական լաբորատորիան նոր հետազոտական էկոհամակարգ է, որը կենտրոնացած է այս աշխատանքի առաջխաղացման վրա։ Քանի որ ոլորտը շարունակում է զարգանալ, OpenAI-ն կհրապարակի արդյունքները մի շարք գործընկերների հետ միասին։

Երբ ուսանողները ուսման և սովորելու համար օգտագործում են ԱԲ գործիքներ, դա կարող է նշանակել շատ տարբեր բաներ՝ սկսած արագ պատասխանների համար ԱԲ-ին դիմելուց մինչև այն օգտագործելը՝ խնդիրները քայլ առ քայլ մշակելու համար՝ դասավանդողի նման ուղղորդմամբ։ Օգտատերերին խրախուսելու համար ներգրավվել ChatGPT‑ի հետ այնպիսի ձևերով, որոնք նպաստում են ավելի խորը ըմբռնմանը և հմտությունների զարգացմանը, OpenAI-ն անցյալ տարի ներկայացրեց ուսման ռեժիմը⁠ ։  Ներքին մակարդակում, ուսման ռեժիմը գործարկվում է հատուկ համակարգային հրահանգներով, որոնք մենք գրել ենք ուսուցիչների, գիտնականների և մանկավարժության փորձագետների հետ համագործակցությամբ՝ արտացոլելու համար վարքագծերի հիմնական շարքը, որոնք աջակցում են իրական ուսուցմանը, ոչ թե պարզապես պատասխաններին—օգտագործելով աջակցող կառուցվածք, ըմբռնման ստուգումներ և ուղղորդված պրակտիկա։

Ստուգելու համար, թե արդյոք մանկավարժորեն համահունչ ԱԲ փոխազդեցության այս ոճը վերածվում է ավելի լավ ուսուցման արդյունքների, մենք անցկացրինք պատահականացված ուսումնասիրություն՝ ավելի քան 300 քոլեջի ուսանողների մասնակցությամբ, որոնք պատրաստվում էին նեյրոգիտության և միկրոէկոնոմիկայի քննություններին։ Թեև վերլուծությունը դեռևս ընթացքի մեջ է, վաղ արդյունքները մեզ վստահություն են ներշնչում, որ մանկավարժորեն համահունչ արհեստական բանականության փոխազդեցության ոճը, որը խրախուսվում է ուսումնական ռեժիմի նման գործառույթներով, կարող է բարելավել ուսումնառության արդյունքները։ Սակայն այս հետազոտությունը նաև ի հայտ բերեց մի կարևոր իրողություն. իրականում կարևորն այն է, թե արդյոք ձեռքբերումները և դրանց հետ կապված արտադրողական վարքագծերը ժամանակի ընթացքում մնում են կայուն։

Ուսման դիզայն

Մասնակիցները բաժանվեցին երեք խմբերից մեկի՝ վերահսկիչ խմբի, որն ուսումնասիրվել է ավանդական առցանց ռեսուրսների, ինչպիսիք են Google Search-ը և YouTube-ը, միջոցով՝ անջատված արհեստական բանականության կողմից ստեղծված ամփոփ նկարագրության գործառույթներով, մինչդեռ երկու լրացուցիչ խմբերի հասանելիություն է տրվել ուսումնական ռեժիմի երկու տարբերակներից մեկին, որոնք նախատեսված են ուսանողներին ուսումնառության գործընթացում մի փոքր այլ ձևերով ուղղորդելու համար։ Հիմնական թեստերն ու գրանցման հարցումները նախապես հավաքագրվել են՝ հաշվի առնելու նախորդ դասընթացների ծանոթության, ուսման սովորությունների, ակադեմիական ինքնավստահության և ԱԲ գործիքներին ծանոթ լինելու տարբերությունները։ Ուսանողները յուրաքանչյուր քննությունից առաջ ավարտել են ժամանակաչափված ուսման ռեժիմի սեանսներ, իսկ ուսման ռեժիմի երկու տարբերակները հավասարակշռված են եղել առարկաների միջև։

Այս կարգավորումը նախագծվել է՝ արտացոլելու իրական աշխարհի ուսումնասիրության պայմանները, այլ ոչ թե խիստ վերահսկվող լաբորատոր միջավայրը։ Մասնակցությունը կապված չէր քննության արդյունքների հետ, և ոչ բոլոր ուսանողներն էին անվանական 40 րոպեանոց նստաշրջանների ընթացքում նույն չափով օգտվում ուսման ռեժիմից։ Սա մեզ հնարավորություն տվեց չափել և զեկուցել ITT ազդեցությունները՝ գործիքի հասանելիություն տրամադրվելու ազդեցությունը իրատեսական ներդրման պայմաններում՝ այլ կերպ ասած, ուսման ռեժիմի առաջարկի պատճառահետևանքային ազդեցությունը՝ ընդունելով, որ ներգրավվածությունը գործնականում կարող է տարբեր լինել։

Արդյունքներ

Մենք չափեցինք կատարողականությունը յուրաքանչյուր քննության համար առանձին։ Մեր պատահականացված ուսումնասիրության մեջ բարելավումները միատեսակ չէին բոլոր մասնակիցների շրջանում, և Ուսման ռեժիմի հետ ներգրավվածության մակարդակները տարբերվում էին մասնակիցների միջև։ 

• Նյարդաբանություն (առաջնային ՆՏՏ)։ Մենք դիտարկեցինք ուղղորդված դրական տարբերություններ ուսումնասիրության եղանակի և վերահսկիչ խմբի միջև, սակայն արդյունքները չէին տարբերվում ավանդական առցանց ռեսուրսներով սովորող ուսանողների արդյունքներից։ Որոշ օնբորդինգի և տեխնիկական խնդիրներ ազդել են ուսման ռեժիմ օգտագործող ուսանողների ուսումնառությանը հատկացրած ժամանակի վրա։ 
• Միկրոէկոնոմիկա (առաջնային ITT): Մենք նկատեցինք քննության արդյունքների էական բարելավում ուսանողների շրջանում, որոնց տրամադրվել էր մուտք դեպի ուսման ռեժիմ՝ համեմատած առանց ԱԲ վերահսկիչ խմբի հետ—հարաբերականորեն մոտավորապես 15%-ով ավելի բարձր գնահատական։

Թեև սա արտացոլում է իրական աշխարհի տատանումները, այն ընդգծեց ավելի խոր սահմանափակում այն հարցում, թե ինչպես են սովորաբար չափվում ուսուցման արդյունքները։

Գոյություն ունեցող գնահատման մոտեցումների մեծ մասը հիմնվում է ֆիքսված միջամտությունների վրա, որոնք գնահատվում են կարճ ժամանակային պատուհաններում՝ օգտագործելով այնպիսի արդյունքներ, ինչպիսիք են թեստերի միավորները կամ վերջնական շարադրությունները, որպես հիմնական ազդանշաններ։ Այս մեթոդները նախատեսված չեն գործնականում ուսուցման վրա արհեստական բանականության ազդեցության հիմնական մեխանիզմը որսալու համար՝ շարունակական, անհատականացված փոխազդեցություններ, որոնք զարգանում են սովորողի սեփական ռազմավարություններին, նախասիրություններին և ուսման սովորություններին զուգահեռ։ Նրանք նաև չեն բացահայտում՝ արդյոք մեկ կարողության, օրինակ՝ կարճաժամկետ հիշողության, բարելավումները կարող են ուղեկցվել այլ ոլորտներում փոխզիջումներով, օրինակ՝ կայունությամբ, ինքնավար մոտիվացիայով կամ ստեղծագործական խնդիրների լուծմամբ։ Արդյունքում նրանք բաց են թողնում երկարաժամկետ ճանաչողական ազդեցությունները, որոնք ի վերջո որոշում են՝ արդյոք ԱԲ-ն էականորեն բարելավում է ուսուցումը։ 

Քանի որ ուսուցման միջավայրերը զգալիորեն տարբերվում են երկրների, ուսումնական ծրագրերի և հաստատությունների նպատակների միջև, մեկանգամյա ուսումնասիրությունների արդյունքները հազվադեպ են ընդհանրացվում համակարգերի միջև։ Հետևաբար չափման մոտեցումները պետք է բավականաչափ ճկուն լինեն, որպեսզի տարբեր կրթական համակարգերը կարողանան սահմանել, թե ինչպիսին է հաջողությունը իրենց համատեքստում, գնահատել ԱԲ-ն իրենց սեփական չափանիշների համաձայն և համապատասխանաբար կատարել կրկնակի բարելավումներ։

Ավելի լավ չափման համակարգի կառուցում 

OpenAI-ի ուսումնական ռեժիմի հետազոտությունից ստացված դասերի հիման վրա մենք կառուցել ենք կառուցվածքային չափման համակարգ՝ արհեստական բանականության ազդեցությունը սովորողների վրա չափելու և այդ արդյունքների վրա հիմնված մոդելները բարելավելու մեխանիզմ ստեղծելու համար։ Այն հիմնված է երեք ազդանշանների վրա՝ ինչպես է մոդելը վարվում, ինչպես են սովորողները արձագանքում, և ինչ չափելի ճանաչողական արդյունքներ են ստացվում ժամանակի ընթացքում։ Այն ներառում է՝ 

• Համակարգային հրահանգներ մոդելի վարքագիծը կատարելագործելու համար. բնական լեզվի օգտագործում՝ մոդելի լռելյայն վարքագիծը փոխելու համար՝ այն ավելի լավ համապատասխանեցնելով մանկավարժական որոշակի մոտեցումներին։
• Ուսուցման փոխազդեցության դասակարգիչներ. սրանք ավտոմատ կերպով հայտնաբերում են «ուսումնառության պահերը» իրական, անանուն, սովորող-մոդել փոխազդեցությունների շրջանակներում և պիտակավորում են այնպիսի ակնառու բնութագրեր, ինչպիսիք են ներգրավվածությունը և սխալների ուղղումը։
• Ուսուցման որակի գնահատիչներ. սրանք գնահատում են այդ ուսումնական պահերից յուրաքանչյուրը՝ ըստ այն բանի, թե արդյոք ուսանողը հասել է իր նպատակին, և թե որքանով է փոխազդեցությունը հետևել մանկավարժական ամուր սկզբունքներին, ներառյալ ձախողման եղանակների բացահայտումը։
• Երկայնական ուսուցման գնահատիչներ․ սրանք հետևում են նույն սովորողի մոդելի հետ փոխազդեցությունների փոփոխություններին ժամանակի ընթացքում՝ ներառյալ ներգրավվածությունը, համառությունը և մետակոգնիտիվ ռազմավարությունները՝ անհատական և կոհորտային մակարդակներում։
• Ստանդարտացված ճանաչողական և մետակոգնիտիվ չափանիշներ. սրանք վավերացված երրորդ կողմի գործիքներ են, որոնք տրամադրվում են ChatGPT‑ի միջոցով՝ մուտքից առաջ/ընթացքում/հետո՝ հիմնարար մակարդակներ սահմանելու և հիմնարար կարողությունների, ինչպիսիք են քննադատական մտածողությունը, ստեղծագործականությունը և հիշողությունը, փոփոխությունները չափելու համար։

Միասին վերցրած՝ մենք այս չափման համակարգը կոչում ենք Ուսուցման արդյունքների չափման փաթեթ։

Այն ստեղծում է կարևոր ազդակներ, որոնք կրթական էկոհամակարգը կարող է օգտագործել՝ ուսուցման պահերի կառուցվածքային դիտումներ, վահանակներ, որոնք ցույց են տալիս, թե ինչպես են արդյունքները ժամանակի ընթացքում փոխվում խմբերի միջև, մոդելի արդյունավետության ցուցիչներ՝ դասավանդման և կրկնուսուցման չափորոշիչների նկատմամբ, և արդյունքի չափումներ՝ համահունչ ստանդարտացված գնահատումներին և սովորողների կարճ հարցաթերթիկներին։ Որտեղ հասանելի է, այն կարող է ներառել գործընկերների կողմից տրամադրված իրական տվյալներ, ինչպիսիք են քննությունների գնահատականները, դասարանում դիտարկումները կամ հաճախելիությունը։

Սա նաև հնարավորություն է տալիս մեր գործընկերներին ժամանակի ընթացքում հասկանալ ուսուցման համար ԱԲ-ի օգտագործման ավելի խորքային ճանաչողական ազդեցությունները, քանի որ այս համակարգի միջոցով մենք նաև կարող ենք հետևել այնպիսի կարողությունների վրա ազդեցությանը, ինչպիսիք են՝

• Ինքնավար մոտիվացիա. այն աստիճանը, որով ուսանողները ձևավորում են իրենց սեփական ուսումնասիրությունները՝ համեմատած մոդելի կողմից ուղղորդվելու հետ։ 
• Արդյունավետ ներգրավվածություն. մանկավարժական փոխազդեցությունների հաճախականությունը, բազմազանությունը և որակը
• Առաջադրանքի համառություն. այն աստիճանը, որով սովորողը նստած է ճանաչողական մարտահրավերների առջև և հաղթահարում է դրանք։
• Մետակոգնիտացիա․ սովորողի ջանքերի հաճախականությունը և որակը՝ ուսման նկատմամբ իրենց մոտեցումները պլանավորելու, արտացոլելու և վերահսկելու համար։
• Հիշողություն․ ճշգրտությունը, որով սովորողը կարող է հիշել նախորդ փոխազդեցությունների բովանդակությունը։

Սա արտացոլում է մեր ընդհանուր ջանքերը՝ ոչ թե պարզապես կենտրոնանալու ուսումնական արդյունքների նեղ սահմանումների վրա (թեստերի միավորների աճ), այլ ուսուցման հիմքում ընկած համապարփակ կարողությունների վրա։ Այն նաև արտացոլում է մեր համոզմունքը, որ օպտիմալացնելու առումով «արծաթե փամփուշտ» չի լինելու. համակարգերն ու մանկավարժները պետք է հզորացվեն՝ մանկավարժական լավագույն փորձին և մոտեցումներին համապատասխան փոխզիջումները ուղղորդելու համար։

Ո՞ւր ենք գնում այս կետից հետո։

Մենք լայնածավալ ուսումնասիրությունների միջոցով վավերացնում ենք Learning Outcomes Measurement Suite-ը՝ նախքան այն լայնորեն հասանելի դարձնելը։ Այս աշխատանքը ընթացքի մեջ է Տարտուի համալսարանի և Stanford-ի SCALE Initiative-ի հետ՝ ազգային մասշտաբի գործընկերների շրջանակում, ինչպիսին է Էստոնիան, որտեղ չափման գործիքակազմը ուսումնասիրվում է 16-18 տարեկան գրեթե 20000 ուսանողների մասնակցությամբ՝ մի քանի ամիսների ընթացքում։ Ուսանողների օգտագործումը տեղի կունենա տեղական ղեկավարների հետ սերտ համագործակցությամբ՝ անվտանգությունն ապահովելու և տեղական ուսումնական ծրագրերին համապատասխանությունը պահպանելու համար։

Այս աշխատանքը հիմնվում է ընթացքի մեջ գտնվող համագործակցային հետազոտությունների ավելի լայն շրջանակի վրա։ Բացի Learning Lab-ի հիմնադիր գործընկերների կողմից անցկացվող արդյունքների հետազոտություններից, OpenAI-ը աջակցում է ուսուցման և աշխատանքի հատման կետում անցկացվող ուսումնասիրություններին, որոնք ուսումնասիրում են, թե ինչպես է արհեստական բանականությունը ձևավորում ուսանողների ակադեմիական ուղին, կարիերայի որոշումները և այն եղանակները, որոնցով հաստատությունները կարող են աջակցել պատասխանատու ընդունմանը։ Այս հետազոտությունն իրականացվում է Bocconi University, Innova Schools և Tuck School of Business at Dartmouth, San Diego State University, Stony Brook University և այլ հաստատությունների շրջանակներում։

Քանի որ մենք իրականացնում ենք երկարաժամկետ ուսումնասիրություններ այն մասին, թե ինչպես են ուսանողները լավագույնս սովորում ԱԲ-ի միջոցով, մենք մտադիր ենք կիսվել արդյունքներով և համագործակցել ավելի լայն կրթական էկոհամակարգի հետ՝ ապահովելու համար, որ ԱԲ-ն օգուտ բերի սովորողներին ամենուր։

Այս աշխատանքի վերաբերյալ թարմացումներ ստանալ ցանկացողները կարող են գրանցվել այստեղ⁠։