AI ба сургалтын үр дүнг ойлгох шинэ хэрэгслүүд

Боловсрол бол AI-ийн хамгийн ирээдүйтэй хил хязгааруудын нэг юм. ChatGPT зэрэг хэрэгслүүдийн тусламжтайгаар хувь хүнд тохирсон сургалтын дэмжлэгийг хаана ч, хэзээ ч, ямар ч сурагчид хүргэх боломжтой.

Гэвч боловсролын салбар AI сургалтын үр дүнд үзүүлэх нөлөөг ойлгох тал дээр хараахан эхэн үедээ байна. Өнгөрсөн жил манай баг Суралцах горим⁠ зэрэг хэрэгслийн хэрэглээг судалж, сурагчдын гүйцэтгэлд найдвар төрүүлэхүйц ахиц илрүүлсэн. Гэхдээ манай судалгаа бас нэг чухал асуултыг хөндсөн: AI суралцагчийн ахицад зөвхөн төгсгөлийн шалгалтад биш, хугацааны явцад хэрхэн нөлөөлж байгааг бид яаж үнэлэх вэ?

Энэ бол илүү өргөн экосистемийн сорилт юм. Өнөөдрийг хүртэлх ихэнх судалгааны аргууд шалгалтын оноо зэрэг нарийн хүрээний гүйцэтгэлийн дохиололд төвлөрдөг бөгөөд сурагчид бодит орчинд AI-тай үнэхээр хэрхэн сурч байгааг, мөн тэр хэрэглээ нь хугацааны явцад үр дүнг хэрхэн хэлбэржүүлж байгааг үнэлэх чадвар дутмаг байна.

Энэ зайг нөхөхийн тулд бид Эстонийн Тартугийн их сургууль болон Stanford Accelerator for Learning дахь SCALE Initiative-тай хамтран Learning Outcomes Measurement Suite-ийг боловсруулсан. Энэ нь боловсролын өөр өөр нөхцөлд сургалтын үр дүнг урт хугацаанд хэмжихийг дэмжих хүрээ юм.

Өргөн хүрээний баталгаажуулалт санамсаргүй хяналттай туршилтаар явагдаж байгаа бөгөөд цаашдын судалгааг OpenAI-ийн сургалтын судалгааны экосистем болох Learning Lab-ийн үүсгэн байгуулагч байгууллагуудтай хамтран хийхээр төлөвлөсөн. Үүнд Arizona State University, UCL Knowledge Lab, MIT Media Lab-ийн судлаачид багтаж байна (өмнөх хамтарсан судалгаанууд⁠ дээр тулгуурлан).

Өнөөдөр бид энэхүү хэмжилтийн иж бүрдэл хэрхэн ажилладаг, яагаад чухал болох тухай тоймыг хуваалцаж байна. Цаг хугацааны явцад бид илүү олон судалгаа нийтэлж, энэхүү хэмжилтийн иж бүрдлийг дэлхий даяарх сургууль, их сургууль, боловсролын тогтолцоонд зориулсан олон нийтийн нөөц болгон гаргах зорилготой байна.

• Өнөөгийн AI сургалтын үр дүнд үзүүлэх нөлөөний судалгааны аргууд гүйцэтгэлийн талаар найдвар төрүүлэхүйц дохио харуулж байгаа ч AI хугацааны явцад сургалтын үр дүнд хэрхэн нөлөөлдөг тухай бүрэн дүр зургийг барьж чаддаггүй.
• Learning Outcomes Measurement Suite нь анх удаа сурган хүмүүжүүлэгчид, судлаачид, байгууллагуудад AI янз бүрийн нөхцөлд суралцах үйл явц болон үр дүнг хэрхэн хэлбэржүүлж байгааг ойлгоход туслах урт хугацааны судалгаанд зориулсан стандарт хүрээг өгнө.
• OpenAI-ийн Learning Lab нь энэ ажлыг ахиулахад чиглэсэн шинэ судалгааны экосистем юм. Салбар цааш хөгжихийн хэрээр OpenAI олон төрлийн түнштэй хамтран үр дүнгээ нийтлэх болно.

Сурагчид AI хэрэгслүүдийг хичээл давтах, суралцахад ашиглах нь маш олон янз байж болно—AI-гаас шуурхай хариулт авахын тулд хандахаас эхлээд багштай төстэй чиглүүлгээр асуудлыг алхам алхмаар ажиллаж шийдэх хүртэл. Хэрэглэгчдийг ChatGPT‑тай илүү гүнзгий ойлголт болон ур чадварын хөгжилд дэмжлэг болох аргаар харилцахад урамшуулахын тулд OpenAI өнгөрсөн жил Суралцах горим⁠-ыг танилцуулсан. Цаад талд нь Суралцах горим нь жинхэнэ суралцахыг дэмжих үндсэн зан үйлүүдийг тусгах зорилгоор багш, эрдэмтэн, сурган хүмүүжүүлэх ухааны мэргэжилтнүүдтэй хамтран бичсэн тусгай системийн заавруудаар ажилладаг бөгөөд зөвхөн хариулт өгөхөөс илүүтэйгээр шаталсан дэмжлэг, ойлгосон эсэхийг шалгах, чиглүүлсэн дадлага ашигладаг.

Ийм сурган хүмүүжүүлэх зарчимд нийцсэн AI харилцан үйлдлийн хэв маяг нь үнэхээр илүү сайн сургалтын үр дүнд хүргэж байгаа эсэхийг шалгахын тулд бид мэдрэл судлал болон микроэдийн засгийн шалгалтад бэлдэж байсан 300 гаруй коллежийн оюутны оролцоотой санамсаргүй судалгаа явуулсан. Шинжилгээ үргэлжилж байгаа ч эрт үеийн үр дүн нь Суралцах горим зэрэг функцээр дэмжигдсэн, сурган хүмүүжүүлэх зарчимд нийцсэн AI харилцааны хэв маяг сургалтын үр дүнг сайжруулж болох талаар бидэнд итгэл өгч байна. Гэхдээ энэ судалгаа бас нэг чухал бодит байдлыг харуулсан: хамгийн чухал нь ахиц болон түүнтэй холбоотой бүтээлч зан үйлүүд хугацааны туршид тогтвортой үлдэх эсэх юм.

Судалгааны загвар

Оролцогчдыг гурван бүлгийн нэгэнд хуваарилсан: хяналтын бүлэг нь Google Search, YouTube зэрэг уламжлалт онлайн эх сурвалж ашиглан хичээлээ давтсан бөгөөд AI үүсгэсэн тойм функцуудыг нь унтраасан; нэмэлт хоёр бүлэгт сурагчдыг суралцах үйл явцаар чиглүүлэх зорилготой, ялимгүй өөр байдлаар бүтээгдсэн Суралцах горимын хоёр хувилбарын аль нэгийг ашиглах эрх өгсөн. Өмнөх хичээлийн агуулгад өртсөн байдал, суралцах дадал, академик өөртөө итгэх итгэл, AI хэрэгслүүдийн талаарх мэдлэгийн ялгааг засварлахын тулд суурь сорил болон танилцуулах асуулгыг урьдчилан цуглуулсан. Сурагчид шалгалт бүрийн өмнө хугацаатай Суралцах горимын сешнүүдийг гүйцэтгэсэн бөгөөд хоёр хувилбарыг хичээлүүдийн хооронд тэнцвэржүүлэн хуваарилсан.

Энэ зохион байгуулалт нь хатуу хяналттай лабораторийн орчноос илүүтэй бодит амьдрал дахь хичээл давтах нөхцөлийг тусгахаар хийгдсэн. Оролцоо нь шалгалтын гүйцэтгэлтэй холбоогүй байсан бөгөөд бүх сурагч нэрлэсэн 40 минутын сешний турш Суралцах горимыг ижил хэмжээнд ашиглаагүй. Ингэснээр бид intention-to-treat (ITT) нөлөөг буюу бодит нэвтрүүлэлтийн нөхцөлд хэрэгсэлд нэвтрэх боломж олгосны нөлөөг хэмжиж, тайлагнах боломжтой болсон—өөрөөр хэлбэл, практикт оролцоо өөр байж болохыг хүлээн зөвшөөрсөн нөхцөлд Суралцах горимыг санал болгосны шалтгаант нөлөө юм.

Олдворууд

Бид шалгалт бүрийн гүйцэтгэлийг тусад нь хэмжсэн. Манай санамсаргүй судалгаанд сайжралт нь бүх хичээл дээр ижил байгаагүй бөгөөд оролцогчдын Суралцах горимтой харилцах түвшин ч өөр өөр байсан.

• Мэдрэл судлал (үндсэн ITT): Бид Суралцах горим нь хяналтын бүлгээс чиг хандлагын хувьд эерэг ялгаатай байгааг ажигласан ч үр дүн нь уламжлалт онлайн эх сурвалжаар хичээллэсэн сурагчдаас статистикийн хувьд ялгарахгүй байв. Танилцуулга болон техникийн зарим асуудал Суралцах горим ашигласан сурагчдын хичээл давтах хугацаанд нөлөөлсөн.
• Микроэдийн засаг (үндсэн ITT): AI-гүй хяналтын бүлэгтэй харьцуулахад Суралцах горим ашиглах эрхтэйгээр томилогдсон сурагчдын шалгалтын гүйцэтгэлд мэдэгдэхүйц ахиц ажиглагдсан—харьцангуйгаар ойролцоогоор 15%-иар өндөр оноо авсан.

Энэ нь бодит амьдрал дахь хэлбэлзлийг тусгаж байгаа ч сургалтын үр дүнг ихэвчлэн хэрхэн хэмждэгтэй холбоотой илүү гүн хязгаарлалтыг онцолсон.

Одоогийн ихэнх үнэлгээний арга нь богино хугацааны цонхонд үнэлсэн тогтмол интервенцэд тулгуурлаж, шалгалтын оноо эсвэл төгсгөлийн эсээ зэрэг үр дүнг гол дохио болгон ашигладаг. Эдгээр аргууд нь AI практикт суралцахад нөлөөлдөг үндсэн механизмыг барьж авахад зориулагдаагүй: суралцагчийн өөрийн стратеги, сонирхол, суралцах дадалтай зэрэгцэн хувьсан өөрчлөгдөх тасралтгүй, хувь хүнд тохирсон харилцаа. Мөн богино хугацааны санах ой зэрэг нэг чадвар дахь сайжрал нь тэсвэр, өөрөө сэдэлжих байдал, эсвэл бүтээлч асуудал шийдэх чадвар зэрэг бусад чиглэл дэх зөрчилтэй хамт явагдаж байгаа эсэхийг ч ил болгож чаддаггүй. Үүний улмаас AI үнэхээр суралцахыг сайжруулж байгаа эсэхийг эцэст нь тодорхойлдог урт хугацааны танин мэдэхүйн нөлөөг орхигдуулдаг.

Суралцах орчин нь улс орон, хөтөлбөр, байгууллагын зорилгоос хамааран ихээхэн ялгаатай тул нэг удаагийн судалгааны үр дүн системүүдийн хооронд ховорхон ерөнхийшдөг. Тиймээс хэмжилтийн аргууд нь өөр өөр боловсролын тогтолцоонд амжилтыг өөрсдийн нөхцөлдөө хэрхэн тодорхойлох, AI-ийг өөрсдийн стандартаар үнэлэх, түүндээ тулгуурлан давтан сайжруулах боломж олгохуйц уян хатан байх ёстой.

Илүү сайн хэмжилтийн тогтолцоо байгуулах нь

OpenAI-ийн Суралцах горимын судалгаанаас авсан сургамж дээр үндэслэн бид AI-ийн суралцагчдад үзүүлэх нөлөөг өргөн хүрээнд хэмжих, мөн тэдгээр үр дүнд тулгуурлан загваруудыг сайжруулах механизм бий болгох бүтэцтэй хэмжилтийн системийг бүтээж байна. Энэ нь гурван дохионд суурилдаг—загвар хэрхэн ажиллаж байгаа, суралцагчид хэрхэн хариу үзүүлж байгаа, мөн хугацааны явцад ямар хэмжигдэхүйц танин мэдэхүйн үр дүн гарч байгаа. Үүнд:

• Загварын зан үйлийг нарийвчлах системийн зааврууд: загварын анхдагч зан үйлийг тодорхой сурган хүмүүжүүлэх арга барилтай илүү сайн нийцүүлэхийн тулд энгийн хэлийг ашиглан өөрчлөх.
• Суралцах харилцан үйлдлийн ангилагчид: эдгээр нь бодит, таних боломжгүй болгосон суралцагч–загварын харилцаанаас “суралцах мөчүүд”-ийг автоматаар илрүүлж, оролцоо, алдаа засвар зэрэг чухал шинжүүдийг шошголодог.
• Суралцах чанарын үнэлэгчид: эдгээр нь суралцагч зорилгодоо хүрсэн эсэх, мөн тухайн харилцаа хүчтэй сурган хүмүүжүүлэх зарчмуудыг хэр зэрэг дагасан эсэхээр тэрхүү суралцах мөч бүрийг үнэлж, оноо өгдөг бөгөөд үүнд алдааны хэлбэрүүдийг таних ажил ч орно.
• Урт хугацааны сургалтын үнэлэгчид: эдгээр нь ижил суралцагчийн загвартай хийх харилцаа хугацааны явцад хэрхэн өөрчлөгдөж байгааг—оролцоо, тууштай байдал, метатанин мэдэхүйн стратегиудыг—хувь хүн болон бүлгийн түвшинд хянадаг.
• Стандартчилсан танин мэдэхүйн ба метатанин мэдэхүйн хэмжүүрүүд: эдгээр нь суурь түвшинг тогтоох, шүүмжлэлтэй сэтгэлгээ, бүтээлч байдал, ой санамж зэрэг суурь чадамжийн өөрчлөлтийг хэмжих зорилгоор ChatGPT‑ээр дамжуулан хандалтын өмнө/үеэр/дараа хүргэгддэг, баталгаажсан гуравдагч талын хэрэгслүүд юм.

Эдгээрийг нэгтгэн бид энэ хэмжилтийн системийг Learning Outcomes Measurement Suite гэж нэрлэдэг.

Энэ нь боловсролын экосистем ашиглаж болох чухал дохиог үүсгэдэг: суралцах мөчүүдийн бүтэцжүүлсэн харагдац, бүлгүүдийн хэмжээнд үр дүн хугацааны туршид хэрхэн өөрчлөгдөж буйг харуулах самбарууд, заах ба зөвлөх рубрикуудын эсрэг загварын гүйцэтгэлийн үзүүлэлтүүд, мөн стандартчилсан үнэлгээ болон суралцагчийн богино асуулгатай нийцсэн үр дүнгийн хэмжүүрүүд. Боломжтой тохиолдолд энэ нь түншүүдийн өгсөн шалгалтын оноо, ангийн ажиглалт, эсвэл ирц зэрэг ground truth мэдээллийг багтааж чадна.

Мөн энэ нь манай түншүүдэд AI-ийг суралцахад ашиглахын илүү гүн танин мэдэхүйн нөлөөг хугацааны явцад ойлгох боломж олгодог. Учир нь энэ системээр дамжуулан бид дараах чадамжуудад үзүүлэх нөлөөг мөн хянах боломжтой:

• Өөртөө тулгуурласан сэдэл: суралцагчид өөрсдийн суралцах үйл явцыг өөрсдөө хэр зэрэг чиглүүлж байна вэ, эсвэл загвараар хэр зэрэг чиглүүлүүлж байна вэ
• Бүтээлч оролцоо: сурган хүмүүжүүлэх харилцааны давтамж, олон төрөл, чанар
• Даалгаварт тууштай байх байдал: суралцагч танин мэдэхүйн сорилттой хэр зэрэг нүүр тулж, даван туулахыг хичээж байна вэ
• Метатанин мэдэхүй: суралцагчийн суралцах арга барилаа төлөвлөх, эргэцүүлэх, хянах оролдлогын давтамж ба чанар
• Сэргээн санах ой: суралцагч өмнөх харилцаанаас агуулгыг хэр зөв санаж чадаж байна вэ

Энэ нь сургалтын үр дүнгийн явцуу тодорхойлолтод (шалгалтын оноо өсөх гэх мэт) төвлөрөх бус, харин суралцахын суурь болох цогц чадамжуудад анхаарч буй бидний ерөнхий хандлагыг илэрхийлдэг. Мөн юуг оновчлох талаар ганц шидэт шийдэл байхгүй гэсэн бидний итгэлийг тусгаж байна: тогтолцоо болон сурган хүмүүжүүлэгчдэд сурган хүмүүжүүлэх шилдэг туршлага, арга барилтай нийцүүлэн солилцоот шийдвэрүүдийг чиглүүлэх эрх мэдэл олгогдох ёстой.

Эндээс цааш хаашаа явах вэ

Бид Learning Outcomes Measurement Suite-ийг өргөн хүрээнд нээлттэй болгохоос өмнө том хэмжээний судалгаагаар баталгаажуулж байна. Энэ ажил Тартугийн их сургууль болон Стэнфордын SCALE Initiative-тай хамтран Эстони зэрэг үндэсний хэмжээний түншүүд дээр явагдаж байгаа бөгөөд тэнд хэмжилтийн иж бүрдлийг 16–18 насны бараг 20,000 сурагчтай, хэдэн сарын турш судалж байна. Аюулгүй байдал болон орон нутгийн хөтөлбөртэй нийцлийг хангахын тулд сурагчдын хэрэглээ нь орон нутгийн удирдагчидтай нягт хамтын ажиллагаанд явагдана.

Энэ ажил нь өргөн хүрээний хамтарсан судалгааны суурин дээр бүтээгдэж байна. Learning Lab-ийн үүсгэн байгуулагч түншүүдээр дамжуулан хийгдэж буй үр дүнгийн судалгаанаас гадна OpenAI нь суралцах ба хөдөлмөрийн огтлолцол дахь судалгааг дэмжиж байна—AI сурагчдын академик замнал, мэргэжлийн сонголт, мөн байгууллагууд хариуцлагатай нэвтрүүлэлтийг хэрхэн дэмжиж болохыг судалж байна. Энэ судалгаа Bocconi University, Innova Schools, Dartmouth дахь Tuck School of Business, San Diego State University, Stony Brook University болон бусад байгууллагад явагдаж байна.

Сурагчид AI-тай хэрхэн хамгийн сайн сурдгийг урт хугацаанд судлахын хэрээр бид үр дүнгээ хуваалцаж, AI дэлхий даяарх суралцагчдад үр өгөөжтэй байхыг хангахын тулд боловсролын өргөн экосистемтэй хамтран ажиллах зорилготой байна.

Энэ ажлын талаарх шинэчлэл хүлээн авахыг хүсвэл энд⁠ бүртгүүлж болно.