เครื่องมือใหม่ที่ช่วยให้เเข้าใจการทำงานของ AI และผลลัพธ์การเรียนรู้

การศึกษาเป็นหนึ่งในก้าวย่างที่สำคัญและน่าจับตามองที่สุดสำหรับ AI เครื่องมืออย่าง ChatGPT ช่วยให้ผู้เรียนทุกคนสามารถเข้าถึงความช่วยเหลือด้านการเรียนรู้แบบส่วนตัวได้จากทุกที่ทุกเวลา 

อย่างไรก็ตาม ภาคการศึกษายังมีความเข้าใจจำกัดเกี่ยวกับผลกระทบของ AI ต่อผลลัพธ์การเรียนรู้ เมื่อปีที่แล้วทีมของเราได้เริ่มศึกษาการใช้เครื่องมืออย่างโหมดเรียนรู้⁠ และพบว่ามีแนวโน้มที่ดีในการช่วยยกระดับผลการเรียนของผู้เรียน งานวิจัยของเราทิ้งคำถามสำคัญไว้ข้อหนึ่งว่า เราจะประเมินการที่ AI เข้ามาช่วยให้เด็กๆ พัฒนาขึ้นเรื่อยๆ ได้อย่างไร โดยไม่มองแค่ผลสอบตอนจบเทอมเพียงอย่างเดียว

ประเด็นนี้ถือเป็นโจทย์ท้าทายที่ส่งผลกระทบต่อภาพรวมของทั้งระบบ จนถึงปัจจุบันวิธีการวิจัยส่วนใหญ่ยังยึดติดกับตัวชี้วัดผลงานเพียงด้านเดียวอย่างคะแนนสอบ ทำให้ไม่สามารถวิเคราะห์ได้ว่านักเรียนเรียนรู้ผ่าน AI ในชีวิตจริงอย่างไร และการใช้นั้นส่งผลต่อการพัฒนาตนเองอย่างต่อเนื่องเพียงใด

เพื่อแก้ไขช่องว่างนี้ เราได้พัฒนาชุดเครื่องมือวัดผลการเรียนรู้ ซึ่งเป็นกรอบการทำงานที่สร้างขึ้นร่วมกับมหาวิทยาลัยทาร์ทูแห่งเอสโตเนียและโครงการ SCALE ภายใต้ศูนย์เร่งรัดการเรียนรู้แห่งมหาวิทยาลัยสแตนฟอร์ด เพื่อสนับสนุนการวัดผลสัมฤทธิ์ทางการเรียนรู้ในระยะยาวท่ามกลางบริบททางการศึกษาที่หลากหลาย 

ปัจจุบันเราอยู่ระหว่างการตรวจสอบผลวิจัยอย่างละเอียดด้วยวิธีสุ่มกลุ่มตัวอย่าง พร้อมทั้งวางแผนทำวิจัยเพิ่มเติมร่วมกับองค์กรก่อตั้งใน แล็บการเรียนรู้ ซึ่งเป็นระบบนิเวศวิจัยการเรียนรู้ของ OpenAI โดยประสานงานร่วมกับนักวิจัยจากมหาวิทยาลัยแอริโซนาสเตต UCL Knowledge Lab และ MIT Media Lab เพื่อต่อยอดจากการวิจัยที่เคยทำร่วมกันมาก่อน⁠

วันนี้เราพร้อมนำเสนอข้อมูลเบื้องต้นว่าชุดเครื่องมือวัดผลนี้ทำงานอย่างไร และทำไมสิ่งนี้จึงเป็นกุญแจสำคัญ เรามีความตั้งใจที่จะเผยแพร่งานวิจัยเพิ่มเติมและเปิดตัวชุดเครื่องมือวัดผลนี้ให้เป็นทรัพยากรสาธารณะสำหรับโรงเรียน มหาวิทยาลัย และระบบการศึกษาทั่วโลก

• วิธีวัดผลการใช้ AI ในการเรียนปัจจุบันเริ่มเห็นผลลัพธ์ที่น่าประทับใจ แต่ก็ยังไม่สามารถอธิบายภาพรวมได้ครบถ้วนว่าจริงๆ แล้ว AI ส่งผลต่อการเรียนรู้ของเด็กๆ ในระยะยาวแค่ไหน
• ชุดเครื่องมือวัดผลการเรียนรู้จะทำหน้าที่เป็นกรอบการทำงานมาตรฐานสำหรับการวิจัยระยะยาวเป็นครั้งแรก เพื่อช่วยให้ผู้สอน นักวิจัย และสถาบันต่างๆ เข้าใจว่า AI มีส่วนหล่อหลอมการเรียนรู้และผลสัมฤทธิ์ในบริบทที่แตกต่างกันอย่างไร
• แล็บการเรียนรู้ของ OpenAI เป็นระบบนิเวศการวิจัยใหม่ที่มุ่งเน้นการพัฒนางานนี้ให้ก้าวหน้า OpenAI จะทยอยนำเสนอผลการศึกษาร่วมกับเครือข่ายพันธมิตร เพื่อให้ทันต่อการเปลี่ยนแปลงและการเติบโตของศาสตร์ด้านนี้ที่กำลังดำเนินไป

การที่นักเรียนใช้เครื่องมือ AI เพื่อการศึกษาและเรียนรู้นั้นสามารถตีความได้หลากหลายรูปแบบ ตั้งแต่การใช้ AI เพื่อหาคำตอบอย่างรวดเร็ว ไปจนถึงการใช้เพื่อฝึกแก้ปัญหาทีละขั้นตอนโดยมีคำแนะนำเหมือนมีติวเตอร์ส่วนตัว เพื่อกระตุ้นให้เกิดการเรียนรู้เชิงลึกและการสร้างทักษะใหม่ๆ ผ่าน ChatGPT ทาง OpenAI ได้เปิดใช้งานโหมดเรียนรู้⁠ตั้งแต่ปีที่แล้ว เพื่อเป็นตัวช่วยสำคัญสำหรับผู้เรียน  เบื้องหลังการทำงานของโหมดเรียนรู้นั้นขับเคลื่อนด้วยคำสั่งระบบที่ปรับแต่งขึ้นมาเป็นพิเศษ โดยเราได้รับความร่วมมือจากคณะครู นักวิทยาศาสตร์ และผู้เชี่ยวชาญด้านการสอนในการกำหนดชุดพฤติกรรมหลักที่เน้นการเรียนรู้อย่างแท้จริงมากกว่าการให้เพียงคำตอบ ผ่านวิธีการเสริมสร้างความรู้ การตรวจสอบความเข้าใจ และการฝึกฝนโดยมีแนวทางชี้แนะ

เพื่อทดสอบว่าสไตล์การโต้ตอบ AI ตามหลักการการสอนสามารถช่วยให้ผลการเรียนดีขึ้นได้หรือไม่ เราได้ดำเนินการศึกษาวิจัยแบบสุ่มกับนักศึกษามหาวิทยาลัยกว่า 300 คนที่กำลังเตรียมสอบวิชาประสาทวิทยาศาสตร์และเศรษฐศาสตร์จุลภาค แม้กระบวนการวิเคราะห์ข้อมูลจะยังไม่เสร็จสิ้น แต่ผลลัพธ์ในเบื้องต้นช่วยสร้างความมั่นใจให้แก่เราว่า รูปแบบการปฏิสัมพันธ์กับ AI ที่สอดคล้องกับหลักการสอนซึ่งเราส่งเสริมผ่านฟีเจอร์อย่างโหมดเรียนรู้ สามารถช่วยยกระดับผลสัมฤทธิ์ทางการเรียนรู้ให้ดียิ่งขึ้นได้ งานวิจัยนี้ยังทำให้เราเห็นความจริงที่สำคัญอีกอย่างว่า สิ่งที่สำคัญจริงๆ คือ พัฒนาการและพฤติกรรมการเรียนที่ดีจะยังคงติดตัวนักเรียนไปอย่างยั่งยืนหรือไม่เมื่อเวลาผ่านไป

การออกแบบการศึกษา

เราแบ่งผู้เข้าร่วมวิจัยออกเป็นสามกลุ่ม กลุ่มควบคุมจะใช้แค่เครื่องมือค้นหาทั่วไปอย่าง Google และ YouTube พร้อมทั้งปิดการใช้งานฟีเจอร์สรุปข้อมูลด้วย AI ในขณะที่อีกสองกลุ่มได้รับสิทธิ์เข้าใช้งานโหมดเรียนรู้ที่แตกต่างกันสองรูปแบบ ซึ่งออกแบบมาเพื่อนำทางนักเรียนผ่านกระบวนการเรียนรู้ด้วยวิธีที่ต่างกันเล็กน้อย เราจัดเก็บข้อมูลจากแบบทดสอบพื้นฐานและแบบสำรวจก่อนการเริ่มต้นวิจัยไว้ล่วงหน้า เพื่อนำมาปรับค่าความแตกต่างในด้านประสบการณ์รายวิชาที่ผ่านมา นิสัยการเรียน ความเชื่อมั่นทางวิชาการ และความคุ้นเคยกับเครื่องมือ AI นักศึกษาเข้าร่วมเซสชันการใช้โหมดเรียนรู้แบบจำกัดเวลาในแต่ละช่วงก่อนการสอบ โดยเราจัดลำดับการใช้งานโหมดเรียนรู้ทั้งสองรูปแบบให้สมดุลกันในทุกรายวิชา

เราออกแบบการทดลองนี้เพื่อสะท้อนสภาวะการเรียนรู้ในโลกความเป็นจริง มากกว่าที่จะจำกัดอยู่เพียงในสภาพแวดล้อมของห้องแล็บที่ควบคุมอย่างเข้มงวด การเข้าร่วมงานวิจัยไม่มีส่วนเกี่ยวข้องกับคะแนนสอบ และนักศึกษาแต่ละคนใช้เวลาในโหมดเรียนรู้มากน้อยแตกต่างกันในระหว่างเซสชันที่กำหนดไว้ 40 นาที วิธีการนี้ช่วยให้เราสามารถวัดผลและรายงานผลลัพธ์แบบ Intention-to-Treat (ITT) ซึ่งหมายถึงผลกระทบจากการเปิดให้เข้าถึงเครื่องมือภายใต้สถานการณ์การใช้งานจริง หรือกล่าวอีกนัยหนึ่งคือ ผลเชิงสาเหตุจากการหยิบยื่นโหมดเรียนรู้ให้แก่ผู้ใช้ โดยยอมรับว่าระดับการมีส่วนร่วมในทางปฏิบัติอาจมีความแตกต่างกัน

ผลการวิจัย

เราได้วัดประสิทธิภาพของการสอบแต่ละฉบับแยกกัน งานวิจัยแบบสุ่มของเราเผยให้เห็นว่า พัฒนาการของผู้เรียนในแต่ละรายวิชานั้นไม่เท่ากัน และระดับการมีส่วนร่วมในโหมดเรียนรู้ของผู้เข้าร่วมแต่ละคนก็มีความหลากหลาย

• วิชาประสาทวิทยาศาสตร์ (เน้น ITT เป็นหลัก): เราพบแนวโน้มการพัฒนาที่ดีขึ้นจากการใช้โหมดเรียนรู้ อย่างไรก็ตาม ข้อมูลยังไม่ชี้ชัดถึงความแตกต่างที่มีนัยสำคัญเมื่อเปรียบเทียบกับวิธีการสืบค้นข้อมูลผ่านช่องทางออนไลน์ปกติ ปัญหาด้านเทคนิคและขั้นตอนการเริ่มต้นใช้งานบางประการส่งผลกระทบต่อระยะเวลาที่นักศึกษาใช้ในการเรียนผ่านโหมดเรียนรู้ 
• วิชาเศรษฐศาสตร์จุลภาค (เน้น ITT เป็นหลัก): เราพบว่าผลการสอบดีขึ้นอย่างมีนัยสำคัญในกลุ่มนักเรียนที่ได้รับสิทธิ์เข้าถึงโหมดเรียนรู้เมื่อเทียบกับกลุ่มควบคุมที่ไม่มี AI โดยคะแนนสูงกว่าประมาณ 15%

ข้อมูลนี้สะท้อนภาพความเป็นจริงที่เกิดขึ้น แต่ก็ทำให้เราเห็นจุดอ่อนที่สำคัญของการวัดผลการเรียนทั่วไปว่าอาจจะยังทำได้ไม่ละเอียดพอ

วิธีวัดผลส่วนมากจะดูแค่การเปลี่ยนแปลงช่วงสั้นๆ โดยเน้นดูที่คะแนนสอบหรือเกรดจากเรียงความวิชาการเป็นหลักมากกว่าปัจจัยอื่น วิธีวัดผลแบบเก่าไม่ได้สร้างมาเพื่อเก็บข้อมูลหัวใจสำคัญของการใช้ AI ในการเรียนรู้จริง เพราะ AI เน้นการโต้ตอบที่ต่อเนื่องและปรับเปลี่ยนไปพร้อมกับเทคนิคการเรียนหรือนิสัยส่วนตัวของผู้เรียนแต่ละคน นอกจากนี้วิธีการเหล่านั้นยังไม่สามารถระบุได้ว่า พัฒนาการในทักษะด้านหนึ่ง เช่น การจดจำในระยะสั้น อาจส่งผลกระทบในเชิงลบต่อทักษะด้านอื่นหรือไม่ เช่น ความมานะพยายาม แรงจูงใจด้วยตนเอง หรือการแก้ปัญหาอย่างสร้างสรรค์ ด้วยเหตุนี้จึงทำให้พวกเขาพลาดการประเมินผลกระทบทางความคิดในระยะยาว ซึ่งเป็นตัวชี้ขาดว่า AI จะช่วยปรับปรุงการเรียนรู้อย่างแท้จริงหรือไม่ 

เนื่องจากสภาพแวดล้อมการเรียนรู้มีความแตกต่างกันอย่างมากในแต่ละประเทศ หลักสูตร และเป้าหมายของสถาบัน ผลลัพธ์จากการศึกษาเพียงครั้งเดียวจึงยากที่จะนำไปปรับใช้เป็นมาตรฐานทั่วไปในระบบที่หลากหลายได้ แนวทางการวัดผลจำเป็นต้องมีความยืดหยุ่นเพียงพอ เพื่อให้ระบบการศึกษาที่แตกต่างกันสามารถกำหนดนิยามของความสำเร็จในบริบทของตนเอง ประเมินประสิทธิภาพของ AI ตามมาตรฐานที่กำหนดขึ้น และนำผลลัพธ์ไปพัฒนากระบวนการเรียนการสอนต่อไป

การสร้างระบบการวัดผลที่ดียิ่งขึ้น 

เรานำองค์ความรู้จากงานวิจัยโหมดเรียนรู้ของ OpenAI มาใช้เป็นรากฐานในการสร้างระบบการวัดผลที่มีโครงสร้างชัดเจน เพื่อประเมินผลกระทบของ AI ต่อผู้เรียนในวงกว้าง และสร้างกลไกในการพัฒนาโมเดลให้ดีขึ้นตามผลลัพธ์เหล่านั้น โดยยึดถือสัญญาณหลัก 3 ประการ ได้แก่ รูปแบบพฤติกรรมของโมเดล การตอบสนองของผู้เรียน และผลลัพธ์ทางปัญญาที่สามารถวัดผลได้ซึ่งเกิดขึ้นอย่างต่อเนื่องตามระยะเวลา ซึ่งประกอบไปด้วย: 

• คำแนะนำเชิงระบบเพื่อปรับปรุงพฤติกรรมของโมเดล: เราใช้ภาษาธรรมชาติเพื่อปรับเปลี่ยนพฤติกรรมพื้นฐานของโมเดลให้สอดคล้องกับแนวทางการจัดการเรียนการสอนที่เฉพาะเจาะจงได้ดียิ่งขึ้น
• ตัวจำแนกประเภทปฏิสัมพันธ์การเรียนรู้: ระบบเหล่านี้ตรวจจับ "ช่วงเวลาการเรียนรู้" โดยอัตโนมัติจากข้อมูลการปฏิสัมพันธ์จริงระหว่างผู้เรียนและโมเดลที่ไม่ระบุตัวตน พร้อมทั้งระบุลักษณะสำคัญ เช่น ระดับการมีส่วนร่วมและการแก้ไขข้อผิดพลาด
• ระบบให้คะแนนคุณภาพการเรียนรู้: ระบบเหล่านี้ประเมินและให้คะแนนช่วงเวลาการเรียนรู้แต่ละครั้ง โดยพิจารณาว่าผู้เรียนบรรลุวัตถุประสงค์หรือไม่ และการปฏิสัมพันธ์นั้นสอดคล้องกับหลักครุศาสตร์ในระดับใด รวมถึงระบุรูปแบบความล้มเหลวที่เกิดขึ้น
• ระบบประเมินผลการเรียนรู้ระยะยาว: เราใช้ระบบนี้ติดตามการเปลี่ยนแปลงในการปฏิสัมพันธ์ระหว่างผู้เรียนคนเดิมกับโมเดลอย่างต่อเนื่อง ซึ่งครอบคลุมทั้งด้านการมีส่วนร่วม ความมานะพยายาม และกลยุทธ์การเรียนรู้ลำดับสูง ทั้งในระดับรายบุคคลและระดับกลุ่ม
• มาตรวัดพัฒนาการทางสติปัญญาและกระบวนการรู้คิด: เครื่องมือเหล่านี้เป็นมาตรฐานที่ได้รับการตรวจสอบโดยบุคคลที่สาม จัดส่งผ่าน ChatGPT ก่อน ระหว่าง และหลังการเข้าถึง เพื่อกำหนดฐานข้อมูลและวัดการเปลี่ยนแปลงของทักษะพื้นฐาน เช่น การคิดเชิงวิเคราะห์ ความคิดสร้างสรรค์ และความจำ

เมื่อรวมกันแล้วเราเรียกระบบการวัดผลนี้ว่า ชุดเครื่องมือวัดผลการเรียนรู้ 

ระบบนี้สร้างสัญญาณข้อมูลสำคัญที่ระบบนิเวศทางการศึกษาสามารถนำไปใช้ประโยชน์ได้ ซึ่งประกอบด้วย ข้อมูลเชิงโครงสร้างของจังหวะแห่งการเรียนรู้ แผงควบคุมแสดงการเปลี่ยนแปลงของผลสัมฤทธิ์ในแต่ละกลุ่มผู้เรียน ตัวบ่งชี้ประสิทธิภาพของโมเดลตามเกณฑ์การสอน และมาตรวัดผลลัพธ์ที่สอดคล้องกับการประเมินมาตรฐานและแบบสอบถามสั้นของผู้เรียน ระบบสามารถรวบรวมข้อมูลยืนยันข้อเท็จจริงที่พันธมิตรจัดหาให้ในกรณีที่มีข้อมูลเหล่านั้น เช่น คะแนนสอบ ผลการสังเกตการณ์ในชั้นเรียน หรือสถิติการเข้าเรียน

ระบบนี้ยังช่วยให้พันธมิตรของเราเข้าใจว่า การใช้ AI เรียนรู้ส่งผลต่อระดับความคิดในระยะยาวอย่างไรบ้าง เพราะเราใช้ระบบนี้ติดตามทักษะด้านต่างๆ ได้ เช่น

• แรงจูงใจแบบอิสระ: ระดับที่ผู้เรียนกำหนดการเรียนของตัวเองมากน้อยแค่ไหน เมื่อเทียบกับระดับที่โมเดลเป็นตัวชี้นำ
• การมีส่วนร่วมอย่างมีประสิทธิผล: ความถี่ ความหลากหลาย และคุณภาพของปฏิสัมพันธ์เชิงการสอน
• ความมุ่งมั่นในการทำงาน: ระดับที่ผู้เรียนสามารถนั่งทำและฝ่าฟันความท้าทายทางการรู้คิดได้
• การตระหนักรู้ในกระบวนการคิด: ความถี่และคุณภาพของความพยายามที่ผู้เรียนใช้ในการวางแผน การสะท้อนคิด และการตรวจสอบแนวทางการเรียนรู้ของตนเอง
• การระลึกความจำ: ความแม่นยำของผู้เรียนในการจำเนื้อหาจากการโต้ตอบก่อนหน้

สิ่งนี้สะท้อนถึงความมุ่งมั่นในภาพรวมของเราที่จะไม่มุ่งเน้นเพียงนิยามแคบๆ ของผลสัมฤทธิ์ทางการเรียน เช่น คะแนนสอบที่เพิ่มขึ้น แต่เราให้ความสำคัญกับศักยภาพในภาพรวมซึ่งเป็นรากฐานสำคัญของการเรียนรู้ รายึดมั่นในหลักการที่ว่าไม่มีสูตรสำเร็จในการกำหนดตัวแปรเพื่อเพิ่มประสิทธิภาพการเรียนรู้ ดังนั้น เราจึงมุ่งเน้นการเสริมสร้างศักยภาพให้ผู้บริหารระบบและครูผู้สอนสามารถพิจารณาข้อดีข้อเสียให้สอดคล้องกับหลักวิชาชีพและระเบียบวิธีสอน

เราจะไปทางไหนต่อจากนี้

เรากำลังดำเนินการตรวจสอบความถูกต้องของชุดเครื่องมือวัดผลการเรียนรู้ผ่านการวิจัยในวงกว้าง ก่อนที่จะเปิดให้ใช้งานเป็นการทั่วไปในลำดับต่อไป เรากำลังดำเนินงานนี้ร่วมกับมหาวิทยาลัยทาร์ทู และโครงการ SCALE ของมหาวิทยาลัยสแตนฟอร์ด ผ่านเครือข่ายพันธมิตรระดับประเทศอย่างเอสโตเนีย ซึ่งเรากำลังศึกษาระบบวัดผลนี้กับนักเรียนอายุ 16 ถึง 18 ปี เกือบ 20,000 คน เป็นระยะเวลานานหลายเดือน เราประสานงานอย่างใกล้ชิดกับผู้นำในท้องถิ่นเพื่อกำกับดูแลการใช้งานของนักเรียน ทั้งนี้เพื่อให้มั่นใจในความปลอดภัยและความสอดคล้องกับหลักสูตรของแต่ละท้องถิ่น

งานนี้ต่อยอดจากงานวิจัยแบบร่วมมือกันในวงกว้างที่กำลังดำเนินอยู่. นอกเหนือจากการวิจัยด้านผลสัมฤทธิ์ที่ดำเนินการร่วมกับพันธมิตรผู้ร่วมก่อตั้งแล็บการเรียนรู้แล้ว OpenAI กำลังสนับสนุนการศึกษาจุดเชื่อมต่อระหว่างการเรียนรู้และการแรงงาน โดยตรวจสอบว่า AI มีอิทธิพลต่อเส้นทางวิชาการและการตัดสินใจเลือกอาชีพของนักเรียนอย่างไร รวมถึงแนวทางที่สถาบันต่างๆ จะสามารถสนับสนุนการใช้งานอย่างมีความรับผิดชอบ เรากำลังดำเนินงานวิจัยนี้ร่วมกับมหาวิทยาลัยบอคโกนี (Bocconi University) โรงเรียนอินโนวา (Innova Schools) คณะบริหารธุรกิจทัคแห่งมหาวิทยาลัยดาร์ทเมาท์ (Tuck School of Business at Dartmouth) มหาวิทยาลัยแห่งรัฐซานดิเอโก (San Diego State University) มหาวิทยาลัยสโตนีบรู็ก (Stony Brook University) และสถาบันอื่นๆ

ในขณะที่เราดำเนินการศึกษาระยะยาวเกี่ยวกับวิธีการเรียนรู้ที่มีประสิทธิภาพสูงสุดของผู้เรียนผ่าน AI เราตั้งใจที่จะแชร์นผลการวิจัยและร่วมมือกับระบบนิเวศทางการศึกษาในวงกว้าง เพื่อสร้างความมั่นใจว่า AI จะอำนวยประโยชน์แก่ผู้เรียนในทุกภูมิภาค

หากคุณสนใจรับข้อมูลอัปเดตเกี่ยวกับงานนี้ สามารถลงทะเบียนได้ที่นี่⁠