כלים חדשים להבנת הקשר בין בינה מלאכותית לתוצאות למידה

חינוך הוא אחד התחומים שבהם טמון הפוטנציאל הגדול ביותר של בינה מלאכותית. בעזרת כלים כמו ChatGPT, תמיכה אישית בלמידה יכולה להיות זמינה לכל תלמיד, בכל מקום ובכל עת. 

אבל תחום החינוך עדיין נמצא בראשית הדרך להבנת השפעתה של בינה מלאכותית על תוצאות הלמידה. בשנה שעברה החל הצוות שלנו לחקור את השימוש בכלים כמו מצב למידה⁠, ומצא שיפורים מבטיחים בהישגי התלמידים. אבל המחקר שלנו העלה גם שאלה חשובה: איך נוכל להעריך את השפעת הבינה המלאכותית על התקדמות הלומד לאורך זמן, ולא רק בבחינת הסיום?

זהו אתגר רחב יותר, הנוגע לכלל העוסקים בתחום. עד כה, רוב שיטות המחקר מתמקדות במדדי ביצוע צרים — כמו ציוני מבחנים — ואינן מאפשרות להעריך איך תלמידים לומדים בפועל בעזרת בינה מלאכותית בתנאי המציאות, ואיך השימוש הזה משפיע על התוצאות לאורך זמן. 

כדי לתת מענה לפער הזה, פיתחנו את ערכת הכלים למדידת תוצאות למידה, מסגרת שנוצרה עם אוניברסיטת טרטו באסטוניה ועם יוזמת SCALE במאיץ הלמידה של סטנפורד, כדי לתמוך במדידת תוצאות למידה לאורך זמן ובהקשרים חינוכיים שונים. 

תהליך תיקוף מקיף מתבצע כעת במסגרת ניסוי מבוקר בהקצאה אקראית. מחקרים נוספים מתוכננים עם הארגונים המייסדים של מעבדת הלמידה, רשת מחקר הלמידה של OpenAI, ובהם חוקרים מאוניברסיטת המדינה של אריזונה, ממעבדת הידע של UCL וממעבדת המדיה של MIT (בהמשך למחקרים משותפים קודמים⁠).

היום אנחנו מציגים סקירה של אופן פעולתה של ערכת המדידה ושל חשיבותה. בהמשך, בכוונתנו לפרסם מחקרים נוספים ולהעמיד את ערכת המדידה לרשות הציבור, לשימוש בתי ספר, אוניברסיטאות ומערכות חינוך ברחבי העולם.

• שיטות המחקר הקיימות לבחינת השפעת הבינה המלאכותית על הלמידה מצביעות על מגמות מבטיחות בהישגים, אך אינן מספקות תמונה מלאה של השפעתה על תוצאות הלמידה לאורך זמן.

• ערכת הכלים למדידת תוצאות למידה תספק לראשונה מסגרת אחידה למחקרי אורך, שיסייעו לאנשי חינוך, לחוקרים ולמוסדות להבין איך בינה מלאכותית מעצבת את הלמידה ואת תוצאותיה בהקשרים שונים.

• מעבדת הלמידה של OpenAI היא רשת מחקר חדשה המתמקדת בקידום העבודה הזאת. OpenAI תפרסם ממצאים יחד עם מגוון שותפים ככל שהתחום יוסיף להתפתח.

תלמידים משתמשים בכלי בינה מלאכותית ללימודים וללמידה בדרכים רבות ושונות — מקבלת תשובות מהירות ועד לפתרון בעיות צעד אחר צעד, בליווי הדומה להדרכה של מורה פרטי. כדי לעודד משתמשים להיעזר ב־ChatGPT בדרכים שתומכות בהבנה מעמיקה יותר ובפיתוח מיומנויות, OpenAI השיקה בשנה שעברה את מצב למידה⁠.  מאחורי הקלעים, מצב למידה פועל באמצעות הוראות מערכת ייעודיות שכתבנו בשיתוף מורים, מדענים ומומחי פדגוגיה. ההוראות מגדירות התנהגויות יסוד התומכות בלמידה אמיתית, ולא רק במתן תשובות — באמצעות תמיכה מדורגת, בדיקות הבנה ותרגול מונחה.

כדי לבדוק אם סגנון אינטראקציה כזה עם בינה מלאכותית, המותאם לעקרונות פדגוגיים, אכן מוביל לתוצאות למידה טובות יותר, ערכנו מחקר בהקצאה אקראית בהשתתפות יותר מ־300 סטודנטים שהתכוננו לבחינות במדעי המוח ובמיקרו־כלכלה. אף שניתוח הנתונים עדיין נמשך, התוצאות הראשוניות מחזקות את ביטחוננו בכך שסגנון אינטראקציה עם בינה מלאכותית המותאם לעקרונות פדגוגיים, ושמאפיינים כמו מצב למידה מעודדים אותו, יכול לשפר את תוצאות הלמידה. אבל המחקר הזה גם הבהיר נקודה חשובה: מה שקובע באמת הוא אם השיפורים ודפוסי ההתנהגות המועילים הנלווים אליהם נשמרים לאורך זמן.

מערך המחקר

המשתתפים הוקצו לאחת משלוש קבוצות: קבוצת ביקורת למדה בעזרת משאבים מקוונים מסורתיים, כמו חיפוש Google ו־YouTube, כשאפשרויות הסקירה שנוצרות באמצעות בינה מלאכותית מושבתות. שתי הקבוצות הנוספות קיבלו גישה לאחת משתי גרסאות של מצב למידה, שנועדו להנחות סטודנטים בתהליך הלמידה בדרכים שונות מעט זו מזו. מבדקי פתיחה ושאלוני היכרות נאספו מראש כדי לתקנן את התוצאות להבדלים בחשיפה קודמת לחומר הלימוד, בהרגלי הלמידה, בביטחון ביכולות האקדמיות ובהיכרות עם כלי בינה מלאכותית. הסטודנטים השתתפו במפגשים מוגבלים בזמן עם מצב למידה לפני כל בחינה, תוך איזון סדר השימוש בשתי הגרסאות בין תחומי הלימוד.

מערך זה נועד לשקף תנאי למידה מציאותיים, ולא סביבה מעבדתית מבוקרת בקפדנות. ההשתתפות לא הותנתה בהישגים בבחינות, ולא כל הסטודנטים השתמשו במצב למידה באותה מידה במהלך המפגשים, שמשכם המתוכנן היה 40 דקות. כך יכולנו למדוד ולדווח על השפעות לפי עקרון הכוונה לטפל (ITT): ההשפעה של מתן גישה לכלי בתנאי הטמעה מציאותיים. במילים אחרות, זו ההשפעה הסיבתית של עצם הצעת הגישה למצב למידה, מתוך הכרה בכך שמידת השימוש בפועל עשויה להשתנות.

ממצאים

מדדנו את ההישגים בכל בחינה בנפרד. במחקר שערכנו בהקצאה אקראית, השיפורים לא היו אחידים בין תחומי הלימוד, ומידת השימוש במצב למידה השתנתה בין המשתתפים. 

• מדעי המוח (ניתוח ITT עיקרי): ראינו מגמה חיובית בהבדלים לטובת מצב למידה לעומת קבוצת הביקורת, אך התוצאות לא נבדלו באופן מובהק מאלה של סטודנטים שלמדו בעזרת משאבים מקוונים מסורתיים. כמה קשיים בתהליך ההצטרפות ובעיות טכניות השפיעו על הזמן שהקדישו ללמידה הסטודנטים שהשתמשו במצב למידה. 

• מיקרו־כלכלה (ניתוח ITT עיקרי): ראינו שיפור משמעותי בהישגים בבחינה בקרב סטודנטים שהוקצו לקבלת גישה למצב למידה, לעומת קבוצת הביקורת שלא השתמשה בבינה מלאכותית — ציון גבוה בכ־15% במונחים יחסיים.

אף שהדבר משקף את השונות הקיימת במציאות, הוא הדגיש מגבלה עמוקה יותר באופן שבו נהוג למדוד תוצאות למידה.

רוב גישות ההערכה הקיימות נשענות על התערבויות קבועות הנבחנות בפרקי זמן קצרים, ומשתמשות בתוצאות כמו ציוני מבחנים או עבודות מסכמות כמדדים עיקריים. השיטות האלה לא נועדו ללכוד את המנגנון המרכזי שבאמצעותו בינה מלאכותית משפיעה על הלמידה בפועל: אינטראקציות מתמשכות ומותאמות אישית, המתפתחות לצד האסטרטגיות, ההעדפות והרגלי הלמידה של הלומד עצמו. הן גם לא מגלות אם שיפור ביכולת אחת, כמו זכירה לטווח קצר, עשוי לבוא לצד פגיעה ביכולות אחרות, כמו התמדה, מוטיבציה אוטונומית או פתרון בעיות יצירתי. כתוצאה מכך, הן מחמיצות את ההשפעות הקוגניטיביות לאורך זמן, שבסופו של דבר קובעות אם בינה מלאכותית משפרת את הלמידה באופן משמעותי. 

מכיוון שסביבות הלמידה שונות מאוד בין מדינות, תוכניות לימודים ויעדים מוסדיים, רק לעיתים רחוקות אפשר להכליל תוצאות של מחקרים חד־פעמיים ממערכת אחת לאחרת. לכן, גישות המדידה חייבות להיות גמישות מספיק כדי שמערכות חינוך שונות יוכלו להגדיר מהי הצלחה בהקשר שלהן, להעריך בינה מלאכותית לפי אמות המידה שלהן ולהמשיך להשתפר בהתאם.

בניית מערכת מדידה טובה יותר 

על בסיס התובנות מהמחקר של OpenAI על מצב למידה, אנחנו בונים מערכת מדידה מובנית שתמדוד את השפעת הבינה המלאכותית על לומדים בהיקף רחב, ותיצור מנגנון לשיפור המודלים על סמך התוצאות. המערכת מתבססת על שלושה מדדים — איך המודל מתנהג, איך הלומדים מגיבים ואילו תוצאות קוגניטיביות מדידות מתקבלות לאורך זמן. היא כוללת: 

• הוראות מערכת לשיפור התנהגות המודל: שימוש בשפה טבעית כדי לשנות את התנהגות ברירת המחדל של המודל ולהתאים אותה טוב יותר לגישות פדגוגיות מסוימות.

• מסווגי אינטראקציות למידה: כלים שמזהים אוטומטית "רגעי למידה" בתוך אינטראקציות אמיתיות בין לומדים למודלים, לאחר הסרת פרטים מזהים, ומתייגים מאפיינים בולטים כמו מעורבות ותיקון שגיאות.

• כלים לדירוג איכות הלמידה: כלים שמעריכים ומדרגים כל אחד מרגעי הלמידה האלה לפי השגת מטרת הלומד ולפי מידת ההתאמה של האינטראקציה לעקרונות פדגוגיים מבוססים, ובכלל זה זיהוי דפוסי כשל.

• כלים לדירוג למידה לאורך זמן: כלים שעוקבים אחר שינויים באינטראקציות של אותו לומד עם המודל לאורך זמן — ובהם מעורבות, התמדה ואסטרטגיות מטא־קוגניטיביות — ברמת הפרט וברמת הקבוצה.

• מדדים קוגניטיביים ומטא־קוגניטיביים מתוקננים: כלי מדידה מתוקפים של צד שלישי, המועברים באמצעות ChatGPT לפני תקופת הגישה, במהלכה ואחריה, כדי לקבוע נקודות מוצא ולמדוד שינויים ביכולות יסוד כמו חשיבה ביקורתית, יצירתיות וזיכרון.

למערכת המדידה המשלבת את כל אלה אנחנו קוראים ערכת הכלים למדידת תוצאות למידה. 

היא מספקת מידע חשוב שהגורמים השונים בתחום החינוך יכולים להיעזר בו: תצוגות מובנות של רגעי למידה, לוחות מחוונים המציגים שינויים בתוצאות לאורך זמן בקבוצות שונות, מדדי ביצוע של המודל מול מחווני הוראה וחונכות, ומדדי תוצאות התואמים להערכות מתוקננות ולשאלונים קצרים ללומדים. כשיש נתוני אמת שמספקים השותפים, כמו ציוני בחינות, תצפיות בכיתה או נתוני נוכחות, אפשר לשלב גם אותם.

המערכת גם מאפשרת לשותפים שלנו להבין את ההשפעות הקוגניטיביות העמוקות יותר של שימוש בבינה מלאכותית ללמידה לאורך זמן, שכן באמצעותה אנחנו יכולים לעקוב גם אחר ההשפעה על יכולות כמו:

• מוטיבציה אוטונומית: המידה שבה הלומדים מעצבים את הלמידה שלהם בעצמם, לעומת המידה שבה המודל מכוון אותם 

• מעורבות מועילה: התדירות, המגוון והאיכות של אינטראקציות פדגוגיות

• התמדה במשימה: המידה שבה הלומד מתעכב על אתגרים קוגניטיביים וממשיך להתמודד איתם

• מטא־קוגניציה: התדירות והאיכות של מאמצי הלומד לתכנן את דרכי הלמידה שלו, לבחון אותן ולעקוב אחריהן

• זכירה: הדיוק שבו הלומד מסוגל לזכור תוכן מאינטראקציות קודמות

הגישה הזאת משקפת את המאמץ הכולל שלנו לא להסתפק בהגדרות צרות של תוצאות למידה, כמו עלייה בציוני מבחנים, אלא להתמקד במכלול היכולות שבבסיס הלמידה. היא גם משקפת את אמונתנו שאין פתרון קסם לקביעה מה חשוב לשפר: מערכות חינוך ואנשי חינוך יצטרכו לקבל כלים וסמכות להכריע בין יעדים מתחרים, בהתאם לגישות ולפרקטיקות פדגוגיות מיטביות.

לאן ממשיכים מכאן

אנחנו מתקפים את ערכת הכלים למדידת תוצאות למידה באמצעות מחקרים רחבי היקף, לפני שנעמיד אותה לשימוש נרחב. העבודה הזאת מתבצעת כעת עם אוניברסיטת טרטו ויוזמת SCALE של סטנפורד, במסגרת שותפויות בקנה מידה לאומי, כמו באסטוניה. שם נבחנת ערכת המדידה בקרב קרוב ל־20,000 תלמידים בני 16–18 לאורך כמה חודשים. השימוש של התלמידים יתקיים בשיתוף פעולה הדוק עם ההנהגה המקומית, כדי להבטיח בטיחות והתאמה לתוכניות הלימודים המקומיות.

העבודה הזאת נשענת על מכלול רחב יותר של מחקרים משותפים המתבצעים כעת. נוסף על מחקר תוצאות הלמידה הנערך באמצעות השותפים המייסדים במעבדת הלמידה, OpenAI תומכת במחקרים בנקודת המפגש בין למידה לעבודה. מחקרים אלה בוחנים איך בינה מלאכותית מעצבת את מסלולי הלימוד של סטודנטים, את החלטות הקריירה שלהם ואת הדרכים שבהן מוסדות יכולים לתמוך באימוץ אחראי שלה. המחקרים האלה נערכים באוניברסיטת בוקוני, ברשת בתי הספר אינובה ובבית הספר למנהל עסקים טאק בדארטמות', באוניברסיטת המדינה של סן דייגו, באוניברסיטת סטוני ברוק ובמוסדות נוספים.

ככל שנערוך מחקרים ארוכי טווח יותר על הדרכים שבהן תלמידים לומדים באופן המיטבי בעזרת בינה מלאכותית, בכוונתנו לשתף ממצאים ולעבוד עם כלל הגורמים בתחום החינוך, כדי להבטיח שבינה מלאכותית תועיל ללומדים בכל מקום.

לקבלת עדכונים על העבודה הזאת, אפשר להירשם כאן⁠.