Нови алатки за разбирање на вештачката интелигенција и резултатите од учењето

Образованието е една од најперспективните напредни области на вештачката интелигенција. Со алатки како ChatGPT, персонализираната поддршка за учење може да биде достапна за секој студент, насекаде, во секое време. 

Но образовниот сектор сè уште е во рана фаза во своето разбирање на влијанието на вештачката интелигенција врз резултатите од учењето. Минатата година, нашиот тим започна да ја проучува употребата на алатки како режим за учење⁠ и откри ветувачки подобрувања во перформансите на студентите. Но нашето истражување, исто така, покрена важно прашање: како можеме да процениме како вештачката интелигенција влијае на напредокот на ученикот со текот на времето, а не само на завршен испит?

Ова е поширок предизвик на екосистемот. Досега, повеќето истражувачки методи се фокусираат на тесни сигнали за перформанси – како што се резултатите од тестовите – и немаат способност да проценат како учениците всушност учат со вештачката интелигенција во услови од реалниот свет и како таа употреба ги обликува резултатите со текот на времето. 

За да го решиме овој јаз, го развивме „Пакетот за мерење на резултатите од учењето“, рамка создадена со Универзитетот во Тарту во Естонија и иницијативата SCALE во станфордскиот акцелератор за учење, со цел да се поддржи лонгитудиналното мерење на резултатите од учењето во различни образовни контексти. 

Во тек е обемна валидација преку рандомизирано контролирано испитување, а се планираат и понатамошни истражувања со основачките организации во Learning Lab, екосистемот за истражување на учењето на OpenAI, вклучувајќи истражувачи од државниот Универзитет во Аризона, UCL Knowledge Lab и MIT Media Lab (надоврзувајќи се на претходни заеднички студии⁠).

Денес споделуваме преглед за тоа како функционира пакетот за мерење и зошто е важен. Со текот на времето, имаме намера да објавуваме повеќе истражувања и да го објавиме пакетот за мерење како јавен ресурс за училишта, универзитети и образовни системи ширум светот.

• Денешните истражувачки методи за влијанието на вештачката интелигенција врз учењето покажуваат ветувачки сигнали за перформансите, но не ја доловуваат целосната слика за тоа како вештачката интелигенција влијае на резултатите од учењето со текот на времето.
• „Пакетот за мерење на резултатите од учењето“ за првпат ќе обезбеди стандардна рамка за лонгитудинални студии што им помагаат на наставниците, истражувачите и институциите да разберат како вештачката интелигенција го обликува учењето и резултатите во различни контексти.
• Лабораторијата за учење на OpenAI е нов истражувачки екосистем фокусиран на унапредување на оваа работа. OpenAI ќе ги објави наодите заедно со низа партнери додека полето продолжува да се развива.

Кога студентите користат алатки со вештачка интелигенција за да учат и да се едуцираат, тоа може да значи многу различни работи – од тоа да се обратат на вештачка интелигенција за брзи одговори до тоа да ја користат за да ги решаваат проблемите чекор по чекор со насоки како од тутор. За да ги поттикне корисниците да се вклучат во ChatGPT на начини што поддржуваат подлабоко разбирање и градење вештини, OpenAI го воведе режимот за учење⁠ минатата година.  Зад сцената, режимот за учење е овозможен од прилагодени системски инструкции што ги напишавме во соработка со наставници, научници и експерти за педагогија за да одразат основен сет на однесувања што поддржуваат вистинско учење, а не само одговори – со користење на скелиња, проверки за разбирање и пракса со водич.

За да тестираме дали овој вид педагошки усогласен стил на интеракција со вештачка интелигенција се претвора во подобри резултати од учењето, спроведовме рандомизирана студија со над 300 студенти на факултет кои се подготвуваа за испити по невронаука и микроекономија. Додека анализата сè уште е во тек, раните резултати ни даваат доверба дека педагошки усогласен стил на интеракција со вештачка интелигенција, поттикнат преку функции како режим за учење, може да ги подобри резултатите од учењето. Но ова истражување исто така откри една важна реалност: она што навистина е важно е дали добивките и поврзаните продуктивни однесувања остануваат трајни со текот на времето.

Дизајн на студија

Учесниците беа распределени во една од три групи: контролната група учеше користејќи традиционални онлајн ресурси како Google Search и YouTube, со оневозможени функции за преглед генерирани од ВИ, додека на две дополнителни групи им беше даден пристап до една од две варијанти на режим за учење дизајнирани да ги водат студентите низ процесот на учење на малку различни начини. Основните квизови и анкетите за вклучување беа собрани однапред за да се прилагоди на разликите во претходната изложеност на предмети, навиките за учење, академската самодоверба и запознаеноста со алатките за вештачка интелигенција. Студентите ги завршија сесиите во временски ограничен режим за учење пред секој испит, при што двете варијанти на режимот за учење беа контрабалансирани меѓу испитаниците.

Оваа поставка беше дизајнирана да ги отсликува условите за учење во реалниот свет, наместо строго контролирана лабораториска средина. Учеството не беше поврзано со успехот на испитот и не сите студенти го користеа режимот за учење во иста мера за време на номиналните сесии од 40 минути. Ова ни овозможи да ги измериме и известиме ефектите според намерата за третман (ITT), влијанието од тоа да се обезбеди пристап до алатката под реалистични услови на воведување – со други зборови, причинското влијание од тоа да се понуди режим за учење, признавајќи дека ангажманот може да варира во пракса.

Наоди

Ја измеривме изведбата на секој испит одделно. Во нашата рандомизирана студија, подобрувањата не беа униформни кај испитаниците, а нивоата на ангажираност со режим за учење варираа меѓу учесниците. 

• Невронаука (примарен ITT): Забележавме насочно позитивни разлики за режимот за учење во однос на контролата, но резултатите не се разликуваа од студентите што учат со традиционални онлајн ресурси. Некои проблеми со воведувањето и технички проблеми влијаеја на времето поминато во учење кај студентите што го користат режимот за учење. 
• Микроекономија (примарен ITT): Забележавме значајни подобрувања во резултатите на испитите кај студентите на кои им беше доделен пристап до режим за учење наспроти контролната група без ВИ – приближно 15 % повисок резултат релативно.

Иако ова ја одразува варијацијата во реалниот свет, тоа истакна подлабоко ограничување во начинот на кој обично се мерат исходите од учењето.

Повеќето постоечки пристапи за евалуација се потпираат на фиксни интервенции оценети во кратки временски периоди, користејќи резултати како што се резултатите од тестовите или завршните есеи како примарни сигнали. Овие методи не се дизајнирани да го опфатат основниот механизам преку кој вештачката интелигенција влијае врз учењето во пракса: тековни, персонализирани интеракции што се развиваат заедно со сопствените стратегии, преференции и навики за учење на ученикот. Ниту пак тие откриваат дали подобрувањата во една способност, како што е краткорочното помнење, може да дојдат заедно со компромиси во други, како што се истрајноста, автономната мотивација или креативното решавање на проблеми. Како резултат на тоа, тие ги пропуштаат надолжните когнитивни ефекти што на крајот одредуваат дали вештачката интелигенција значајно го подобрува учењето. 

Бидејќи средините за учење значително се разликуваат низ земјите, наставните програми и институционалните цели, резултатите од еднократни студии ретко се генерализираат низ системите. Затоа, пристапите за мерење мора да бидат доволно флексибилни за различните образовни системи да дефинираат како изгледа успехот во нивниот контекст, да ја оценуваат вештачката интелигенција според сопствените стандарди и соодветно да итератираат.

Градење подобар систем за мерење 

Врз основа на сознанијата од истражувањето на OpenAI за режимот за учење, градиме структуриран систем за мерење за да го измериме влијанието на вештачката интелигенција врз учениците на големо ниво и да создадеме механизам за подобрување на моделите врз основа на тие резултати. Тоа се заснова на три сигнали – како се однесува моделот, како реагираат учениците и какви мерливи когнитивни исходи се постигнуваат со текот на времето. Вклучува: 

• Системски инструкции за прецизирање на однесувањето на моделот: употреба на природен јазик за промена на стандардното однесување на моделот за да биде подобро усогласено со конкретни педагошки пристапи.
• Класификатори за интеракции при учење: овие автоматски детектираат „моменти на учење“ во рамки на реални, де-идентификувани интеракции ученик–модел и ги означуваат истакнатите карактеристики, како што се ангажираноста и корекцијата на грешки.
• Оценувачи на квалитетот на учењето: овие ги оценуваат и бодуваат секој од тие моменти на учење според тоа дали ученикот ја постигнал својата цел и степенот до кој интеракцијата следела силни педагошки принципи, вклучително и идентификација на начини на неуспех.
• Оценувачи за надолжно учење: овие следат промени во интеракциите на истиот ученик со моделот со текот на времето, вклучувајќи ангажираност, истрајност и метакогнитивни стратегии, на индивидуално и групно ниво.
• Стандардизирани когнитивни и метакогнитивни мерки: ова се валидирани инструменти од трети лица што се испорачуваат преку ChatGPT пред/за време на/по пристапот за да се воспостават основни нивоа и да се измери промената во основните способности како што се критичкото размислување, креативноста и меморијата.

Кога се комбинираат, овој систем за мерење го нарекуваме „Пакет за мерење на исходите од учењето“. 

Тоа создава важни сигнали што образовниот екосистем може да ги користи: структурирани прегледи на моменти на учење, контролни табли што покажуваат како исходите се менуваат со текот на времето низ кохорти, индикатори за перформансите на моделот во однос на рубриките за настава и туторство и мерки на исходи усогласени со стандардизирани оценувања и кратки прашалници за учениците. Каде што е достапно, може да вклучи основна вистина обезбедена од партнерите, како што се резултати од испити, набљудувања во училница или присуство.

Исто така, им овозможува на нашите партнери да ги разберат подлабоките когнитивни влијанија од користењето вештачка интелигенција за учење со текот на времето, бидејќи преку овој систем можеме исто така да го следиме влијанието врз способности како што се:

• Автономна мотивација: степенот до кој учениците ги обликуваат сопствените студии наспроти тоа да бидат насочувани од модел 
• Продуктивен ангажман: зачестеноста, разновидноста и квалитетот на педагошките интеракции
• Истрајност во задачите: степенот до кој ученикот останува и истрајува низ когнитивни предизвици
• Метакогниција: зачестеноста и квалитетот на напорите на ученикот да планира, да размислува и да ги следи своите пристапи кон учењето
• Потсетување: точноста со која ученикот може да се сети на содржината од претходните интеракции

Ова ги одразува нашите севкупни напори да не се фокусираме само на тесни дефиниции на резултатите од учењето (зголемување на резултатите од тестовите), туку на холистичките способности што го поткрепуваат учењето. Тоа, исто така, го одразува нашето верување дека нема да има „сребрен куршум“ во однос на тоа што да се оптимизира: системите и едукаторите ќе треба да бидат оспособени да ги насочуваат компромисите во согласност со педагошките најдобри практики и пристапи.

Каде ќе одиме од тука

Го валидираме „Пакетот за мерење на резултатите од учењето“ преку големи студии пред да го направиме пошироко достапен. Оваа работа е во тек со Универзитетот во Тарту и иницијативата SCALE на Стенфорд со партнери на национално ниво како Естонија, каде што пакетот за мерење се проучува со речиси 20.000 ученици на возраст од 16 до 18 год. во текот на неколку месеци. Користењето од страна на учениците ќе се одвива во тесна соработка со локалните лидери, за да се обезбеди безбедност и усогласеност со локалните наставни програми.

Оваа работа се надоврзува на поширок корпус на колаборативно истражување што е во тек. Покрај истражувањето на резултатите што се спроведува преку основачките партнери во Learning Lab, OpenAI поддржува студии на пресекот на учењето и трудот – испитувајќи како вештачката интелигенција ги обликува академските патеки на студентите, одлуките за кариера и начините на кои институциите можат да поддржат одговорно усвојување. Ова истражување се спроведува во рамките на Bocconi University, Innova Schools и Tuck School of Business vo Dartmut, San Diego State University, Stony Brook University и други.

Додека спроведуваме долгорочни студии за тоа како учениците најдобро учат со вештачка интелигенција, имаме намера да ги споделиме наодите и да работиме со поширокиот образовен екосистем за да се осигуриме дека вештачката интелигенција им користи на учениците насекаде.

Оние што се заинтересирани да добиваат ажурирања за оваа работа можат да се регистрираат тука⁠.