Бољи одговори, шире идеје: Шта студенти добијају од ChatGPT‑а и обуке из критичког мишљења

Шта се дешава када студенти користе ChatGPT за задатак из стварног света? Да ли се квалитет побољшава науштрб оригиналности?

Нови експеримент истраживача са Универзитета Бокони, спроведен у сарадњи са тимом OpenAI Economic Research, показао је да приступ алату ChatGPT и обука из критичког мишљења имају различите, али комплементарне ефекте. Приступ алату ChatGPT побољшао је квалитет и кохерентност студентских радова, док је вежба узрочног резоновања — једног облика критичког мишљења — подстакла студенте да осмисле више јединствених идеја. Код студената који су добили и приступ алату ChatGPT и обуку уочена су оба ефекта.

Резултати такође истичу важност свеобухватног приступа процени напретка студената. Пошто вештачка интелигенција студентима олакшава да саставе дотеране одговоре, задатке ће можда бити потребно прилагодити тако да мере и друге пожељне квалитете, попут оригиналности. 

Током експеримента, више од 1.000 студената прве године основних студија на Универзитету Бокони радило је на стварном пословном случају: изради маркетиншких препорука за продавницу универзитетских производа.

Студенти су насумично, по терминима наставе, распоређени у једну од четири групе које су добиле: приступ алату ChatGPT (GPT‑4o), обуку из узрочног резоновања, обоје или ништа од тога. Узрочно резоновање је посебан облик критичког мишљења који подразумева повезивање узрока и последице и објашњавање зашто одређено решење може или не мора да функционише. Обука коју су студенти похађали није била повезана са вештачком интелигенцијом, већ их је кроз вежбу са игром, примерима, питањима и повратним информацијама учила појмовима узрочног резоновања. 

Радове студената оцењивали су обучени људски оцењивачи према критеријумима на скали од пет поена. Засебно су истраживачи аутоматизованом анализом текста мерили број и разноврсност идеја у сваком раду, показатеље узрочног резоновања и сличност са радовима троје стручњака. 

Студенти који су имали приступ алату ChatGPT добили су готово цео поен више на скали од пет поена. Њихови одговори садржали су више идеја, имали су јаснију логику и били сличнији препорукама које су написали стручњаци. Другим речима, вештачка интелигенција помогла је почетницима да направе радове који делују професионалније. Важно је истаћи да студенти нису једноставно препуштали своје задатке алату ChatGPT. И даље су морали да одлуче шта ће питати, процене одговоре и изаберу шта ће уврстити у коначни рад. 

Вежба критичког мишљења донела је неочекиванији резултат. Студенти који су завршили вежбу јасније су објаснили зашто би њихове идеје могле да успеју и када би могле да не успеју, али нису добили више оцене према критеријумима који су мерили само колико добро препоруке остварују два уобичајена маркетиншка циља: повећање препознатљивости и коришћења универзитетске продавнице.

Анализа текста открила је још једну корист коју критеријуми за оцењивање нису обухватили. Посматрано на нивоу целе групе, студенти који су завршили вежбу осмислили су шири распон идеја које су се више разликовале од идеја њихових колега. То је важно јер традиционални критеријуми, попут оних коришћених за оцењивање студената у овом експерименту, могу наградити јасан и добро структуриран одговор, а превидети да ли је студент дошао до идеје коју нико други није имао.

Примамљиво је расправу о образовању представити као избор између тога да ли студенти треба да науче да мисле самостално или да користе вештачку интелигенцију.

Овај експеримент показује да је и једно и друго вредно, али на различите начине. Приступ вештачкој интелигенцији помогао је студентима да саставе дотераније, идејно богатије и логички кохерентније одговоре. Обука из критичког мишљења подстакла их је да развију шири распон оригиналних идеја, преиспитују претпоставке и објасне зашто би њихове идеје требало да функционишу.

Заједно се међусобно допуњују. 

Студенти који су добили и приступ алату ChatGPT и вежбу критичког мишљења остварили су користи од оба приступа. Разноврсност њихових идеја била је једнака оној код студената који су завршили само вежбу. Њихове оцене и број идеја били су слични резултатима студената који су имали само приступ алату ChatGPT. Њихови радови показали су и снажнију логичку кохерентност, као и више доказа о тражењу објашњења и преиспитивању претпоставки. Свеукупно, ова група је напредовала према најширем распону мерила. 

Насумични дизајн експеримента омогућио је истраживачима да детаљно испитају различите факторе и раздвоје ефекте приступа алату ChatGPT и вежбе критичког мишљења од ефекта њиховог комбиновања. Због тога је овај експеримент посебно користан допринос све обимнијим истраживањима о утицају вештачке интелигенције на студенте и најбољим начинима за организовање и подршку њиховом учењу. 

Разлика између утицаја вежбе на студенте и онога што су обухватили традиционални критеријуми за оцењивање указује на шири изазов са којим се школе суочавају. 

Ако вештачка интелигенција може да помогне студентима да направе дотеране радове налик стручним, посматрање само коначног одговора открива нам мање о томе шта студент заиста разуме. 

Многи просветни радници већ разматрају последице могућности да ће задатке и оцењивање морати да промене. То је наставак вишедеценијског обрасца у којем се технологија и образовање развијају заједно како би подржали вештине потребне студентима у савременом друштву.

Ови резултати истичу колико је важно награђивати студенте за радове који одражавају оригиналност, резоновање и разматрање више приступа, а не само за најконвенционалније или најдотераније одговоре. 

Закључак: Вештачка интелигенција помогла је студентима да побољшају одговоре. Обука из критичког мишљења помогла им је да прошире распон идеја. Ова два приступа имају комплементарне улоге у припреми студената за будућност.