Подобри одговори, пошироко мислење: придобивки од ChatGPT и обука за критичко мислење

Што се случува кога студентите користат ChatGPT за задача од реалниот свет? Дали подобрувањето на квалитетот оди на штета на оригиналноста?

Нов експеримент на истражувачи од Универзитетот „Бокони“, во соработка со OpenAI Economic Research, откри различни и комплементарни ефекти од пристапот до ChatGPT и обуката за критичко мислење. Пристапот до ChatGPT ги подобри квалитетот и кохерентноста на трудовите на студентите, додека вежбата за причинско расудување — облик на критичко мислење — им помогна да создадат поуникатни идеи. Кај студентите што добија и пристап до ChatGPT и обука беа забележани двата ефекта.

Резултатите ја истакнуваат и важноста на сеопфатниот пристап при оценувањето на напредокот на студентите. Бидејќи ВИ им олеснува на студентите да создаваат дотерани одговори, задачите можеби ќе треба да се приспособат за да мерат и други посакувани квалитети, како оригиналноста. 

Во текот на експериментот, повеќе од 1.000 студенти од прва година на Универзитетот „Бокони“ работеа на деловен случај од реалниот свет, подготвувајќи маркетиншки препораки за продавницата со производи на универзитетот.

Студентите беа по случаен избор распоредени според наставниот час во една од четири групи што добија: пристап до ChatGPT (GPT‑4o), обука за причинско расудување, и двете или ниту едно. Причинското расудување е посебен облик на критичко мислење што се однесува на поврзувањето на причината и последицата и на објаснувањето зошто одредено решение може или не може да успее. Обуката што ја добија студентите не беше поврзана со ВИ, туку ги учеше на концептите на причинско расудување преку вежба што опфаќаше игра, примери, прашања и повратни информации. 

Трудовите на студентите ги оценуваа обучени оценувачи според критериуми со скала од пет поени. Одделно, истражувачите користеа автоматизирана анализа на текст за да ги измерат бројот и разновидноста на идеите во секој труд, знаците на причинско расудување и сличноста со трудовите на тројца експерти. 

Студентите што имаа пристап до ChatGPT постигнаа речиси цел поен повеќе на скалата од пет поени. Нивните одговори содржеа повеќе идеи, имаа појасна логика и беа послични на препораките напишани од експерти. Со други зборови, ВИ им помогна на почетниците да создадат трудови што изгледаа попрофесионално. Важно е што студентите не му ги препуштаа задачите едноставно на ChatGPT. Тие сепак мораа да одлучат што да прашаат, да ги оценат одговорите и да изберат што ќе вклучат во конечниот труд. 

Вежбата за критичко мислење даде понеочекуван резултат. Студентите што ја завршија вежбата појасно објаснуваа зошто нивните идеи би можеле да успеат и кога би можеле да потфрлат, но не добија повисоки оценки според критериумите, кои мереа само колку добро препораките одговараат на две стандардни маркетиншки цели: зголемување на препознатливоста и користењето на универзитетската продавница.

Анализата на текстот откри уште една придобивка што критериумите не ја опфатија. Во целата група, студентите што ја завршија вежбата создадоа поширок спектар на идеи, кои беа поразлични во споредба со идеите на нивните колеги. Ова е важно бидејќи традиционалните критериуми, какви што се користеа за оценување на студентите во експериментот, можат да наградат јасен и добро структуриран одговор, а да не забележат дека студентот дошол до идеја што никој друг ја немал.

Образовната дебата лесно може да се сведе на избор меѓу тоа дали студентите треба да научат самостојно да размислуваат или да научат да користат ВИ.

Овој експеримент покажува дека и двете се вредни, секое на свој начин. Пристапот до ВИ им помогна на студентите да создадат подотерани одговори, побогати со идеи и со поголема логичка кохерентност. Обуката за критичко мислење ги поттикна да развијат поширок спектар на оригинални идеи, да ги преиспитуваат претпоставките и да објаснат зошто нивните идеи би требало да успеат.

Заедно, тие се надополнуваат. 

Кај студентите што добија и пристап до ChatGPT и вежба за критичко мислење се забележаа придобивките од двете. Разновидноста на нивните идеи беше еднаква на онаа кај студентите што ја завршија само вежбата. Нивните оценки според критериумите и бројот на идеи беа слични на оние кај студентите што имаа само пристап до ChatGPT. Нивните трудови покажаа и посилна логичка кохерентност, како и повеќе докази за барање објаснувања и преиспитување на претпоставките. Севкупно, оваа група покажа напредок според најширок спектар на мерки. 

Рандомизираниот дизајн на експериментот им овозможи на истражувачите подетално да ги проучат овие различни фактори и да ги одвојат ефектите од пристапот до ChatGPT и вежбата за критичко мислење од ефектот на нивната комбинација. Поради тоа, експериментот е особено корисен придонес кон сè поголемиот број истражувања за влијанието на ВИ врз студентите и за најдобрите начини на организирање и поддржување на нивното учење. 

Разликата меѓу влијанието на вежбата врз студентите и она што го опфатија традиционалните критериуми укажува на поширок предизвик со кој се соочуваат училиштата. 

Ако ВИ може да им помогне на студентите да создадат дотерани трудови на експертско ниво, тогаш само конечниот одговор ни кажува помалку за тоа што студентот навистина разбира. 

Многу наставници веќе се соочуваат со фактот дека задачите и оценувањето можеби ќе треба да се променат. Ова е продолжение на повеќедеценискиот развој на технологијата и образованието во меѓусебна спрега, со цел да се поддржат вештините што им се потребни на студентите во современото општество.

Овие резултати ја истакнуваат важноста студентите да се наградуваат за трудови што одразуваат оригиналност, расудување и разгледување повеќе пристапи, а не само за најконвенционалните или најдотераните одговори. 

Главниот заклучок: ВИ им помогна на студентите да ги подобрат своите одговори. Обуката за критичко мислење им помогна да развијат поширок спектар на идеи. Тие имаат комплементарни улоги во подготовката на студентите за иднината.