По-добри отговори и по-широко мислене с ChatGPT и обучение по критическо мислене

Какво се случва, когато студентите използват ChatGPT за задача от реалния свят? Подобряването на качеството става ли за сметка на оригиналността?

Нов експеримент на изследователи от Университета „Бокони“, проведен съвместно с OpenAI Economic Research, установи различни и взаимно допълващи се ефекти от достъпа до ChatGPT и обучението по критическо мислене. Достъпът до ChatGPT подобри качеството и последователността на работата на студентите, а упражнение по причинно-следствено мислене — форма на критическо мислене — ги насърчи да генерират повече оригинални идеи. При студентите, получили както достъп до ChatGPT, така и обучението, се наблюдаваха и двата ефекта.

Резултатите подчертават и значението на цялостния подход при оценяването на напредъка на студентите. Тъй като ИИ улеснява студентите да създават добре оформени отговори, може да се наложи задачите да бъдат адаптирани така, че да измерват и други желани качества, например оригиналността. 

По време на експеримента над 1000 студенти от първи курс в Университета „Бокони“ работиха по реален бизнес казус, като разработваха маркетингови препоръки за магазина за брандирани стоки на университета.

Студентите бяха разпределени на случаен принцип по учебни групи в една от четири групи: с достъп до ChatGPT (GPT‑4o), с обучение по причинно-следствено мислене, с двете или с нито едно от тях. Причинно-следственото мислене е специфична форма на критическо мислене, свързана с установяването на връзки между причина и следствие и с обясняването защо дадено решение може да проработи или да не проработи. Обучението не беше свързано с AI, а запознаваше студентите с понятия от причинно-следственото мислене чрез упражнение, включващо игра, примери, въпроси и обратна връзка. 

Работите на студентите бяха оценени от обучени проверяващи по петстепенна рубрика. Отделно от това изследователите използваха автоматизиран текстов анализ, за да измерят броя и разнообразието на идеите във всяка работа, признаците на причинно-следствено мислене и сходството с работите на трима експерти. 

Студентите с достъп до ChatGPT получиха почти цяла точка повече по петстепенната скала. Отговорите им съдържаха повече идеи, следваха по-ясна логика и приличаха повече на препоръките, написани от експерти. С други думи, ИИ помогна на начинаещите да създадат работа с по-професионален вид. Важно е да се отбележи, че студентите не просто оставяха ChatGPT да изпълни задачите вместо тях. Те все пак трябваше да решат какво да попитат, да оценят отговорите и да изберат какво да включат в крайния си вариант.. 

Упражнението по критическо мислене доведе до по-неочакван резултат. Студентите, изпълнили упражнението, обясняваха по-ясно защо идеите им биха могли да проработят и кога могат да се провалят, но не получиха по-високи оценки по рубриката. Тя измерваше единствено доколко препоръките отговарят на две стандартни маркетингови цели: повишаване на разпознаваемостта и използването на университетския магазин.

Текстовият анализ разкри друга полза, която рубриката не отчете. Като група студентите, изпълнили упражнението, предложиха по-широк набор от идеи, които се различаваха повече от създадените от техните колеги. Това е важно, защото традиционна рубрика като използваната за оценяване на студентите в този експеримент може да поощри ясен и добре структуриран отговор, но да пренебрегне дали студентът е предложил идея, до която никой друг не е достигнал.

Изкушаващо е дебатът за образованието да се представи като избор между това студентите да се научат да мислят самостоятелно и да се научат да използват ИИ.

Този експеримент показва, че и двете са ценни по различен начин. Достъпът до ИИ помогна на студентите да създават по-добре оформени и логически последователни отговори, съдържащи повече идеи. Обучението по критическо мислене ги насърчи да разработват по-широк набор от оригинални идеи, да поставят допусканията под въпрос и да обясняват защо идеите им би трябвало да проработят.

Заедно те се допълват взаимно. 

При студентите, получили както достъп до ChatGPT, така и упражнението по критическо мислене, се проявиха ползите и от двете. Разнообразието на идеите им беше съпоставимо с това при студентите, изпълнили само упражнението. Оценките им по рубриката и броят на идеите им бяха сходни с тези на студентите, получили само достъп до ChatGPT. Работите им показаха и по-силна логическа последователност, както и повече признаци, че търсят обяснения и поставят допусканията под въпрос. Като цяло тази група показа напредък по най-широк набор от показатели. 

Рандомизираният дизайн на експеримента позволи на изследователите да разгледат задълбочено различните фактори, като отделят ефектите от достъпа до ChatGPT и упражнението по критическо мислене от ефекта на тяхното съчетаване. Това превръща експеримента в особено полезен принос към бързо разрастващия се набор от изследвания за въздействието на ИИ върху студентите и за най-добрите начини да се структурира и подпомага тяхното обучение. 

Разликата между въздействието на упражнението върху студентите и отчетеното от традиционната рубрика сочи към по-широко предизвикателство пред учебните заведения. 

Ако ИИ може да помага на студентите да създават добре оформени работи на експертно ниво, разглеждането само на крайния отговор ни казва по-малко за това какво всъщност разбира студентът. 

Много преподаватели вече обмислят последиците от вероятната необходимост задачите и оценяването да се променят. Това следва продължаващ от десетилетия модел, при който технологиите и образованието се развиват заедно, за да подпомагат уменията, необходими на учащите в съвременното общество.

Тези резултати подчертават колко е важно студентите да бъдат поощрявани за създаването на работи, които показват оригиналност, аргументирано мислене и разглеждане на множество подходи, а не само за най-традиционните или добре оформени отговори. 

Основният извод: ИИ помогна на студентите да подобрят отговорите си. Обучението по критическо мислене им помогна да разширят обхвата на идеите си. Двете имат взаимно допълващи се роли в подготовката на студентите за бъдещето.