더 나은 답안, 더 폭넓은 사고: ChatGPT와 비판적 사고 훈련으로 학생들이 얻는 것

학생들이 실제 과제에 ChatGPT를 활용하면 어떤 일이 일어날까요? 결과물의 품질이 향상되면 독창성은 떨어질까요?

보코니대학교 연구진이 OpenAI Economic Research와 공동으로 진행한 새로운 실험에서 ChatGPT 사용과 비판적 사고 훈련이 서로 다르면서도 상호 보완적인 효과를 내는 것으로 나타났습니다. ChatGPT 사용은 학생들의 결과물의 품질과 논리적 일관성을 높였고, 비판적 사고의 한 형태인 인과 추론 활동은 학생들이 더 독창적인 아이디어를 내는 데 도움이 되었습니다. ChatGPT를 사용하면서 훈련도 받은 학생들에게서는 두 효과가 모두 나타났습니다.

이 결과는 학생의 성장을 평가할 때 종합적인 접근이 중요하다는 점도 보여줍니다. AI 덕분에 학생들이 완성도 높은 답안을 더 쉽게 작성할 수 있게 되면서, 과제도 독창성과 같은 다른 역량을 측정할 수 있도록 바뀌어야 할 수 있습니다. 

실험에는 보코니대학교 학부 1학년생 1,000여 명이 참여해, 대학 기념품 매장을 위한 마케팅 방안을 개발하는 실제 비즈니스 사례 과제를 수행했습니다.

학생들은 수업 시간대별로 무작위 배정되어 ChatGPT(GPT‑4o) 사용, 인과 추론 훈련, 두 가지 모두, 또는 어느 것도 제공받지 않는 네 그룹 중 하나에 속했습니다. 인과 추론은 원인과 결과를 연결하고 특정 해결책이 효과가 있거나 없을 수 있는 이유를 설명하는 비판적 사고의 한 형태입니다. 학생들이 받은 훈련은 AI와 무관했으며, 게임과 사례, 질문, 피드백으로 구성된 활동을 통해 인과 추론의 개념을 익히는 방식이었습니다. 

훈련받은 평가자들이 5점 척도의 평가 기준표를 사용해 학생들의 제출물을 평가했습니다. 이와 별도로 연구진은 자동화된 텍스트 분석을 활용해 각 제출물에 담긴 아이디어의 수와 다양성, 인과 추론의 징후, 전문가 3명의 제출물과의 유사성을 측정했습니다. 

ChatGPT를 사용할 수 있었던 학생들은 5점 척도에서 거의 1점 더 높은 점수를 받았습니다. 이들의 답안에는 더 많은 아이디어가 담겼고 논리가 더 명확했으며, 전문가가 작성한 제안과도 더 유사했습니다. 다시 말해, AI는 초보자가 더 전문적으로 보이는 결과물을 만드는 데 도움을 주었습니다. 중요한 점은 학생들이 과제를 단순히 ChatGPT에 맡기지 않았다는 것입니다. 학생들은 무엇을 질문할지 결정하고, 답변을 평가하며, 최종 제출물에 어떤 내용을 넣을지 직접 선택해야 했습니다. 

비판적 사고 활동에서는 다소 예상 밖의 결과가 나왔습니다. 활동을 완료한 학생들은 자신의 아이디어가 효과를 낼 수 있는 이유와 실패할 수 있는 상황을 더 명확히 설명했습니다. 하지만 대학 매장의 인지도와 이용률 향상이라는 두 가지 표준 마케팅 목표를 제안이 얼마나 잘 충족했는지만 측정한 평가 기준표에서는 더 높은 점수를 받지 못했습니다.

텍스트 분석에서는 평가 기준표가 포착하지 못한 또 다른 이점이 드러났습니다. 활동을 완료한 학생들은 그룹 전체적으로 더 폭넓은 아이디어를 제시했으며, 그 아이디어는 다른 학생들의 것과 비교했을 때 더 뚜렷한 차이를 보였습니다. 이는 이 실험에서 사용한 것과 같은 전통적인 평가 기준표가 명확하고 체계적인 답안에는 높은 점수를 주면서도, 학생이 다른 누구도 생각하지 못한 아이디어를 냈는지는 간과할 수 있기 때문에 중요합니다.

교육에 관한 논의를 학생들이 스스로 생각하는 법을 배워야 하는지, 아니면 AI를 활용하는 법을 배워야 하는지 양자택일의 문제로 보기 쉽습니다.

이 실험은 두 가지 모두 서로 다른 방식으로 가치가 있음을 보여줍니다. AI를 활용한 학생들은 완성도가 높고 아이디어가 풍부하며 논리적으로 더 일관된 답안을 작성했습니다. 비판적 사고 훈련은 학생들이 더 폭넓고 독창적인 아이디어를 발전시키고, 전제에 의문을 제기하며, 아이디어가 효과를 낼 이유를 설명하도록 이끌었습니다.

두 가지는 함께할 때 서로를 보완합니다. 

ChatGPT를 사용하면서 비판적 사고 활동도 수행한 학생들에게서는 각각의 이점이 모두 나타났습니다. 이들이 제시한 아이디어의 다양성은 활동만 완료한 학생들과 비슷했습니다. 평가 점수와 아이디어 수는 ChatGPT만 사용한 학생들과 비슷했습니다. 또한 이들의 결과물은 논리적 일관성이 더 높았고, 설명을 찾고 전제에 의문을 제기한 흔적도 더 많이 나타났습니다. 종합하면 이 그룹은 가장 폭넓은 측정 항목에서 향상을 보였습니다. 

무작위 실험 설계 덕분에 연구진은 ChatGPT 사용과 비판적 사고 활동이 각각 미치는 효과와 두 가지를 결합했을 때의 효과를 구분해 여러 요인을 면밀히 분석할 수 있었습니다. 따라서 이 실험은 AI가 학생들에게 미치는 영향과 이들의 학습을 가장 효과적으로 구성하고 지원하는 방법에 관해 빠르게 축적되는 연구에 특히 유용한 기여를 합니다. 

활동이 학생들에게 미친 영향과 전통적인 평가 기준표가 포착한 결과의 차이는 학교가 직면한 더 큰 과제를 보여줍니다. 

AI의 도움으로 학생들이 완성도 높고 전문가 수준의 결과물을 만들어낼 수 있는 상황에서는, 최종 답안만으로 학생이 실제로 얼마나 이해하고 있는지 판단하기 어렵습니다. 

많은 교육자가 이미 과제와 평가 방식이 바뀌어야 할 수 있다는 문제를 두고 고심하고 있습니다. 이는 현대 사회에서 학생들에게 필요한 역량을 뒷받침하기 위해 기술과 교육이 수십 년간 함께 발전해 온 흐름의 연장선에 있습니다.

이 결과는 가장 전형적이거나 완성도 높은 답안만이 아니라 독창성과 추론, 다양한 접근 방식에 대한 고려가 드러나는 결과물을 만든 학생에게도 보상하는 것이 중요함을 보여줍니다. 

핵심: AI는 학생들이 더 나은 답안을 작성하도록 도왔습니다. 비판적 사고 훈련은 학생들이 더 폭넓은 아이디어를 내도록 도왔습니다. 두 가지는 학생들이 미래를 준비하는 데 서로 보완적인 역할을 합니다.