Melhores respostas, pensamento mais amplo: benefícios do ChatGPT e do pensamento crítico

O que acontece quando os alunos usam o ChatGPT numa tarefa do mundo real? As melhorias na qualidade fazem-se à custa da originalidade?

Uma nova experiência conduzida por investigadores da Universidade Bocconi, em colaboração com a OpenAI Economic Research, revelou efeitos distintos e complementares do acesso ao ChatGPT e da formação em pensamento crítico. O acesso ao ChatGPT melhorou a qualidade e a coerência dos trabalhos dos alunos, enquanto um exercício de raciocínio causal — uma forma de pensamento crítico — os levou a gerar ideias mais originais. Os alunos que tiveram acesso ao ChatGPT e receberam a formação demonstraram ambos os efeitos.

Os resultados também realçam a importância de uma abordagem holística na avaliação do progresso dos alunos. À medida que a IA facilita a criação de respostas bem elaboradas pelos alunos, poderá ser necessário adaptar as tarefas para avaliar outras qualidades desejadas, como a originalidade. 

Durante a experiência, mais de 1000 alunos do primeiro ano de licenciatura da Universidade Bocconi trabalharam num caso empresarial real, desenvolvendo recomendações de marketing para a loja de artigos da universidade.

Os alunos foram distribuídos aleatoriamente, por turma, por um de quatro grupos: acesso ao ChatGPT (GPT‑4o), formação em raciocínio causal, ambos ou nenhum. O raciocínio causal é uma forma específica de pensamento crítico que consiste em relacionar causa e efeito e explicar por que motivo uma determinada solução poderá ou não funcionar. A formação recebida pelos alunos não estava relacionada com a IA. Em vez disso, ensinava conceitos de raciocínio causal através de um exercício com um jogo, exemplos, perguntas e feedback. 

Os trabalhos dos alunos foram avaliados por avaliadores humanos com formação, utilizando uma grelha de cinco pontos. Em separado, os investigadores recorreram à análise automática de texto para medir o número e a variedade de ideias de cada trabalho, os indícios de raciocínio causal e a semelhança com os trabalhos de três especialistas. 

Os alunos com acesso ao ChatGPT obtiveram quase mais um ponto na escala de cinco pontos. As suas respostas incluíram mais ideias, seguiram uma lógica mais clara e assemelharam-se mais às recomendações escritas por especialistas. Por outras palavras, a IA ajudou os principiantes a produzir trabalhos com um aspeto mais profissional. Importa salientar que os alunos não se limitavam a entregar as tarefas ao ChatGPT. Continuavam a ter de decidir o que perguntar, avaliar as respostas e escolher o que incluir no trabalho final. 

O exercício de pensamento crítico produziu um resultado mais inesperado. Os alunos que concluíram o exercício explicaram com maior clareza por que poderiam as suas ideias funcionar e em que circunstâncias poderiam falhar, mas não obtiveram pontuações superiores na grelha de avaliação, que apenas media até que ponto as recomendações respondiam a dois objetivos habituais de marketing: aumentar o conhecimento e a utilização da loja da universidade.

A análise de texto revelou outro benefício que a grelha de avaliação não captou. No conjunto do grupo, os alunos que concluíram o exercício produziram uma maior variedade de ideias, que também se distinguiram mais das ideias dos colegas. Isto é importante porque uma grelha tradicional, como a utilizada para avaliar os alunos nesta experiência, pode recompensar uma resposta clara e bem estruturada sem ter em conta se um aluno teve uma ideia que mais ninguém teve.

É tentador apresentar o debate sobre a educação como uma escolha entre ensinar os alunos a pensar por si próprios ou a utilizar a IA.

Esta experiência demonstra que ambos são valiosos de formas diferentes. O acesso à IA ajudou os alunos a produzir respostas mais elaboradas, ricas em ideias e com maior coerência lógica. A formação em pensamento crítico incentivou-os a desenvolver uma maior variedade de ideias originais, a questionar pressupostos e a explicar por que deveriam as suas ideias funcionar.

Em conjunto, complementam-se. 

Os alunos que tiveram acesso ao ChatGPT e realizaram o exercício de pensamento crítico demonstraram os benefícios de ambos. A variedade das suas ideias foi semelhante à dos alunos que realizaram apenas o exercício. As pontuações na grelha e o número de ideias foram semelhantes aos dos alunos que apenas tiveram acesso ao ChatGPT. Os seus trabalhos também revelaram maior coerência lógica e mais indícios de procura de explicações e de questionamento de pressupostos. No geral, este grupo registou melhorias no leque mais amplo de medidas. 

O desenho aleatorizado da experiência permitiu aos investigadores analisar estes diferentes fatores, separando os efeitos do acesso ao ChatGPT e do exercício de pensamento crítico dos efeitos da sua combinação. Isto torna a experiência um contributo particularmente útil para o rápido crescimento da investigação sobre o impacto da IA nos alunos e sobre a melhor forma de estruturar e apoiar a sua aprendizagem. 

A diferença entre o impacto do exercício nos alunos e aquilo que foi captado pela grelha de avaliação tradicional evidencia um desafio mais amplo para as escolas. 

Se a IA pode ajudar os alunos a produzir trabalhos elaborados, semelhantes aos de especialistas, então olhar apenas para a resposta final diz-nos menos sobre aquilo que um aluno realmente compreende. 

Muitos educadores já se confrontam com a possibilidade de ser necessário alterar as tarefas e as avaliações. Isto dá continuidade a um padrão de várias décadas em que a tecnologia e a educação evoluem em conjunto para apoiar as competências de que os alunos necessitam na sociedade moderna.

Estes resultados realçam a importância de recompensar os alunos por produzirem trabalhos que revelem originalidade, raciocínio e consideração de múltiplas abordagens, e não apenas as respostas mais convencionais ou elaboradas. 

Conclusão: a IA ajudou os alunos a melhorar as suas respostas. A formação em pensamento crítico ajudou-os a ampliar a diversidade das suas ideias. Ambos desempenham papéis complementares na preparação dos alunos para o futuro.