Meilleures réponses, réflexion élargie : apports de ChatGPT et d’une formation à la pensée critique

Que se passe-t-il lorsque des étudiants utilisent ChatGPT pour un travail concret ? L’amélioration de la qualité se fait-elle au détriment de l’originalité ?

Une nouvelle expérience menée par des chercheurs de l’université Bocconi, en collaboration avec OpenAI Economic Research, a révélé que l’accès à ChatGPT et la formation à la pensée critique avaient des effets distincts et complémentaires. L’accès à ChatGPT a amélioré la qualité et la cohérence des travaux des étudiants, tandis qu’un exercice de raisonnement causal — une forme de pensée critique — les a amenés à produire davantage d’idées uniques. Les étudiants ayant bénéficié à la fois de l’accès à ChatGPT et de la formation ont présenté ces deux effets.

Les résultats soulignent également l’importance d’une approche globale pour évaluer les progrès des étudiants. Alors que l’IA permet aux étudiants de produire plus facilement des réponses abouties, les travaux demandés devront peut-être évoluer afin d’évaluer d’autres qualités recherchées, comme l’originalité. 

Au cours de l’expérience, plus de 1 000 étudiants de première année de licence à l’université Bocconi ont travaillé sur un cas d’entreprise réel consistant à élaborer des recommandations marketing pour la boutique de produits dérivés de l’université.

Les étudiants ont été répartis aléatoirement, par créneau de cours, entre quatre groupes bénéficiant de l’accès à ChatGPT (GPT‑4o), d’une formation au raisonnement causal, des deux ou d’aucun des deux. Le raisonnement causal est une forme particulière de pensée critique qui consiste à relier les causes aux effets et à expliquer pourquoi une solution donnée peut fonctionner ou non. La formation reçue par les étudiants n’était pas liée à l’IA : elle leur enseignait plutôt les concepts du raisonnement causal au moyen d’un exercice comprenant un jeu, des exemples, des questions et des commentaires. 

Les travaux des étudiants ont été évalués par des correcteurs formés à l’aide d’une grille à cinq points. Par ailleurs, les chercheurs ont utilisé une analyse textuelle automatisée pour mesurer le nombre et la diversité des idées de chaque travail, les signes de raisonnement causal et leur similitude avec les travaux de trois experts. 

Les étudiants ayant accès à ChatGPT ont obtenu près d’un point de plus sur l’échelle de cinq points. Leurs réponses contenaient davantage d’idées, suivaient une logique plus claire et ressemblaient davantage aux recommandations rédigées par des experts. Autrement dit, l’IA a aidé les novices à produire des travaux d’apparence plus professionnelle. Il est important de noter que les étudiants ne confiaient pas simplement leurs travaux à ChatGPT. Ils devaient toujours décider quoi demander, évaluer les réponses et choisir ce qu’ils intégreraient à leur travail final. 

L’exercice de pensée critique a produit un résultat plus inattendu. Les étudiants ayant réalisé l’exercice ont expliqué plus clairement pourquoi leurs idées pouvaient fonctionner et dans quels cas elles pouvaient échouer, mais n’ont pas obtenu de meilleure note selon la grille d’évaluation, qui mesurait uniquement la capacité des recommandations à répondre à deux objectifs marketing classiques : accroître la notoriété et la fréquentation de la boutique universitaire.

L’analyse textuelle a révélé un autre avantage que la grille n’avait pas permis de saisir. Dans l’ensemble du groupe, les étudiants ayant réalisé l’exercice ont produit un éventail d’idées plus large et plus distinct de celles de leurs camarades. Ce point est important, car une grille traditionnelle, comme celle utilisée pour noter les étudiants dans cette expérience, peut récompenser une réponse claire et bien structurée sans tenir compte du fait qu’un étudiant a trouvé une idée que personne d’autre n’a eue.

Il peut être tentant de présenter le débat sur l’éducation comme un choix entre apprendre aux étudiants à penser par eux-mêmes et leur apprendre à utiliser l’IA.

Cette expérience montre que les deux sont utiles, de manière différente. L’accès à l’IA a aidé les étudiants à produire des réponses plus abouties, plus riches en idées et plus cohérentes sur le plan logique. La formation à la pensée critique les a encouragés à élaborer un éventail plus large d’idées originales, à remettre en question les présupposés et à expliquer pourquoi leurs idées devraient fonctionner.

Ensemble, les deux approches sont complémentaires. 

Les étudiants ayant bénéficié à la fois de l’accès à ChatGPT et de l’exercice de pensée critique ont tiré profit de chacun. La diversité de leurs idées égalait celle des étudiants ayant uniquement réalisé l’exercice. Leurs notes selon la grille et leur nombre d’idées étaient comparables à ceux des étudiants ayant uniquement accès à ChatGPT. Leurs travaux présentaient également une plus grande cohérence logique et davantage de signes de recherche d’explications et de remise en question des présupposés. Dans l’ensemble, ce groupe a progressé sur l’éventail de critères le plus large. 

La conception randomisée de l’expérience a permis aux chercheurs d’étudier ces différents facteurs en distinguant les effets de l’accès à ChatGPT et de l’exercice de pensée critique de ceux de leur combinaison. Cette expérience contribue donc de manière particulièrement utile à un corpus de recherche en plein essor sur l’incidence de l’IA sur les étudiants et sur la meilleure façon de structurer et d’accompagner leur apprentissage. 

L’écart entre l’effet de l’exercice sur les étudiants et ce que la grille traditionnelle a permis de mesurer révèle un défi plus vaste auquel sont confrontés les établissements scolaires. 

Si l’IA peut aider les étudiants à produire des travaux aboutis, comparables à ceux d’experts, alors la seule réponse finale nous renseigne moins sur ce qu’un étudiant comprend réellement. 

De nombreux enseignants se demandent déjà comment adapter les travaux demandés et les évaluations. Cela s’inscrit dans une évolution conjointe de la technologie et de l’éducation qui se poursuit depuis plusieurs décennies afin de favoriser les compétences dont les étudiants ont besoin dans la société moderne.

Ces résultats soulignent l’importance de récompenser les étudiants qui produisent des travaux témoignant d’originalité, de raisonnement et de la prise en compte de plusieurs approches, plutôt que seulement les réponses les plus conventionnelles ou les plus abouties. 

À retenir : l’IA a aidé les étudiants à améliorer leurs réponses. La formation à la pensée critique les a aidés à élargir leurs idées. Les deux jouent des rôles complémentaires pour préparer les étudiants à l’avenir.