Meilleures réponses, pensée élargie : les apports de ChatGPT et de la pensée critique

Que se passe-t-il lorsque des étudiants utilisent ChatGPT pour un travail concret? L’amélioration de la qualité se fait-elle au détriment de l’originalité?

Une nouvelle expérience menée par des chercheurs de l’Université Bocconi, en collaboration avec OpenAI Economic Research, a révélé que l’accès à ChatGPT et la formation à la pensée critique produisent des effets distincts et complémentaires. L’accès à ChatGPT a amélioré la qualité et la cohérence des travaux des étudiants, tandis qu’un exercice de raisonnement causal — une forme de pensée critique — les a amenés à générer davantage d’idées uniques. Les étudiants qui ont eu accès à ChatGPT et suivi la formation ont bénéficié des deux effets.

Les résultats soulignent également l’importance d’une approche globale pour évaluer les progrès des étudiants. Comme l’IA permet aux étudiants de produire plus facilement des réponses soignées, les travaux devront peut-être être adaptés pour mesurer d’autres qualités recherchées, comme l’originalité. 

Durant l’expérience, plus de 1 000 étudiants de première année de premier cycle à l’Université Bocconi ont travaillé sur un cas d’affaires concret visant à élaborer des recommandations marketing pour la boutique de produits dérivés de l’université.

Les étudiants ont été répartis aléatoirement par période de cours entre quatre groupes bénéficiant de l’accès à ChatGPT (GPT‑4o), d’une formation au raisonnement causal, des deux ou d’aucun des deux. Le raisonnement causal est une forme précise de pensée critique qui consiste à établir des liens de cause à effet et à expliquer pourquoi une solution donnée pourrait fonctionner ou non. La formation reçue par les étudiants n’avait aucun lien avec l’IA. Elle leur enseignait plutôt les concepts du raisonnement causal au moyen d’un exercice comprenant un jeu, des exemples, des questions et de la rétroaction. 

Les travaux des étudiants ont été évalués par des correcteurs formés à l’aide d’une grille à cinq points. Séparément, les chercheurs ont utilisé une analyse textuelle automatisée pour mesurer le nombre et la variété des idées de chaque travail, les signes de raisonnement causal et la similitude avec les travaux de trois experts. 

Les étudiants ayant accès à ChatGPT ont obtenu près d’un point de plus sur l’échelle de cinq points. Leurs réponses contenaient plus d’idées, suivaient une logique plus claire et ressemblaient davantage aux recommandations rédigées par des experts. Autrement dit, l’IA a aidé des novices à produire des travaux d’apparence plus professionnelle. Fait important, les étudiants ne se contentaient pas de confier leurs travaux à ChatGPT. Ils devaient tout de même décider quoi demander, évaluer les réponses et choisir les éléments à intégrer à leur travail final. 

L’exercice de pensée critique a produit un résultat plus inattendu. Les étudiants qui ont fait l’exercice ont expliqué plus clairement pourquoi leurs idées pourraient fonctionner et dans quelles circonstances elles pourraient échouer, mais ils n’ont pas obtenu de meilleurs résultats selon la grille d’évaluation. Celle-ci mesurait seulement dans quelle mesure les recommandations répondaient à deux objectifs marketing courants : accroître la notoriété et la fréquentation de la boutique universitaire.

L’analyse textuelle a révélé un autre avantage que la grille n’avait pas relevé. Dans l’ensemble du groupe, les étudiants qui ont fait l’exercice ont produit un éventail plus large d’idées, lesquelles se distinguaient davantage de celles de leurs pairs. C’est important, car une grille traditionnelle comme celle utilisée pour évaluer les étudiants dans cette expérience peut récompenser une réponse claire et bien structurée sans tenir compte du fait qu’un étudiant a proposé une idée que personne d’autre n’a eue.

Il peut être tentant de présenter le débat sur l’éducation comme un choix entre apprendre aux étudiants à réfléchir par eux-mêmes et leur apprendre à utiliser l’IA.

Cette expérience montre que les deux sont utiles, de façons différentes. L’accès à l’IA a aidé les étudiants à produire des réponses plus soignées, plus riches en idées et plus cohérentes sur le plan logique. La formation à la pensée critique les a encouragés à développer un éventail plus large d’idées originales, à remettre en question les présupposés et à expliquer pourquoi leurs idées devraient fonctionner.

Ensemble, elles sont complémentaires. 

Les étudiants ayant eu accès à ChatGPT et fait l’exercice de pensée critique ont bénéficié des avantages de chacun. La variété de leurs idées égalait celle des étudiants ayant seulement fait l’exercice. Leurs résultats selon la grille et leur nombre d’idées étaient semblables à ceux des étudiants ayant uniquement accès à ChatGPT. Leurs travaux présentaient également une plus grande cohérence logique et davantage de signes de recherche d’explications et de remise en question des présupposés. Dans l’ensemble, ce groupe a progressé selon le plus grand éventail de mesures. 

La conception randomisée de l’expérience a permis aux chercheurs d’étudier ces différents facteurs en séparant les effets de l’accès à ChatGPT et de l’exercice de pensée critique de ceux produits par leur combinaison. Cette expérience contribue donc de façon particulièrement utile aux recherches en plein essor sur les effets de l’IA sur les étudiants et sur les meilleures façons de structurer et de soutenir leur apprentissage. 

L’écart entre les effets de l’exercice sur les étudiants et ce que la grille traditionnelle a mesuré révèle un défi plus vaste pour les établissements scolaires. 

Si l’IA peut aider les étudiants à produire des travaux soignés, comparables à ceux d’experts, examiner uniquement la réponse finale nous en dit moins sur ce qu’ils comprennent réellement. 

De nombreux membres du personnel enseignant se demandent déjà comment adapter les travaux et les évaluations. Cette évolution s’inscrit dans une tendance de plusieurs décennies où la technologie et l’éducation évoluent de concert afin de favoriser les compétences dont les étudiants ont besoin dans la société moderne.

Ces résultats soulignent l’importance de récompenser les étudiants qui produisent des travaux reflétant l’originalité, le raisonnement et la prise en compte de multiples approches, plutôt que seulement les réponses les plus conventionnelles ou soignées. 

À retenir : l’IA a aidé les étudiants à améliorer leurs réponses. La formation à la pensée critique les a aidés à élargir leurs idées. Les deux jouent des rôles complémentaires pour préparer les étudiants à l’avenir.