Mejores respuestas, ideas más amplias: beneficios de ChatGPT y del pensamiento crítico

¿Qué sucede cuando los estudiantes usan ChatGPT en una tarea basada en un caso real? ¿Las mejoras en la calidad se logran a costa de la originalidad?

Un nuevo experimento de investigadores de la Universidad Bocconi, en colaboración con OpenAI Economic Research, reveló que el acceso a ChatGPT y la formación en pensamiento crítico producen efectos distintos y complementarios. El acceso a ChatGPT mejoró la calidad y la coherencia del trabajo de los estudiantes, mientras que un ejercicio de razonamiento causal —una forma de pensamiento crítico— los llevó a generar ideas más originales. Los estudiantes que recibieron tanto acceso a ChatGPT como la formación mostraron ambos efectos.

Los resultados también destacan la importancia de adoptar un enfoque integral para evaluar el progreso de los estudiantes. A medida que la IA facilita que los estudiantes produzcan respuestas bien elaboradas, quizá sea necesario adaptar las tareas para medir otras cualidades deseadas, como la originalidad. 

Durante el experimento, más de 1 000 estudiantes universitarios de primer año de la Universidad Bocconi trabajaron en un caso empresarial real para elaborar recomendaciones de marketing destinadas a la tienda de artículos de la universidad.

Los estudiantes fueron asignados al azar, según su horario de clase, a uno de cuatro grupos que recibieron acceso a ChatGPT (GPT‑4o), formación en razonamiento causal, ambos o ninguno. El razonamiento causal es una forma específica de pensamiento crítico que consiste en vincular causas y efectos, y explicar por qué una solución determinada podría funcionar o no. La formación que recibieron los estudiantes no estaba relacionada con la IA, sino que les enseñaba conceptos de razonamiento causal mediante un ejercicio con un juego, ejemplos, preguntas y comentarios. 

Evaluadores capacitados calificaron los trabajos de los estudiantes con una rúbrica de cinco puntos. Por separado, los investigadores usaron un análisis automatizado de texto para medir la cantidad y variedad de ideas de cada trabajo, los indicios de razonamiento causal y su similitud con los trabajos de tres expertos. 

Los estudiantes con acceso a ChatGPT obtuvieron casi un punto más en la escala de cinco puntos. Sus respuestas incluyeron más ideas, siguieron una lógica más clara y se parecieron más a las recomendaciones redactadas por expertos. En otras palabras, la IA ayudó a los principiantes a producir trabajos con una apariencia más profesional. Es importante señalar que los estudiantes no se limitaban a dejar sus tareas en manos de ChatGPT. Aun así, debían decidir qué preguntar, evaluar las respuestas y elegir qué incluir en su entrega final. 

El ejercicio de pensamiento crítico produjo un resultado más inesperado. Los estudiantes que completaron el ejercicio explicaron con mayor claridad por qué sus ideas podrían funcionar y en qué casos podrían fallar, pero no obtuvieron puntuaciones más altas en la rúbrica, que solo medía qué tan bien las recomendaciones abordaban dos objetivos habituales de marketing: aumentar el conocimiento y el uso de la tienda universitaria.

El análisis de texto reveló otro beneficio que la rúbrica no reflejó. En el conjunto del grupo, los estudiantes que completaron el ejercicio generaron una variedad más amplia de ideas que se diferenciaban más de las de sus compañeros. Esto es importante porque una rúbrica tradicional, como la utilizada para calificar a los estudiantes de este experimento, puede premiar una respuesta clara y bien estructurada, pero pasar por alto si un estudiante tuvo una idea que nadie más propuso.

Puede resultar tentador plantear el debate educativo como una elección entre enseñar a los estudiantes a pensar por sí mismos o a usar la IA.

Este experimento destaca que ambas habilidades son valiosas de distintas maneras. El acceso a la IA ayudó a los estudiantes a producir respuestas mejor elaboradas, con más ideas y mayor coherencia lógica. La formación en pensamiento crítico los animó a desarrollar una variedad más amplia de ideas originales, cuestionar supuestos y explicar por qué sus ideas deberían funcionar.

En conjunto, ambas se complementan. 

Los estudiantes que recibieron acceso a ChatGPT y realizaron el ejercicio de pensamiento crítico mostraron los beneficios de cada uno. Su variedad de ideas fue similar a la de los estudiantes que solo completaron el ejercicio. Sus puntuaciones en la rúbrica y su cantidad de ideas fueron similares a las de los estudiantes que solo tuvieron acceso a ChatGPT. Sus trabajos también mostraron una mayor coherencia lógica y más indicios de búsqueda de explicaciones y cuestionamiento de supuestos. En general, este grupo mostró mejoras en la variedad más amplia de mediciones. 

El diseño aleatorizado del experimento permitió a los investigadores profundizar en estos factores y distinguir los efectos del acceso a ChatGPT y del ejercicio de pensamiento crítico de los efectos de combinarlos. Esto convierte al experimento en un aporte especialmente útil para el creciente conjunto de investigaciones sobre el impacto de la IA en los estudiantes y sobre la mejor manera de estructurar y apoyar su aprendizaje. 

La diferencia entre el impacto del ejercicio en los estudiantes y lo que reflejó la rúbrica tradicional apunta a un desafío más amplio para las escuelas. 

Si la IA puede ayudar a los estudiantes a producir trabajos bien elaborados y similares a los de un experto, observar únicamente la respuesta final revela menos sobre lo que realmente comprende cada estudiante. 

Muchos educadores ya están lidiando con la posibilidad de que sea necesario cambiar las tareas y las evaluaciones. Esto forma parte de un patrón de varias décadas en el que la tecnología y la educación han evolucionado juntas para fomentar las habilidades que los estudiantes necesitan en la sociedad moderna.

Estos resultados destacan la importancia de premiar a los estudiantes por producir trabajos que reflejen originalidad, razonamiento y consideración de diversos enfoques, no solo las respuestas más convencionales o mejor elaboradas. 

La conclusión: la IA ayudó a los estudiantes a mejorar sus respuestas. La formación en pensamiento crítico los ayudó a ampliar sus ideas. Ambas desempeñan funciones complementarias en la preparación de los estudiantes para el futuro.