Mejores respuestas, ideas más amplias: qué aporta ChatGPT y la formación en pensamiento crítico

¿Qué ocurre cuando los estudiantes usan ChatGPT para una tarea basada en un caso real? ¿Las mejoras de calidad se logran a costa de la originalidad?

Un nuevo experimento de investigadores de la Universidad Bocconi, en colaboración con OpenAI Economic Research, reveló que el acceso a ChatGPT y la formación en pensamiento crítico tienen efectos diferentes y complementarios. El acceso a ChatGPT mejoró la calidad y la coherencia de los trabajos de los estudiantes, mientras que un ejercicio de razonamiento causal —una forma de pensamiento crítico— les permitió generar ideas más originales. Los estudiantes que recibieron tanto acceso a ChatGPT como la formación mostraron ambos efectos.

Los resultados también destacan la importancia de adoptar un enfoque integral al evaluar el progreso de los estudiantes. A medida que la IA facilita que los estudiantes elaboren respuestas bien presentadas, quizá sea necesario adaptar las tareas para medir otras cualidades deseables, como la originalidad. 

Durante el experimento, más de 1 000 estudiantes de primer curso de grado de la Universidad Bocconi trabajaron en un caso empresarial real: elaborar recomendaciones de marketing para la tienda de productos de la universidad.

Los estudiantes se asignaron aleatoriamente, por grupo de clase, a uno de cuatro grupos: acceso a ChatGPT (GPT‑4o), formación en razonamiento causal, ambos o ninguno. El razonamiento causal es una forma específica de pensamiento crítico que consiste en relacionar causas y efectos y explicar por qué una solución determinada puede funcionar o no. La formación que recibieron no estaba relacionada con la IA, sino que enseñaba conceptos de razonamiento causal mediante un ejercicio con un juego, ejemplos, preguntas y comentarios. 

Evaluadores humanos con formación calificaron los trabajos de los estudiantes mediante una rúbrica de cinco puntos. Por separado, los investigadores emplearon análisis automatizados de texto para medir el número y la variedad de ideas de cada trabajo, los indicios de razonamiento causal y su similitud con los trabajos de tres expertos. 

Los estudiantes con acceso a ChatGPT obtuvieron casi un punto más en la escala de cinco puntos. Sus respuestas incluían más ideas, seguían una lógica más clara y se parecían más a las recomendaciones redactadas por expertos. En otras palabras, la IA ayudó a los principiantes a elaborar trabajos con un aspecto más profesional. Es importante señalar que los estudiantes no se limitaban a encargar sus tareas a ChatGPT. Aun así, tenían que decidir qué preguntar, evaluar las respuestas y elegir qué incluir en el trabajo final. 

El ejercicio de pensamiento crítico produjo un resultado más inesperado. Los estudiantes que completaron el ejercicio explicaron con mayor claridad por qué sus ideas podían funcionar y en qué casos podían fallar, pero no obtuvieron mejores puntuaciones en la rúbrica, que solo medía hasta qué punto las recomendaciones respondían a dos objetivos habituales de marketing: aumentar el conocimiento y el uso de la tienda universitaria.

El análisis de texto reveló otra ventaja que la rúbrica no reflejaba. En el conjunto del grupo, los estudiantes que completaron el ejercicio produjeron una gama más amplia de ideas, que además se diferenciaban más de las de sus compañeros. Esto es importante porque una rúbrica tradicional, como la empleada para evaluar a los estudiantes de este experimento, puede premiar una respuesta clara y bien estructurada sin tener en cuenta si alguien ha propuesto una idea que no se le ocurrió a nadie más.

Puede resultar tentador plantear el debate educativo como una elección entre enseñar a los estudiantes a pensar por sí mismos o a utilizar la IA.

Este experimento pone de relieve que ambas opciones son valiosas de maneras diferentes. El acceso a la IA ayudó a los estudiantes a elaborar respuestas mejor presentadas, con más ideas y una mayor coherencia lógica. La formación en pensamiento crítico los animó a desarrollar una gama más amplia de ideas originales, cuestionar supuestos y explicar por qué sus ideas deberían funcionar.

En conjunto, se complementan. 

Los estudiantes que recibieron tanto acceso a ChatGPT como el ejercicio de pensamiento crítico mostraron los beneficios de ambos. La variedad de sus ideas fue similar a la de los estudiantes que solo completaron el ejercicio. Sus puntuaciones en la rúbrica y su número de ideas fueron similares a los de los estudiantes que solo tuvieron acceso a ChatGPT. Sus trabajos también mostraron una mayor coherencia lógica y más indicios de búsqueda de explicaciones y cuestionamiento de supuestos. En general, este grupo mejoró en el abanico más amplio de indicadores. 

El diseño aleatorizado del experimento permitió a los investigadores profundizar en estos distintos factores y separar los efectos del acceso a ChatGPT y del ejercicio de pensamiento crítico de los efectos de combinarlos. Esto convierte el experimento en una aportación especialmente útil al creciente conjunto de investigaciones sobre el impacto de la IA en los estudiantes y sobre la mejor manera de estructurar y apoyar su aprendizaje. 

La diferencia entre el efecto del ejercicio en los estudiantes y lo que reflejó la rúbrica tradicional apunta a un reto más amplio para los centros educativos. 

Si la IA puede ayudar a los estudiantes a elaborar trabajos bien presentados y similares a los de expertos, fijarse solo en la respuesta final aporta menos información sobre lo que realmente entienden. 

Muchos docentes ya afrontan la posibilidad de que sea necesario cambiar las tareas y las evaluaciones. Esto sigue un patrón de varias décadas en el que la tecnología y la educación evolucionan juntas para fomentar las habilidades que los estudiantes necesitan en la sociedad moderna.

Estos resultados destacan la importancia de premiar a los estudiantes por crear trabajos que reflejen originalidad, razonamiento y consideración de múltiples enfoques, y no solo por ofrecer las respuestas más convencionales o mejor presentadas. 

Conclusión: la IA ayudó a los estudiantes a mejorar sus respuestas. La formación en pensamiento crítico los ayudó a ampliar sus ideas. Ambas desempeñan funciones complementarias en la preparación de los estudiantes para el futuro.