Bessere Antworten, weiter denken: Was Studierende mit ChatGPT und kritischem Denktraining gewinnen

Was geschieht, wenn Studierende ChatGPT für eine praxisnahe Aufgabe nutzen? Gehen Qualitätsverbesserungen zulasten der Originalität?

Ein neues Experiment von Forschenden der Bocconi-Universität in Zusammenarbeit mit OpenAI Economic Research ergab, dass der Zugang zu ChatGPT und ein Training in kritischem Denken unterschiedliche, einander ergänzende Wirkungen hatten. Der Zugang zu ChatGPT verbesserte die Qualität und Kohärenz der studentischen Arbeiten. Eine Übung in kausalem Reasoning, einer Form des kritischen Denkens, führte hingegen zu mehr einzigartigen Ideen. Bei Studierenden, die sowohl Zugang zu ChatGPT als auch das Training erhielten, zeigten sich beide Effekte.

Die Ergebnisse verdeutlichen zudem, wie wichtig ein ganzheitlicher Ansatz bei der Beurteilung studentischer Fortschritte ist. Da KI es Studierenden erleichtert, ausgereifte Antworten zu erstellen, müssen Aufgaben möglicherweise angepasst werden, um andere gewünschte Eigenschaften wie Originalität zu messen. 

Im Experiment bearbeiteten mehr als 1.000 Studierende im ersten Bachelorjahr an der Bocconi-Universität einen realen Geschäftsfall: Sie entwickelten Marketingempfehlungen für den Merchandise-Shop der Universität.

Die Studierenden wurden nach Lehrveranstaltung zufällig einer von vier Gruppen zugeteilt. Sie erhielten Zugang zu ChatGPT (GPT‑4o), ein Training im kausalen Denken, beides oder keines von beidem. Kausales Denken ist eine bestimmte Form des kritischen Denkens. Dabei werden Ursache und Wirkung miteinander verknüpft und es wird erklärt, warum eine bestimmte Lösung funktionieren könnte oder nicht. Das Training hatte nichts mit KI zu tun. Stattdessen vermittelte es Konzepte des kausalen Denkens anhand einer Übung mit einem Spiel, Beispielen, Fragen und Feedback. 

Geschultes Prüfpersonal bewertete die eingereichten Arbeiten der Studierenden anhand eines fünfstufigen Rasters. Unabhängig davon ermittelten die Forschenden mithilfe automatisierter Textanalysen für jede Arbeit die Anzahl und Vielfalt der Ideen, Anzeichen für kausales Denken sowie die Ähnlichkeit mit den Arbeiten von drei Fachleuten. 

Studierende mit Zugang zu ChatGPT erzielten auf der fünfstufigen Skala fast einen ganzen Punkt mehr. Ihre Antworten enthielten mehr Ideen, folgten einer klareren Logik und ähnelten stärker den Empfehlungen von Fachleuten. Mit anderen Worten: KI half Menschen ohne Fachkenntnisse, professioneller wirkende Arbeiten zu erstellen. Wichtig ist, dass die Studierenden ihre Aufgaben nicht einfach vollständig ChatGPT überließen. Sie mussten weiterhin entscheiden, welche Fragen sie stellten, die Antworten bewerten und auswählen, was sie in ihre endgültige Arbeit aufnahmen. 

Die Übung in kritischem Denken führte zu einem unerwarteteren Ergebnis. Studierende, die die Übung absolviert hatten, erklärten deutlicher, warum ihre Ideen funktionieren oder unter welchen Umständen sie scheitern könnten. Im Bewertungsraster erzielten sie jedoch keine höheren Punktzahlen. Es erfasste lediglich, wie gut die Empfehlungen zwei gängige Marketingziele erfüllten: die Bekanntheit und die Nutzung des Universitätsshops zu steigern.

Die Textanalyse zeigte einen weiteren Vorteil, den das Bewertungsraster nicht erfasste. Insgesamt entwickelten Studierende, die die Übung absolviert hatten, ein breiteres Spektrum an Ideen, die sich stärker von denen ihrer Mitstudierenden unterschieden. Das ist relevant, weil ein traditionelles Bewertungsraster wie das, mit dem die Studierenden in diesem Experiment bewertet wurden, zwar klare, gut strukturierte Antworten honorieren kann, aber möglicherweise übersieht, ob jemand eine völlig neue Idee entwickelt hat.

In der Bildungsdebatte liegt es nahe, die Frage als Entweder-oder darzustellen: Sollen Studierende lernen, selbstständig zu denken oder KI zu nutzen?

Dieses Experiment zeigt, dass beides auf unterschiedliche Weise wertvoll ist. Der Zugang zu KI half Studierenden, ausgereiftere, ideenreichere und logisch kohärentere Antworten zu erstellen. Das Training in kritischem Denken regte sie dazu an, ein breiteres Spektrum origineller Ideen zu entwickeln, Annahmen zu hinterfragen und zu erklären, warum ihre Ideen funktionieren sollten.

Beides ergänzt sich. 

Bei Studierenden, die sowohl Zugang zu ChatGPT als auch die Übung in kritischem Denken erhielten, zeigten sich die Vorteile beider Ansätze. Die Vielfalt ihrer Ideen entsprach derjenigen von Studierenden, die nur die Übung absolviert hatten. Ihre Punktzahlen im Bewertungsraster und die Anzahl ihrer Ideen waren mit den Ergebnissen der Studierenden vergleichbar, die nur Zugang zu ChatGPT hatten. Ihre Arbeiten waren zudem logisch kohärenter und zeigten häufiger, dass sie nach Erklärungen suchten und Annahmen hinterfragten. Insgesamt verzeichnete diese Gruppe Verbesserungen bei der größten Bandbreite an Messgrößen. 

Durch die randomisierte Gestaltung des Experiments konnten die Forschenden diese verschiedenen Faktoren genauer untersuchen und die Effekte des Zugangs zu ChatGPT und der Übung in kritischem Denken von denen ihrer Kombination trennen. Damit leistet das Experiment einen besonders wertvollen Beitrag zu einem schnell wachsenden Forschungsfeld: den Auswirkungen von KI auf Studierende und der Frage, wie sich ihr Lernen am besten gestalten und unterstützen lässt. 

Die Diskrepanz zwischen der Wirkung der Übung auf die Studierenden und dem, was das traditionelle Bewertungsraster erfasste, verweist auf eine größere Herausforderung für Bildungseinrichtungen. 

Wenn KI Studierenden helfen kann, ausgereifte Arbeiten auf fachlichem Niveau zu erstellen, sagt allein die endgültige Antwort weniger darüber aus, was jemand tatsächlich verstanden hat. 

Viele Lehrkräfte beschäftigen sich bereits mit der Konsequenz, dass Aufgaben und Bewertungen möglicherweise geändert werden müssen. Dies folgt einem seit Jahrzehnten bestehenden Muster: Technologie und Bildung entwickeln sich gemeinsam weiter, um die Kompetenzen zu fördern, die Studierende in der modernen Gesellschaft benötigen.

Diese Ergebnisse zeigen, wie wichtig es ist, Studierende nicht nur für besonders konventionelle oder ausgefeilte Antworten zu belohnen, sondern für Arbeiten, die Originalität, schlüssiges Denken und die Berücksichtigung verschiedener Ansätze erkennen lassen. 

Das Fazit: KI half Studierenden, ihre Antworten zu verbessern. Das Training in kritischem Denken half ihnen, ein breiteres Spektrum an Ideen zu entwickeln. Beide Ansätze ergänzen sich dabei, Studierende auf die Zukunft vorzubereiten.