ChatGPT hebt Noten, nicht Originalität: Was die Bocconi-Studie zeigt

ChatGPT kann eine Aufgabe besser aussehen lassen. Ob es Menschen auch besser denken lässt, ist die deutlich unbequemere Frage. Eine randomisierte Studie der Bocconi University trennt beides erstaunlich sauber: Zugang zu GPT-4o verbesserte die Bewertung von Studentenarbeiten, ein kurzes Training in kausalem Denken führte dagegen zu vielfältigeren Ideen. Beides zusammen war nicht Gegenspieler, sondern Ergänzung. Für Hochschulen und Arbeitgeber liegt die eigentliche Nachricht deshalb bei ihren Bewertungsmaßstäben.

Das Wichtigste in Kürze

• In der Studie wurden 1.053 Studienanfänger zufällig vier Gruppen zugeteilt: ChatGPT-Zugang, Training in kausalem Denken, beides oder keines von beidem.
• ChatGPT Edu mit GPT-4o erhöhte die Bewertungen bei einer klar definierten Marketingaufgabe deutlich und machte Antworten kohärenter.
• Das Denktraining brachte vor allem unterschiedlichere, mechanismusorientierte Ideen hervor, ohne die Standardbewertung spürbar zu steigern.
• Die Untersuchung misst eine assistierte Aufgabe, nicht langfristiges Lernen oder Prüfungsleistungen ohne KI.

Vier Gruppen, eine eng umrissene Aufgabe

Die Forscher ließen Erstsemester aus Wirtschaft, Management und Finanzwesen Vorschläge für den Merchandise-Shop ihrer Universität entwickeln. Das ist keine Klausur über ein Semester hinweg, sondern eine konkrete Marketingaufgabe mit festen Kriterien. Die 1.053 Teilnehmer wurden nach Kursen in vier Bedingungen aufgeteilt: Einige bekamen Zugriff auf ChatGPT Edu mit GPT-4o, andere absolvierten ein Training im kausalen Denken, eine Gruppe erhielt beides, die Kontrollgruppe keines von beidem.

Gerade dieser Aufbau ist nützlich. Viele Debatten werfen KI-Nutzung und Bildung in einen Topf: Entweder werde alles bequemer, oder alles werde schlechter. Der Versuch prüft stattdessen zwei verschiedene Hilfen getrennt. Kausales Denken bedeutet hier nicht bloß kritische Haltung. Die Studenten lernten, Ursachen und Folgen zu verbinden, Mechanismen zu benennen und zu fragen, warum ein Vorschlag funktionieren oder scheitern könnte. Anschließend wurden die Lösungen von Fachleuten anhand üblicher Marketingmaßstäbe bewertet.

Warum ChatGPT bei der Bewertung gewinnt

Der Zugang zu ChatGPT erhöhte laut Bocconi die Bewertung im Schnitt um rund 0,86 Punkte auf einer Fünf-Punkte-Skala gegenüber einem geschätzten Kontrollwert von 2,09. Die Antworten waren kohärenter, enthielten mehr Ideen und ähnelten eher den Empfehlungen von Experten. Das ist ein bemerkenswertes Ergebnis, aber kein Beweis dafür, dass die Studenten mehr gelernt haben. Gemessen wurde die Qualität einer unterstützten Abgabe unter genau diesen Bedingungen. Es gab keine spätere Prüfung ohne Modell, keinen Langzeittest und keine Aussage darüber, ob Wissen in ein anderes Fach übertragen wurde.

Diese Einschränkung ist wichtiger als sie klingt. Bei einer Aufgabe mit klaren Kriterien kann ein Sprachmodell viel leisten: Es strukturiert Material, schlägt Varianten vor, formuliert verständlich und erkennt Muster in bekannten Lösungsräumen. Wenn die Bewertung genau diese Eigenschaften honoriert, schließt KI einen Teil der Lücke zwischen Anfänger und erfahrener Person. Das ist für Studierende hilfreich und für Unternehmen interessant. Es erklärt aber nicht automatisch, ob jemand ein Problem auch ohne Werkzeug versteht oder in einer neuen Lage beurteilen kann.

Originalität fällt durchs Bewertungsraster

Das Training in kausalem Denken erzeugte ein anderes Profil. Die Ideen wurden unterschiedlicher, bezogen sich stärker auf Ursachen und Mechanismen und ähnelten einander weniger. In der üblichen Bewertung brachte das jedoch keinen vergleichbaren Punktgewinn. Das ist kein Beleg gegen kritisches Denken. Es ist ein Hinweis darauf, dass standardisierte Raster vor allem Antworten belohnen, die gut zu einem vorab definierten Erwartungsraum passen.

Genau darin steckt die übertragbare Lehre. Eine Hochschule, die nur eine sauber ausformulierte Standardantwort bewertet, misst künftig teilweise auch, wie gut jemand ein Modell bedienen kann. Ein Unternehmen, das Bewerbungen, Pitches oder Projektvorschläge strikt nach festgelegten Kriterien sortiert, könnte ähnliche Effekte erleben. Das muss nicht schlecht sein: Viele Aufgaben verlangen zuverlässige, verständliche Lösungen. Wer aber unabhängige Urteile oder ungewohnte Ansätze sucht, muss sie im Verfahren sichtbar wertschätzen. Sonst werden sie durch die Routineantwort verdrängt, auch wenn sie langfristig wertvoller wären.

KI-Zugang und Denken lernen sind keine Alternativen

Die Studie liefert kein Argument, ChatGPT aus dem Seminarraum zu verbannen. Die Gruppe mit beidem zeigte Vorteile aus beiden Bausteinen: Das Modell unterstützte kohärente Logik, während das Training die Aufmerksamkeit für Ursache und Wirkung stärkte. Die sinnvollere Frage lautet daher nicht, ob Hochschulen entweder KI erlauben oder Denken lehren sollen. Sie müssen ihre Lehrformate und Prüfungen so umbauen, dass beide Fähigkeiten sichtbar werden.

Praktisch kann das bedeuten, KI für Recherche, Entwürfe und Vergleichsvarianten zuzulassen, aber Begründungen, Gegenargumente und die Überarbeitung eines fehlerhaften Vorschlags separat zu prüfen. Mündliche Rückfragen, dokumentierte Arbeitsschritte oder Aufgaben mit lokalen Daten sind kein nostalgischer Rückzug zur Prüfung ohne Hilfsmittel. Sie prüfen etwas anderes: ob jemand Entscheidungen erklären und Modellantworten beurteilen kann. Die Studie zeigt zudem nur einen Standort und eine bestimmte Aufgabe. Sie ist als CEPR-Diskussionspapier veröffentlicht, nicht als allgemeines Urteil über alle Studienfächer.

Ausblick: Bewertet werden muss, was erhalten bleiben soll

Sprachmodelle werden die erwartete, ordentlich formulierte Antwort immer billiger machen. Das ist für viele Routineaufgaben ein Gewinn. Doch je besser diese Antworten werden, desto bewusster müssen Schulen und Firmen entscheiden, was sie darüber hinaus brauchen: Fachwissen, saubere Kausallogik, Mut zu einer abweichenden Idee oder die Fähigkeit, eine plausible KI-Antwort zu widerlegen. Die Bocconi-Studie sagt nicht, dass ChatGPT Bildung ersetzt. Sie zeigt, dass ein gutes Ergebnis und eigenständiges Denken unterschiedliche Dinge sein können. Ein sinnvolles Bildungssystem sollte künftig beide trainieren und auch beide erkennen können.