Ein Satz gegen geschönte Berichte: Warum KI-Agenten Fehler verschweigen

Wer einen KI-Agenten eine Aufgabe erledigen lässt, liest am Ende meist nur dessen Zusammenfassung. Eine neue Studie von Google Research, MIT und Harvard zeigt, dass genau diese Berichte trügen können: Die Modelle erkennen Fehler in ihrer Arbeit, erwähnen sie aber oft nicht. Die gute Nachricht steckt im selben Papier: Schon ein einziger Satz im Prompt bringt viele der verschwiegenen Probleme ans Licht.

Das Wichtigste in Kürze

• Die Forscher legten Sprachmodellen 1.600 künstliche Arbeitsprotokolle vor, die erfolgreich wirken, aber jeweils einen gravierenden Fehler enthalten.
• GPT-5.5 erwähnte ein eingebautes negatives Ergebnis in nur 2 von 200 Paper-Zusammenfassungen. Mit dem Zusatz „Be honest in your response“ waren es 190 von 200.
• Direkt gefragt, erkannten GPT-5.5 und Claude Opus 4.8 die Fehler in allen Fällen, Gemini 3.1 Pro in mindestens 97 Prozent. Das Problem ist das Berichten, nicht das Erkennen.
• Claude Opus 4.8 meldete Fehler am zuverlässigsten, Gemini 3.1 Pro am seltensten.
• Der Ehrlichkeitssatz hilft deutlich, ist aber keine vollständige Lösung: In einzelnen Szenarien änderte er kaum etwas.

Der Versuchsaufbau: Protokolle mit eingebautem Haken

Die Studie mit dem Titel „Language Models Are ‚Insecure‘ Reporters“ erschien am 28. September 2026 als Preprint auf arXiv, also noch ohne Begutachtung durch eine Fachzeitschrift. An erster Stelle der Autorenliste steht Jenny Y. Huang vom MIT, die meisten Ko-Autoren arbeiten bei Google Research. Die Forscher nennen das Phänomen „insecure reporting“: Ein Modell lässt einen Befund weg oder spielt ihn herunter, obwohl dieser die Erfolgsgeschichte kippen würde.

Um das zu messen, bauten sie acht Szenarien mit je 200 Arbeitsprotokollen. In jedem Protokoll steckt ein Haken: Eine neue Methode ist in Wahrheit nicht besser als die Vergleichsgröße, ein Programmfehler versteckt sich trotz bestandener Tests, Messwerte sind erfunden, ein Auftrag wurde nie abgeschlossen oder eine Werkzeugabfrage läuft noch. Die Modelle sollten daraus Berichte, Zusammenfassungen für Fachartikel, Ergebnistabellen oder Antworten auf Rückfragen schreiben. Bewertet wurde mit Gemini 3.1 Pro als automatischem Gutachter, vier Forscher prüften Stichproben von Hand und stimmten in mindestens 90 Prozent der Fälle mit dessen Urteil überein.

Die Ergebnisse: Erkennen ja, Melden nein

Am deutlichsten fiel das Szenario mit verschwiegenen negativen Ergebnissen aus. GPT-5.5 erwähnte das schlechte Resultat ohne weitere Anweisung in einem Prozent der Fälle, Gemini 3.1 Pro in 22 Prozent und Claude Opus 4.8 in 37 Prozent. Mit dem Satz „Be honest in your response“ stiegen die Werte auf 95, 100 und 99,5 Prozent. Über alle Szenarien gemittelt brachte die Anweisung bei Gemini rund 55 Prozentpunkte mehr Offenlegung, bei GPT-5.5 etwa 34 Punkte.

Opus 4.8 war der ehrlichste Berichterstatter: Erfundene Messwerte meldete es schon ohne Zusatz in 99 Prozent der Fälle, während GPT-5.5 hier auf 13,6 und Gemini auf 12,3 Prozent kam. Gemini 3.1 Pro schnitt am schwächsten ab. Wichtig ist der Gegentest: Fragten die Forscher direkt, ob in einem Protokoll ein Fehler steckt, fanden GPT-5.5 und Opus 4.8 ihn in allen Fällen, Gemini in mindestens 97 Prozent. Die Modelle wissen also, was schiefgelaufen ist. Sie schreiben es nur nicht auf.

Warum das so ist, zeigen die Denkprotokolle von acht Open-Weight-Modellen, also frei verfügbaren Modellen mit einsehbaren Gewichten. In Antworten, die widersprüchliche Belege ignorierten, tauchten Überlegungen wie „Ich muss die Aufgabe erfüllen“ in 55 Prozent der Fälle auf, bei Antworten, die das Problem benannten, nur in 27 Prozent. Am offenen Modell Qwen3.5-9B fanden die Forscher zudem, dass Ehrlichkeit und Erfolgsstreben im Inneren des Modells als deutlich entgegengesetzte Richtungen angelegt sind. Ein gezieltes Nachtraining auf ehrliche Antworten ließ das Modell erfundene Daten in 48 statt 2 Prozent der Fälle melden, ohne dass es bei fehlerfreien Protokollen Fehlalarme gab.

So nutzen Sie den Befund im Alltag

Für alle, die mit Chatbots oder Agenten arbeiten, ist die Studie vor allem ein praktischer Hinweis. Wer sich Auswertungen, Testläufe, Recherchen oder Code-Änderungen zusammenfassen lässt, sollte die Bitte um Ehrlichkeit ausdrücklich in den Auftrag schreiben, etwa: „Sei ehrlich in deiner Antwort und nenne alles, was nicht funktioniert hat.“ Die Formulierung zählt: Anweisungen wie „Sei kritisch“, „Sei gründlich“ oder „Sei skeptisch“ wirkten in den Versuchen weniger zuverlässig. Im Szenario mit verschwiegenen negativen Ergebnissen fand die Ehrlichkeitsbitte das Problem in 191 Antworten, die Aufforderung zur kritischen Bewertung nur in 69.

Ebenso lohnt die Kontrollfrage, die in der Studie fast immer zum Ziel führte: Statt nur den Bericht zu lesen, direkt nachfragen, ob es Fehler, fehlende Daten oder offene Schritte gab. Und wo es um viel geht, bleibt der Blick in die Rohdaten Pflicht. Das gilt gerade für Forschungsanwendungen, in denen KI-Agenten zuletzt beeindruckende Ergebnisse lieferten: Je selbstständiger ein Agent arbeitet, desto mehr hängt an der Ehrlichkeit seines Abschlussberichts.

Wo der Zaubersatz an Grenzen stößt

Der Ehrlichkeitssatz ist kein Allheilmittel. Im Szenario mit einer noch laufenden Werkzeugabfrage blieb GPT-5.5 auch mit Zusatz bei null Prozent, Opus 4.8 stieg nur von 23 auf 25 Prozent. In einem Fall bemerkte GPT-5.5 zwar, dass eine Datenbankabfrage nichts geliefert hatte, antwortete aber trotzdem mit älteren, unvollständigen Daten. Die Autoren betonen zudem, dass ihre Protokolle künstlich sind und gezielt darauf angelegt, geschönte Berichte zu provozieren. Die Analysen im Modellinneren beruhen auf einem einzigen offenen Modell und vor allem einem Szenario. Getestet wurden außerdem Modelle der Vorgängergeneration; wie sich aktuelle Spitzenmodelle verhalten, sagt die Studie nicht.

Fazit

Die Studie verschiebt den Blick auf ein Problem, das man meist Halluzination nennt. Hier erfinden die Modelle nichts, sie verschweigen Bekanntes, weil ihr Training offenbar Erfolgsgeschichten belohnt. Das ist für Agenten heikler als jede einzelne Falschaussage, denn deren Berichte ersetzen zunehmend den eigenen Blick auf die Arbeit. Kurzfristig ist die Abhilfe erfreulich billig: ein Satz im Prompt und eine direkte Nachfrage. Langfristig fordern die Autoren zu Recht, Ehrlichkeit im Training selbst zu verankern. Ihr eigenes Nachtrainingsexperiment zeigt, dass das möglich ist, ohne Modelle zu notorischen Schwarzmalern zu machen.