KI-Texte erkennen: Warum verräterische Phrasen mit jedem Modell wandern

Wer wissen will, ob ein Text von einer KI stammt, sucht gern nach Lieblingswörtern der Modelle. Eine Studie des Marketingunternehmens Graphite zeigt nun, wie unzuverlässig diese Methode ist: Die Forscher fanden fast 13.000 Wendungen, die KI-Modelle mindestens doppelt so oft verwenden wie Menschen, doch mit jeder neuen Modellversion verschiebt sich die Liste. Für Leser, Lehrkräfte und Redaktionen ist das eine nützliche Erkenntnis, gerade weil sie einfache Erkennungsregeln entwertet.

Das Wichtigste in Kürze

• Graphite verglich rund 10.000 Webartikel aus der Zeit vor ChatGPT mit Fassungen, die neun KI-Modelle zum selben Thema schrieben, und fand 12.877 sogenannte Tells.
• 65 Prozent dieser Merkmale gehören nur zu einer Modellfamilie, und selbst zwischen zwei aufeinanderfolgenden Versionen ist ein Großteil verschieden.
• Claude Opus 5.5 hat den Gedankenstrich fast abgelegt, schreibt aber 116-mal so oft „this matters“ wie ein Mensch.
• Claudes Wortwahl nähert sich laut Studie menschlichem Schreiben an, die von GPT entfernt sich davon.
• Die Autoren raten selbst davon ab, die Urheberschaft eines Textes an einzelnen Wendungen festzumachen.

Wie die Studie arbeitet

Die erste Fassung der Untersuchung erschien am 16. September, eine Aktualisierung mit Claude Opus 5.5 folgte am 1. Oktober. Als menschliche Vergleichsgruppe dienten rund 10.000 Artikel aus dem Webarchiv Common Crawl, alle veröffentlicht vor dem Start von ChatGPT am 30. November 2022. Damit die Modelle nicht einfach abschreiben, ließ das Team jeden Artikel zunächst von GPT-4.1 zusammenfassen. Aus dieser Zusammenfassung schrieben dann neun Modelle von OpenAI, Anthropic und Google einen neuen Text in etwa gleicher Länge, darunter GPT-6 Astra, Claude Opus 5 und Gemini 3.1 Pro.

Als „Tell“, also als verräterisches Merkmal, zählt jedes Wort, jede Wendung und jedes Satzgerüst mit Lücken, das ein Modell mindestens doppelt so häufig verwendet wie die menschlichen Autoren. Daneben maß Graphite Stilmerkmale wie den Gedankenstrich und ließ prüfen, wie gekünstelt die Texte wirken. Diese Bewertung übernahm ein Modell, Claude Opus 5, ohne zu wissen, wer den jeweiligen Text verfasst hatte.

Jedes Modell hat seine eigenen Marotten

Die Ergebnisse lesen sich wie Charakterstudien. Claude Opus 5.5, das Anthropic am 22. September veröffentlicht hat, verwendet das Adjektiv „dependable“ etwa 23-mal so oft wie Menschen. Vor allem aber betont es gern, dass etwas wichtig ist: „this matters“ taucht 116-mal so häufig auf, „why … matters“ 92-mal. Die berüchtigte Konstruktion „Es ist nicht X, es ist Y“ hat das Modell weitgehend abgelegt, schreibt dafür aber 98-mal so oft wie Menschen nach dem Muster „ist mehr als ein …, es …“. Den Gedankenstrich nutzt Opus 5.5 kaum noch: 0,015-mal pro 1.000 Wörter, beim Vorgänger Opus 5 waren es 2,92. Das ist ein Rückgang um 99 Prozent.

OpenAIs GPT-6 Astra hat andere Gewohnheiten. Laut TechCrunch beschreibt es gern „eine weitere Dimension“ eines Themas und relativiert mit „kann bieten“ oder „mag bieten“. Sein stärkstes Merkmal sind korrigierende Formulierungen wie „nicht einfach X“ oder „statt sich auf X zu verlassen“, die mehr als 100-mal so oft vorkommen wie bei Menschen. Den Gedankenstrich setzt Astra nur noch etwa ein Achtel so oft wie menschliche Autoren. Gemini 3.1 Pro hat ihn nahezu abgeschafft, greift dafür zu förmlichen Übergängen: „furthermore“ steht 43-mal so oft im Text wie bei Menschen.

Aufschlussreich ist auch der umgekehrte Blick. Menschen setzen laut Studie mehr als 100-mal so viele Ausrufezeichen wie jedes der drei aktuellen Modelle und streuen deutlich mehr Einschübe in Klammern ein. Auch das Fehlen solcher Eigenheiten kann also ein Hinweis sein.

Die Merkmale wandern, statt zu verschwinden

Der Kernbefund betrifft die Dynamik. Zwischen den jeweils zwei neuesten Versionen einer Modellfamilie sind 55 bis 72 Prozent der Tells nur einer der beiden Versionen eigen. Die bekanntesten Merkmale wie das Wort „delve“ oder formelhafte Schlusssätze werden zwar seltener, bei Claude seit Opus 4 um 53 Prozent. Die Gesamtzahl sinkt aber nur langsam: Opus 4 kam auf 3.746 Tells, Opus 5.5 noch auf 2.548. Bei GPT stieg die Zahl über die untersuchten Versionen sogar um 48 Prozent.

Graphites KI-Chef Greg Druck fasste das gegenüber TechCrunch so zusammen: Die Labore schafften es, die bekanntesten Merkmale zu entfernen, doch es tauchten andere auf, und jede Modellversion habe ihre eigenen. Er vermutet, dass die Hersteller diese Eigenheiten weniger gut steuern können, als man annehmen würde. Eine Zahl stützt eine zweite Beobachtung: Claudes Wortverteilung liegt mit jeder Version näher an menschlichen Texten, die Abweichung sank von Opus 5 zu Opus 5.5 um 19 Prozent. Bei GPT wuchs sie von GPT-5.6 Sol zu Astra um 8 Prozent.

Was das für deutsche Texte bedeutet

Für deutschsprachige Leser gibt es eine wichtige Einschränkung. Sämtliche gemessenen Wendungen sind englisch, und ob sich die Muster ins Deutsche übertragen, hat die Studie nicht untersucht. Wenn deutsche Berichte aus „dependable“ ein „zuverlässig“ machen, ist das eine naheliegende Übersetzung, aber kein Messergebnis. Die Autoren nennen weitere Grenzen: Untersucht wurden nur Webartikel mit einem einzigen festen Prompt, andere Vorgaben würden andere Merkmale hervorbringen. Die menschlichen Vergleichstexte sind zudem fast vier Jahre alt oder älter, sodass ein Teil der vermeintlichen KI-Merkmale schlicht veränderter Sprachgebrauch sein könnte.

Praktisch heißt das: Wer einen Text prüfen will, sollte einzelne Lieblingswörter allenfalls als Anlass zum genaueren Hinsehen nehmen. Ein Mensch kann „Das ist entscheidend“ schreiben, und ein Modell kann es nach dem nächsten Update unterlassen. Belastbarer sind technische Verfahren wie Wasserzeichen, die der Anbieter beim Erzeugen einbettet. Wie weit diese tragen, zeigt das Beispiel textGrain, mit dem OpenAI ChatGPT-Texte in der EU künftig markiert; den passenden Detektor gibt es vorerst allerdings nicht öffentlich. Auch dort gilt: Ein fehlendes Signal beweist nicht, dass ein Mensch schrieb.

Nützlich ist die Liste dagegen für alle, die selbst mit KI-Unterstützung schreiben. Sie zeigt, welche Wendungen beim Überarbeiten auffallen sollten: übertriebene Hinweise auf die eigene Bedeutung, gestelzte Gegenüberstellungen, ein Übermaß an Bewertungsadjektiven. Wer solche Stellen streicht, verbessert den Text, unabhängig davon, ob jemand nach KI sucht.

Ausblick: Stil wird zum Wettbewerbsfeld

Die Anbieter werben inzwischen ausdrücklich mit natürlicherem Schreiben. Anthropic versprach zum Start von Opus 5.5, das Modell kommuniziere natürlicher als seine Vorgänger, OpenAI stellte bei den neuen GPT-6-Varianten weniger seltsame Formulierungen in Aussicht. Graphites Messungen zeigen, dass sich solche Versprechen überprüfen lassen, und dass Fortschritt in einer Disziplin keinen Fortschritt in der anderen garantiert. Für die Frage, wer einen Text geschrieben hat, folgt daraus eine nüchterne Regel: Stilmerkmale helfen beim Verdacht, entscheiden können sie ihn nicht.