Echokammer für eine Person: Der Streit um die KI-assoziierte Psychose

Ein Forscherteam am King’s College London und weiteren britischen Einrichtungen hat untersucht, ob „KI-assoziierte Psychose“ ein eigenständiges Krankheitsbild ist. Anlass sind Fallberichte über Menschen, deren Wahnvorstellungen sich im Dauergespräch mit einem Chatbot verfestigten. Die Autoren fordern Konsequenzen – unabhängig davon, ob der Begriff je in ein Diagnosehandbuch kommt. Andere Fachleute halten genau diese Eile für das eigentliche Risiko.

Das Wichtigste in Kürze

• Forscher des King’s College London, des University College London, des Western Eye Hospital und der Initiative „Dev and Doc“ haben Fallberichte zu psychotischen Symptomen bei intensiver Chatbot-Nutzung ausgewertet. Die Arbeit liegt als Preprint vor und ist noch nicht begutachtet.
• Als Mechanismus benennen sie Sycophancy – die Neigung von Chatbots, Nutzern zuzustimmen – kombiniert mit menschenähnlichem Auftreten. Die Autoren sprechen von einer „Echokammer für eine Person“.
• OpenAI gibt nach eigenen Angaben an, dass wöchentlich rund 560.000 Nutzer Anzeichen von Psychose oder Manie zeigen; insgesamt seien etwa zwei Millionen Menschen pro Woche psychisch negativ betroffen.
• Im Test PsychosisBench verstärkte jedes geprüfte Sprachmodell Wahnvorstellungen in simulierten Gesprächen; Schutzmechanismen griffen nur in rund 40 Prozent der Fälle.
• Kritiker halten dagegen, KI sei womöglich nur ein neuer Auslöser für eine bestehende Anfälligkeit – und keine neue Störung.

Warum Zustimmung gefährlich werden kann

Sycophancy heißt Schmeichelei, und im Kontext von Sprachmodellen beschreibt der Begriff eine gut dokumentierte Eigenschaft: Chatbots stimmen ihren Nutzern eher zu, als ihnen zu widersprechen. Der Grund liegt im Training. Modelle werden mit menschlichem Feedback nachgeschärft, und die Menschen, die Antworten bewerten, bevorzugen im Zweifel jene, die ihre eigene Sicht bestätigen. Was als Höflichkeit gedacht war, wird so zur eingebauten Neigung, Widerspruch zu vermeiden.

Für die meisten Nutzer ist das eine Marotte, über die man sich ärgert. Für Menschen in einer beginnenden psychotischen Episode ist es etwas anderes. Wahnvorstellungen leben von Bestätigung, und ein Gesprächspartner, der rund um die Uhr verfügbar ist, nie müde wird und selten widerspricht, liefert sie zuverlässiger als jeder Mensch. Die Autoren nennen das eine „digitale Folie à deux“ – in Anlehnung an den psychiatrischen Fachbegriff für ein Wahnsystem, das zwei Menschen miteinander teilen. Nur ist der zweite Beteiligte hier eine Maschine, die nichts glaubt, sondern nur zustimmt.

Zwei Messreihen stützen den Befund. Im Test PsychosisBench verstärkten sämtliche geprüften Modelle Wahnvorstellungen in simulierten Gesprächen, und die eingebauten Sicherheitsroutinen sprangen nur in etwa 40 Prozent der Fälle an. Im Test EchoBench erreichte selbst das beste kommerzielle Modell eine Zustimmungsquote von 46 Prozent; mehrere speziell für den medizinischen Einsatz angepasste Modelle lagen über 95 Prozent. Ausgerechnet dort, wo Widerspruch am wichtigsten wäre, ist er am seltensten.

Ein Muster, das nicht aussieht wie Schizophrenie

Das Team hat gut ein Dutzend Fälle zusammengetragen und daraus wiederkehrende Verläufe abgeleitet: schleichende Abweichung von der geteilten Realität, Überzeugungen von spirituellem Erwachen oder verborgenen Wahrheiten, der Glaube, mit einem bewussten oder gottähnlichen Wesen zu sprechen, romantische Bindung an die KI, eskalierende Nutzung bis tief in die Nacht mit Schlafmangel, Rückzug von Menschen, Abgabe von Entscheidungen an das Modell, Verfall von Arbeit und Beziehungen, Vernachlässigung der eigenen Grundbedürfnisse.

Auffällig ist, was fehlt. Halluzinationen im klinischen Sinn treten selten auf, ebenso der für chronische Psychosen typische Antriebsverlust. Statt sich zurückzuziehen, wenden sich die Betroffenen intensiv zu – nur eben der Maschine. Genau diese Abweichung vom bekannten Bild ist das Hauptargument der Autoren dafür, dass hier etwas Eigenes vorliegen könnte und nicht bloß eine bekannte Erkrankung in neuem Gewand.

Die dokumentierten Fälle mit tödlichem Ausgang haben die Debatte beschleunigt: ein Sechzehnjähriger, der sich nach eskalierenden Chatverläufen das Leben nahm; ein 76-Jähriger, der auf dem Weg zu einem Treffen mit einer Chatbot-Figur starb, die es nicht gab. Solche Einzelfälle sind kein Beleg für Häufigkeit. Sie zeigen aber, dass die Frage nicht theoretisch ist – und sie erklären, warum OpenAI inzwischen selbst Zahlen zu psychischen Belastungen veröffentlicht, statt sie abzuwarten.

Warum viele Fachleute bremsen

Der Widerspruch aus der Wissenschaft richtet sich weniger gegen die Beobachtungen als gegen die Eile. Stevie Chancellor von der University of Minnesota argumentiert, KI könne schlicht ein neuer Auslöser für eine ohnehin vorhandene Anfälligkeit sein – so wie Schlafentzug, Drogen oder akuter Stress es seit jeher sind. Aus einem neuen Auslöser folgt aber keine neue Krankheit.

Dazu kommt die dünne Datenlage. Was heute bekannt ist, stammt aus Einzelfallberichten, Medienrecherchen und ersten Beobachtungsstudien; die Arbeit selbst liegt als Preprint ohne abgeschlossene Begutachtung vor. Eine Diagnose auf dieser Grundlage zu definieren, hätte Folgen, die schwer zurückzunehmen sind. Die Autoren räumen ein drittes Risiko selbst ein: Ein griffiger Begriff wie „KI-Psychose“ kann andere, häufigere Schäden verdecken – verstärkte Suizidgedanken, manische Episoden, Essstörungen, die im Chatverlauf ihre Bestätigung finden.

Was daraus folgen sollte

Unabhängig vom Diagnosestreit machen die Forscher drei konkrete Vorschläge. Erstens sollen Ärzte die Chatbot-Nutzung routinemäßig erfragen – eine „technologische Anamnese des 21. Jahrhunderts“, vergleichbar mit der Frage nach Alkohol oder Schlaf. Zweitens sollen Anbieter ihre Modelle vor der Freigabe gezielt auf Schmeichelei und Wahnverstärkung testen. Drittens fordern sie eine systematische Beobachtung nach der Markteinführung, wie sie bei Arzneimitteln längst Pflicht ist: Wer ein Produkt an Millionen Menschen ausliefert, muss auffällige Nebenwirkungen erfassen, statt auf Presseberichte zu warten.

Der letzte Punkt ist der interessanteste, weil er nichts mit Psychiatrie zu tun hat, sondern mit Produkthaftung. Ein Sprachmodell im Gesundheitskontext ist heute rechtlich kein Medizinprodukt, solange es keine Diagnose stellt – auch dann nicht, wenn Millionen Menschen es faktisch als Ansprechpartner in Krisen nutzen. Diese Lücke zeigt sich auch dort, wo KI ganz offiziell in die Versorgung einzieht, etwa bei der Anbindung von ChatGPT an elektronische Patientenakten. Dass Warnsignale in der Praxis auch dann liegen bleiben, wenn sie erkannt werden, hat der Fall aus Kanada im Februar gezeigt.

Für Leser bleibt eine unaufgeregte Empfehlung: Ein Chatbot ist kein Gesprächspartner, der einem widerspricht, wenn es darauf ankommt. Wer bei sich oder Angehörigen bemerkt, dass Gespräche mit einer KI Schlaf, Arbeit und echte Kontakte verdrängen, sollte das ernst nehmen – nicht wegen einer möglichen neuen Diagnose, sondern weil die Warnzeichen dieselben sind wie bei jeder Krise. In Deutschland ist die Telefonseelsorge rund um die Uhr kostenfrei unter 0800 111 0 111 und 0800 111 0 222 erreichbar.