
Wie nutzen Menschen ChatGPT, Claude und Co. wirklich? Die Antwort, die man bislang bekommt, stammt fast ausschließlich von den Unternehmen selbst, die diese Chatbots verkaufen. Genau das ist das Problem, sagen Forscher der Stanford University: Ohne unabhängige Quelle lässt sich kaum überprüfen, ob die Nutzungsberichte von OpenAI und Anthropic ein vollständiges Bild zeichnen oder vor allem das zeigen, was gut aussieht. Ein neues Projekt namens „AI Observatory“ versucht nun, diese Lücke zu schließen, und liefert dabei Ergebnisse, die den offiziellen Selbstauskünften teils deutlich widersprechen.
Das Wichtigste in Kürze
- Stanford-Forscher um die Doktorandin Anka Reuel kritisieren, dass Entscheidungen über Nutzen und Risiken von KI auf Basis sehr begrenzter, von den Anbietern selbst kuratierter Daten getroffen werden.
- Ihr Projekt „AI Observatory“ hat 24.521 reale Gespräche von 5.000 Nutzern mit 52 verschiedenen KI-Modellen aus den Jahren 2023 bis 2025 unabhängig ausgewertet.
- Nach Anthropics eigener Filtermethode würden 48 Prozent dieser Gespräche aus dem öffentlichen Bericht herausfallen, darunter überdurchschnittlich viele Themen wie Gesundheit, Beziehungen und sexuelle Inhalte.
- OpenAIs eigene Studie vom September 2025 zeigt ebenfalls einen Wandel: Nur noch rund 27 Prozent der ChatGPT-Nachrichten sind arbeitsbezogen, ein Jahr zuvor waren es noch 47 Prozent.
- Forscher fordern, dass KI-Firmen anonymisierte Rohdaten mit unabhängigen Wissenschaftlern teilen, statt nur kuratierte Zusammenfassungen zu veröffentlichen.
Was die großen Anbieter berichten, und was sie auslassen
Sowohl Anthropic als auch OpenAI veröffentlichen regelmäßig Berichte darüber, wofür Menschen ihre Modelle einsetzen. Der Anthropic Economic Index wertet dafür Millionen Konversationen mit Claude aus, konzentriert sich dabei aber, wie die Doktorandin Reuel gegenüber MIT Technology Review erklärt, vor allem auf produktivitätsbezogene Nutzung im Arbeitskontext und blendet private Anwendungen weitgehend aus. OpenAI ging mit einer im September 2025 gemeinsam mit dem Harvard-Ökonomen David Deming vorgelegten Studie einen Schritt weiter und wertete 1,5 Millionen ChatGPT-Konversationen aus, laut eigenen Angaben die bislang größte Untersuchung dieser Art. Das Ergebnis war bemerkenswert: Der Anteil arbeitsbezogener Nachrichten fiel von 47 Prozent im Jahr zuvor auf nur noch rund 27 Prozent im Juni 2025, während private Themen wie das Verfassen von Texten, Informationssuche und praktische Alltagstipps zusammen 78 Prozent aller Interaktionen ausmachten. So aufschlussreich diese Zahlen sind, sie stammen ausschließlich aus unternehmenseigenen Datentöpfen, deren genaue Erhebungs- und Filtermethodik sich von außen nicht vollständig nachvollziehen lässt.
Das Gegenprojekt aus Stanford
Genau hier setzt das „AI Observatory“ an, ein Projekt am Stanford Trustworthy AI Research Lab, das Anka Reuel mitleitet. Statt auf Unternehmensdaten zu warten, hat das Team sieben bestehende, mit Zustimmung der Nutzer erhobene Datensätze zusammengeführt: 24.521 Gespräche mit 85.633 einzelnen Gesprächsschritten, geführt von 5.000 Menschen mit 52 unterschiedlichen Modellen, darunter ChatGPT, Claude, Gemini und Grok, im Zeitraum 2023 bis 2025. Das ist zwar ein deutlich kleinerer Datensatz als die ein bis anderthalb Millionen Gespräche, auf die sich Anthropic und OpenAI in ihren eigenen Berichten stützen, dafür aber einer, den niemand vorab kuratiert hat. Wendet man Anthropics eigene Filterlogik auf diesen unabhängigen Datensatz an, würden rund 48 Prozent der Gespräche aus einem öffentlichen Bericht herausfallen. Besonders auffällig ist, welche Themen dabei überproportional verschwinden: Gespräche über Gesundheit und Beziehungen kommen im vollen Datensatz auf 44,2 Prozent gegenüber 31,2 Prozent im gefilterten, sexuelle Inhalte auf 16,7 Prozent gegenüber 2,4 Prozent, als hasserfüllt eingestufte Äußerungen auf 27,5 Prozent gegenüber 5,66 Prozent. Genau jene Bereiche also, in denen Nutzer besonders persönlich, verletzlich oder auch problematisch mit KI-Systemen interagieren, tauchen in den offiziellen Zahlen der Anbieter unterproportional auf, wie schon bei „Was ChatGPT wirklich über dich weiß“ deutlich wurde, wo es um die stille Datensammlung im Hintergrund ging. Hier geht es nun um das Gegenstück: was aus den veröffentlichten Auswertungen bewusst oder unbewusst herausfällt.
Warum die Lücke mehr ist als ein akademischer Streit
Reuel formuliert die Konsequenz pointiert: Hochgradig folgenreiche Entscheidungen über Nutzen und Risiken von KI würden derzeit auf Basis sehr begrenzter Daten getroffen, ohne dass jemand außerhalb der Unternehmen diese wirklich überprüfen kann. Das betrifft nicht nur akademische Neugier. Wenn Gesetzgeber in Brüssel oder Berlin über Regeln für KI-Chatbots beraten, wenn Krankenkassen oder Schulen über den Einsatz von KI-Assistenten entscheiden, stützen sie sich zwangsläufig auf genau jene Berichte, deren Vollständigkeit sich kaum nachprüfen lässt. David Widder von der University of Texas at Austin schlägt deshalb vor, statt einzelner, von Unternehmen getrennt veröffentlichter Berichte eine Art gemeinsame Vogelperspektive zu schaffen, in der Daten mehrerer Anbieter und unabhängiger Forscher zusammengeführt und vergleichbar gemacht werden. Die naheliegende, aber politisch schwierigere Forderung lautet: KI-Firmen müssten anonymisierte Rohdaten unter strengen Datenschutzauflagen mit unabhängigen Wissenschaftlern teilen, statt nur fertige, PR-taugliche Zusammenfassungen zu veröffentlichen. Solange das nicht geschieht, bleibt ein Grundproblem bestehen: Die Unternehmen, die am meisten davon profitieren, wenn ihre Systeme als sicher und nützlich gelten, sind zugleich die Einzigen, die vollständigen Zugriff auf die Daten haben, mit denen sich diese Behauptung überprüfen ließe.
Fazit
Weder Anthropics Economic Index noch OpenAIs Nutzungsstudie sind falsch, beide liefern echte, teils erhellende Zahlen. Das Problem liegt in dem, was zwischen den Zeilen fehlt: eine Instanz, die diese Zahlen unabhängig einordnen und ergänzen kann. Das „AI Observatory“ ist dafür noch zu klein, um die Unternehmensberichte zu ersetzen, aber groß genug, um zu zeigen, dass die offiziellen Zahlen systematisch an bestimmten Stellen dünner werden, ausgerechnet dort, wo es um sensible, persönliche Nutzung geht. Für eine Technologie, die zunehmend in Gesundheit, Beziehungen und Alltagsentscheidungen hineinreicht, ist das keine Fußnote, sondern die eigentliche Leerstelle in der Debatte.
