Project Lily: Wie OpenAI-Contractor echte ChatGPT-Chats mitlesen

Wer bei ChatGPT eine Frage eintippt, geht meist davon aus, dass nur eine Maschine antwortet. Eine Recherche des US-Mediums 404 Media zeigt jedoch: Hinter den Kulissen lesen Hunderte externe Auftragnehmer reale Unterhaltungen mit, um die Modellantworten zu bewerten. Das Programm trägt intern den Namen „Project Lily“ und betrifft potenziell Millionen Nutzer, die davon nichts wissen.

Das Wichtigste in Kürze

• 404 Media deckte am 14. September 2026 auf, dass OpenAI unter dem Codenamen „Project Lily“ Hunderte externe Contractor echte ChatGPT-Prompts lesen und bewerten lässt.
• Die Prüfer sehen pro Anfrage vier von ChatGPT generierte Antwortvarianten und vergeben Noten auf einer Skala von 1 bis 7.
• Rekrutiert wird über die Firma Crossing Hurdles, bezahlt über die Personalplattform Mercor – ein Contractor nannte gegenüber 404 Media einen Stundenlohn von über 50 US-Dollar.
• Bei ChatGPT Free, Plus und Pro ist die Datennutzung zur Modellverbesserung standardmäßig aktiv (Opt-out); Anthropic verlangt laut eigener Aussage ein aktives Opt-in.
• Nutzer können die Einbeziehung ihrer Chats über die Einstellung „Das Modell für alle verbessern“ abschalten – vollständig gelöscht sind neue Chats laut OpenAI aber erst nach bis zu 30 Tagen.

Wie „Project Lily“ funktioniert

Laut den von 404-Media-Reporter Joseph Cox eingesehenen internen Dokumenten bekommen die Prüfer zu jedem realen Nutzer-Prompt vier unterschiedliche, von ChatGPT erzeugte Antwortentwürfe vorgelegt. Sie bewerten diese auf einer Skala von 1 bis 7, markieren problematische Passagen und fassen die ursprüngliche Anfrage in eigenen Worten zusammen. Ein erklärtes Ziel des Programms ist es, ChatGPT weniger schmeichelnd und weniger vermenschlicht wirken zu lassen – also genau jene Tendenz zur übertriebenen Zustimmung zu dämpfen, die OpenAI selbst wiederholt als Problem benannt hat. Ein vorgeschaltetes „Privacy Filter“-Modell soll Namen und andere persönliche Angaben entfernen, bevor ein Prompt bei einem menschlichen Prüfer landet. Gegenüber 404 Media räumte OpenAI jedoch ein, dass sensible Details trotzdem durchrutschen können – etwa über automatisch erzeugte Gedächtnis-Zusammenfassungen, die Rückschlüsse auf frühere Chats oder den ungefähren Wohnort einer Person zulassen.

Was OpenAIs eigene Regeln vorsehen

Der zentrale Schalter in den ChatGPT-Einstellungen heißt „Das Modell für alle verbessern“ und liegt unter Datenkontrollen. Bei privat genutzten Free-, Plus- und Pro-Konten ist er werkseitig aktiviert; bei Enterprise-, Business-, Team- und Edu-Konten ist die Datennutzung zum Training dagegen standardmäßig deaktiviert. Wer die Einstellung abschaltet, verhindert laut OpenAI, dass neue Unterhaltungen ins Training einfließen – schon geführte Chats bleiben davon unberührt. Auch nach dem Abschalten speichert OpenAI neue Konversationen aber noch bis zu 30 Tage zur Missbrauchsprüfung, bevor sie gelöscht werden. Unklar bleibt nach der bisherigen Berichterstattung, ob dieser Schalter überhaupt verhindert, dass ein einzelner Chat im Rahmen von Project Lily bei einem menschlichen Prüfer landet, oder ob er ausschließlich das automatisierte Training betrifft. OpenAI hat diese Unterscheidung öffentlich bislang nicht klargestellt.

Ein Fall für die DSGVO?

Eine unmittelbare Reaktion europäischer oder deutscher Datenschutzbehörden auf die Enthüllung liegt bislang nicht vor – die Recherche ist noch frisch, das sollte niemand als Freispruch werten. Journalistische Einordnungen verweisen bereits auf die EuGH-Linie im Verfahren EDPS gegen SRB, wonach Verantwortliche Betroffene grundsätzlich informieren müssen, bevor Daten an Dritte weitergegeben werden – unabhängig davon, ob die empfangende Stelle die Person konkret identifizieren kann. Ob das auf Project Lily zutrifft, ist eine rechtliche Einordnung von Beobachtern, keine behördliche Entscheidung. Historisch ist OpenAI in Europa bereits einmal empfindlich getroffen worden: Italiens Datenschutzbehörde Garante verhängte im Dezember 2024 eine Geldbuße von 15 Millionen Euro gegen das Unternehmen, damals wegen fehlender Rechtsgrundlage bei der Datenverarbeitung und mangelnder Altersprüfung. Dieser Fall steht in keinem direkten Zusammenhang mit Project Lily, zeigt aber, dass europäische Aufsichtsbehörden bei ChatGPT genau hinschauen.

Wie andere Anbieter menschliche Prüfung handhaben

Auch Anthropic bestätigte gegenüber 404 Media, menschliches Feedback zur Modellverbesserung einzusetzen – nach eigener Darstellung jedoch nur bei Nutzern, die dem aktiv zustimmen, und mit vorab entfernten Kontokennungen wie E-Mail-Adressen. Bei Google Gemini prüfen laut den Google-eigenen Support-Seiten eigens geschulte Teams Unterhaltungen, sofern die „Gemini Apps Aktivität“ eingeschaltet ist; abschalten lässt sich das über die Google-Kontoeinstellungen. Der entscheidende Unterschied zu OpenAIs Praxis liegt weniger im Prinzip menschlicher Qualitätsprüfung selbst – das nutzen inzwischen alle großen Anbieter –, sondern in der Frage Opt-in gegen Opt-out und darin, wie klar Nutzer vorab informiert werden. Genau an diesem Punkt setzt die Kritik an Project Lily an: Die meisten der weltweit mehr als 900 Millionen ChatGPT-Nutzer dürften laut 404 Media schlicht nicht wissen, dass ihre Formulierungen Menschen vorgelegt werden.

Fazit

Dass Sprachmodelle menschliches Feedback brauchen, um besser und sicherer zu werden, ist an sich keine Überraschung – das Prinzip RLHF ist seit Jahren Branchenstandard, wie auch die Debatte um OpenAIs und Anthropics jüngste Sicherheits-Pacing-Pläne zeigt. Der Anstoß bei Project Lily ist ein anderer: das Ausmaß, die konkrete Vergütungskette über Crossing Hurdles und Mercor und vor allem die mangelnde Transparenz gegenüber den Betroffenen selbst. Wer nicht möchte, dass ein Fremder mitliest, sollte schon jetzt die Data-Controls-Einstellung prüfen und im Zweifel besonders sensible Anfragen meiden – ähnlich wie es bereits Tools nahelegen, die zeigen, was ChatGPT wirklich über die eigene Nutzung weiß. Ob Aufsichtsbehörden die Praxis rechtlich beanstanden, ist nach der aktuellen Quellenlage offen. Dass sie genauer hinschauen werden, ist nach diesem Bericht wahrscheinlich.