Cloudflare trennt Suche und KI-Training: Was Seitenbetreiber jetzt prüfen sollten

Wer sein Blog hinter Cloudflare betreibt, kann seit dem 15. September 2026 zwischen zwei Dingen wählen, die bisher schwer zu trennen waren: in der Suche gefunden werden und trotzdem KI-Training untersagen. Cloudflare hat die Regeln für Crawler, die beides gleichzeitig tun, neu geordnet und am 18. September eine Einstellung namens „Disallow AI Training“ vorgestellt. Für Betreiber klingt das nach Erleichterung. Es steckt aber eine Falle darin: Wer die falsche Option wählt, sperrt womöglich Googlebot aus.

Das Wichtigste in Kürze

• Cloudflare unterscheidet Crawler nach Zweck: Suche, Training und Agent. Am 15. September wurde die Bedeutung der Sperroptionen für Crawler mit mehreren Zwecken neu festgelegt.
• „Block“ sperrt nun auch Googlebot, Bingbot und Applebot vollständig, auch für die Suche. „Disallow AI Training“ untersagt dagegen nur das Training und lässt die Suche zu.
• Die alte Pauschaloption „Block AI Bots“ entfällt, bestehende Einstellungen sollen automatisch übertragen werden.
• Die Trainingssperre beruht bei Google, Apple und Microsoft auf deren Zusage, sie zu beachten. Bei Bing fehlt eine automatische Trainingssperre bis Anfang 2027.
• Betreiber sollten in ihrem Dashboard prüfen, welche Einstellung tatsächlich aktiv ist, statt sich auf den Standard zu verlassen.

Was am 15. September geändert wurde

Den Rahmen hatte Cloudflare am 1. Juli 2026 abgesteckt, wie wir damals berichtet haben: Crawler werden nach Suche, Training und Agent getrennt. Agent meint Abrufe in Echtzeit im Auftrag eines Menschen, etwa durch einen Chat-Assistenten. Bots mit mehreren Aufgaben, sogenannte Mixed-Use-Crawler wie Googlebot, tragen mehrere Etiketten und werden nach allen davon behandelt. Cloudflare setzte den Anbietern eine Frist bis zum 15. September, Such- und Trainings-Crawler zu trennen.

Seit diesem Stichtag gilt laut Cloudflare: „Block“ und „Block on pages with ads“ greifen nun auch bei Mixed-Use-Crawlern, einschließlich Applebot, Bingbot und Googlebot. Wer sie sperrt, verliert also auch die Suchindexierung. Die Pauschaloption „Block AI Bots“ wird eingestellt, die verwaltete robots.txt durch „Bot Preference Sync“ ersetzt. Dieser Mechanismus schreibt die gewählte Präferenz in die robots.txt der Website, also die Textdatei, in der Betreiber Crawlern ihre Wünsche mitteilen.

Für neue Domains gibt es zwei Voreinstellungen. Ohne Werbeeinnahmen sind Suche, Training und Agent erlaubt. Mit Werbeeinnahmen ist die Suche erlaubt, Training wird mit „Disallow AI Training“ untersagt, und Agenten werden auf Seiten mit Anzeigen blockiert. Bei bestehenden Domains überträgt Cloudflare die Einstellungen. Ein bisheriges „Block AI“ wird demnach bei Domains ohne granulare Einstellungen zu Suche erlaubt, Training untersagt und Agent auf Anzeigenseiten blockiert. „In nahezu allen Fällen müssen Sie nichts tun“, schreibt Cloudflare.

Die neue Option und ihr Preis

„Disallow AI Training“ soll den Zielkonflikt auflösen. Die Einstellung untersagt einem Mixed-Use-Crawler das Training, lässt ihn aber für die Suche zu. Voraussetzung ist, dass der Betreiber nach Cloudflares Kriterien als „Accountable“ gilt. Dafür muss er vier Dinge erfüllen oder verbindlich zusagen: ein Opt-out fürs KI-Training über robots.txt oder einen ähnlichen Standard, ein Opt-out für KI-Zusammenfassungen, Transparenz auf URL-Ebene darüber, welche Seiten fürs Training genutzt werden, und die Zusicherung, dass die Trainingsabsage die klassischen Suchergebnisse nicht beeinflusst. Nach Cloudflare erfüllen Apple, Google und Microsoft diese Bedingungen. Reine Trainings-Crawler von Amazon, Anthropic, Meta und OpenAI blockiert Cloudflare unabhängig davon technisch.

Das Etikett „Accountable“ ist allerdings keine externe Zertifizierung, sondern Cloudflares eigene Einstufung, wie heise betont. Und die Trennung selbst ist nicht neu: Google-Extended, Applebot-Extended und OpenAIs GPTBot gibt es seit 2023. Neu ist die Bündelung im Dashboard für den schwierigen Fall, dass ein einziger Bot mehrere Aufgaben hat.

Wo die Lösung endet

Cloudflare selbst nennt mehrere Lücken. Bing unterstützt eine „No Training“-Präferenz in der robots.txt erst Anfang 2027, bis dahin sendet die Einstellung an Bing keine automatische Trainingssperre. Betreiber können stattdessen den Meta-Tag NOARCHIVE oder Bings Werkzeug zum Blockieren von URLs nutzen. Für Apple fehlt noch ein Werkzeug auf URL-Ebene, für Google soll die URL-Transparenz „in den kommenden Wochen“ folgen. Eine zentrale Sperre für KI-Zusammenfassungen ist erst für Anfang nächsten Jahres angepeilt. Für Agenten gibt es keine Trainingssperre-Entsprechung, weil kein etablierter Standard existiert. Eine Variante nur für Seiten mit Werbung lässt sich nicht in die robots.txt schreiben.

Hinzu kommt ein grundsätzliches Problem, das heise so beschreibt: Die robots.txt ist keine Zugangskontrolle, sondern eine maschinenlesbare Verhaltensvorgabe. Bei Googlebot heißt das: Der Bot ruft die Seite ohnehin ab, ob die Inhalte ins Training fließen, hängt an Googles Zusage. TechCrunch weist zudem darauf hin, dass Googlebot auch für KI-Funktionen wie AI Overviews und AI Mode crawlt und Google auf Google-Extended verweist, das nur das Training betrifft. Wer Inhalte aus den KI-Antworten heraushalten will, hat damit noch keine verlässliche Handhabe.

Widersprüche in der Berichterstattung

Wer sich vorab informiert hat, kann auf abweichende Aussagen gestoßen sein. Eine Analyse von String Global vom 25. August warnte, ein Trainings-Block nehme Googlebot ab dem 15. September mit, ohne Ausnahme. Das entsprach dem Stand von Cloudflares Julibeitrag. Der Beitrag vom 18. September nennt dagegen „Disallow AI Training“ als Weg, der die Suche offen hält. Die Analyse berichtet zudem von Nutzern, die schon seit Juli 403-Fehler für verifizierten Googlebot sahen. Eine Bestätigung von Cloudflare dazu liegt in den gesichteten Quellen nicht vor. Auch der Umfang der Standardeinstellungen für bestehende Free-Konten wird unterschiedlich dargestellt: TechCrunch nannte im Juli alle bestehenden Free-Kunden, Cloudflares Beitrag vom 18. September beschreibt für Bestandsdomains eine Übertragung der bisherigen Einstellungen.

Fazit: Die Einstellung prüfen, nicht raten

Die Zahlen, die Cloudflare nennt, zeigen, wie wenig bisher gesteuert wird: Weniger als ein Prozent der Cloudflare-Websites blockieren Suchmaschinen-Bots, 17 Prozent aktivieren irgendeinen Mechanismus gegen KI-Training. Zugleich hat Cloudflare ein geschäftliches Interesse an dieser Kontrolle, etwa an dem geplanten Bezahlmodell „Pay Per Use“, mit dem Anbieter Inhalte vergüten sollen. Nach Cloudflares Beschreibung gilt für Betreiber, die gefunden werden wollen, aber kein Training wünschen: „Disallow AI Training“, nicht „Block“. Als Kontrolle bleiben die Crawl-Statistiken der Google Search Console. Die eigentliche Frage, ob Anbieter die Präferenzen respektieren, lässt sich mit keiner Dashboard-Einstellung erzwingen.