Cloudflares KI-Sperre blockiert jetzt alle – außer Google, Apple und Microsoft

Cloudflare hatte in seiner Kunden-E-Mail vom 16. September 2026↗ angekündigt, dass die bisherigen Einstellungen Block AI Bots automatisch im Laufe der folgenden Woche migriert würden und der Schalter nach Abschluss der Migration aus dem Dashboard verschwinde ¹. Diese Woche ist verstrichen. Was Verlage per Klick als Sperre gesetzt haben, ist für die drei Unternehmen, die am meisten zählen, jetzt nichts weiter als eine höfliche Notiz in einer Textdatei.

Was aus der Sperre wurde

Die Zuordnung steht fest: Ein alter Schalter wird künftig abgebildet auf „Allow“ bei der Suche, „Disallow AI Training“ beim Training und Agent blockiert auf Seiten mit Werbung ¹². „Disallow AI Training“ trägt ein Trainingsverbot in die robots.txt ein – Googlebot, Applebot und Bingbot rufen Seiten trotzdem weiter ab, denn alle drei Unternehmen setzen einen einzigen Crawler sowohl für die Suchindexierung als auch für das Modelltraining ein ¹². Die Lücke, die das schließen soll, ist real: 17 Prozent der Websites auf Cloudflares Netzwerk blockieren Training in irgendeiner Form, weniger als 1 Prozent sperren Such-Crawler – und das Netzwerk liegt vor mehr als einem Fünftel des Webs ¹³.

Die Durchsetzung erfolgt jetzt in zwei Stufen

Die Einstellung hält nach wie vor jemanden auf. Die Trainings-Crawler von OpenAI, Anthropic, Meta und Amazon blockiert Cloudflare an der Edge kompromisslos ⁴. Google, Apple und Microsoft dagegen rufen unter Cloudflares Label „Accountable“ weiter ab; was anschließend mit der Seite geschieht, hängt davon ab, ob der Betreiber sich an die Datei hält ¹⁴. Microsoft kann die neue Regel nicht einmal lesen: Seine robots.txt-Unterstützung ist erst für Anfang 2027 angepeilt ¹².

„Accountable“ ist eine Bezeichnung von Cloudflare selbst – keine Zertifizierung von außen ⁴. Vergeben wurde das Label für Fähigkeiten, die jeder der Betreiber bereits mitbringt – verknüpft mit befristeten Zusagen für alles Übrige ¹². Im August verlangte die vierte Bedingung↗ noch, dass ein Betreiber „öffentlich“ nachweist, dass das Untersagen von Training die Suchergebnisse nicht beeinträchtigt; die Septemberfassung verlangt nur noch eine Zusicherung ⁵¹.

Die Dokumentation verspricht bis heute das Gegenteil

Cloudflares eigene Dokumentation, zuletzt aktualisiert am 1. Juli 2026↗, besagt weiterhin, dass Doppelzweck-Crawler „auch von allen Konfigurationen zum Blockieren von KI-Training blockiert werden, einschließlich der alten Option ‚Block AI Bots‘“ ⁶. Die Seite führt für jedes Steuerelement drei Optionen auf: „Allow“, „Block on pages with ads“ und „Block“ ⁶. Das ausgelieferte Produkt kennt eine vierte Option, „Disallow AI Training“ – in der Dokumentation kommt sie mit keinem Wort vor ¹. Was Cloudflare ausgeliefert hat, ist die Umkehrung dessen, was auf der Seite steht, die das Unternehmen noch immer online stellt.

Zurück zu einer harten Sperre führt nur die Option „Block“ – und die schneidet eine Website jetzt komplett von der Suche bei Google, Apple und Microsoft ab ¹². Wer den Bingbot blockiert, verschwindet auf einen Schlag aus Bing, Yahoo und Copilot ¹.

Der Beleg kommt erst in Wochen – nicht jetzt

Das Reporting auf URL-Ebene – der Mechanismus, der aufdecken soll, welche untersagten Seiten trotzdem verwendet wurden – ist bei Google noch Wochen entfernt, bei Apple erst für nächstes Jahr geplant ¹²⁴. Bis dahin liest sich die Bilanz nur so: Die Verlage behalten ihren Such-Traffic, die Konzerne den Korpus, Cloudflare beide Seiten als Kunden – und die einzigen Crawler, die weiterhin zwangsweise gestoppt werden, gehören den KI-Rivalen der Konzerne ⁴. Als Nächstes stehen Zusammenfassungen an; zentrale Steuerungen sind für Anfang 2027 vorgesehen ¹³.