Cloudflare blockiert KI-Agenten jetzt auf jeder Seite mit Werbung

Die Voreinstellung kippte am 15. September

Seit dem 15. September lassen Cloudflares Voreinstellungen für werbefinanzierte Domains Suchmaschinen-Crawler durch, untersagen das KI-Training und blockieren nutzergesteuerte Agenten auf jeder Seite, die Werbung zeigt. Betroffen sind auch Bots, die Seiten für Chat-Anwendungen abrufen, und Agenten, die einen Browser bedienen; eine Opt-out-Anweisung für Agenten gibt es bislang nicht, nur die Sperre ¹². Die Frist hatte Cloudflare bereits im Juli gesetzt↗ – mit Druck auf Hybrid-Crawler, Suche und Training zu trennen ²³.

In derselben Woche verbot Amazon Metas Shopping-Agent Muse wegen Risiken rund um Zugangsdaten den Zutritt zu seinem Shop, und Shopify band Muse bei allen Händlern in die Shop-Pay-Kasse ein↗: Eine Front im Agentenkrieg öffnete sich, die Front der Inhalte schloss sich ⁴.

KI-Training inzwischen bei 52 Prozent des Crawler-Traffics

Allein das KI-Training macht 52 Prozent des Crawler-Traffics im Cloudflare-Netzwerk aus, nach 22 Prozent ein Jahr zuvor; Firmenchef Matthew Prince sagt, der meiste Traffic im Internet stamme inzwischen nicht mehr von Menschen ¹³. Die Seitenbetreiber ziehen Grenzen: 17 Prozent untersagen das Training, weniger als 1 Prozent blockieren die Suche↗ ⁵.

Hybrid-Crawler, die zugleich für Suche und Training gebaut sind, tragen weitere 36,6 Prozent des verifizierten Crawler-Traffics bei ⁶. Das Geld fließt im Verborgenen: 132 Millionen Amerikaner haben bereits mit KI-Unterstützung eingekauft, doch nur 23 Prozent der Händler können diesen Traffic oder die zugehörigen Umsätze sehen – derselbe Agenten-Traffic, den Seiten mit Werbung jetzt standardmäßig blockieren ¹.

Drei Zähler, eine Seite, kein Preis

Googles Pilotprojekt, das nur auf Einladung läuft↗, zahlt, wenn ein Inhalt „wesentlich“ zu einer Antwort in Gemini, in den AI Overviews oder im AI Mode beiträgt – und was zählt, entscheidet Google allein ⁵⁷. Die Teilnehmer erhalten in der Search Console eine monatliche Zahl, ganz ohne Rechenweg dahinter ⁸. Eine über das Programm informierte Führungskraft nennt es eine „ziemliche Blackbox“; eine andere sagte, die Angebote seien zu niedrig gewesen, um mitzumachen ⁵.

Cloudflares Pay Per Crawl ist reine Mechanik: Seitenbetreiber legen den Preis fest, ab 0,001 Dollar pro Abruf, und ein zahlender Crawler bekommt die Seite zurück – vollständig, samt HTTP 200 ⁵. Microsoft lizenziert Inhalte an Copilot auf Basis eines „gelieferten Werts“, den das Unternehmen bislang nicht öffentlich definiert hat ⁵. Zahlen müssen am Ende die KI-Labore und die Agenten-Entwickler – in bar am Zähler oder damit, dass ihnen Inhalte entgehen, wenn ihre Agenten gesperrt werden. Welcher Zähler gewinnt, bestimmt, was das offene Web einer KI kostet.

Die Bücher des Mautbetreibers

Cloudflare verkauft beides: die Sperre und den Zähler. Der Umsatz ist zehn Quartale in Folge gestiegen und erreichte im zweiten Quartal 2026 696,1 Millionen Dollar↗. Das sind 35,9 Prozent mehr als im Vorjahresquartal – und trotzdem verbuchte das Quartal einen Verlust von 170 Millionen Dollar ⁹⁶. Der Markt hat gleichwohl bezahlt: 115,2 Milliarden Dollar Börsenwert, nach einem Kursanstieg von 43,9 Prozent binnen 90 Tagen ⁶.

Googles Abfahrt – und die Termine, die zählen

Google verweist auf Google-Extended, ein robots.txt-Token, das nach Konzernangaben das Suchranking nie berührt↗, und nennt das Pilotprojekt eine Lernphase ³⁵¹⁰. Das Token gilt nur als Opt-out fürs Gemini-Training; AI Overviews und AI Mode steuert eine separate Einstellung in der Search Console ¹⁰.

Cloudflares Lesart trägt weiterhin: Eine Anzeige markiert eine Seite, die für einen Menschen gebaut wurde ¹. Besonders exponiert ist der kleine werbefinanzierte Publisher, denn ein Agent liest, kauft nichts und sieht die Anzeige nie.

Die nächsten Zählerstände haben Termine: Googles Google-Extended-Werkzeuge auf URL-Ebene kommen in wenigen Wochen, Cloudflares zentrale Steuerung dafür, wie viel Inhalt in KI-Zusammenfassungen erscheint, bis Anfang nächsten Jahres – und die Unterstützung von No-Training in Microsofts Bing ist für Anfang 2027 anvisiert ⁵¹⁰. Die Onlineshops haben ihre Kassen für Agenten geöffnet; die Inhaltsebene hat gerade eine Mautstelle errichtet.