Cloudflare新规：凡展示广告的页面，一律默认屏蔽AI智能体

9月15日，默认规则翻转

自9月15日起，Cloudflare面向广告支撑型域名的默认设置是：放行搜索爬虫，拒绝AI训练，并在任何展示广告的页面上屏蔽受用户指令驱动的智能体。聊天抓取机器人、浏览器操作型智能体均在此列；目前还没有面向智能体的豁免指令，只有封锁 ¹²。Cloudflare早在7月就定下了这一期限↗，迫使混合用途爬虫将搜索与训练分开 ²³。

同一周，亚马逊将Meta的购物智能体Muse挡在其商城门外，理由是存在凭证风险；Shopify则把Muse接入了旗下商户的Shop Pay结账系统↗——智能体之战的一条战线打开了，内容战线却关上了 ⁴。

AI训练已占爬虫流量的52%

单是AI训练一项，就占Cloudflare网络上爬虫流量的52%，一年前这一比例仅为22%；CEO马修·普林斯（Matthew Prince）称，如今互联网上的大部分流量已非人类产生 ¹³。网站所有者正在划定界限：17%的网站限制AI训练，封锁搜索的不足1%↗ ⁵。

为搜索与训练一体而建的混合用途爬虫，另占已验证爬虫流量的36.6% ⁶。钱在暗处流动：已有1.32亿美国人在AI的帮助下购物，但只有23%的商户能看到这部分流量及其带来的销售，而这正是广告页面如今默认封锁的那类智能体流量 ¹。

三套计价器，一个页面，价格未定

谷歌的仅限受邀方参与的试点项目↗规定，当内容对Gemini、AI Overviews或AI模式中的回答作出“显著贡献”时，谷歌即向网站付费；至于什么才算“显著贡献”，只有谷歌自己说了算 ⁵⁷。参与网站每月会在Search Console收到一个数字，却看不出它是怎么算出来的 ⁸。一位知悉该项目内情的高管称其“相当黑箱”，另一位则表示报价太低，不值得加入 ⁵。

Cloudflare的“按抓取付费”（Pay Per Crawl）完全按机械规则运转：网站自行定价，每次抓取最低0.001美元；付费的爬虫即可拿到页面，连同HTTP 200的成功响应一并到手 ⁵。微软向Copilot授权内容时依据的是“交付价值”（delivered value），但何为“交付价值”，微软从未公开定义 ⁵。买单的是AI实验室和智能体开发商：要么在计价器前付现金，要么在自家智能体被封禁时赔上广告库存。哪套计价器胜出，就将定下开放网络对AI的价格。

算一算收费方的账

封锁和计价器，Cloudflare两头都卖。公司营收已连续十个季度增长，2026年第二季度达到6.961亿美元↗，同比增长35.9%；但这一季度仍净亏损1.7亿美元 ⁹⁶。市场照样买单：90天内股价上涨43.9%，市值达到1152亿美元 ⁶。

谷歌留好退路，看点已有日期

谷歌搬出Google-Extended——一个官方声称绝不影响搜索排名的robots.txt标记↗，并称试点仍处于学习阶段 ³⁵¹⁰。该标记只能让网站退出Gemini训练；AI Overviews和AI模式另由Search Console中的一项设置控制 ¹⁰。

Cloudflare的那套逻辑依然成立：页面上有广告，就说明这个页面是为人而建的 ¹。真正暴露在风险中的，是靠广告收入支撑的小型出版商——智能体只管读内容，不下单，也看不到广告。

下一批“读数”的日期已经排定：谷歌的URL级Google-Extended工具将在几周内落地，Cloudflare控制内容在AI摘要中出现多少的统一开关将于明年初上线，微软必应的“禁止训练”支持目标定在2027年初 ⁵¹⁰。商店已向智能体敞开结账通道；内容层这边，则刚刚装上收费站。