Cloudflare的AI屏蔽如今拦下各家爬虫，唯独放行谷歌、苹果和微软

Cloudflare在2026年9月16日发给客户的邮件↗中称，旧版Block AI Bots(屏蔽AI机器人)设置将在随后一周内自动迁移，迁移完成后，这个开关会从控制面板中消失¹。这一周已经走完。出版商当初点下的“屏蔽”，如今对最重要的那三家公司而言，不过是文本文件里的一句客气话。

“屏蔽”变成了什么

对应关系已经固定。旧版开关会迁移为三项设置：搜索“允许”、训练“禁止AI训练(Disallow AI Training)”、代理在带广告的页面上被拦截¹²。“禁止AI训练”会在robots.txt中写入一条禁止训练的指令，而Googlebot、Applebot和Bingbot照常抓取，因为这三家公司的搜索索引和模型训练用的是同一个爬虫¹²。这一设置要解决的矛盾确实存在：Cloudflare网络上有17%的网站以某种形式屏蔽训练，屏蔽搜索机器人的却不足1%，而这张网络挡在全球超过五分之一的网站前面¹³。

执行如今分为两级

这项设置仍然拦得住一部分人。OpenAI、Anthropic、Meta和亚马逊的训练爬虫，还是会被直接拦在Cloudflare的网络边缘 ⁴。谷歌、苹果和微软的爬虫则挂着Cloudflare的“可问责”（Accountable）标签继续抓取，页面被抓走之后的命运，取决于运营方是否遵守这份文件 ¹⁴。微软的robots.txt支持计划于2027年初到位，在那之前，它连这条新规则都读不了 ¹²。

“可问责”是Cloudflare自己给出的名号，并非来自外部的认证 ⁴。贴标的依据，是各家运营方已经具备的能力，其余部分则配以有明确期限的承诺 ¹²。而今年8月，第四项条件↗还要求运营方“公开展示”禁止训练不会损害搜索结果；到了9月的版本，只要求作出保证 ⁵¹。

帮助文档至今仍写着相反的承诺

Cloudflare自家帮助文档（最后更新于2026年7月1日）↗仍称，混合用途的爬虫“也会被所有屏蔽AI训练的配置屏蔽，包括旧版Block AI Bots(屏蔽AI机器人)选项” ⁶。该页面为每项控制列出三个选项：“允许”“在含广告的页面屏蔽”和“屏蔽” ⁶。实际上线的产品里还有第四个选项——禁止AI训练——帮助文档从未提及 ¹。上线的行为，与Cloudflare至今仍发布的那页文档恰好相反。

想回到硬性屏蔽，唯一的办法是选“屏蔽”，而如今这会把网站彻底挡在谷歌、苹果和微软的搜索之外 ¹²。屏蔽Bingbot，则意味着网站同时从必应、雅虎和Copilot中消失 ¹。

回执要等数周，眼下还拿不到

URL级别的报告功能，原本要用来说明哪些被禁止的页面仍被照常使用：在谷歌还需数周，在苹果要等到明年 ¹²⁴。在它落地之前，这本账只有一种记法：出版商保住搜索流量，巨头保住语料库，Cloudflare把两边都留作客户，而唯一仍被强行拦下的爬虫，全都属于巨头的AI对手 ⁴。接下来是摘要功能，集中控制计划于2027年初上线 ¹³。