Cloudflare三季度拦截13.47%的AI爬虫请求，上年同期为5.98%；绕过封锁的厂商向智能体兜售门路

本季度，围住整个互联网的那堵墙又高了一截；两家公司分立墙的两侧，用不同的货币收租。

9月15日，Cloudflare▲+5.81% — Cloudflare, up 5.81 percent today调整了默认设置：其网络上的新域名从此一律拦截AI智能体，存量网站也被改为在所有带广告的页面上拦截智能体¹。这一时间点在流量数据上留下了痕迹：第三季度，Cloudflare网络上的网站对13.47%的AI爬虫请求返回拒绝访问响应，高于一年前的5.98%——此为基于Cloudflare Radar数据的初步数字↗²。需求并没有为迁就这道墙而收缩。搜索请求与用户触发请求——智能体作答背后那种目的明确的爬取——在AI爬虫活动中的占比，由二季度的6.51%升至三季度的11.92%²。到9月，据Cloudflare自己的数据，爬虫和智能体发出的请求已超过网络总请求量的一半³。

智能体被卡在结账台前

这些拦截已经开始让消费者付出代价。亚马逊▲+2.50% — 亚马逊, up 2.50 percent today现已禁止Meta▼−0.37% — Meta, down 0.37 percent today的智能体Muse在其零售网站上浏览或购物。沃尔玛本是Muse的合作伙伴，其页面同样把智能体卡在人机验证按钮前——该公司称这些按钮并非有意设置。Yelp拒绝一切非人类流量，除非智能体付费加入其数据授权计划¹。Meta的应对之策，是拉上沃尔玛、Stripe、SierraPVT~$10B — Sierra, private, latest valuation ~$10B、Genesys、Rocket、NiCE和DecagonPVT~$1.5B — Decagon, private, latest valuation ~$1.5B共同起草一项智能体与商家之间的开放标准（agent-to-business），八家列名伙伴联手，要把好机器人与坏机器人区分开来¹。

房东两头收钱

Cloudflare承载着全球约五分之一的网络流量³，这堵墙的两头它都在变现：一头是让AI爬虫为所访问数据付费的市场，另一头是正在测试一款专为AI智能体打造的浏览器¹。当同一家公司还兼卖钥匙，制造稀缺就成了卖点：拦下的智能体越多，经由其市场付费入场的价值就越高。一项安全功能正在变成收费站，谁先谁后，全由运营方说了算。

绕过封锁的服务商这边动静更小，出手却更直接。Anakin（YC S21孵化）于10月6日发布了面向开发者的搭建指南↗，同一天，TechCrunch记录了这波封锁潮↗⁴。其Wire目录覆盖940多个平台、4500多项操作，内置对Cloudflare、Akamai、PerimeterX和DataDome的绕过方案——该说法来自其官方宣传，本文未作验证↗⁵。定价上，每次抓取收1个积分，每项Wire操作固定2个积分，月费12美元到900美元，失败的任务不收费↗⁶。最后这一条，正是整套商业模式的缩影：默认设置越收越紧，失败就成了自建智能体的默认体验；而失败不计费，又把业务量推给了能保证过墙的一方。

钱走到了岔路口

如果这项八家联合起草的标准最终确立付费准入，收费站运营方等于赢两次，绕过封锁的服务商则会被挤向授权合作；草案覆盖面之广——支付有Stripe、零售有沃尔玛、企业级智能体有Sierra——正是动真格的信号¹。若标准搁浅，护城河只会更深。无论走哪条路，那个曾经许给智能体的免费网络，都在被重新定价——一个403，接着又一个403。