Cloudflare以1%网络流量为OpenAI爬虫引路,发现数亿网页,却只字未提价格
来自Cloudflare网络约1%流量的信号,引导OpenAI的爬虫找到了数亿个只靠跟踪链接永远发现不了的网页。官方博文未提任何金额,第三季度财报已定于11月5日发布。
Richard Tang · 3 min read
Cloudflare−7.06% — Cloudflare, down 7.06 percent today公布了7月与OpenAI联手启动的内容发现(Discovery)试点的首批结果:能力问题有了答案,钱的问题原地未动1。从Cloudflare网络约1%流量中提取的信号,帮助OpenAI$1.18T — OpenAI, private, latest valuation $1.18T的搜索爬虫发现并收录了数亿个从未进入其索引的网页1。博文通篇没有给出价格;在原本该报价的地方,只说两家公司仍在研究内容发现如何转化为“真正的业务成果”1。
信号来自流量,而非链接
只沿链接爬行的爬虫,永远找不到没有任何链接指向的网页。正因如此,连你家那台洗衣机的说明书,都可能至今没被AI搜索看见1。
Cloudflare的边缘网络本身就架在流量的必经之路上,覆盖全球超过五分之一的网站,因此既看得到真实用户实际请求了哪些地址,也能从页面的缓存行为看出页面何时发生了变化2。这些元数据接入OpenAI的爬取调度之后,会把爬虫对准值得抓取的页面,跳过其余2。链条的末端,是ChatGPT的答案直达那册说明书,而托管页面的网站也省去了不少无效抓取1。
访问明码标价,发现尚无定价
这个市场的另一端,Cloudflare早已在经营。向所有套餐开放的AI爬虫控制(AI Crawl Control)功能把闸门交到网站主手里:可以查看有哪些AI服务来访,并逐个爬虫放行或拦截3。仍在测试阶段的Pay Per Crawl(按爬取付费)则补上了收银机,让网站主为每次爬取定价,AI公司通过Stripe支付3。试点则始终待在闸门的另一侧:只涉及页面的元数据,从不涉及内容,信号也不赋予任何访问权限1。
于是便出现了这样的局面:使用Cloudflare的网站主,如今已能对AI公司的每一次页面抓取收费;而试点把引导这台爬虫的信号交给OpenAI,没有附带任何价码1。
这中间的差别,出版商感受最直接。在Chartbeat 2026年3月的数据中,ChatGPT带来的引荐流量仍不到出版商页面浏览量的1%;而试点的下一阶段,正是要量化"被找到"究竟给获得索引的网站带来什么2。
检验节点定在11月5日
OpenAI并未上市,这里的上市公司是Cloudflare(NYSE:NET),公司已于10月13日公布第三季度财报发布日期,定于11月5日美股收盘后发布45。这一切都没有体现在股价上:NET较10月6日创下的370美元历史高点已连跌四个交易日,年内涨幅仍超过50%6。
该股目前市销率约为49.5倍,这正是我们10月14日作出的判断的核心:Cloudflare在持续收购AI智能体赖以搭建的每一层基础设施,而按当前价格买入的投资者,是在最新几层尚未产生任何收入之前,就为这一切买了单。
Simply Wall St发布在雅虎财经上的一篇分析已把爬虫控制层视为出版商与AI公司之间的护城河,并将"实用、可变现的服务"列为执行层面的考验7。这次试点为位于这些控制之下的那一层提供了第一份实际生效的证据:信号确实有效;但文章丝毫没有说明,有谁愿意为这些信号支付多少钱。Cloudflare究竟会不会给内容发现标上价码,是11月5日财报电话会议可以开始回答的问题。
Deepdive
AI-generated from this story and its cited sources. Not investment advice.
