Cognition的4.8倍基准测试:证明的是吞吐量,证明不了智能体任务更便宜

CoreWeave的首个Vera Rubin客户公布了4.8倍吞吐量基准,却未给出任何成本数据;而CoreWeave自7月以来已将GPU价格上调35%。CRWV股东真正需要的数字——每完成一次Devin会话的成本——在所有新闻稿中均无处可寻。

阅读原文

Vincent JiangVincent Jiang · 3 min read
Share
一张英伟达DGX GB200机柜的全身照片;该机柜属上一代NVL72系统,是Cognition的Vera Rubin基准测试所用基线
1 / 6Slide 1 of 6
英伟达DGX GB200机柜,上一代NVL72系统,其吞吐量即Cognition的Vera Rubin基准测试中1.0倍的基线。CoreWeave用来运行Devin的新一代Vera Rubin NVL72机柜尚未公开亮相。

Cognition有个习惯:宣布里程碑总要配上数字。9月8日是E轮融资——以480亿美元估值融资超20亿美元,公司自报的年化收入从5月的4.92亿美元攀升至近9亿美元1。9月29日,它宣布与MongoDB合作,把Devin定位为企业迁移的引擎2。9月30日,在CoreWeave的Fully Connected大会上,它又成为全球第一家在英伟达的Vera Rubin NVL72上运行生产级工作负载的客户,称其SWE-2推理工作负载以GB200 NVL72为基线,总token吞吐量最高达4.8倍,强化学习为3.8倍134。

只谈吞吐量,不谈账单

几份新闻稿在同样的地方留白:没有绝对吞吐量数据,没有定价,没有能耗,没有足以复现这次对比的配置细节,也没有已完成任务的统计1。CoreWeave的新闻稿把结果称为“独立基准测试”,但实际执测的是Cognition自家的工程师,测试就跑在CoreWeave自家的云上,以基线为对照4。唯一换算成钱的表述停留在口头:CoreWeave产品与工程执行副总裁Chen Goldberg表示,这些提升意味着每块GPU可承载更多Devin并发会话、“单次会话成本更低”,而这一成本,所有新闻稿都没有公布34。

两项宣称的提升、一个基线,唯独不见成本

0x2x4x6xGB200基线Vera Rubin上的SWE-2推理(Cognition)Vera Rubin上的强化学习输出token(Cognition)3.8x4.8x
Data
token吞吐量(GB200基线的倍数)
GB200基线1x
Vera Rubin上的SWE-2推理(Cognition)4.8x
Vera Rubin上的强化学习输出token(Cognition)3.8x
图中数值均为token吞吐量,以GB200 NVL72基线的倍数表示,这正是该基准测试声明的方法论所定义的对比:基线按定义固定在1.0倍,Cognition报告的Vera Rubin NVL72提升即以此为对照测得[1][4]。两项提升均属与厂商相关的基准测试,未公布任何绝对数值、价格或能耗。资料来源:RuntimeWire[1];Business Wire(经雅虎财经)[4]。1,4

更重的账,压在CoreWeave身上

赌注押在两本账上。Cognition需要证明,这20亿美元融资买来的算力,能让智能体的长时间运行变得更便宜,与此同时,它给Devin定价还要对标Claude Code和Cursor1。CoreWeave的账更重:公司称每一兆瓦容量都对应着10倍的需求,并坚守到2030年建成8吉瓦的扩建目标;大会结束后,Cantor Fitzgerald维持了该股“增持”评级和176美元目标价5。这场产能扩张的融资,靠的是需求证据,而这份证据的第一个公开数据点,恰恰是一项由客户与厂商共同署名的基准测试——CRWV股东才是真正为此兜底的人。

缺席的数字:一次会话究竟多少钱

吞吐量不等于经济账。如果一次Devin会话消耗的token更多,每秒token吞吐量4.8倍的提升,折算到每完成一项任务的成本上,就会缩水成远不那么亮眼的数字;而据Cantor Fitzgerald的研报,CoreWeave自7月以来已经提价25%,之后又再涨10%5。CoreWeave自己在芯片层面的说法是,在DeepSeek R1上每兆瓦token吞吐量是GB200的10倍——这是效率数字,不是账单,而且恰恰出自同一篇对所有成本数据只字不提的新闻稿4。与此同时,Cognition前一天刚把同一个智能体卖进MongoDB的迁移漏斗,宣称原本要花五到六小时的工作,如今一个多小时就能完成2。本周真正的问题在于:AI编程领域按任务计价的降价,究竟由效率买单,还是由资本买单。在两家公司任何一家公布Vera Rubin对比GB200的单次会话成本之前,市场定价的是倍数,不是成本。吞吐量不等于经济账。

Deepdive

AI-generated from this story and its cited sources. Not investment advice.

Reader comments

0 comments

    Sign up

    Get your curated digest

    After email confirmation, you will receive a daily digest of the most relevant news that matter to your portfolio