Бенчмарк Cognition с ростом в 4,8 раза доказывает пропускную способность, а не удешевление работы ИИ-агентов

Первый клиент CoreWeave на системах Vera Rubin опубликовал бенчмарк с ростом пропускной способности в 4,8 раза, но без цифр затрат, тогда как CoreWeave с июля подняла цены на GPU на 35%. Нужная держателям акций CRWV величина — стоимость одной завершённой сессии Devin — не фигурирует ни в одном из релизов.

Читать оригинал

Vincent JiangVincent Jiang · 3 min read
Share
Стойка Nvidia DGX GB200, снятая в полный рост: система класса NVL72 предыдущего поколения, взятая за базу сравнения в бенчмарке Cognition на Vera Rubin
1 / 6Slide 1 of 6
Стойка Nvidia DGX GB200 — система NVL72 предыдущего поколения, производительность которой принята за базовый уровень 1,0x в бенчмарке Cognition на Vera Rubin. Новые стойки Vera Rubin NVL72, на которых в CoreWeave работает Devin, публично не показаны.

Компания Cognition привыкла подкреплять свои вехи цифрами. 8 сентября такой цифрой стал раунд E: привлечено более $2 млрд при оценке компании в $48 млрд, а выручка в годовом исчислении, по собственным данным компании, выросла с $492 млн в мае почти до $900 млн 1. 29 сентября — партнёрство с MongoDB, в рамках которого Devin продвигается как движок корпоративных миграций 2. А 30 сентября, на конференции Fully Connected компании CoreWeave, Cognition стала первым в мире клиентом, запустившим промышленные нагрузки на Vera Rubin NVL72 компании Nvidia, и заявила о совокупной пропускной способности по токенам до 4,8 раза на своих инференс-нагрузках SWE-2 по сравнению с базой GB200 NVL72 и до 3,8 раза на обучении с подкреплением 134.

Бенчмарк без счёта

В релизах обеих компаний пробелы в одних и тех же местах. Ни абсолютных значений пропускной способности, ни цен, ни энергопотребления, ни описания конфигурации, достаточного для воспроизведения сравнения, ни числа выполненных задач 1. В релизе CoreWeave результаты названы «независимыми бенчмарками», но проводили их инженеры самой Cognition, а базой сравнения служила система в собственном облаке CoreWeave 4. В деньги всё это переведено лишь на словах: исполнительный вице-президент CoreWeave по продукту и инженерным вопросам Чен Голдберг заявил, что прирост означает больше одновременных сессий Devin на GPU и „более низкую стоимость сессии“, однако ни один релиз этой стоимости не раскрыл 34.

Два заявленных прироста, одна база — и ни одной цены

0x2x4x6xБаза GB200Инференс SWE-2 на Vera Rubin (Cognition)Выходные токены обучения с подкреплением на Vera Rubin (Cognition)3.8x4.8x
Data
Пропускная способность по токенам, кратно базе GB200
База GB2001x
Инференс SWE-2 на Vera Rubin (Cognition)4.8x
Выходные токены обучения с подкреплением на Vera Rubin (Cognition)3.8x
Все значения — пропускная способность по токенам в долях от базы GB200 NVL72: именно такое сравнение задекларировано в методологии бенчмарка — база по определению равна 1,0x, а заявленные Cognition приросты на Vera Rubin NVL72 измерены относительно неё [1][4]. Оба прироста получены в бенчмарках, связанных с вендором: абсолютные значения, цены и энергопотребление не опубликованы. Источники: RuntimeWire [1]; Business Wire через Yahoo Finance [4].1,4

Более тяжёлая бухгалтерия — у CoreWeave

У этой истории две бухгалтерии. Cognition должна показать, что $2 млрд, привлечённые в раунде, покупают вычислительные мощности, удешевляющие длинные прогоны агентов, — притом что цену на Devin компания назначает в противовес Claude Code и Cursor 1. Бухгалтерия CoreWeave тяжелее: по словам компании, на каждый мегаватт мощностей приходится десятикратный спрос, и она сохраняет цель развернуть 8 ГВт к 2030 году, а Cantor Fitzgerald после конференции подтвердила по акциям рейтинг Overweight и целевую цену $176 5. Это наращивание финансируется под доказательства спроса, первым публичным подтверждением которых стал бенчмарк, написанный заказчиком и вендором в соавторстве. Страховщики этого плана — держатели акций CRWV.

Сколько стоит сессия — недостающая цифра

Пропускная способность — это ещё не экономика. Если сессия Devin расходует больше токенов, выигрыш в 4,8 раза по токенам в секунду в пересчёте на стоимость выполненной задачи сжимается до куда более скромной величины. При этом CoreWeave с июля подняла цены на 25%, а затем ещё на 10%, следует из записки Cantor Fitzgerald 5. Собственное заявление CoreWeave на уровне кремния — десятикратная пропускная способность по токенам на мегаватт по сравнению с GB200 на модели DeepSeek R1 — это показатель эффективности, а не счёт, и звучит оно в том же релизе, где нет ни одной стоимостной цифры 4. А накануне Cognition продала того же агента в миграционную воронку MongoDB, обещая, что работа, занимавшая пять-шесть часов, теперь занимает чуть больше часа 2. Настоящий вопрос недели — за счёт чего финансируется снижение цены за задачу в ИИ-кодинге: за счёт эффективности или за счёт капитала. Пока одна из двух компаний не опубликует стоимость сессии на Vera Rubin против GB200, рынок оценивает мультипликатор, а не издержки. Пропускная способность — это ещё не экономика.

Deepdive

AI-generated from this story and its cited sources. Not investment advice.

Reader comments

0 comments

    Sign up

    Get your curated digest

    After email confirmation, you will receive a daily digest of the most relevant news that matter to your portfolio