Cognitions 4,8-fach-Benchmark belegt Durchsatz, nicht günstigere Agentenarbeit

Der erste Vera-Rubin-Kunde von CoreWeave hat einen Benchmark mit 4,8-fachem Durchsatz vorgelegt – aber keine Kostenzahl dazu veröffentlicht. Zugleich hat CoreWeave die GPU-Preise seit Juli um 35 Prozent erhöht. Die Zahl, die CRWV-Aktionäre benötigen – die Kosten pro abgeschlossener Devin-Session –, existiert in keiner der Mitteilungen.

Original lesen

Vincent JiangVincent Jiang · 3 min read
Share
Ein Nvidia-DGX-GB200-Rack, in voller Höhe fotografiert – die NVL72-Systemklasse der Vorgängergeneration, die Cognitions Vera-Rubin-Benchmark als Baseline nutzte
1 / 6Slide 1 of 6
Ein Nvidia-DGX-GB200-Rack: das NVL72-System der Vorgängergeneration, dessen Durchsatz in Cognitions Vera-Rubin-Benchmark die 1,0-fache Baseline bildet. Die neuen Vera-Rubin-NVL72-Racks, auf denen bei CoreWeave Devin läuft, wurden bislang nicht öffentlich gezeigt.

Cognition gibt seine Meilensteine gern mit Zahlen bekannt. Am 8. September war es eine Series-E-Runde: mehr als zwei Milliarden Dollar zu einer Bewertung von 48 Milliarden Dollar. Der Run-Rate-Umsatz kletterte laut eigenen Angaben von 492 Millionen Dollar im Mai auf knapp 900 Millionen Dollar 1. Am 29. September folgte eine Partnerschaft mit MongoDB, die Devin als Motor für Enterprise-Migrationen verkauft 2. Und am 30. September, auf der „Fully Connected“-Konferenz von CoreWeave, wurde Cognition zum weltweit ersten Kunden, der Produktions-Workloads auf Nvidias Vera Rubin NVL72 ausführt; das Unternehmen meldete dafür bis zu 4,8-fachen Gesamt-Token-Durchsatz bei seinen SWE-2-Inferenz-Workloads gegenüber einer GB200-NVL72-Baseline – und das 3,8-Fache beim Reinforcement Learning 134.

Ein Benchmark ohne Rechnung

Die Mitteilungen sind an denselben Stellen karg: keine absoluten Durchsatzwerte, keine Preise, kein Energieverbrauch, keine Konfigurationsdetails, die den Vergleich reproduzierbar machen würden, und keine Angabe zur Zahl abgeschlossener Aufgaben 1. CoreWeave nennt die Ergebnisse in seiner Mitteilung „unabhängige Benchmarks“ – durchgeführt haben sie Cognitions eigene Ingenieure, gegen eine Baseline in CoreWeaves eigener Cloud 4. Die einzige Übersetzung ins Geld ist eine verbale: Chen Goldberg, EVP für Produkt und Engineering bei CoreWeave, sagte, die Zuwächse bedeuteten mehr gleichzeitig laufende Devin-Sessions pro GPU und „geringere Kosten pro Session“ – veröffentlicht hat diese Kosten keine der Mitteilungen 34.

Zwei gemeldete Zuwächse, eine Baseline – nirgendwo Kosten

0x2x4x6xGB200-BaselineSWE-2-Inferenz auf Vera Rubin (Cognition)RL-Output-Tokens auf Vera Rubin (Cognition)3.8x4.8x
Data
Token-Durchsatz, Vielfaches der GB200-Baseline
GB200-Baseline1x
SWE-2-Inferenz auf Vera Rubin (Cognition)4.8x
RL-Output-Tokens auf Vera Rubin (Cognition)3.8x
Alle Werte sind Token-Durchsatz, ausgedrückt als Vielfache der GB200-NVL72-Baseline – dem Vergleich, den die vom Benchmark angegebene Methodik definiert: Die Baseline liegt definitionsgemäß bei 1,0x, die von Cognition gemeldeten Zuwächse auf Vera Rubin NVL72 werden gegen sie gemessen [1][4]. Beide Zuwächse stammen aus Benchmarks mit Anbieterbezug – veröffentlicht wurden darin weder absolute Werte noch Preise oder Energieverbrauch. Quellen: RuntimeWire [1]; Business Wire über Yahoo Finance [4].1,4

CoreWeaves Buch wiegt schwerer

Der Einsatz steht in zwei Büchern. Cognition muss zeigen, dass seine Finanzierungsrunde über 2 Milliarden Dollar Rechenleistung kauft, die lange Agentenläufe billiger macht – und das, während es Devin gegen Claude Code und Cursor bepreist 1. CoreWeaves Buch ist das schwerere: Das Unternehmen sagt, auf jedes Megawatt Kapazität komme das Zehnfache an Nachfrage, und hält am Ausbauziel von 8 Gigawatt bis 2030 fest. Cantor Fitzgerald behielt nach der Konferenz die Einstufung „Overweight“ und das Kursziel von 176 Dollar für die Aktie bei 5. Dieser Hochlauf wird gegen Belege für diese Nachfrage finanziert – deren erster öffentlicher Datenpunkt ist ein Benchmark, den Kunde und Anbieter gemeinsam verfasst haben. Die CRWV-Aktionäre sind es, die dafür gerade stehen.

Was eine Session kostet, ist die fehlende Zahl

Durchsatz ist keine Wirtschaftlichkeit. Verbraucht eine Devin-Session mehr Tokens, schrumpft der Zuwachs auf das 4,8-Fache bei den Tokens pro Sekunde, umgerechnet in Kosten pro abgeschlossener Aufgabe, auf einen weit weniger beeindruckenden Wert. Und CoreWeave hat laut der Notiz von Cantor Fitzgerald die Preise seit Juli um 25 Prozent erhöht, obendrauf kommen noch einmal 10 Prozent 5. CoreWeaves eigene Behauptung auf Silizium-Ebene – das Zehnfache an Token-Durchsatz pro Megawatt gegenüber GB200, mit DeepSeek R1 – ist eine Effizienzzahl, keine Rechnung. Sie steht in derselben Pressemitteilung, die jede Kostenangabe vermissen lässt 4. Unterdessen hatte Cognition denselben Agenten am Vortag in MongoDBs Migrations-Funnel verkauft, mit dem Versprechen, Arbeit, die fünf bis sechs Stunden gedauert habe, dauere nun nur noch gut eine Stunde 2. Die eigentliche Frage der Woche lautet, ob die Preissenkungen pro Aufgabe beim KI-gestützten Programmieren aus Effizienz finanziert werden – oder aus Kapital. Bis eines der beiden Unternehmen die Kosten pro Session auf Vera Rubin gegenüber GB200 veröffentlicht, bewertet der Markt den Faktor, nicht die Kosten. Durchsatz ist keine Wirtschaftlichkeit.

Deepdive

AI-generated from this story and its cited sources. Not investment advice.

Reader comments

0 comments

    Sign up

    Get your curated digest

    After email confirmation, you will receive a daily digest of the most relevant news that matter to your portfolio