Modal stellt sein 300-Millionen-Dollar-Geschäft mit KI-Agenten auf Nvidias Vera-CPU um – nach eigenen Tests mit bis zu doppelt so hohem Durchsatz

Das Produkt, das Modal 300 Millionen Dollar im Jahr einbringt, soll künftig auf Nvidias Arm-basierter Vera-CPU laufen. Eigene Tests hatten auf einem mit Containern vollgestopften Server bis zu doppelt so hohen Durchsatz ergeben wie bei einer Intel-Maschine. Der offiziell genannte Grund – teure GPUs liegen brach, bis die CPU-Arbeit erledigt ist – macht die Wahl des Prozessors zu einer Entscheidung darüber, wie viel die teuren Chips einspielen.

Original lesen

Richard TangRichard Tang · 3 min read
Share
Erik Bernhardsson, Chef von Modal, auf der Bühne der Runtime-Konferenz des Unternehmens
1 / 6Slide 1 of 6
Modal-Chef Erik Bernhardsson auf der Bühne der Runtime-Konferenz seiner Firma. Das Unternehmen will sein 300-Millionen-Dollar-Geschäft mit Agenten-Sandboxes künftig auf Nvidias Vera-CPU betreiben.

Modal$87M — Modal, private, latest valuation $87M verlagert seine Agenten-Sandboxes auf die Arm+0.88% — Arm, up 0.88 percent today-basierte Vera-CPU von Nvidia+1.92% — Nvidia, up 1.92 percent today – der erste Schritt weg von den Chips von Intel−0.21% — Intel, down 0.21 percent today und AMD+2.23% — AMD, up 2.23 percent today, auf denen das Unternehmen bislang lief. Der Anlass: Ein eigener Benchmark hatte auf einem mit Containern vollgestopften Server bis zu doppelt so hohen Aufgabendurchsatz gezeigt 1.

Auf dieser Schicht beruht rund ein Drittel des Umsatzes: Die Sandboxes – isolierte Rechner, in denen KI-Agenten Code schreiben und ausführen – bringen es annualisiert auf 300 Millionen Dollar, innerhalb der von Modal angegebenen Run-Rate von 1 Milliarde Dollar; erzeugt wurden inzwischen fast 3 Milliarden Sandboxes 12. Der Grund, den Modal nennt, ist eine Behauptung über die Auslastung: Beim bestärkenden Lernen (Reinforcement Learning) liegen teure GPUs oft brach, bis die CPU-Arbeit abgeschlossen ist 1.

Warum die CPU bestimmt, was die GPUs erwirtschaften

Die meisten Trainings-Setups laufen Modal zufolge noch synchron: Jeder Rollout – ein vollständiger Versuch des Modells, eine Aufgabe zu lösen, dessen Ergebnis zum Trainingssignal wird – verbringt einen Teil seiner Zeit auf der CPU. Erst wenn alle Rollouts abgeschlossen sind, geht es für die brachliegenden GPUs mit dem nächsten Schritt weiter. Was auf der CPU an Zeit gespart wird, wird also auch auf der GPU gespart 3. Der billigere Prozessor bestimmt damit, wie stark der teure genutzt wird. Eine schnellere CPU kauft faktisch GPU-Stunden.

Agentenarbeit fällt in Spitzen an – Veras Bandbreite fängt sie auf

In den Sandboxes hausen lärmende Nachbarn: Ein Agent wartet untätig auf ein Sprachmodell, ruft dann bei einer Software-Installation aber das Zehnfache seiner üblichen Rechenleistung ab – und Hunderte teilen sich einen Host, sodass die Lastspitze eines Kunden die Arbeit eines anderen bremsen kann 1.

In Modals Benchmark mit 50 Programmieraufgaben schlug Vera die Chips von Intel, AMD und Amazon−0.32% — Amazon, down 0.32 percent today Aufgabe für Aufgabe – aber nur knapp. Erst unter Last tat sich der Abstand auf: Vera hielt das Tempo, während sich die Container stapelten – die Konkurrenz stieß an eine Obergrenze. Das führt Modal auf die Speicherbandbreite der Vera zurück 13. Das Ergebnis stammt von Modal selbst und wurde nicht unabhängig überprüft 1.

Der Aufpreis wandert von der Isolation zur Trainingsschleife

Modal hat am 14. Oktober 750 Millionen Dollar zu einer Bewertung von 15,75 Milliarden Dollar eingesammelt und gesagt, das Geld kaufe höhere Schichten – darunter bestärkendes Lernen und Post-Training-Werkzeuge 2. Der Cloud-Konkurrent Together AI~$3.3B — Together AI, private, latest valuation ~$3.3B hat genau diese Schicht am 19. Oktober eröffnet: reservierte B200-GPUs, eine vom Kunden definierte Trainingsschleife, zum Einführungspreis von 9 Dollar pro GPU-Stunde 45.

Die Schicht darunter wird zur Ware: Perplexity hat seine Produktions-Sandbox SPACE als Open Source freigegeben, CoreWeave−2.35% — CoreWeave, down 2.35 percent today, Akamai+0.69% — Akamai, up 0.69 percent today und Crusoe$26.61B — Crusoe, private, latest valuation $26.61B bieten eine solche bereits an 68. Agenten-Firmen zahlen Modal für diese Isolation weiterhin rund 41 Prozent mehr pro virtueller CPU-Stunde als bei E2B oder Daytona 6.

Das ist etwa das Dreifache des üblichen Compute-Tarifs, den Modal selbst verlangt 6. Modal mietet seine Kapazität bei mehr als zwanzig Cloud-Anbietern und besitzt keine eigenen Rechenzentren – ein Chip, der die Packungsdichte verdoppelt, steigert also den Ertrag jedes gemieteten Servers 2.

Intel und AMD tragen das Sockelrisiko

Nvidia hat Vera im März vorgestellt – als CPU, gebaut für Agenten, mit 88 Kernen. Als erste Anwender nannte der Konzern Anthropic$350B — Anthropic, private, latest valuation $350B und OpenAI$1.18T — OpenAI, private, latest valuation $1.18T 1. Zu den Clouds, die den Chip einsetzen wollen, zählen Alibaba Cloud, ByteDance, CoreWeave, Nebius−2.06% — Nebius, down 2.06 percent today und Oracle−2.15% — Oracle, down 2.15 percent today 3. Nvidia fällt der Zugewinn doppelt zu: einmal über die CPU, einmal über die GPUs, die der Chip ausgelastet hält. Intel und AMD dagegen verlieren den Sockel, den sie bislang standardmäßig innehatten – ausgerechnet in der einen Schicht, in der Agenten Code ausführen.

Die Verdopplung bleibt eine Behauptung, bis sie im Produktivbetrieb läuft

Modal nennt keinen Termin, wann Kunden auf Vera landen. Nvidia wiederum spricht von einer Verfügbarkeit bei Partnern in der zweiten Jahreshälfte 2026 13. Modal sichert sich zudem ab: Die Firma behält Intel und AMD im Portfolio und leitet jeden Auftrag an den Chip weiter, der ihn am besten ausführt 7. Entscheidend für die Einschätzung ist, ob der Zugewinn auf voll gepackten Servern außerhalb von Modals eigenem Benchmark Bestand hat – und ob der Aufpreis von 41 Prozent eine Isolationsschicht überlebt, die inzwischen kostenlos ist 6.

Get Data Center by email, free

Who is building AI's data centers, and who is paying for them. In our daily email, every weekday.

Loading ARM…

Reader comments

0 comments

    More in Data Center

    All in this topic →

    Data Center

    Goldman Sachs and JPMorgan Chase had to lift Volta's $5 billion AI loan yield past 11% to sell it

    The banks had to lift an unrated $5 billion AI loan's yield to roughly 11.2 to 11.75 percent and add protections before buyers would take it, while Goldman's own credit provision tripled the same quarter.

    Data Center

    AI fiber prices may run 5 times 2025 levels, but Corning's CEO says price is not the profit story

    TrendForce says AI fiber prices will average more than five times 2025 levels on a shortage stretching to 2028, and Corning reports in one week. But CEO Wendell Weeks says price is not how the company drives profit, so the 61.7 P/E is paying for a story the seller himself discounts.

    Data Center

    Iron Mountain's survey says 86% of AI projects stalled; it signed 110 megawatts anyway

    The company's own survey says 86% of AI projects stall on data debt, while its data-center arm books 110 megawatts of leases on borrowed money. On November 5 the market finds out which half of Iron Mountain the numbers pay.

    Data Center

    Oracle's filing shows $288 billion off-balance-sheet leases as S&P sees no disconnect and CDS hits 295

    The rating agency says it cannot see all the AI debt and sees no need to act. Oracle's quarterly filing puts a number on the unseen part, and the market's price for Oracle default keeps setting records.

    Data Center

    SpaceX posts its first profit, $4.4 billion, as AI compute revenue passes Starlink and launch combined

    The rocket company's first profit since its June listing came from the AI segment, now bigger than Starlink and launch combined. Whether Musk's $500 billion to $1 trillion forecast for 2027 arrives turns on how fast SpaceX can build, and on lease terms that let tenants walk.

    Data Center

    Nvidia picked Schneider Electric to build 14-day AI data centers as Barclays warns peak pricing may end

    Nvidia named Schneider a factory builder of its 14-day DSX POD data centers on October 21, the same day Schneider launched its RapidScale design for Vera Rubin, while Barclays warned the day before that peak pricing for power-gear makers is ending. Volume and price now point opposite ways on the same company.

    Get the newsletter

    The day's AI and market news, in your inbox every weekday.