Modal migra operação de agentes de IA de US$ 300 milhões para a CPU Vera da Nvidia após testes próprios apontarem até o dobro de throughput

Modal vai rodar na CPU Vera, da Nvidia, baseada na arquitetura Arm, o produto que lhe rende US$ 300 milhões por ano, depois que testes próprios mostraram até o dobro do throughput de uma máquina da Intel em servidor lotado de contêineres. A razão declarada — as GPUs ficam ociosas até o trabalho na CPU terminar — transforma uma escolha de processador em decisão sobre quanto os chips caros faturam.

Ler o original

Richard TangRichard Tang · 3 min read
Share
Erik Bernhardsson, CEO da Modal, no palco da conferência Runtime da empresa
1 / 6Slide 1 of 6
O CEO da Modal, Erik Bernhardsson, no palco da conferência Runtime, evento da companhia. A empresa vai rodar seu negócio de sandboxes para agentes, de US$ 300 milhões, na CPU Vera da Nvidia.

A Modal$87M — Modal, private, latest valuation $87M está transferindo suas sandboxes de agentes para a CPU Vera, da Nvidia+1.92% — Nvidia, up 1.92 percent today, baseada na arquitetura da Arm+0.88% — Arm, up 0.88 percent today — a primeira mudança em relação aos chips da Intel−0.21% — Intel, down 0.21 percent today e da AMD+2.23% — AMD, up 2.23 percent today que a empresa sempre usou. O gatilho foi um benchmark próprio que mostrou até o dobro do throughput de tarefas em um servidor lotado de contêineres 1.

Cerca de um terço da receita da empresa depende dessa camada. As sandboxes — computadores isolados onde agentes de IA escrevem e executam código — respondem por US$ 300 milhões anualizados da receita que a Modal declara, de US$ 1 bilhão em ritmo anual (run rate), e quase 3 bilhões delas já foram criadas 12. A justificativa apresentada pela Modal é uma afirmação sobre utilização: no aprendizado por reforço, GPUs caras costumam ficar ociosas até que o trabalho na CPU termine 1.

Por que a CPU decide quanto as GPUs faturam

Segundo a Modal, a maior parte das configurações de treinamento ainda é síncrona: cada rollout — uma tentativa completa do modelo de resolver uma tarefa, cujo resultado vira sinal de treinamento — passa parte do tempo na CPU. E todo o conjunto de rollouts precisa terminar antes que as GPUs ociosas avancem para a etapa seguinte. Logo, tempo economizado na CPU é tempo economizado na GPU 3. O processador barato decide, portanto, quanto do caro é usado. Uma CPU mais rápida compra, na prática, horas de GPU.

Trabalho de agentes tem picos, e a banda da Vera absorve

Os inquilinos das sandboxes são barulhentos: um agente fica ocioso à espera de um modelo de linguagem e, em seguida, chega a consumir dez vezes o poder computacional habitual durante uma instalação de software. Como centenas dividem um mesmo host, o pico de um cliente pode atrasar o trabalho de outro 1.

No benchmark da Modal, com 50 tarefas de programação, a Vera superou os chips da Intel, da AMD e da Amazon−0.32% — Amazon, down 0.32 percent today tarefa por tarefa, mas por margem pequena. A diferença se abriu sob carga: a Vera manteve o ritmo conforme os contêineres se acumulavam, enquanto os rivais esbarravam num teto — vantagem que a Modal atribui à largura de banda de memória da Vera 13. O resultado é da própria Modal e não foi verificado de forma independente 1.

O prêmio migra do isolamento para o loop de treinamento

A Modal captou US$ 750 milhões em 14 de outubro, a uma avaliação de US$ 15,75 bilhões, e disse que o dinheiro compra camadas mais altas — entre elas aprendizado por reforço e ferramentas de pós-treinamento 2. A Together AI~$3.3B — Together AI, private, latest valuation ~$3.3B, nuvem rival, abriu exatamente essa camada em 19 de outubro: GPUs B200 reservadas, com o loop de treinamento definido pelo cliente, a um preço introdutório de US$ 9 por hora de GPU 45.

A camada de baixo está virando commodity: a Perplexity abriu o código da sandbox de produção, a SPACE, e a CoreWeave−2.35% — CoreWeave, down 2.35 percent today, a Akamai+0.69% — Akamai, up 0.69 percent today e a Crusoe$26.61B — Crusoe, private, latest valuation $26.61B já a oferecem 68. As empresas de agentes ainda pagam à Modal cerca de 41% a mais por hora de CPU virtual do que na E2B ou na Daytona por esse isolamento 6.

O valor equivale a cerca de três vezes a tarifa de computação comum da própria Modal 6. A Modal aluga capacidade de mais de vinte nuvens e não possui data centers — um chip que dobra a densidade de contêineres por servidor, portanto, eleva o faturamento de cada máquina alugada 2.

O risco do soquete recai sobre Intel e AMD

A Nvidia lançou a Vera em março como uma CPU feita para agentes, com 88 núcleos, e listou a Anthropic$350B — Anthropic, private, latest valuation $350B e a OpenAI$1.18T — OpenAI, private, latest valuation $1.18T entre os primeiros usuários 1. A Alibaba Cloud, a ByteDance, a CoreWeave, a Nebius−2.06% — Nebius, down 2.06 percent today e a Oracle−2.15% — Oracle, down 2.15 percent today estão entre as nuvens que planejam implantá-la 3. O ganho é duplo para a Nvidia: uma vez na CPU, outra nas GPUs que ela mantém ocupadas. Enquanto isso, Intel e AMD perdem o soquete que ocupavam por padrão na única camada em que os agentes executam código.

A duplicação é uma alegação até rodar em produção

A Modal não deu data para a migração dos clientes à Vera. Já a Nvidia diz que a disponibilidade para parceiros chega no segundo semestre de 2026 13. A Modal também se protege: mantém Intel e AMD no rodízio e encaminha cada tarefa ao chip que a executa melhor 7. O que vai definir o veredito é se o ganho em servidores lotados de contêineres se sustenta fora do benchmark da própria Modal, e se o sobrepreço de 41% sobrevive a uma camada de isolamento que agora é gratuita 6.

Get Data Center by email, free

Who is building AI's data centers, and who is paying for them. In our daily email, every weekday.

Loading NVDA…

Reader comments

0 comments

    More in Data Center

    All in this topic →

    Data Center

    Goldman Sachs and JPMorgan Chase had to lift Volta's $5 billion AI loan yield past 11% to sell it

    The banks had to lift an unrated $5 billion AI loan's yield to roughly 11.2 to 11.75 percent and add protections before buyers would take it, while Goldman's own credit provision tripled the same quarter.

    Data Center

    AI fiber prices may run 5 times 2025 levels, but Corning's CEO says price is not the profit story

    TrendForce says AI fiber prices will average more than five times 2025 levels on a shortage stretching to 2028, and Corning reports in one week. But CEO Wendell Weeks says price is not how the company drives profit, so the 61.7 P/E is paying for a story the seller himself discounts.

    Data Center

    Iron Mountain's survey says 86% of AI projects stalled; it signed 110 megawatts anyway

    The company's own survey says 86% of AI projects stall on data debt, while its data-center arm books 110 megawatts of leases on borrowed money. On November 5 the market finds out which half of Iron Mountain the numbers pay.

    Data Center

    Oracle's filing shows $288 billion off-balance-sheet leases as S&P sees no disconnect and CDS hits 295

    The rating agency says it cannot see all the AI debt and sees no need to act. Oracle's quarterly filing puts a number on the unseen part, and the market's price for Oracle default keeps setting records.

    Data Center

    SpaceX posts its first profit, $4.4 billion, as AI compute revenue passes Starlink and launch combined

    The rocket company's first profit since its June listing came from the AI segment, now bigger than Starlink and launch combined. Whether Musk's $500 billion to $1 trillion forecast for 2027 arrives turns on how fast SpaceX can build, and on lease terms that let tenants walk.

    Data Center

    Nvidia picked Schneider Electric to build 14-day AI data centers as Barclays warns peak pricing may end

    Nvidia named Schneider a factory builder of its 14-day DSX POD data centers on October 21, the same day Schneider launched its RapidScale design for Vera Rubin, while Barclays warned the day before that peak pricing for power-gear makers is ending. Volume and price now point opposite ways on the same company.

    Get the newsletter

    The day's AI and market news, in your inbox every weekday.