Amazon dá o decisor de graça — e as chamadas mais baratas do agente saem do medidor

A AWS lançou nesta semana, de graça, o Strands Decider 2B — na mesma semana em que a OpenAI apresentou uma prévia do próprio modelo de decisão e vieram à tona as negociações de captação da TypeSafe. As chamadas mais baratas do loop de um agente acabaram de ganhar preço de etiqueta zero.

Ler o original

In this storyAMZNOpenAI
Vincent JiangVincent Jiang · 3 min read
Share
Placa de vídeo Gigabyte GeForce RTX 3090, com três coolers, sobre uma superfície de madeira.
1 / 6Slide 1 of 6
Uma Gigabyte GeForce RTX 3090, a GPU de consumo com que a AWS mediu o desempenho do seu modelo de decisão gratuito Strands Decider 2B, na mediana de 106 milissegundos por chamada.

Um clone caseiro virou o produto gratuito da Amazon

Marc Brooker, distinguished engineer da AWS, viu o Jev, da TypeSafe, e construiu a própria versão do modelo 12. O decisor caseiro liderou por um breve período o ranking Jevbench entre modelos do mesmo porte 1 — e a Amazon lapidou o projeto e o lançou, em 1º de outubro, como Strands Decider 2B: cerca de 2 bilhões de parâmetros sobre uma base Qwen3.5-2B, aberto sob licença Apache 2.0, sem API hospedada e sem cobrança por chamada 2. O modelo lê o estado de um agente e devolve uma escolha pontuada acompanhada de um número de confiança 12.

As etapas frequentes do agente estão saindo do medidor

As etapas que o modelo quer cobrir são justamente as frequentes: rotear uma requisição, selecionar uma ferramenta, revisar uma ação 2. A AWS mediu um checkpoint anterior do modelo, a versão 18, em uma mediana de 106 milissegundos por decisão em uma RTX 3090 local; a latência da própria versão lançada não foi divulgada 2.

O Jev, lançado em 15 de setembro, cobra US$ 0,042 por milhão de tokens de entrada e nada pelos tokens de saída — contra a faixa de US$ 0,20 a US$ 10 de entrada que a TypeSafe lista para LLMs 3. Em um teste de hackathon, revisar todas as ações de uma execução de agente custou US$ 2,94 no Jev e US$ 372 em um modelo de fronteira 4. Para isso, ninguém montou tabela de preços por token.

Um milhão de tokens de entrada: US$ 10 no topo da fronteira, 4 centavos no Jev, de graça na AWS

$0/M$2/M$4/M$6/M$8/M$10/MEntrada de LLM de fronteira$10/MEntrada do LLM mais barato$0.2/MTypeSafe Jev$0.04/MStrands Decider 2Bfreesó o preço de etiqueta; o processamento é por sua conta
Data
Value
Entrada de LLM de fronteira$10/M
Entrada do LLM mais barato$0.2/M
TypeSafe Jev$0.04/M
Strands Decider 2Bfree
Preço de etiqueta ou de API para um milhão de tokens de entrada. As barras dos LLMs mostram a faixa de preços de entrada publicada pela TypeSafe para modelos de fronteira; o número do Jev é o preço de lançamento da própria TypeSafe. O Strands Decider 2B é um download gratuito sob Apache 2.0, sem cobrança por chamada — e a AWS não publicou estimativa de custo de operação. Fontes: post de lançamento da TypeSafe [3]; VentureBeat [2].3,2

Pesos gratuitos ainda queimam a GPU de alguém

Os próprios gráficos da Amazon colocam o modelo em segundo lugar entre os modelos públicos de seu tamanho, atrás do decisor da Mapika, e em primeiro apenas entre os que publicam a receita completa de treinamento; o Jev não figura, então não há confronto direto 2. A AWS não divulgou estimativa de custo de operação por requisição, e a TypeSafe, que mantém fechados os pesos do Jev, cobra US$ 42 por um bilhão de tokens de entrada 23. Grátis é o preço de etiqueta, não o custo.

Mil dólares constroem um clone; o placar ainda favorece o Jev

A OpenAI apresentou uma prévia de sua Decisions API na DevDay, em 29 de setembro, com Sam Altman prometendo velocidade extrema ao restringir o modelo Luna do laboratório a uma escolha predefinida 4. Dezenas de clones chegaram ao mercado nas duas semanas seguintes ao Jev 12, e Brooker estima o custo de construir um em "centenas ou milhares de dólares" 1. O placar ainda discorda: o Jev 1.13 venceu 21 de 25 partidas de StarCraft, o OpenJev, de código aberto, está em 0–9, e a vitória verificada mais barata do Jev custou US$ 0,016 6.

Rápido e barato é fácil; o fosso são os dados

"Se você quer algo realmente rápido e barato, jogue dados", diz o CEO da TypeSafe, Diogo Almeida. "A parte difícil é a inteligência" — e seu fosso são os dados sintéticos por trás do modelo 4. Os clones atuais "parecem mais gente de ML querendo implementar uma arquitetura legal", diz ele 1.

O dinheiro ainda discute esse fosso. Uma rodada seed de US$ 40 milhões, a uma avaliação de US$ 200 milhões, aterrissou em 15 de setembro 5, e as tratativas agora noticiadas pelo The Information falam em US$ 1 bilhão ou mais, acima da marca de US$ 10 bilhões — cinquenta vezes a avaliação do seed, se a rodada fechar nesse patamar 7. Até o crédito é disputado: quando a captação veio à tona, o swyx, do Latent Space, reclamou que um vídeo no YouTube estava com o logotipo cortado, sem dar crédito — e acrescentou: "pls support smol creators" 89.

Decisões gratuitas são demanda, não disrupção

Jev homenageia William Stanley Jevons, seguindo a tese da TypeSafe de que "cada queda de uma ordem de grandeza no custo da inteligência destrava ordens de grandeza a mais de casos de uso" 3. Se a tese valer, o decisor gratuito da Amazon vende mais computação, não menos: mais agentes tomando mais decisões em hardware que alguém ainda aluga.

A pista virá em duas datas. A primeira é o preço que a OpenAI publicar para sua Decisions API, que segue em prévia limitada, sem tarifa divulgada 4. A segunda é saber se a rodada da TypeSafe fecha acima de US$ 10 bilhões 7. Uma decisão precificada como um token mantém o medidor girando; uma decisão precificada perto de zero confirma a aposta.

Deepdive

AI-generated from this story and its cited sources. Not investment advice.

Reader comments

0 comments

    Sign up

    Get your curated digest

    After email confirmation, you will receive a daily digest of the most relevant news that matter to your portfolio